코드의 나라에서의 일상

자연어처리(NLP) Natural Language Process 워드 임베딩(word Embedding) classic : 언어 별로 나누어서 pre-processing 들어감 deep learning: 일단 먼저 prepreocessing (=숫자변환) 텍스트를 컴퓨터가 이해할 수 있도록 숫자로 변환 단어를 표현하는 방법에 따라 자연어 처리의 성능이 크게 달라짐 => preprocessing 작업이 중요하다 각 단어를 인공 신경망 학습을 통해 벡터화 하는 방법임 케라스의 emdedding() -> 단어를 랜덤한 값을 가지는 ㄴ벡터로 변환한 뒤, 인공신경망의 가중치를 학습함 (텐서 라고도 함) 인공지능에서 벡터란 고차원의 숫자 배열(array) 텍스트 데이터의 벡터는 각 단어(word)를 고유한 정수(i..

판다스로 파일 끌고옴 금지된 보스턴 import numpy as np import pandas as pd#pandas 파일 가져오는 거 from keras.models import Sequential from keras.layers import Dense from sklearn.model_selection import train_test_split from sklearn.metrics import r2_score #[[train & test data]] #1. 데이터 path ='./_data/' x_train = pd.read_csv(path + 'train-data.csv') y_train = pd.read_csv(path + 'train-target.csv') x_test = pd.read_csv(..

mnist imshow import numpy as np from keras.datasets import mnist (x_train, y_train), (x_test, y_test) = mnist.load_data()# 자동으로 이미지와 라벨이 x와 y에 들어가는 건가? print(x_train.shape, y_train.shape) #(60000, 28, 28) 왜 마지막에 하나 더 있지,,? 이미지라 print(x_test.shape, y_test.shape) print(x_train[0]) print(y_train[0]) ''' (60000, 28, 28) (60000,) (10000, 28, 28) (10000,) [[ 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0..

[fashion_mnist] ##from keras.layers import Dense, Flatten, Conv2D, MaxPooling2D, Dropout import numpy as np from keras.models import Sequential from keras.layers import Dense, Flatten, Conv2D, MaxPooling2D, Dropout from keras.datasets import fashion_mnist #1. 데이터 (x_train, y_train), (x_test, y_test) = fashion_mnist.load_data() x_train, x_test = x_train/255.0, x_test/255.0 # print(x_train.shape, ..

지금까지는 글 데이터였고 이제는 ,, 이미지! 이미지 분석 - CNN 모델 CNN(합성곱 신경망): convolution - 3차원 가로 세로 FC(완전연결 신경망): fully connected - 모든 뉴런이 다 연결됨 ​ 이미지 분석에서 FC의 문제점: 픽셀을 잘라서 이어 붙이기 때문에 데이터가 엄청 길어짐 -> 학습시간의 문제, 네트워크 크기, 데이터 형상의 무시 이미지 데이터의 경우 3차원(세로,가로,채널)의 형상을 가진 공간적 구조를 지님 ​ 1. 합성곱층(Convolution Layer, Conv Layer) 이미지 데이터는 3차원 데이터를 입력하고 3차원 데이터를 출력하며, 입출력 데이터를 특징맵(Feature Map)이라 함 합성곱층 뉴런의 수용영역 안에 있는 픽셀에만 연결 (특징이 팔요..

정확도 (accuracy score) 모델이 예측한 값 중에서 실제 데이터와 일치하는 비율을 나타내는 성능 지표. 일반적으로 분류 문제에서 많이 사용됨 / r2 score는 회귀 분석 모델의 적합도 평가하는 지표 from keras.metrics import accuracy model.compile(optimizer='adam', loss='binary_crossentropy', metrics=[accuracy]) history = model.fit(X_train, y_train, epochs=10, batch_size=32, validation_data=(X_val, y_val)) loss, accuracy = model.evaluate(X_test, y_test) print('Test accuracy..

validation - 트레인셋을 검증, 트레인셋에 소속된 개념. 테스트 전에 모델이 최적 검증 6:2:2 validation이나 모델 or 가충지 저장하던지 멀 하던지 다 fit에 넣기 #라이브러리 구성, 정리 import numpy as np from keras.models import Sequential from keras.layers import Dense #1. 데이터 x = np.array([1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20]) y = np.array([1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20]) # x = np.array(range(1,21)) # y = np.array(range(1,..

1. train_test_split 2. validation split 3. matplotli b – scatter (산점도 ) 4. R2 score ( 결정계수 ) 5. 회귀분석 6. 분류분석 7. 이진분류 8. 다중분류 9. 원 핫 인코딩 (One Hot Encoding) 10. 난수값 (random_state) 1. train_test_split 데이터셋을 훈련용(train)과 검증용(test)으로 나누는 이유는 모델의 성능을 정확하게 평가하고 일반화할 수 있는 모델을 만들기 위해서입니다. 만약 모든 데이터를 훈련에 사용하고 테스트를 하게 된다면 모델은 훈련 데이터에 대해서는 매우 높은 정확도를 보일 수 있지만, 새로운 데이터에 대해서는 일반화하지 못한 예측을 할 수 있습니다. 즉, 일반화 능력이 ..

목록: 리스트 대괄호로 분류하기 train_test_split //sklearn scatter 산점도 //import matplotlib.pyplot as plt r2score california california-activation cancer sigmoid tf10_Iris_softmax tf10_Iris_onehotencoding 와인 리스트 [ : ] 대괄호로 분류해보기 #라이브러리 구성, 정리 import numpy as np from keras.models import Sequential from keras.layers import Dense #1. 데이터 x = np.array([1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20]) y = np.ar..

1. 인공지능 개념 정리 – 머신러닝, 딥러닝 2. 퍼셉트론 (Perceptron) 3. 다층 퍼셉트론 (Multi-Layer Perceptron: MLP) 4. 옵티마이저 (Optimizer) 5. 학습률 (learning rate) 6. 경사하강법 (Gradient Descent) 7. 손실함수 (Loss Function) 8. 활성화 함수 (Activation Function) – Sigmoid, ReLU, Softmax 1. 인공지능 개념 정리 – 머신러닝, 딥러닝 인공지능(Artificial intelligence): 인공지능은 사람처럼 학습하고 추론할 수 있는 지능을 가진 시스템을 만드는 기술입니다. 인공지능은 강인공지능과 약인공지능으로 나눌 수 있습니다 머신러닝(Machine Learning..