기계학습 - 8 softmax, dropout

소프트 맥스 최댓값

np.max(softmax(a))

 

벡터 출력값이 스칼라 형식의 정답과 얼만큼 차이나는가를 정량화 하기가 어려움

따라서 원-핫 인코딩을 사용

 

 

to_categorical함수를 통해 원 핫 인코딩

 

 

정답에서 많이 벗어날 수록 큰 오차값을 출력해야 신경망의 학습이 제대로 이루어진다는 축면에서 이러한 오차방정식은 매우 합리적

 

교차 엔트로피 오차는 우리가 다루어온 이미지 데이터에 숫자를 대응시키는 분류모델을 평가할 때 평균제곱오차방식보다 더 유용하게 사용될 수 있음

 

원 핫 인코딩으로 구성 필요

평균제곱 오차말고 교차 엔트로피를 사용하는 이유는 신경망은 학습의 오류를 줄이는 과정이기 때문에

벌점에 해당하는 오차값이 더 큰 교차 엔트로피 오차를 신경망의 오차로 사용하는 것이 학습의 속도를 더 빠르게 할 수 있음

 

분류할 레이블이 매우 많을 경우 1의 값을 가지는 정답 레이블과의 오차만을 계산하므로, 정답이 아닌 레이블과의 오차를 구할 필요가 없어 평균 제곱 오차보다 계산량이 줄어듬

 

 

축적 데이터

나이, 개인자산 등

 

 

주택의 건축 연도는3년에서 56년으로 범위가 큼

방의 수는 1개에서 4개로 큰범위가 아님

 

sklearn의 preprocessing 하위 모듈에 있는 min_max_scaler를 사용하여 방의 수와 연도를 0에서 1 사이의 값으로 스케일링 하고 시각화

 

0~1 정규화

평균이 0이고 표준편차가 1인 정규분포를

표준화

 

전체 데이터 셋을 모두 사용하는 완전 배치경사하강법

데이터의 집합이 너무 클 경우 최적해를 얻는데 너무 많은 계산시간이 소요 됨

 

무작위로 뽑은 하나의 훈련 데이터에 대하여 확률적 경사 하강법

빠르지만 무작위로 뽑은 데이터의 편향으로 신경망의 성능이 들숙날쑥

편향에 의해 올바른 해로 수렴하지 않고 부분 극소점으로 잘못 수렴 가능

 

전체 경사하강법과 확률적 경사하강법의 절충안인 미니 배치 경사 하강법

 

무작위 n개 데이터 + 많은 경우에도 n개만 사용하여 시간절약, 여러개 데이터를 학습하여 데이터 편향도 적음

 

fit 메소드에서 batch_size를 인자로 디폴트 32

배치 크기가 1일 경우 확률적 경사하강법과 동일하며 이 때문에 확률적 경사 하강법의 일종으로 봄

 

 

교차검증

 

층을 더 깊게 쌓아보자.

 

신경망만 더 깊게 만드는 것은 익식률 높이기에 한계가 있음

 

복잡한 모델이 되며 과적합 가능성이 생김

 

droptout은 오버피팅문제를 해결하는 대안

 

임의의 노드를 탈락