AICE - Associate - 7 딥러닝 모델링

딥러닝 모델의 매개변수 (weight, bias)를 무작위로 부여한 후, 반복학습을 통해 모델의 출력값을 정답과 일치하도록 매개변수를 조금씩 조정함

 

Gradient Descent 최적화 알고리즘

 

Perceptron

사람 두뇌에 있는 뉴런을 모델링 한 것

간단한 함수를 학습할 수 있음

 

 

y =w0x0 + w1x1 + w2x2 + w3x3

수만은 피처들이 들어옴 --> 최적의 w를 구함

y = wx

 

DNN

입력층과 출력층 사이에 여러 개의 은닉층으로 이루어진 인공 신경망

 

신경망 출력에 비선형 활성화 함수를 추가하여 복잡한 비선형 관계를 모델링 할 수 있음

 

Activation function

 

Loss Function

출력과 정답의 차이를 계산

 

y-y^

 

MSE 제곱

MAE 절대값

 

이진 분류 : 남자여자

다중 분류 : 학점, 숫자

 

Gradient Descent

경사하강법을 타면서 Loss를 줄이는 방법

 

Back Propagation

실제값과 모델 결과값에서 오차를 구해서 오차를 output에서 Input방향으로 보냄

 

가중치를 재 업데이트하면서 학습

 

그레디언트를 타면서 가중치를 업데이트하면서(코스트)를 줍니다.

 

그라디언트 알고리즘

w를 최적화 시켜줌

 

 

역전파 알고리즘

실제값과 모델 결과갑셍서 오차를 구해서 오차를 input방향으로 보내서 가중치를 재업데이트 하는 과정

 

Loss Function

신경망 학습의 목적으로 출력값과 정답값의 차이를 계산

 

Optimization

가중치를w를 조절해서 손실함수의 값을 최저로 만드는 과정

경사하강법이 대표적

 

 

 

 

 

이러한 뉴럴네트워크를 학습시키는게 딥러닝

 

ANN 히든층 한개

DNN(명사) -> 딥러닝 (동사)

 

 

Dropout

과적합 방지

train학습시에만 사용

 

 

CNN

이미지

 

 

따라서 분류하는 영역을 나눈 후

 

특징추출 부분과 DNN이 합쳐있음

5개의 특징맵 - 풀링(축소) - 특징맵 - 축소 - 쭉 펴서 Fully 커넥티드 레이터

 

가중치 필터로 학습하며 이미지 특징 패턴을 찾아내 이미지 분류가 가능 함

 

convolutional Filter

특징맵이 나옴

 

필터 여러개를 통해서 학습시켜 나가면서 여러개의 특징을 찾음

 

padding

출력 데이터가 줄어드는 것을 방지하는 방법

입력 데이터의 외곽을 0으로 채워줌

 

Pooling Layer

계산량 메모리 사용량 파라미터 수를 줄이기 위해 입력 이미지의 축소본을 만드는 것

출력 데이터의 크기를 줄이거나 특정 데이터를 강조하는 용도로 사용

 

2개 이상 분류할때는 softmax

 

1개만할때는 sigmoid

 

시그모이드 함수 (Sigmoid Function)

• 정의: 시그모이드 함수는 주어진 입력값 �x에 대해 11+�−�1+e−x1​라는 값을 반환합니다.
• 출력 범위: 0과 1 사이. 이는 확률로 해석될 수 있습니다.
• 사용 용도: 주로 이진 분류 문제(binary classification)에 사용됩니다. 이 경우, 출력은 하나의 뉴런으로부터 나오며, 이 뉴런의 출력 값은 특정 클래스에 속할 확률로 해석됩니다 (예: 이메일이 스팸일 확률).
• 특징: 각 입력값에 대해 독립적으로 작동합니다.

소프트맥스 함수 (Softmax Function)

• 정의: 소프트맥스 함수는 벡터 �z에 대해 각 구성 요소 ��zi​를 ���∑����∑j​ezj​ezi​​로 변환합니다.
• 출력 범위: 모든 출력값의 합이 1이 되는 양의 실수들의 집합. 이는 확률 분포로 해석될 수 있습니다.
• 사용 용도: 다중 클래스 분류 문제(multi-class classification)에 주로 사용됩니다. 여기서는 각 출력 뉴런이 특정 클래스에 속할 확률을 나타냅니다 (예: 이미지가 고양이, 개, 새 중 어느 것인지 결정).
• 특징: 전체 출력 값들 사이의 상대적 크기를 고려하여 확률 분포를 형성합니다. 즉, 한 출력값이 증가하면 다른 출력값들은 상대적으로 감소합니다.

차이점

• 출력 개수: 시그모이드는 주로 단일 출력을 위해 사용되며, 소프트맥스는 여러 출력을 동시에 다루기 위해 사용됩니다.
• 활용 분야: 시그모이드는 이진 분류에, 소프트맥스는 다중 클래스 분류에 적합합니다.
• 상호 의존성: 소프트맥스는 출력값들 간의 상호 의존성을 고려하지만, 시그모이드는 각각의 출력값을 독립적으로 계산합니다.

이러한 차이점들 때문에 두 함수는 각각의 특정한 상황과 문제 유형에 더 적합하게 사용됩니다.

 

 

 

RNN

입력과 출력을 시퀀스 단위로 처리하는 모델

음성인식, 언어모델링, 번역, 이미지 주석 생성에 활용

 

히든 노드가 방향을 가진 엣지로 연결돼 순환 구조를 이루는 인공신경망

 

LSTM

역전파 단점 해결

순서가 중요하거나 시계열데이터일 때 주로 사용