본문 바로가기

Tech Stack/Machine learning

 (11)
기계학습 13 - 오류 역전파 알고리즘 오류역전파 알고리즘(Backpropagation Algorithm)은 신경망에서 가중치를 효율적으로 조정하기 위해 사용되는 핵심적인 학습 방법입니다. 이 알고리즘은 신경망이 어떤 입력에 대해 오류를 최소화할 수 있도록 돕습니다. 자세히 살펴보겠습니다. 오류역전파 알고리즘의 기본 개념 목표: 신경망의 출력과 실제 값(목표 값) 사이의 오차를 줄이기 위해 신경망의 가중치를 조정합니다. 과정: 두 단계로 이루어집니다. 순전파(Forward Propagation): 입력 데이터가 신경망을 통과하여 출력을 생성합니다. 역전파(Backpropagation): 출력과 목표 값 사이의 오차를 계산하고, 이 오차를 신경망을 역으로 거슬러 올라가며 가중치에 대한 그래디언트를 계산합니다. 오류역전파의 구체적인 단계 순전파 ..
기계학습 11 - RNN 앞서 배운 신경망은 오직 출력층 방향으로만 향함 = 피드포워드 신경망 순환신경망 RNN 활성화 함수를 통해 나온 출력이 다시 자기 자신에게 입력 ex 네이버 파파고 특징 시퀀스 n개의 단어들이 순차적으로 입력될 때, 이를 번역한 m개의 단어들을 순차적으로 나열한 것으로 순환 신경망 기법 중 n:m 방식의 기법이며 이를 다대다 혹은시 시퀀스 대 시퀀스 매칭이라고 부름 n개의 단어가 m개의 단어 시퀀스로 매칭됨 안드레이 카패시 RNN기법을 설명 되먹임 방식으로 출력 이미지 캡션 생성 합성곱 신경망을 이용하여 이미지의 특징을 파악한 뒤 이 특징을 임베딩 공간이라는 벡터 공가에 보낸 뒤, 해당 이미지를 설명할 수 있는 적절한 캡션을 생성 합성곱(특징 파악) - > 특징을 임베딩 공간으로 보냄 -> 이 임베딩 곤..
기계학습 10 - CNN 고양이에 대한 실험을 통해 시각 정보가 들어올 경우, 시각 피질에 있는 뉴런들이 시야 일부 범위안에 있는 영역에 대해 활성화 되어 정보를 받아들인다는 것을 아게 됨 하나의 뉴런을 활성화 시키는데 영향을 미치는 시각정보영역을 수용장 시각 수용장의 역할을 컨볼류션 연산을 수행 해 신경세포로 전달 기존 다층퍼셉트론, 2차원 이미지를 1차원 벡터 형태로 변환 해보니 특징이 잘 보이지 않음 특정 영역 내에 있는 모든 픽셀 정보로 하나의 값을 생성하는 일을 합성곱이라고 함 합성곱 : 특정한 영역을 하나의 특징으로 변환하는 역할 풀링이라고 부르는 서브샘플링 계층을 도입 필터 : 평균필터, 박스필터 등 이미지는 픽셀 위치를 정의역으로 하고 픽셀의 색상을 치역으로 하는 함수 픽셀의 각 지점마다 색상 값이 변하는 방향으로..
기계학습 - 8 softmax, dropout 소프트 맥스 최댓값 np.max(softmax(a)) 벡터 출력값이 스칼라 형식의 정답과 얼만큼 차이나는가를 정량화 하기가 어려움 따라서 원-핫 인코딩을 사용 to_categorical함수를 통해 원 핫 인코딩 정답에서 많이 벗어날 수록 큰 오차값을 출력해야 신경망의 학습이 제대로 이루어진다는 축면에서 이러한 오차방정식은 매우 합리적 교차 엔트로피 오차는 우리가 다루어온 이미지 데이터에 숫자를 대응시키는 분류모델을 평가할 때 평균제곱오차방식보다 더 유용하게 사용될 수 있음 원 핫 인코딩으로 구성 필요 평균제곱 오차말고 교차 엔트로피를 사용하는 이유는 신경망은 학습의 오류를 줄이는 과정이기 때문에 벌점에 해당하는 오차값이 더 큰 교차 엔트로피 오차를 신경망의 오차로 사용하는 것이 학습의 속도를 더 빠르게 ..
기계학습 7 - 활성화함수 층을 깊이 쌓기만 하면 복잡한 기능을 할 수 있는 신경망 모델을 만들어 낼 수 있을 것으로 기대했지만, 층을 깊이 쌓을수록 신경망은 더 정교한 기능을 하는 것이 아니라 학습을 하지 못 하는 모델이 되어버림 역전파 될수록 신호가 소실되는 사라지는 경사 문제 발생 폭발하는 경사 문제도 존재 시그모이드, 균등분포 사용 대칭함수를 활용 사라지는 경사 폭발 경사 문제 해결하기 위해 연결강도 초기화를 해야함. 각 은닉층의 크기가 동일해야 함 입력되는 신호의 개수 팬-인 출력 팬-아웃 연결강도 초기화 방법 글로럿 초기화, 세이비어 초기화 시그모이드 함수 -> 역전파에 부적합하여 ReLU와 같은 정류화 함수들이 잘 동작하는 것이 발견 은닉층을 매우 많이 쌓은 신경망에서 ReLU활성화를 사용할 때 글로럿 초기화보다 빠르..
기계학습 6 - 역전파 공부 뇌는 뉴런이라는 수없이 많은 신경세포들의 연결을 갖고있음 인공 신경망은 이러한 신경세포의 동작을 흉내내는 장치나 소프트웨어를 만들어 뇌가 수행하는 인지나 사고 능력을 갖춘 기계를 만들려는 노력 이러한 방식의 연구를 통해 인공지능을 구현하려는 방식을 연결주의 신경세포가 활성화 되면 선으로 표현된 연결의 끝 지점에 있는 시냅스가 이 신호를 다른 신경세포로 전달, 이때 파란색을 가진 끝점은 1의 신호가 전달되는 것을 의미 흰색 원으로 표시된 끝점은 억제 시냅스로서 연결된 신경세포가 활성화되지 못하게 막는 역할 신경세포 모델은 학습이 불가능 이 모델의 신경세포는 설계된 동작만 수행 가능 학습가능하게 한 것이 퍼셉트론 신경망 모델에서는 이 연결강도가 바로 모델의 동작을 결정하는 파라미터 오차를 계산하는 방법은 다..
기계학습 - 5 다항회귀, 지니 불순도, SVM 결정 트리 데이터의 특징을 보고 앞에서 본 것과 같은 트리를 찾아내는 일 속성중에서 어떤것이 가장 중요한 것인지 판단하기 위해 정보이득이라는 개념을 사용 엔트로피라는 개념을 살펴봐야함 \ 엔트로피를 줄이면 확실해 졌다. 분류에서 좋은 결과 ID3는 정보이득 CART알고리즘은 불순도 개념 에러 4개 에러 8개 전자가 정보이득이 큼 확실해 짐 불순도의 개념 순도 L > 순도 R 지니 불순도를 이용한 효율적인 평가 서포트 벡터 머신 SVM 파란색 원과 노란색 사각형은 서로 다른 그룹에 속한 데이터. 초평면은 여러개가 존재 초평면을 화살표로 표시된 법선 벡터 방향으로 움직였을 때 데이터에 닿지 않는 폭이 넓을수록 좋은 것 가장 폭이 넓은 것을 찾는 방법 마진 어떠한 데이터도 마진 내에 들어오지 않을 경우 마진을..
기계학습 4 - predict, 분류, 등 knn.predict confusion matrix 혼동행렬 만약 데이터가 편향데이터라면 우수한 머신러닝 알고리즘을 사용할 지라도 99퍼 정확도 가지는 분류기는 매우 구현이 어려움 정밀도 , 재현율 혼동행렬 재현율, 정밀도 개념 확보 정밀도 진짜맞는지 재현율 진짜 아닌지 앙상블 머신러닝의 집단지성 서로다른 모델로 각각의 분류기를 만들기 서로다른 학습데이터를 통해 다양성을 확보 확률 통계에서는 복원추출 비복원 추출 배깅기법 개선 부스팅 기법 군집화. 유유상종 초깃값 지정 중요 k=3 이면 원을 그렸을 때 3개가 포함되면 그걸로 예측 kmeans 평균값 초깃값 초기평균값에 따라 성능이 달라짐 art계열은 그 문제를 해결하긴 함 다항회귀 선형회귀 f(x) is linear 비선형으로 다양화를 시켜야 함. 다변..

티스토리툴바