Tech Stack (49) 썸네일형 리스트형 AICE - Associate - 7 머신러닝 모델링 머신러닝 프로세스 데이터 수집 - 데이터 정리 - 테스트 데이터 셋(간직) - 모델 학습 - 모델테스트 - 모델배포 Linear Regression 가설 : 공부를 많이 하면 공부를 잘할 것이다. y=wx+b w가중치 y토익점수 x는 학습시간 최적의 직선구하기 예측값 - 실제값 = error, cost y=wx (예측값 -실제값)^2/N = cost 포물선 모양이 나옴 그래프상에서 비용이 제일 낮은 아래부분을 찾으면 된다. 경사하강법. gradient Descent Algorithm 이용 잘 정리된 데이터 확보가 중요! 지도학습 vs 비지도 학습 분류모델 이산적으로 나눠질 수 있는 문제 밥값 많이 남성, 적게 여성 예측 모델 레이블 값들이 연속적인 문제 밥값이 많이 나올 수록 팁의 크기도 커짐 data .. AICE - associate - 5 데이터 전처리 데이터 전처리 head(), tail() describe() info() 데이터 확인 데이터 불러오고 탐색 시작 1. 데이터 확인하기 df.info() df.head() df.tail() df.describe() cust=df[["cust_class", ...]] 간단하게 만들기 cust = cust.rename(columns = {"cust_class" : 'class', "sex_type":'sex' ...} 오브젝트 타입의 연산은 문자가 붙여서 나옴 예를들어 나이 12+12를 했을 때 24가 아닌 1212가 나옴 cust=cust.astype({'age': int}) but _라는 단어가 들어있기 때문에 에러가 발생할 수 있음 따라서 전처리가 필요함 cust = cust.replace("_", np.. AICE - associate - 4 pandas 2 drop 데이터를 지욱 axis = 1, 0 행(0)기준 열(1)기준 설정하기 defult는 0 원본데이터를 다른이름으로 저장하지 않고 덮어쓰는 방법 inplace=Ture 원본데이터를 변경하겠다. Group by 하나로 묶음 분할 - 적용 - 데이터 병합 pivot, pivot_tavle 데이터 프레임 형태를 변경 사전적 의미. 축을 중심으로 회전 col, row 기준으로 변형 기본적으로는 같은 기능을 하지만 table은 aggfunc이 있음 pivot은 불가하고 pivot table은 가능한 경우 index가 2개 이상인 경우 - columns가 2개 이상인 경우 - 중복 값이 있는 경우 stack, unstack groupby groups속성 groups를 활용해서 확인 가능 count 데이터 개수.. Stable Diffusion - mac 환경설정 stable diffusion이 재밌어보여서 한번 혼자 해보기로 결심..! brew가 설치되어 있지 않다면 본인의 mac터미널에서 $ /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)" 다음은 brew에서 명령어를 사용할 수 있도록 vi에디터를 통해 수정! $ sudo vi ~/.zshrc 아래의 스크립트를 저장! $ export PATH="$PATH:/opt/homebrew/bin" 설치후 버전정보 확인! $ brew -v 패키지 설치! $ brew install cmake protobuf rust python@3.10 git wget 디퓨전 소스 받기 $ git clone https.. 기계학습 13 - 오류 역전파 알고리즘 오류역전파 알고리즘(Backpropagation Algorithm)은 신경망에서 가중치를 효율적으로 조정하기 위해 사용되는 핵심적인 학습 방법입니다. 이 알고리즘은 신경망이 어떤 입력에 대해 오류를 최소화할 수 있도록 돕습니다. 자세히 살펴보겠습니다. 오류역전파 알고리즘의 기본 개념 목표: 신경망의 출력과 실제 값(목표 값) 사이의 오차를 줄이기 위해 신경망의 가중치를 조정합니다. 과정: 두 단계로 이루어집니다. 순전파(Forward Propagation): 입력 데이터가 신경망을 통과하여 출력을 생성합니다. 역전파(Backpropagation): 출력과 목표 값 사이의 오차를 계산하고, 이 오차를 신경망을 역으로 거슬러 올라가며 가중치에 대한 그래디언트를 계산합니다. 오류역전파의 구체적인 단계 순전파 .. 기계학습 11 - RNN 앞서 배운 신경망은 오직 출력층 방향으로만 향함 = 피드포워드 신경망 순환신경망 RNN 활성화 함수를 통해 나온 출력이 다시 자기 자신에게 입력 ex 네이버 파파고 특징 시퀀스 n개의 단어들이 순차적으로 입력될 때, 이를 번역한 m개의 단어들을 순차적으로 나열한 것으로 순환 신경망 기법 중 n:m 방식의 기법이며 이를 다대다 혹은시 시퀀스 대 시퀀스 매칭이라고 부름 n개의 단어가 m개의 단어 시퀀스로 매칭됨 안드레이 카패시 RNN기법을 설명 되먹임 방식으로 출력 이미지 캡션 생성 합성곱 신경망을 이용하여 이미지의 특징을 파악한 뒤 이 특징을 임베딩 공간이라는 벡터 공가에 보낸 뒤, 해당 이미지를 설명할 수 있는 적절한 캡션을 생성 합성곱(특징 파악) - > 특징을 임베딩 공간으로 보냄 -> 이 임베딩 곤.. 기계학습 10 - CNN 고양이에 대한 실험을 통해 시각 정보가 들어올 경우, 시각 피질에 있는 뉴런들이 시야 일부 범위안에 있는 영역에 대해 활성화 되어 정보를 받아들인다는 것을 아게 됨 하나의 뉴런을 활성화 시키는데 영향을 미치는 시각정보영역을 수용장 시각 수용장의 역할을 컨볼류션 연산을 수행 해 신경세포로 전달 기존 다층퍼셉트론, 2차원 이미지를 1차원 벡터 형태로 변환 해보니 특징이 잘 보이지 않음 특정 영역 내에 있는 모든 픽셀 정보로 하나의 값을 생성하는 일을 합성곱이라고 함 합성곱 : 특정한 영역을 하나의 특징으로 변환하는 역할 풀링이라고 부르는 서브샘플링 계층을 도입 필터 : 평균필터, 박스필터 등 이미지는 픽셀 위치를 정의역으로 하고 픽셀의 색상을 치역으로 하는 함수 픽셀의 각 지점마다 색상 값이 변하는 방향으로.. 기계학습 - 8 softmax, dropout 소프트 맥스 최댓값 np.max(softmax(a)) 벡터 출력값이 스칼라 형식의 정답과 얼만큼 차이나는가를 정량화 하기가 어려움 따라서 원-핫 인코딩을 사용 to_categorical함수를 통해 원 핫 인코딩 정답에서 많이 벗어날 수록 큰 오차값을 출력해야 신경망의 학습이 제대로 이루어진다는 축면에서 이러한 오차방정식은 매우 합리적 교차 엔트로피 오차는 우리가 다루어온 이미지 데이터에 숫자를 대응시키는 분류모델을 평가할 때 평균제곱오차방식보다 더 유용하게 사용될 수 있음 원 핫 인코딩으로 구성 필요 평균제곱 오차말고 교차 엔트로피를 사용하는 이유는 신경망은 학습의 오류를 줄이는 과정이기 때문에 벌점에 해당하는 오차값이 더 큰 교차 엔트로피 오차를 신경망의 오차로 사용하는 것이 학습의 속도를 더 빠르게 .. 이전 1 2 3 4 5 6 7 다음
