본문 바로가기

전체 글

 (71)
MLOps - HPO 반영 chart view로 확인 5개 항목 선택 후 Compare 클릭 후 그래프 확인 그런데 train.py를 통해 다시 실행하게 되면 일관성없이 그냥 겹쳐버려 어떠한 실험인지 확인이 어려움 다음과같이 런네임을 지정 하나의 프리픽스도 지정해서 trial값을 보며 최대한 같은 값이 나오지 않게 해줌 확인 할 수 있음
MLOps - Optuna objective 함수 작성 --> 스터디 생성 --> 파라미터 탐색 pip install optuna def objective(trial): trial.suggest_int("n_estimators", 100, 1000, step=100) trial.suggest_int("max_depth", 3, 10) trial이라는 값을 받아서 suggest라는 함수를 사용할 수 있음 파라미터 이름을 주고 그것에 대한 범위를 줌 # # train model # clf = RandomForestClassifier( n_estimators=trial.params["n_estimators"], max_depth=trial.params["max_depth"], random_state=2024 ) clf.fit(X_tra..
MLOps - Hyperparameter Optimization Hyperparameter Optimization란? (HPO) 주어진 목적 함수를 최대/최소화 하는 최적의 파라미터 탐색하는 행위 최대화 정확도 F1-Score 최소화 MAE MSE 최적의 파라미터를 탐색 알고리즘 Grid SEarch Random Search Bayesian Search ... grid 격자로 최적의 파라미터 10~100범위 10 20 30 40 실험 진행 단점 : 제일 성능이 좋은 범위를 벗어 날 수 있음 random 난수를 추출 처음에는 grid를 활용해 가장 값이 높은 범위를 탐색 2~3으로 줄임 2와 3 사이에서 random하게 해서 가장 좋은 값을 찾음 1. grid 2. random HPO 라이브러리 HPO를 효율적으로 진행하기 위해 1. 적절한 파라미터 후보군 추출 OPT..
MLOps - 학습 코드 로깅 추가 set mlflow import mlflow from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import accuracy_score # # set mlflow # mlflow.set_tracking_uri("http://0.0.0.0:5001") mlflow.set_experiment("tutorial") mlflow가 중복되지 않게 with문을 써줌 그리고 params를 지정 with mlflow.start_run(): # # log parameter # pa..
MLOps - MLflow 실행 및 docker compose MLOps Machine Learning + Operation 머신 러닝 서비스를 유지, 관리 해주는 도구 ML Service 머신 러닝 모델을 통해 유의미한 결과를 얻어가는 것 머신러닝 서비스의 발전 Y=f(x) AI = software(data) MLOps구축시 기대효과 1. 문제풀이와 모델링에 더 집중 모델말고도 많은 과정이 필요 2. 더 정교한 실험 설계와 실험 관리가 가능 3. 배포한 모델의 문제가 생기는 경우 빠르게 환경을 재현할 수 있다. Silently Failure = cat 반환 Data drift 데이터는 계속해서 변한다 를 진행해 보겠음. 데이터가 바뀌면 모델도 바뀐다. 명제의 이 : 데이터가 같으면 모델도 같다. 같은 데이터를 이용하도록 만듦 파이썬에서 난수를 활용하는 법 때문에 ..
도로노면 훼손탐지 애플리케이션 - 도타미 자세한 내용이 궁금하시면, 다음 링크로 접속해주세요! https://github.com/DINOQOS/dotami_project GitHub - DINOQOS/dotami_project Contribute to DINOQOS/dotami_project development by creating an account on GitHub. github.com
ajax통신으로 AI모델 서빙 - 관상가 양반, 내 관상좀 봐주게. 나의 동물상을 java웹에서 AI모델을 통해 확인하기 자세한 내용은 링크에서 확인하세요! https://github.com/DINOQOS/WhatsYourFace GitHub - DINOQOS/WhatsYourFace Contribute to DINOQOS/WhatsYourFace development by creating an account on GitHub. github.com
모두의 레시피 - MVC패턴, AI모델을 활용한 나만의 레시피 게시판 TEAM : 한상민과아이들 DATE : 2024-02-02 MEMBERS : 한상민, 김윤성, 백성욱, 장정우 만든이유 Springboot를 이용한 프로젝트로 회원가입, 로그인, 게시물, 추천 ,비추천, 사진 등 여러가지를 활용하여 응용해볼 수 있는 주제인 ‘나만의 요리 레시피 커뮤니티’가 적합하다고 생각했습니다. 인생의 즐거움의 반은 맛있는 식사라고 생각합니다. 자신만의 레시피는 모두 다르기 때문에 함께 레시피를 공유한다면 다양한 맛있는 식사를 즐길 수 있다고 생각했고, 기본적인 레시피도 이미지를 입력하면 분석을 통해 레시피를 제공 할 수 있도록 AI모델도 제작 하였습니다. 개요 작업 순서로는, Entity에 테이블들을 생성후 Jparepository 를 활용하여 workbench 와 상호작용을 하였습..

티스토리툴바