본문 바로가기

전체 글

 (71)
모빌리티서비스 - 1주차 모빌리티서비스 이동수단 손쉬운 접근 안전 1. 등장과 현황 높아지는 도시화율 교통 혼잡과 환경 오염등의 새로운 문제 2. 늘어나는 통근시간 3. 교통약자와 교통안전의 문제 장애인, 고령자, 임산부, 영유아 2. 공유경제와 차량공유 Uber 라이드 쉐어링 3. 자율주행과 새로운 공간의 창조 새로운 시공간을 제공 교통에서 모빌리티로의 전환 이동수단, 이동서비스, 인동인프라 이용자와 공급자를 연계 어떠한 이동수단? --> 어떠한 방식으로 이동, 어떠한 조건에서 이동할 것인가? IT기술 발달, 구조적 저성장, 환경오염 COVID-19 CASE 1. 커넥티드 2. 자율주행 3. 차량공유 4. 전기차 MaaS CASE의 따른 자동차산업의 MaaS로 변화 다양성 증가 접근성 향상 사용자 경험 SPACE 구독 개인형 ..
OpenCV - Mac환경에서 VScode에서 C++을 통해 OpenCV환경 빌드 1. 데스크탑에서 c++폴더를 만들고 그 안에 opencv-tutorial 폴더를 만든다. 2. 터미널에서 다음을 실행한다. /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)" 3. opencv-tutorial폴더에 tutorial.cpp파일을 만든다 4. vscode터미널에서 CMakeLists.txt파일을 만든 후 입력한다. cmake_minimum_required(VERSION 3.10) project(MyProject) find_package(OpenCV REQUIRED) add_executable(MyProject tutorial.cpp) target_link_libraries..
MLOps - FastAPI 서빙 API - 애플리케이션 프로그래밍 인터페이스 - 컴퓨터나 컴퓨터 프로그램 사이의 연결 - 일종의 소프트웨어 인터페이스이며 다른 종류의 소프트웨어에 서비스를 제공한다. FastAPI 빠르게 API를 만듦 모던하고 빠르다. pip install "fastapi[all]" 모든 의존성을 설치 (myenv) (base) dinoqos@jangjeong-uui-MacBookAir 07_api_serving % uvicorn fastapi_tutorial:app --reload --host 0.0.0.0 docs로 받는 값을 확인 가능 path 파라미터 qurey 파라미터 path 파리미터 qurey 파라미터 차이 path는 주소에서 입력 qurey는 바디에 값을 넣어서 실행 데이터 스키마 입력출력을 조금 더 체계..
MLOps - 배치서빙 배치서빙 특정 모델을 배치서빙 파이프라인에 넣어 예측값을 받아옴 시간이나 일단위는 Batch 1초 이하는 realtime serving 배치 데이터 생성 # # upload data to minio # bucket_name = "not-predicted" object_name = datetime.now().strftime("%Y-%m-%d %H:%M:%S") if not client.bucket_exists(bucket_name): client.make_bucket(bucket_name) client.fput_object(bucket_name, object_name, "batch.csv") 이전에 진행한것처럼 진행. object의 이름은 올린 시간 분 초로 한 후 데이터를 업로드 없다면 버킷을 만들고 업..
MLOps - 모델 저장 학습된 모델을 Model.dill로 저장 모델저장소 학습이 완료된 모델을 저장 실험관리 + 파일 MLflow에서 기본적으로 지원해주지 않기 때문에 추가적으로 opensource를 사용 MLflow 아키텍처 1. Backend Store (Remote host) 수치 데이터와 MLflow서버의 정보들을 체계적으로 관리하기 위한 DB 저장항목 1. 메타데이터 2. 모델에 관한 정보 3. 학습 중 생기는 정보 2. Artifact Store (S3 remote host) 학습된 모델을 저장하는 Model Registry로써 이용하기 위한 스토리지서버 Artifact Store를 이용하면 기본적인 파일 시스템 보다 체계적으로 관리 할 수 있으며 외부에 있는 스토리지 서버도 사용 할 수 있다는 장점 모델저장소 구..
MLOps - 데이터 Data drift 예시 - 더 이상 유행x상품 - 새로 유행하는 상품 - 장비에서 생산하는 직업의 변경 - 기기의 고장 지속적인 재학습 - real world에서는 데이터가 계속 변화 - 그래서 한번 개발 뒤 계속 같은성능 x - 변화하는 데이터에 맞춰서 모델 재학습 Data versioning을 통해 데이터도 실험관리가 필요 Minio 구축 docker run -p 9000:9000 -p 9001:9001 \ -e MINIO_ROOT_USER=minio \ -e MINIO_ROOT_PASSWORD=miniostorage \ minio/minio \ server /data/minio --console-address :9001 -p API 통신용 포트 9000:9000 web UI 용 포트 9001:90..
MLOps - 교차검증 최적의 파라미터 확인방법 test / valid split valid에서 과적합 가능 k-fold Cross Validation 3개의 평균값을 Average metric 으로 overfiting방지 최종모델은 학습과 평가 데이터를 나누기 전에 전체데이터를 이용해 학습한 모델을 선택 최종 모델은 전체데이터 = 최적의 파라미터를 활용해서 최종모델 도출 def train_best_model(params): run_name = f"{UNIQUE_PREFIX}-best-model" with mlflow.start_run(run_name=run_name): # # log parameter # mlflow.log_params(params) # # load data # iris = load_iris(as_frame=..
ML, DL 개요 w = tf.random.uniform([3], 0, 1) # [n]개의 값으로 된 0과 1사이의 정규분포에 의해 생성된 난수 3개를 출력 w 머신러닝의 장점 기존 솔루션으로는 많은 조정과 규칙이 필요한 문제들 하나의 머신러닝 모델이 코드를 간단하게 만들고 전통적인 방법보다 더 잘 수행되게 할 수 있음 (팩맨 게임을 만드는 머신러닝 모델) 전통적인 방식으로는 해결 방법이 없는 복잡한 문제 가장 뛰어난 머신러닝 기법으로 해결 방법을 찾을 수 있음 유동적인 환경: 머신러닝 시스템은 새로운 데이터에 적응 가능 복잡한 문제와 대량의 데이터에서 통찰을 얻을 수 있음 전이학습(Transfer Learning) 기존의 학습 방법들은 학습에 사용한 데이터와 이후 분석을 하려는 데이터가 같은 분포를 가지고 있다는 가정을..

티스토리툴바