DEVOCEAN

안녕하세요! 데보션영 3기 5CEAN 서희건입니다!

저희는 "MLOPS 실전가이드"를 총 12주에 걸쳐서 같이 탐구해보았습니다.

6월부터 9월까지의 스터디 여정을 함께 돌아볼까요?

스터디 진행방식

총 13주에 걸쳐 진행되었습니다.

1주차에 처음 ZOOM으로 모여서 "킥 오프 미팅"을 진행했습니다.

방식은 다음과 같습니다.

• 개인이 모든 부분 스터디 → 노션에 정리

  • 회의 전날 밤 23:59까지 , 정 안되면 회의전에라도 정리하기.

• 발표는 챕터 별로 한 사람이 맡아서 발표

• 정리는 한 주에 한 명이 맡아서 깔끔하게 정리

매주 일요일 오후 11시에 줌에 모여서 서로 공부한 내용을 나누고, 궁금한것을 질문했습니다.

각 챕터 요약

Ch1. MLOps 세상으로 초대

이 장은 MLOps를 처음 접하는 이들에게 소개하는 장이다.

머신러닝 엔지니어는 무엇인지 부터 MLOps, DevOps의 차이점까지 간단한 소개와 개념을 알려주는 내용이었다.

• 머신러닝 엔지니어와 MLOps의 부상

• MLOps란?

• DevOps와 MLOps

• MLOps의 욕구 이론 단계

Ch2. MLOps를 시작하기 위한 기본 개념

이 장은 mlops를 시작하기 위한 방대한 개념을 담고 있다.

다른 리뷰들도 읽어보면 어디가나 1,2장이 제일 양이 많고 방대한것 같다.😭

이를 보면서 수학, 코딩의 기초내용을 오랜만에 보면서 언제나 기본을 탄탄히 해야겠다는 생각을 했다.

• 배시와 리눅스 커맨드 라인

• 클라우드 컴퓨팅

• ML을 위한 파이썬

• ML을 위한 수학

Ch3. 컨테이너와 엣지 디바이스를 위한 MLOps

• 도커는 컨테이너를 생성, 관리, 실행하는 도구이다.

• 컨테이너라는 단위로 응용 프로그램(라이브러리, 도구, 설정 등을) 패키징한다.

• 엣지 디바이스는 사용자와 물리적으로는 가깝지만 연산자원이 제한적인 스마트폰, 라즈베리파이 같은 기기이다.

• 차세대 MLOps의 워크플로의 핵심 → 높은 추상화 수준의 ML system (컨테이너 위에서 구축)

Ch4. 머신러닝 애플리케이션에 지속적 배포를 적용하기

• 공유,분산,배포를 모델에도 쉽게 적용하기 위해 모델을 컨테이너 환경에 통합!

• ONNX 모델과 플라스크 애플리케이션을 컨테이너에 패키징하는 예제

• 앱 코드는 환경에 대한 정보가 명세된 파일(도커파일)을 보관하고 있는 원격 공개 저장소로부터 정보를 읽어 컨테이너 이미지를 자동으로 빌드하도록 해야한다.

Ch5. AutoML과 KaizenML

• AutoML는 머신러닝 모델링이나 모델 학습을 자동화 하는 일이다.

• KaizenML는 ML sys를 구성하는‘모든’요소를 자동화 하고 개선한다.

• 궁극적 ML model 생성 및 학습 자동화 위해서는 → 추론에 대한 납득가능한 설명 제공 필요하다.

• MLOps 플랫폼은 구체적 설명&대시보드 표시하기.

Ch6. 모니터링과 로깅

• 모니터링을 통해서 과거와 어떻게 달라졌는지 쉽게 파악할 수 있다.

• 모니터링시 피처 열에서 누락된 데이터 갯수, 전처리 소요 시간, DB크기 등을 체크한다.

• 로깅이란 정보를 제공하는 일련의 기록인 로그(log)를 생성하도록 시스템을 작성하는 활동이다.

Ch7. AWS를 이용한 MLOps

• AWS Comprehend(자연어처리)노코드, 로우코드 솔루션 이용 / 서버리스등을 사용할 수 있다.

• SAM : 코드형 인프라부터 애플리케이션 소스 코드까지 하나의 프로젝트 디렉토리에서 긴밀히 상호작용하도록 AWS가 제공하는 뼈대

• SAM은 컨테이너 레지스트리에 이미지를 등록하는 작업까지 대신해준다!

Ch8. 애저 환경과 MLOps

• 인메모리로 처리하기 버거운 방대한 규모의 데이터를 다룰 때는 배치 인퍼런스 사용한다.

• 로그(파이썬 SDK), Observaility를 통해서 배포 문제 해결하기.

• 파이프라인은 머신러닝 , 데이터준비, App 오케스트레이션으로 구성한다.

• 젠킨스는 환경에 맞춰 적용해야 하지만, 애저는 HTTP를 통해 어디서나 접근가능하다!

• 또한 애저 내에서 서비스를 구축해야 하는것은 아니다.

Ch9. 구글 클라우드 플랫폼과 쿠버네티스

• 쿠버네티스는 컨테이너 오케스트레이션 플랫폼이다.

• 쿠브플로는 쿠버네티스를 추상화하여 ML model을 개발하고 배포하는 다양한 시나리오 관리도구 이다.

• HPA는 부하에 따라 자동으로 파드 수를 조정하여 가용성과 성능 문제를 해결하는 기능이다.

• MLOps 플랫폼의 필수 요소 : 피처 스토어, 설명 가능한 AI, 모델 품질 추척.

Ch10. 머신러닝 상호운용성

• 다른 플랫폼에서도 작동되도록 변환하는 것은 중요하다.

• ONNX(Open Neural Network Exchange)는 오픈소스 표준이다. 모델 수준에서 배포환경과 관련된 복잡도⬇️ 동시에 간결함, 높은 성능을 모두 잡으려는것 이다.

• ORT(ONNX Runtime)은 마이크로소프트는 ONNX 모델을 다양한 디바이스에서 최적화된 형태로 실행할 수 있도록 하는것 이다.

Ch11. MLOps 명령줄 도구와 마이크로서비스 구축

• 정확한 데이터를 위해 명령줄 도구로 CSV 파일을 수집하고, 이슈를 표시한다.

• 모듈화를 통해서 여러 파일이 있는 디렉토리에도 명령줄 도구 사용한다.

• 마이크로서비스는 모놀리식 애플리케이션과 달리 독립적인 서비스로 구성되어 재사용성과 확장성이 뛰어나다.

• 머신 러닝을 패키지화한 명령 줄 도구는 하나의 애플리케이션이기 때문에, Microservice보다 훨씬 더 넓은 배포 대상을 갖게 된다.

Ch12. MLOps 실사례 연구

• 기술이 완벽하지 않음에도 불구하고, 그 기술이 잘 적용될 수 있는 환경을 만드는 것이 중요하다.

• 현실 세계의 복잡성과 제약을 반영하는 적응력 있는 시스템이 필요하다.

• 나무를 키우는 과정처럼 머신 러닝 시스템은 지속적으로 관리하고 업데이트해야 한다.

• 다양한 의견과 콘텐츠가 공유되도록 유도하여 윤리적 문제의 편향을 줄이는 방향으로 개선해야 한다.

스터디를 마치며

이번 스터디를 통해서 같은 분야에 열정있는 다른분들과 의견을 나누고 서로 도움을 많이 받으며 성장할 수 있었던 시간이었습니다.

특히 AI를 이제 시작하는 저로썬 6-7월엔 매우 어렵고 책이 하라는 대로 해도 오류가 많이 나서

해결도 못했는데 팀원분들이 많이 도와주셨고, 활동이 끝나가는 지금 그동안의 정리를 돌아보니 이제는 이해가 되는것 같습니다.

매주 각자 파트가 아니더라도 책을 읽고 정리하고 실습하면서 꾸준함의 중요성과 힘을 알게 되었습니다.

사실 소홀해지기 마련인데 매주 열심히 참여해준 팀원들께 감사의 말을 전합니다.