1. 배경
1) Machine Learning 모델 서빙 & Serverless
- ICT Infra센터의 업무 중, 현장 작업 내역을 수기로 작성해서 핸드폰으로 사진을 찍은 후 Tango GIS라는 시스템에 업로드 하는 절차가 있습니다. 기존에는 사람이 해당 이미지를 보고 다시 시스템에 입력하는 방식이었는데, 이 부분을 OCR을 이용해서 자동화하는 과제를 수행했습니다.
- 저희 조직에서 수행하는 RPA(Robot Process Automation)는 주로 Mydesk의 자원을 활용하는데, Mydesk에서는 이용 가능한 GPU 자원이 없어서 서버가 필요했고, 서버 운영 리소스를 절감하고자 Amazon Sagemaker와 API Gateway, Lambda를 이용해서 serverless로 구성했습니다.
- ML 모델은 Meta Learner 응용개발팀에서 Pytorch를 이용해 만들어주셨습니다.
2) AWS Direct Connect를 이용하여 Private으로 서빙
- Tango GIS 시스템은 보안을 위하여 외부 네트웍 연결이 차단되어 있습니다. GIS의 Interface서버만 사내 서버와 연동이 가능하기 때문에, AWS와 사내에서 전용선으로 연결 되도록 네트웍을 구성했습니다. 그래서 앞으로 소개할 VPC Endpoint는 100.64.x.x 대역의 사설IP를 부여 받았습니다.
※ 저희가 구성한 사례를 참고해 주시고, 더 좋은 방법이 있으면 댓글로 알려주시기 바랍니다.
2. 시스템 구성
.png)
1) API Gateway
- Tango GIS와 RESTful API로 통신합니다. GIS로부터 인식이 필요한 이미지와 메타정보를 수신해서, Lambda로 전달해주는 proxy mode로 동작합니다.
- 사내 네트웍에서 접근이 가능한 Private Api로 구성하기 위해서 아래 그림처럼, VPC Endpoint를 생성하고 100.64.x.x 사설 IP를 부여해서, 사내 서버에서 접근이 가능하도록 했습니다(방화벽 등록, 라우팅 추가 등).
- 이때, VPC Endpoint에서만 접근이 되도록 하기 위해서, 하단의 참고 문서에 나온 것처럼 resource 정책을 추가해 줍니다. (실제로는 AWS Chalice로 api gateway, lambda 를 한거번에 개발하고 배포했습니다)
- Client에서 접근하는 URL은 부득이하게 http://xxxxx-vpce-id.execute-api.ap-northeast-2.amazonaws.com/api 이런식으로 예쁘지는 않습니다. 그리고 Chalice로 재배포하면 사내 DNS에 반영되기까지 최대 30분 이상 걸리는 경우가 종종 있습니다. 원인은, Chalice가 재배포 하면서, API Gateway 설정에서 vpce mapping이 풀리고(버그? 혹은 아직 불완전?), 수동으로 다시 api와 vpce를 매핑을 해 주면 DNS record가 갱신이되면서 DNS 전파 시간이 소요된다고 합니다.

2) Lambda
- SageMaker의 Endpoint를 호출하면서, 인식할 이미지와 정보를 전달하고, 인식 결과를 API Gateway를 통해서 client(여기서는 Tango GIS)에 리턴하는 역할을 합니다.
- AWS Chalice를 이용해서 개발, 배포했습니다. (Python기반) Chalice는 local PC에 서버를 띄워 테스트를 할 수 있어서 편리합니다.
- Chalice 권한 설정이 필요한데요. SageMaker 실행 권한 등이 필요하니 인터넷 문서를 확인하시기 바랍니다.
- 저희 서비스의 경우 간헐적으로 호출이 오기 때문에, Lambda Cold Start 시간이 1초 이상 걸리는 경우가 있습니다. 이를 방지하기 위해서 Amazon EventBridge를 이용해 수 분 마다 Lambda를 호출해서 깨우고 있습니다.
3) Docker
- SageMaker를 통해 생성한 서버(SageMaker Endpoint)에서 구동할 docker 이미지를 빌드했습니다.
- SageMaker의 요구사항에 맞춘 docker 이미지라면 바로 AWS에 올려서 구동할 수 있습니다. 예제와 같이, get request가 들어오면 health check가 되어야 하고, ML model은 S3에서 로딩할 수 있는 구조 등 간단한 요구사항입니다.
- 참고 자료에 있는 github에 보면 다양한 사례가 있어서 참고하여 시작할 수 있습니다. 제가 이용한 예제는 아래와 같은 구조입니다. 몇가지 스크립트도 포함되어 있는데요. docker build 를 해서 ECR(Elastic Container Registry)에 push하고, local에서 실행해서 테스트할 수 있는 스트립트가 유용합니다.
.png)
- Lambda로 부터 request를 받아서, ML 모델을 호출하고 결과를 리턴하는 부분은 flask에서 구현했고, gunicorn config에는 동시 실행하는 worker수, 몇 회 이상 request를 처리하면 재실행이 되도록 설정을 추가했습니다. ML 모델이 GPU를 독점하기 때문에 worker 수를 제한해야 했습니다.
※ Docker build를 위해서 필수적인 Docker Desktop 라이선스 구매비용은 Tech HR팀의 강력한 지원으로 가능했습니다.
4) SageMaker
- SageMaker는 다양한 기능이 있지만, Endpoint를 생성해서 ML model을 serving하는 용도로(추론) 활용했습니다. 직접 ECS docker 컨테이너를 구동할수도 있겠지만, SageMaker에서 scale out 이나 code update를 편리하게 할 수 있어서 EC2 보다 약간 비싸지만 SageMaker를 이용했습니다.
- SageMaker에서 Endpoint를 구성하는 단계는 이렇습니다.
- "추론-모델"에서 모델을 생성해 줍니다. 앞단계에서 ECR에 Push한 이미지를 지정해주고, 모델 이미지가 S3 에 별도로 저장 되어 있다면 그 위치를 지정해 줍니다.
- "추론-엔드포인트 구성"에서는 위의 모델이 구동될 환경(EC2)을 선택해 줍니다.
- "추론-엔트포인트"로 실제 endpoint를 생성해주는데, 위에서 생성한 엔드포인트 구성을 선택해서 어떤 설정으로 구동이 될 지 정해줍니다. Endpoint가 생성이 되면 Container의 자원 통계 등을 볼 수 있고, Auto Scale 설정도 할 수 있습니다.
5) 모니터링
- 저희는 SNS로 오류 알림, Data Dog의 dash board로 모니터링을 하고 있습니다.
참고 자료
[1] Amazon SageMaker를 위한 서버리스 엔드포인트 만들기
https://aws.amazon.com/ko/blogs/korea/build-a-serverless-frontend-for-an-amazon-sagemaker-endpoint/
[2] Amazon SageMaker 기반 컨테이너를 활용한 Scikit-Learn 모델 훈련 및 호스팅 방법
https://aws.amazon.com/ko/blogs/korea/train-and-host-scikit-learn-models-in-amazon-sagemaker-by-building-a-scikit-docker-container/
[3] Amazon SageMaker 예제 코드
https://github.com/aws/amazon-sagemaker-examples/blob/master/advanced_functionality/scikit_bring_your_own/scikit_bring_your_own.ipynb
[4] Creating a private API in Amazon API Gateway
https://docs.aws.amazon.com/apigateway/latest/developerguide/apigateway-private-apis.html
[5] 자습서: 프라이빗 REST API 빌드
https://docs.aws.amazon.com/ko_kr/apigateway/latest/developerguide/private-api-tutorial.html
[6] Direct Connect 연결을 통해 프라이빗 API 게이트웨이에 연결하려면 어떻게 해야 합니까?
https://aws.amazon.com/ko/premiumsupport/knowledge-center/direct-connect-private-api-gateway/
[7] AWS Chalice
https://github.com/aws/chalice
[8] AWS Chalice Configuration File
https://aws.github.io/chalice/topics/configfile.html
DEVOTEE를 활성화 시키면
지금 작성한 댓글에 AI가 댓글을 달아줍니다.