DEVOCEAN

안녕하세요. Cloud 업무를 하는 팀주입니다.

지난 주에 AWS Re:invent 2024가 있었습니다.

다양한 keynote와 관련 기술 세션들을 현재 youtube를 통해서 확인할 수 있는데, 우선 세션 내용이 너무 다양해서 어디서 부터 봐야 하는 지 가이드가 필요할 것 같습니다.

이전과는 다르게 AWS Korea에서도 차주에 recap 세션을 준비해서,

빠르게 신규 기능들에 대해서 설명을 해주는 자리를 마련하시고 계시고, 관련 내용들도 검색하시면 쉽게 확인하실 수는 있습니다.

저는 우선 keynote를 먼저 확인해서 주요 keyword를 확인하고,

상세히 더 알고 싶은 세션을 찾아서 보고 있는데요.

keynote에서 언급된 주요 기능을 간략히 소개 드리려고합니다.

물론 이 기능들의 대부분은 seoul 리전에서 만나려면 한참을 기다려야 할 거예요.

하지만, 관련 내용을 참고하시면, 진행 중이거나, 앞으로 진행하실 과제에 도움이 될 것 같습니다.

(S3)

현재 400 trillion의 obejcts가 AWS S3에서 관리되고 있고, 중요도나 사용 빈도 등에 따라 Intelligent-Tiering 기술을 사용해 해당 object들을 관리하고 있습니다.

이런 곳에 학습 등에 사용될 데이터를 관리하는 공수가 엄청 소모되죠.

그래서, 이번에 s3 table이라고 apache iceberg와 연동되는 기술이 적용되었고, 또 obejct들의 meta를 관리해 주는 s3 meta도 소개 되었습니다.

object가 많아지니, 관리를 더 용이하게 해주고, AI 학습 등에도 활용하기 쉽게 해주겠다. 이런 의미인 것 같습니다.

(Database)

작년 re:invent에서 aurora limitless database가 소개된 것을 보고, 정말 놀랐었는데요.

이번에 소개된 Aurora DSQL은 거기에 추가적으로 전세계 region에서 동시에 읽고, 쓰기가 가능한 DB를 만들었다고 합니다.

이걸 하기 위해 트랜젝션을 10단계에서 1단계로 줄이고, 전세게 서버 시간을 통일 시키고... 암튼 대단하네요.

(Bedrock)

아직 seoul리전에는 서비스가 다 올라오지 않은 것 같은데, sagemaker에서 분리해서 이 기능 특화 AI 상품이 점점 확대되어 가는 것 같습니다.

이번에 소개된 Amazon Bedrock Model Distillation은 기존보다 500% 빠르고, 75%저렴한 모델을 제공한다고 합니다.

최근에 Llama 3.3 70B 처럼 경량화 모델이 핵심인 것 같네요.

그리고, 최근까지 지인과 창업하자며 이야기 하던 LLM의 hallucination 체크해 주는 비즈니스가 날아가 버리게 되었습니다.

이번에 Amazon Bedrock automated reasoning checks 기능 때문인데요.

결과를 다시 판단해서 fact check해준다는.... 모두의 생각, 아이디어는 비슷하지만, 추진여부에 따라 차이가 발생한다는...

마지막으로 LLM 모델, agent는 각기 다르고, 다양하고, 다수가 사용되는 형태로 비즈니스가 발전되어 가는데, 그걸 잘 관리할 수 있는 orchestrate agents 기능도 발표가 되었습니다.

(SageMaker)

결국 LL도 다른 tool들의 history처럼, 한개 모델이 전체를 다 정복하는 건 아니고, 다음의 각 상황에 맞게 채택되어 사용되게 될 텐데요

( latency, lower cost, orchestrate, fine tuning, image and video generagte ),

이런 걸 다 커버해서 현재 시중에 있는 모델과 비교해서 70~80% 우세한 Amazon Nova가 발표되었습니다.

text만 되는 micro 버전, multimodal 지원하는 lite 버전, 그리고 pro, premier 이러게 지원한다고 합니다.

그리고, 여기서 부터는 chatgpt나 다른 ai 업체의 비즈니스까지 확대하는 것처럼 보이는데,

Amazon Nova Canvas라고 text to image generator, Amazon Nova Reel은 video generator가 소개 되었습니다.

이러다가 향후 개발 방향은 speech to speech, 그리고 궁극에는 any to any라고 하는데.... 배달의 AWS까지 되려나요...

( AWS에 주문하면, 어디사는 지, 뭐 좋아하는 지, 다 체크해서 음식을 배달까지 해주는... I'm thrilled to announce "AWS 맘마미아" .. 죄송.. )

그리고, amazon Q...

이거는 코드 마이그, 추천 등도 하지만, 개발자들이 하루에 한시간만 코딩하고 7시간 잡일한다고... 잡일을 줄여주는 기능을 만들었다고 합니다.

1. 사용자 테스트 케이스 만들어서 수행

2. 개발 내용 가이드 문서 정확하게 생성

3. 코드 리뷰까지.. ( 이 기능은 기존 정적분석 도구, 보안검사툴 회사들 다 망할 거라는 소식... )

그리고, 마지막으로 GPU관련 최적화, 효율화를 해준다는 건데...

1. Amazon SageMaker HyperPod Flexible training plans

   AZ, region에 있는 GPU를 자동으로 할당해서 사용자가 요청한 모델 학습, 예산규모에 맞게 일정을 설계해서 수행을 보장해 주는 기능이라고 합니다.

   아시는 분들도 있지만, AWS에서도 GPU가 부족해서 (특히 한국은...) 오프라인으로 전화를 해서 GPU 할당 받은 후에 사용하고 하는 구조인데...

   이 기능이 추가되면..(추가되도 고정적으로 쓰려면, 전화를 해야 할겠지만) 자동으로 유휴 자원을 배정해서 수행해 준다는 기능입니다.

   자원을 full로 할당 받으려고 몇 주 기다리지 않고, 유휴 자원으로 학습 가능, AWS도 유휴자원 돌려서 utilization 확보 win-win 전략이네요.

2. Amazon SageMaker HyperPod task goverance

   이거는 내가 GPU를 사서, 낮에는 추론으로 서비스하고, 밤에는 학습한다..

   이런 효율화를 말하지만... 조사해 보면 다 놀고 있는 GPU.... 이걸 최대 90% utilization을 보장해 주겠다!!! 라는 겁니다.

   대부분은 지금 GPU에 finops기능은 빠른 것 같아, 없어서 못 팔아..라기도 하고,

   아.. 스케쥴 잘 돌려서 최적을 GPU 사용하자 라기도 하는데... AWS는 이미 기능을 출시했네요...

이 외에도 NOVA만으로 부족한지, 외부 유명 model들을 추가하고,

잘 나가는 업체의 기능을 sagemaker에서 바로 사용할 수 있는 기능들(comet, deepchekc, fiddler, lakera)을 추가 했다고 합니다

나머지 keynote나 세션도 듣다고 공유할만한 것이 있다면 공유드리겠습니다.

감사합니다!