DEVOCEAN

안녕하세요!

데보션 오픈랩 2기의 Cloud에서 AI 활용하기(feat. AWS Certi ML 취득)에 참여하고 있는 정현진입니다.

『AWS Certified Machine Learning 』 책을 마무리 된만큼 스터디원들의 자격증 합격 소식도 계속 들려오고 있는데요,

정말 축하드립니다 🥳

이어서 생성형 AI를 AWS에서 활용하는 방법을 배울 수 있는 책인 『Generative AI on AWS 』 를 공부하게 되었습니다.

ch.1은 전체적인 활용 예시, ch.2는 프롬프트 엔지니어링에 대해서 다루었습니다.

Ch1. 생성형 AI 활용 사례, 기초와 프로젝트 수명주기

다양한 활용 사례

딥러닝과 마찬가지로 다양한 산업과 고객층에서 쓰이는 사례에 대해서 다루고 있습니다

• 텍스트 요약

• 정보 추출

• 유해한 콘텐츠 관리

• 개인 맞춤형 마케팅 및 광고

  • 같은 광고라도 대상에 따라 맞춤형 표현이나 사진을 사용해 광고 제작

파운데이션 모델과 모델 허브

파운데이션 모델

• 수억개의 매개변수로 만들어진 크고 복잡한 신경망입니다.

• 언어, 이미지, 오디오 등 다양한 미디어를 학습해서 이해할 수 있는 모델입니다

• 예시: 기술혁신연구소의 팔콘, 메타의 라마2, 구글의 FLAN-T5

모델 허브

• 다양한 모델 접근 제공

• 예시: 허깅 페이스 모델 허브, 파이토치 허브 ..

생성형 AI 프로젝트 수명주기

정해져있는 수명주기는 없지만 일반적으로는 다음과 같습니다.

사용 사례 파악 → 다양한 모델 테스트, 선택 → 적용해보고 도메인에 맞게 조정 → 배포, 통합 → 모니터링하고 반복

AWS에서 생성형 AI 활용하기

AWS에서는 위의 수명주기에 필요한 다양한 스택을 제공합니다.

기초 모델 구축을 위한 프레임워크와 인프라, 모델 배포를 위한 SageMaker 같은 생성형 AI에 최적화된 컴퓨팅 인스턴스도 있습니다.

Ch2. 프롬프트 엔지니어링, 상황에 맞는 학습

프롬프트

* 프롬프트는 모델에 대한 입력으로, 지침과 컨텍스트를 포함

* 대부분의 생성형 ai는 다양한 양식의 데이터를 받지만 대부분의 경우 텍스트 인풋을 입력값으로 받음.

* prompt의 양식이 항상 text로 국한되지는 않음. 모델에 따라서 text 이외의 입출력을 사용할 수 있는 경우도 있음.

Token

• 생성형 모델에서 매우 중요. 왜냐하면 생성형 모델이 작업하는 task는 전부 token를 기반으로 이루어짐.

• LLM이 입력받고, 출력하는 대상은 전부 token들이다.

프롬프트 엔지니어링과 구조

Prompt Format

: 모델마다 서로 다른 prompt format를 가짐

Prompt Structure

모델에 수행하려는 작업을 설명하는 글

Context

: 모델이 작업과 주제를 더 잘 이해하고, 응답하기 위해서 필요한 정보를 의미함.

*Few-shot leaning *

: context에 instruction을 수행하는데 필요한 정보를 제공하는 방법

장점

• Finetuning을 하지 않아도 됨

  resource가 많이 드는 finetuning을 하지 않아도 사용자가 원하는 context를 넣어주는 방식으로 model을 사용하게 됨.(ex RAG)

• output 형태를 사용자가 원하는 대로 조절할 수 있음.

주의사항

• model은 저마다의 max_token_size가 있어서 꼭 필요한 context를 넣어주는게 중요함.

Bedrock을 사용해 생성형 AI 프로젝트 경험하기

책에서는 주로 이론을 다루고 있어서, 이론을 가장 와닿게 하는 방법은 실습이라고 생각합니다.

그래서 AWS Bedrock에서 간단한 pdf 내용의 질의 응답을 하는 rag 챗봇을 구현해보았습니다.

길벗 <랭체인으로 LLM 서비스 만들기> 책에 있는 코드를 응용하여 구현했습니다

참고코드

Bedrock이란?

위에서 설명한 여러 회사의 파운데이션 모델를 AWS에서 하나의 API에서 쓸 수 있도록 제공하는 서비스입니다.

이를 통해 사용자가 클라우드 환경에서 각자 상황에 맞는 모델을 선택할 수 있도록 도움을 줍니다.

사용 가능한 모델

파운데이션 모델 카탈로그를 보면 다양한 파운데이션 모델을 제공하는 것을 볼 수 있습니다.

(*지역에 따라 제공하는 모델이 다릅니다. 저는 미국으로 설정했는데 서울로 지역을 설정하면 모델 수가 좀더 줄어듭니다)

플레이그라운드

좋았던 점은 다양한 모델을 선택하여 미리 테스트를 해볼 수 있다는 점이었습니다.

프로젝트 생명 주기에서도 다양한 모델을 테스트해보고 선택하는 것이 중요하다고 나와있는데,

이를 클라우드에서 한번에 해볼 수 있어서 편리하다고 느껴진 기능이었습니다.

사용 경험

저는 질문 전에 미리 pdf 내용을 벡터화 한 내용을 쉽게 사용하기 위해 로컬에서 bedrock api를 호출해서 테스트를 해봤습니다.

현재 스터디하고 있는 책 Generative AI on AWS pdf로 테스트를 하고, 응답값은 streamlit으로 받는 방법으로 구현했습니다.

amazon lite vs claude

두개의 모델로 테스트해봤을 때 claude가 좀더 정확한 답을 주는 것을 볼 수 있었습니다.

하지만 실제 서비스에서는 각 도메인에 더 특화된 모델이 잘 맞을 수 있기 때문에 여러 사항을 고려하는 것이 중요하겠습니다.

요새 llm을 활용하는 서비스가 많아지고 있는만큼 AWS에서 만든 기능들을 잘 활용하면 더 빠르게 개발할 수 있겠다는 생각이 들었습니다.

확실히 요즘 생성형 AI가 핫한만큼 이에 대한 높은 관심을 느낄 수 있었습니다.

생성형 AI를 활용한 서비스를 위해 필요한 기능들을 이미 AWS에서 편리하게 쓸 수 있는 경우가 많아서 역시 아마존이라는 생각이 들었습니다.

남은 장들에서 더 실용적인 예제와 심화된 내용이 있는만큼 더욱 기대가 됩니다!