DEVOCEAN

안녕하세요! SKTTTTT조의 유주영입니다. 😊

지난 7월과 8월 여름방학 동안, 데보션 영 3기 도서 스터디에 참여해 ‘만들면서 배우는 생성 AI’ 책을 함께 공부했습니다.

생성형 AI에 관심 있는 4명이 모여 약 6주간 뜻깊은 시간을 보냈는데요, 그 경험을 공유드리고자 합니다!

👊 참여하게 된 이유

저는 현재 강화학습을 기반으로 시스템 디자인과 최적화를 목표로 연구하는 연구실에서 학부 연구생으로 활동 중입니다.

평소 생성형 AI에 대해 관심은 많았지만, 실습이나 공부에 충분한 시간을 내지 못했었는데요.

이번 스터디는 이 분야를 제대로 배우고 경험할 수 있는 좋은 기회라고 생각해 참여하게 되었습니다.

📚 스터디 방식

스터디는 총 6주 동안 매주 2개의 챕터를 공부하고, 발표하는 방식으로 이루어졌습니다.

• 발표 준비: 매주 두 명이 발표를 맡아 PPT를 제작하고 발표를 진행했습니다.

• 발표: 두 명씩 돌아가며 발표를 맡아 부담 없이 진행했습니다.

• 리뷰: 스터디 일지와 리뷰를 노션으로 관리해서 스터디가 끝나고도 자료를 확인할 수있도록 했어요.

🧑‍🤝‍🧑 매주 오프라인으로 스터디 진행

스터디는 매주 오프라인으로 진행했는데요, 발표 자료를 제작하면서 어려운 부분을 서로 공유하고, 코드를 작성하거나 이론적인 내용을 함께 고민하며 배워나갔습니다.

혼자 공부했다면 놓치기 쉬운 부분들도 팀원들과 질문하고 답하며 쉽게 이해할 수 있었습니다.

📚 스터디 내용 정리

매주 각기 다른 생성형 AI 모델을 공부하며, 이론과 실습을 병행해 이해도를 높였습니다.

아래는 주차별 학습 내용을 간단히 정리한 내용입니다.

1주차: 딥러닝, 변이형 오토인코더

딥러닝 모델에서 사용할 수 있는 다양한 데이터의 종류를 학습하고, 기본적인 생성형 모델인 오토인코더에 대해 공부했습니다.

• 각 모델의 손실 함수와 단순한 모델에서 심층 모델로 발전하는 방식에 대해 이해할 수 있었어요.

• 변이형 오토인코더(VAE)는 확률 분포를 학습하는 방식으로 데이터를 생성할 수 있는 특징이 흥미로웠습니다.

2주차: 생성적 적대 신경망(GAN), 자기 회귀 모델

한 번쯤은 들어봤지만, 자세히 알지는 못했던 **생성적 적대 신경망(GAN)**과 자기 회귀 모델을 깊이 공부했습니다.

• GAN: 생성자와 판별자가 서로 경쟁하며 데이터를 생성하는 모델로, 현실적인 이미지를 생성하는 데 탁월한 성능을 보입니다.

• 자기 회귀 모델: 데이터의 이전 시점 값을 기반으로 다음 값을 예측하는 방식으로, 텍스트 생성과 시계열 데이터 분석에 주로 사용됩니다.

3주차: 노멀라이징 플로 모델, 에너지 기반 모델

두 모델의 핵심 아이디어와 이론적 배경을 중심으로 공부했습니다.

• 노멀라이징 플로 모델: 확률 분포를 단순한 분포로 변환해 데이터의 복잡한 분포를 효과적으로 학습할 수 있습니다.

• 에너지 기반 모델: 데이터의 에너지 값을 최소화하는 방식으로 작동하며, 대조 발산 훈련을 통해 데이터 분포를 모델링합니다.

• 특히, 에너지 기반 모델의 각 단계에서 손실 함수 그래프를 살펴보며 훈련 결과를 분석하고, 확산 모델에서는 모델이 노이즈를 제거(denoising)하는 과정을 실제로 확인할 수 있었습니다.

4주차: 확산 모델, 트랜스포머

• 확산 모델: 데이터에 노이즈를 점차 추가한 뒤 이를 제거하는 과정을 통해 데이터를 생성하는 방식으로, denoising 과정을 직접 확인하며 그 작동 원리를 이해했습니다.

• 트랜스포머: 인코더-디코더 구조를 기반으로 한 모델로, 특히 GPT 모델과 같은 최신 언어 모델의 근간이 됩니다.

실습을 통해 트랜스포머의 구조와 동작 방식을 익히며 생성형 AI 모델의 실질적인 구현 경험을 쌓을 수 있었습니다.

5주차: 고급 GAN, 음악 생성

• 2주 차에 공부했던 GAN 모델에서 확장된 proGAN, styleGAN1·2, bigGAN과 같은 고급 GAN 모델들의 발전 과정을 학습했습니다.

  각각의 모델이 이미지 생성의 품질을 개선하는 다양한 접근 방식을 가지고 있다는 점이 흥미로웠습니다.

• 음표와 지속 시간을 토큰으로 변환해 음악을 생성하는 트랜스포머 모델을 공부하며, 생성형 AI가 음악 분야에서도 활용될 수 있음을 확인할 수 있었습니다.

6주차: 월드 모델, 멀티 모달

• 월드 모델: 강화학습과 생성형 AI가 결합된 모델로, 환경의 동작을 시뮬레이션하여 에이전트의 학습을 도와줍니다. 강화학습의 효율성을 크게 향상시킬 수 있는 접근 방식이었습니다.

• 멀티 모달 모델: 텍스트, 이미지, 오디오 등 서로 다른 형태의 데이터를 함께 학습하고 이해할 수 있는 모델로, 다양한 데이터 유형 간의 관계를 학습하는 능력이 인상적이었습니다.

  
  

💡 느낀 점

6주간의 스터디를 통해 책에서 다룬 내용뿐 아니라 코드 작성과 이론 이해까지 더 깊이 학습할 수 있었습니다.

무엇보다 함께하는 팀원들과 질문과 답변을 주고받으며 서로의 부족한 점을 채울 수 있어 정말 만족스러운 경험이었어요. 🎉

앞으로도 이번 스터디에서 배운 내용을 바탕으로 생성형 AI와 관련된 다양한 실습과 연구를 이어가고자 합니다. 읽어주셔서 감사합니다! 🙌