DEVOCEAN

■ 연구 내용

• LLM 성능(Helpfulness) 과 안전성(safety)을 동시에 최적화하는 LLM 학습 프레임워크 개발

■ 연구 목적

• 기존 안전성 강화 기술(필터링/차단)은 성능 저하를 유발

• 한국어 특화 또는 도메인(통신/제조/법무/금융/의료/수학/과학)이나 Task 맞춤형 안전성 체계가 부재

• 멘토가 제안하는 해결 방안: OpenAI에서 추론형 모델인 o시리즈(o1, o3)에 적용한 Deliberative Alignment 기술을 구현하고, Domain/Task 정보를 기반으로 성능-안전성 간 trade-off 최적화

■ 활용 계획

• 자체 개발 LLM A.X의 안전성 강화에 직접 기여

• Domain/Task 별 성능, 안전성 사양 데이터 활용

• 최정상급 학회 Publish를 통한 기술 리더십 강화

■ 관련 경험/역량

• ML/AI/NLP 분야 학술 경험

• Python 코드를 빠르게 이해하고 작성

• Cloud computing resource/API 사용 경험

• LLM을 활용한 합성 데이터 생성 및 정제

• LLM 학습 (PEFT, SFT, RLHF, RLAIF)

• LLM 평가

01. 멘토 소개

• 천성준 (LinkedIn)

  • 소속: SK AI R&D Center, AI Model Lab, Foundation Model담당

  • 주요 연구 관심사

    • Generative Models

    • Large Language Models

    • Speech Synthesis

  • 경력

    • 서울대학교 전기정보공학부 학/석/박

    • 삼성 종합기술원 (SAIT)

      • 분자 생성 모델 연구/개발

        • Graph neural networks

        • Reinforcement learning (RL)

      • Large Language Models 연구/개발

        • LLM 데이터 수집/처리/정제/생성/Curation

        • From-scratch pre-training

        • Alignment tuning (SFT, RL)

        • LLM evaluation, benchmark

        • Domain adaptive pre-training Team Lead

        • LLM data Team Lead

  • 주요 학술 경험

    • Gated Recurrent Attention 제안 (1저자)

    • 3개 이상의 변수의 상호정보를 최적화하는 기법 연구 (1저자)

    • 최초의 Diffusion models 기반 TTS 음성합성모델 제안 (공저자)

    • 자연어 label (style tag)을 활용한 스타일 음성합성 모델 제안 (공저자)

  • 멘토로서의 어필

    • 함께 연구하는데 익숙하고, 정보를 공유하고 나누는 것을 좋아합니다.

    • 저보다는 저와 함께 연구한 후배들이 훨씬 더 좋은 논문들을 썼습니다.

    • 전 직장에서 멘티들에게 최고의 멘토라는 찬사를 받았습니다.

02. 프로젝트 소개

• 제가 생각한 이번 연구 프로젝트 Task-aware Deliberative Alignment의 개념을 포스터로 만들어봤습니다.

  
  

• 저는 SK Telecom에서 LLM/VLM을 자체 개발하는 Foundation model담당 이라는 팀에서 일하고 있습니다.

• 학계에서도, 타사에서도 대부분 AI 모델을 공개할 때에는 성능이 먼저 부각되기에, 실제로 개발할때도 성능을 우선적으로 고려하게 되지만, 실제 서비스를 할때에는 안전성이나 윤리에 대한 약점은 큰 리스크입니다.

• 그렇지만 성능의 저하가 없거나 성능의 저하를 최소화 한다는 과학적/학술적인 근거가 없다면 실제 적용이 어렵 습니다.

• 이번 연구 프로젝트를 통해 과학적/학술적 근거를 얻어 성능이 좋으면서도 안전하고 윤리적인 LLM을 개발하고자 합니다.

03. 이런 Fellows를 찾아요!

• LLM 연구/개발 결과를 회사에서 쓸 수 있을 만큼 실용적이면서도, 학술적으로 기여도가 있도록 발전시키고 싶으신 분

• 위에 제시된 관련 경험/역량을 갖고 계시거나, 얻는데 진심이신 분

• 아이디어를 함께 발전시키는 연구에 관심이 있으신 분

  • 연구 주제와 직접적인 관련이 있는 새로운 아이디어

  • 위에 제안된 해결 방안을 실제로 구현하기 위한 아이디어

• 연구 결과를 논문으로 publish 하고 싶으신 분

04. FAQ

• ❓: LLM 관련 경험이 꼭 필요한가요?

  • 💡: 학교에서 경험해보기는 쉽지 않은 분야라는 점을 알기에, LLM 경험이 필수적이지는 않습니다.

• ❓: 꼭 Deliberative Alignment를 써야만 할까요?

  • 💡: 성능과 안전성을 동시에 최적화한다는 목적을 달성할 수 있는 더 좋은 방법이 있다면, 당연히 그 방법이 더 좋을 것 같습니다.