로그인 선택
미리보기
커뮤니티
23.06.15
글 등록
DEVOTEE를 활성화 시키면
지금 작성한 커뮤니티 글에 대해 1개의 댓글을 달아줍니다.
버튼을 누르면 글 수정 시 ChatGPT가 작성한 댓글이 수정됩니다.
임시저장함
최대 20건까지 저장합니다.
| 컨텐츠 유형 | 제목 | 저장일 | 삭제 |
|---|
본인인증
고객님의 소중한 개인정보보호를 위해
본인인증을 진행해주세요. 본인인증 미 진행 시 로그인이 제한됩니다.
본인인증 로그인에 실패하였습니다.
회원이 아니시거나 본인인증 등록이
완료되지 않은 사용자입니다.
회원정보 연결
Multimodal LLM 첫 삽 뜨기
- DEVOTEE 요약
- LLM의 시대가 멀티모달 LLM의 시대로 변화하고 있으며, 이에 따라 다양한 아키텍처와 튜닝 기법이 등장하고 있습니다. 대표적인 멀티모달 LLM 아키텍처에는 프로젝션 매트릭스, 크로스 어텐션, 적응 프롬프트 같은 방법들이 있으며, 각 방법에 맞는 다양한 데이터 셋과 모델이 사용되고 있습니다. 또한, Hallucination을 줄이기 위한 선호 맞춤 기법들이 존재하며, 이들은 주로 LLaVA 기반 모델과 LoRA 파인튜닝을 통해 진행됩니다.
슬슬 LLM 의 시대가 Multimodal LLM 의 시대로 넘어가고 있기 때문에, follow-up 이 필요한 시점이라고 생각합니다.
간단하게
Multimodal LLM architecture 들에는 어떤 것들이 있는지,
사용성을 위한 instruction tuning 은 어떻게 진행되는지,
chatGPT hype 을 촉발한 RLHF 는 어떻게 적용되는지
정리해보면서 어떤 기술들이 있는지, 어떤 데이터 셋들이 있는지, 어떤 방법론들이 있는지 알아보도록 하겠습니다.
Summary
Base multimodal LLM architectures
대분류 | 아키텍처 | 방식 |
|---|---|---|
Projection matrix | Frozen | vision encoder 만 따로 학습 |
Kosmos | visual encoder last layer, LLM 학습 | |
FROMAGe | projection matrix 만 학습 embedding to image 도 가능 | |
LLaVA | projection layer, LLM 학습 2-stage training | |
Cross attention | Flamingo | visual feature resampler, LLM cross attention 만 학습 |
BLIP | visual feature 를 llm embedding 으로 변환하는 Q-former 학습 | |
Adaptation prompt | LLaMA-Adapter | projection matrix, prompt embedding 학습 |
Image tokenizer | Chameleon | Codebook 을 이용한 image latent vector tokenize |
Instruction-tuning methods
Pre-trained mLLM 기반 vision-text instruction dataset 의 SFT 수행
Multi-stage training / Freezing module / Architecture 등에서 차이
Image grounded task 의 경우 bounding box (or free-form) 정보를 지원하는 방식
대분류 | 이름 | 아키텍처 | 방식 | 데이터셋 / 수량 |
|---|---|---|---|---|
Projection matrix | LLaVA-1.5 | LLaVA | MLP projection layer High resolution (336x336) | LLaVA-Instruct-150K / 150K |
LLaVA-NeXT | LLaVA | video input 지원 Backbone upgrade (Qwen1.5 110B 까지 지원) | M4Instruct / 1M | |
Shikra | LLaVA | image grounded task 에 집중 | LLaVA-Instruct-150K + Shikra RD 6K / 156K | |
Ferret (Apple) | LLaMA + visual encoder | Free-form region image grounded task 에 집중 | GRIT / 34K | |
Fuyu-8B | Fuyu | Arbitrary image resolution 에 대응 | Unknown | |
Cross attention | OpenFlamingo (Deepmind) | Flamingo | Flamingo 의 open-source replica | LAION-2B / 2B Multimodal C4 / 101M Synthetic / 417K |
InstructBLIP (Salesforce) | BLIP | Q-former instruct tuning | COCO caption / 82K Web CapFilt / 14M TextCaps / 21K VQAv2 / 82K OKVQA / 9K A-OKVQA / 17K OCR-VQA / 800K | |
MiniGPT-4 | BLIP | Q-former freeze, additional linear layer training | Curated image-description pair / 3.5K | |
MiniGPT-v2 (Meta) | BLIP | 7개의 task identifier token 을 통해 task-specific performance 강화 | LLaVA-Instruct / 81K Filcker / 5.5K | |
Qwen-VL | BLIP (비슷) | 3 stage training | Custom / 350K | |
Adaptation prompt | LLaMA-Adapter V2 | LLaMA-Adapter | 2 stage training Visual / instruction learning parameter 분리 | Text-only instruction / 52K COCO caption / 567K |
Preference alignment methods
전부 Hallucination 을 줄이기 위한 방법으로 alignment method 들이 사용됨
전부 LLaVA 기반의 모델 사용 (다른 architecture 를 사용하지 않는 이유가 engineering 이슈 때문인지 LLaVA 의 성능이 압도적이어서 그런 것인지 알 수 없음)
LoRA finetuning 이 일반적으로 사용됨
학습 방식 분류 | 소분류 | 이름 | 방식 | 데이터셋 / 수량 |
|---|---|---|---|---|
PPO | LLaVA-RLHF (Berkeley) | 10K Human annotated preference dataset ($3000) RLHF pipeline 수행 | <SFT> Conversation / 98K VQA-v2 / 83K A-OKVQA / 16K Flicker / 23K <RLHF> Human annotated / 10K | |
DPO | RLHF-V (Tsinghua) | 1.4K Human modified preference dataset Hallucination 발생한 부분만 직접 수정 DDPO (changed token 에 높은 가중치를 둔 DPO) | Human modified / 1.4K | |
Silkie (CUHK) | 80K GPT-4V annotation → 380K pairs (VLFeedback dataset) | GPT-4V annotated / 80K | ||
LLaVA-Hound-DPO (CMU, Bytedance) | Video 지원하는 LLaVA-NeXT 80K GPT-4V video captioning 240K chatGPT question gen 240K chatGPT reward tagging (replace video to caption) → 20$ | chatGPT generated / 17K | ||
mDPO (MS) | 기존 DPO 가 image conditioning 이 안되는 것을 해결 Image / non-image pair 를 이용해 conditioning loss 추가 | Silkie / 10K | ||
RLAIF-V (Tsinghua) | Reward tagging 시 Divide & Conquer 를 활용하면 GPT-4V 대신 LLaVA-NeXT 로도 충분함을 보임 | Diverse set / 4K | ||
Synthetic pair data | STIC (UCLA) | Good prompt → chosen 생성 Bad prompt / corrupt image → rejected 생성 DPO 이후 일반 prompt 로 SFT | <DPO> MSCOCO / 6K <SFT> LLaVA’s SFT / 5K | |
POVID (Stanford) | Dis-preferred prompt / noisy image → rejected 생성 Text Hal DPO (3 epochs) → Noisy image Hal DPO (1 epoch) | LLaVA-Instruct / 17K | ||
BPO (HKUST) | Image gaussian noise / text error injection → rejected 생성 negative 는 이렇게 hallucination 부분만 차이가 나도록 만드는게 성능이 가장 높음 | ShareGPT-V / 58K LLaVAR / 55K LLaVA-Instruct / 54K | ||
HSA-DPO (Zhejiang Univ.) | 6K GPT-4V 를 이용해 hallucination detection and scoring detection and scoring model 학습 HSA-DPO 수행 (Hallucination score 높으면 가중치를 높인 DPO) | Visual Genome / 8K | ||
Contrastive learning | HALVA (Google) | Chosen 의 object word 들을 바꿔치기 (LLM 사용) → rejected 생성 Contrastive loss 사용 | Visual Genome / 21.5K |
감자 님의 최신 블로그
더보기-
- LLaDA: Diffusion language model과 LLM reversal curse
- 몇 달 전에 Gemini Diffusion 모델이라는 게 나왔다는 뉴스를 봤다. 일단 첫 번째로 Diffusion으로 어떻게 language model을 만든거지? 가 궁금했고, 두 번째로는 데모 비디오를 봤는데 미친듯이 빠른 속도가 눈에 띄었다. (꼭 데모 비디오 보시길!) 그래서 한번 근간이 되는 논문을 읽어보기로 했다. Alibaba Ant group 에서 써낸 Large Language Diffusion Models, 일명 LLaDA 라는 모델을 제안한 논문이 되겠다 (근데 마지막 A가 제목에는 없음...Large Language diffusion with mAsking 라고 함) 꽤 재미있게 읽은데다가, 중간에 LLM reversal curse 라는 개념...
-
- Think-fusion 의 여러가지 방식 (feat. DeepSeek-V3.1, GPT-5)
- 2025년 LLM 필드에서 가장 중요한 키워드 하나를 꼽으라면 바로 ＇Reasoning＇일 것입니다. Test-time-computing을 통해서 LLM은 사람처럼 생각하는 과정을 거쳐 답변을 이끌어냈고, 이는 다양한 벤치마크 성능을 극적으로 끌어올렸습니다. 하지만 이 Reasoning 모델은 일반 사용자들 (단순한 태스크에 LLM을 적용하려는) 에게는 큰 영향을 주지 못했습니다. 금방 대답할 수 있는 질문들에도 쓸데없는 사고과정을 거치면서 답변을 기다리는 사용자들을 지치게 만들곤 했기 때문입니다. 그래서 제안된 방식 중 하나가 바로 Think-fusion입니다. 이전 블로그 글에서 Qwen3에 적용된 Hybrid think mode 에 대해서 살펴본 바 있습니다...
-
- NVIDIA Isaac Sim 으로 배우는 Physical AI (3회차 모임)
- 안녕하세요, Devocean OpenLab NVIDIA Isaac Sim 으로 배우는 Physical AI에 참여하고 있는 조재경입니다. 3회차 스터디는 T타워 1층에 있는 T-library 에서 진행하였습니다. 상기님도 와주셔서 저희를 응원해주셨네요!! 이번 3회차에는 1) 로봇을 제어하기 위한 미들웨어인 ROS2의 기초와 2) 유저의 발화만으로 로봇을 컨트롤하여 원하는 곳으로 이동시키기 위해 제안된 효율적 방법론인 ReMEMbR 에 대해서 알아보았습니다. ROS2의 기초는 스터디 대장님인 유석님께서 설명해 주셨습니다. 아주 명쾌한 설명에 무릎을 탁 치면서 감탄하며 들었네요. ReMEMbR는 제가 세미나 형식으로 준비해서 발표를 해보았는데요. 오랜만에 로봇 관련...
-
- Qwen3 의 Hybrid thinking mode
- 2025년 4월 29일 새벽에 Alibaba의 Qwen3 가 릴리즈되었다. Qwen3 공식 블로그 Technical report 가 공개되지 않고, 블로그로만 공개되었기 때문에 학습이 어떻게 이루어졌는지는 아주 제한적으로 공개되었다. 모델은 총 6개로 MoE 모델 2개와 Dense 모델 6개로 구성되었다. MoE 모델은 235B (22B activate), 30B (3B activate), Dense 모델은 32B, 14B, 8B, 4B, 1.7B, 0.6B 의 사이즈다. 블로그 글에 따르면 각각 가장 큰 모델만 학습한 뒤, strong-to-weak distillation 을 통해 나머지 모델들을 학습한 것으로 보인다. 아마도 base model 들은 pruni...
DEVOTEE 추천 블로그
-
- AI foundation 모델의 근간이 되었던 대조학습, 그 시작에는 metric learning이 있었다
- 안녕하세요! SK C＆C AI engineer 조경진입니다. 최근에 LLM 모델이 트렌드를 이끌고 있는데요, 또 다른 트렌드로는 foundation model이 있습니다. (아래 뉴스기사 참고!) 파운데이션 모델이란 무엇인가? | NVIDIA Blog 그리고 그 파운데이션 모델에 근간이 되었던 contrastive learning을 알아보기 전에 metric learning에 대해 먼저 간단하게 알아보는 시간을 가지려고 합니다. Metric learning은 다양하게 사용되고 있으며 다음과 같은 application이 있습니다. ex) Clustering, Ranking, Unsupervised learning 우선 제목 그대로 metric 이란 무엇일까요? me...
-
- VLM(LLM) Basic ＆ Trend 정리 1편
- ［Step1. Basic Research Flow］ 1. 멀티모달 LLM은 왜 중요할까요? 추상적인 답변: 인간이 이해하고 표현하는 다양한 정보 표현방식을 모두 이용함으로써 더 포괄적이고 다양한 문제를 풀 수 있다는 점입니다 엔지니어적 답변: zero-shot, few-shot 등 예시가 없거나 적은 경우에도 다양한 task를 풀 수 있다는 점에서 매력적인 모델입니다 멀티모달 LLM의 구체적인 예시를 한 번 보고 가실까요? GPT4 - 홀란드 (세상에서 가장 잘 생긴 남자) 한 번의 정확한 예시 제공(이름)만으로 얼굴인식, ReID 등의 task를 풀 수 있게 된다는 점이 굉장히 놀랍습니다 (하지만 정확도면에서는 task-specific model 보다 낮은 pe...
-
- Multimodal LLM을 직접 학습시켜 보자!
- 최근 몇 년간 AI 기술의 발전은 대규모 언어 모델(LLM, Large Language Model)의 등장으로 새로운 국면을 맞이했습니다. 특히 ChatGPT와 같은 LLM은 인간과의 자연스러운 상호작용, 창의적인 콘텐츠 생성, 그리고 지식 확장 능력으로 전 세계적으로 큰 주목을 받으며 AI 기술의 중심에 자리 잡고 있습니다. 이러한 LLM의 인기는 텍스트 기반 작업에서 시작하여 이제는 멀티모달(Multimodal) 모델로의 확장이라는 또 다른 혁신을 이루며 발전하고 있습니다. GPT-4V로 시작하여 Gemini, Claude-3 등의 상용화 모델이 우후죽순 출시 됨에 따라 이미지를 활용한 상용화 UseCase들이 떠오르고 있는데요. 상용화 서비스를 fine-tu...
-
- 난생처음 AI 경험기 - OpenAI API 를 사용한 Hello World 를 작성해 보기
- 1. 들어가며 주변에서는 AI 시대가 온다고(이미 와 있지만) 하고 있고, 회사에서도 사내 챗봇을 도입하는 등 많은 변화가 느껴지고 있습니다. 하지만 이 모든 일은 남의 일이려니 하는 생각 이었죠..😅 몇 일전 우연히 Cursor 라는 VS Code 기반의 코드 편집기를 봤는데, 사용자가 입력한 말 몇 마디로 프로그램을 짜 주는 모습을 보고 정말 놀라움을 느끼게 됐습니다. Chat GPT로 보고서를 요약하고, Cursor 로 코드를 만들고 디버깅 및 실행까지 해주는 이런 일상들이 앞으로 가속화 될 것 같다는 생각에 늦었지만 AI 에 대한 학습을 시작해 보려고 이 글을 작성하게 됐습니다. 여러 전문가분들이 많으시지만 AI 에 대한 관심만 있고 실제 어떻게 사용하는...
DEVOTEE를 활성화 시키면
지금 작성한 댓글에 AI가 댓글을 달아줍니다.