23.06.15
DEVOTEE를 활성화 시키면
지금 작성한 커뮤니티 글에 대해 1개의 댓글을 달아줍니다.
버튼을 누르면 글 수정 시 ChatGPT가 작성한 댓글이 수정됩니다.
| 컨텐츠 유형 | 제목 | 저장일 | 삭제 |
|---|
본인인증 로그인에 실패하였습니다.
회원이 아니시거나 본인인증 등록이
완료되지 않은 사용자입니다.
Llama-2 공식 사이트 : https://ai.meta.com/
TL; DR
3가지 크기의 모델 : 37B, 13B, 70B
3개 모델 학습에 A100-80GB 카드 한 장 기준 330만 시간 분량 학습 & 539톤 이산화탄소 배출
70B 모델은 현재기준 오픈소스 LLM 중 최고 성능
meta 논문기준 70B모델은 MMLU 벤치에서 GPT-3.5, PaLM과 근소한 차이만 보임
월 7억명 MAU까지는 무료로 상업적 이용 가능
MS와 Meta가 파트너십을 맺어 azure에 배포 가능 : MS블로그
8시간 전 Meta에서 LLaMA 2 모델을 공개했습니다.
LLaMA 2 는 학술적 및 상업적 이용이 전부 가능한 오픈소스 LLM 으로, LLaMA 1에 이어 7B, 13B, 70B 의 총 3가지 크기 모델을 공개했습니다.
Pre-training 단계에서 사용된 토큰근 약 2조 개이며, A100-80GB 그래픽 카드 1 장 기준 7B, 13B, 70B 3개 모델의 학습시간 합이 330만 시간 분량이라고 합니다. 또한 강화학습인 RLHF (Reinforcement Learning with Human Feedback) 을 사용해 채팅 데이터셋으로 Fine-tuning까지 완료했다고 합니다.
OpenLLM leaderboard의 task를 포함한 다양한 task에서 SOTA 급 성능을 보여주며, 특히 70B 모델은 MMLU에서 68.9를 달성해 발표직후 1등을 차지 했습니다.
meta논문의 기준으로 Closed LLM model과 벤치마크 비교했을때 MMLU에서 70B모델은 GPT-3.5와 근소한 차이를 보이고 있습니다.
벤치마크-모델 비교표 (논문 8장)
벤치마크별 특징 (잘설명된 PodCast : benchmarks-101)
MMLU : STEM, 인문과학, 사회과학 등 57개 과목 을 포괄해 모델 평가
Big-Bench : 언어학, 아동 발달, 수학, 상식 추론, 생물학, 물리학, 사회적 편견, 소프트웨어 개발 등 광범위한 주제를 포괄하는 204개의 과제로 구성
HumanEval : 코드 생성을 평가 (기능의 90%를 완성한 다음 언어 모델에 완료하도록 요청하는 방식)
GSM8K : 8천 500개의 수준 높은 초등학교 수학 문제로 구성
월 7억명 MAU까지는 무료로 상업적 이용 가능하여, AI Company들로 부터 LlaMA보다 더욱 높은 수요를 이끌어 낼 것 같습니다.
23년 7월 18일 공개 후 waitlist 신청을 받고 있으니 신청하시면 다운로드 받아보실 수 있습니다.
Ps. 한국어 비중은 아쉽게도 아직 상당히 낮습니다.
Table 10: Language distribution in pretraining data with percentage >= 0.005%. Most data is in English,
meaning that Llama 2 will perform best for English-language use cases. The large unknown category is
partially made up of programming code data.
참고 URL :
DEVOTEE를 활성화 시키면
지금 작성한 댓글에 AI가 댓글을 달아줍니다.