데보션앱 소개페이지 바로가기
로그인 선택

신고하기

CLOSE
신고사유 (대표 사유 1개)
상세내용 (선택)
0/200
  • 신고한 게시글은 더 이상 보이지 않습니다.
  • 이용약관과 운영정책에 따라 신고사유에 해당하는지 검토 후 조치됩니다.
  • 허위 신고인 경우, 신고자의 서비스 이용이 제한될 수 있으니 유의하시어 신중하게 신고해 주세요.
(이 회원이 작성한 모든 댓글과 커뮤니티 게시물이 보이지 않고, 알림도 오지 않습니다.)

미리보기

커뮤니티

      1,234

      badge 23.06.15

      글 등록

      카테고리를 선택해주세요.

      DEVOTEE를 활성화 시키면
      지금 작성한 커뮤니티 글에 대해 1개의 댓글을 달아줍니다.

      버튼을 누르면 글 수정 시 ChatGPT가 작성한 댓글이 수정됩니다.

      임시저장함에 저장되었습니다. 저장일시 : 2022.5.17 14:29:08

      임시저장함

      제목을 선택하시면 이어서 작성이 가능하며,
      최대 20건까지 저장합니다.
      컨텐츠 유형, 제목, 저장일시, 삭제로 이뤄진 임시저장 목록
      컨텐츠 유형 제목 저장일 삭제

      데보션 블로그 게재 요청

      CLOSE
      • *
      • *

      본인인증

      효율적인 데보션 서비스 이용 및
      고객님의 소중한 개인정보보호를 위해
      본인인증을 진행해주세요. 본인인증 미 진행 시 로그인이 제한됩니다.
      본인인증 실패

      본인인증 로그인에 실패하였습니다.
      회원이 아니시거나 본인인증 등록이
      완료되지 않은 사용자입니다.

      회원정보 연결

      Meta LLM 패권 전쟁 격화시키다 : LlaMA2 상업적 이용가능 오픈소스로 공개

      supecialkim 23.07.19
      6,021 9 1

      LlaMA2

      Llama-2 공식 사이트 : https://ai.meta.com/


      TL; DR

      • 3가지 크기의 모델 : 37B, 13B, 70B

      • 3개 모델 학습에 A100-80GB 카드 한 장 기준 330만 시간 분량 학습 & 539톤 이산화탄소 배출

      • 70B 모델은 현재기준 오픈소스 LLM 중 최고 성능

      • meta 논문기준 70B모델은 MMLU 벤치에서 GPT-3.5, PaLM과 근소한 차이만 보임

      • 월 7억명 MAU까지는 무료로 상업적 이용 가능

      • MS와 Meta가 파트너십을 맺어 azure에 배포 가능 : MS블로그

      8시간 전 Meta에서 LLaMA 2 모델을 공개했습니다.


      LLaMA 2 는 학술적 및 상업적 이용이 전부 가능한 오픈소스 LLM 으로, LLaMA 1에 이어 7B, 13B, 70B 의 총 3가지 크기 모델을 공개했습니다.


      Pre-training 단계에서 사용된 토큰근 약 2조 개이며, A100-80GB 그래픽 카드 1 장 기준 7B, 13B, 70B 3개 모델의 학습시간 합이 330만 시간 분량이라고 합니다. 또한 강화학습인 RLHF (Reinforcement Learning with Human Feedback) 을 사용해 채팅 데이터셋으로 Fine-tuning까지 완료했다고 합니다.


      OpenLLM leaderboard의 task를 포함한 다양한 task에서 SOTA 급 성능을 보여주며, 특히 70B 모델은 MMLU에서 68.9를 달성해 발표직후 1등을 차지 했습니다.


      meta논문의 기준으로 Closed LLM model과 벤치마크 비교했을때 MMLU에서 70B모델은 GPT-3.5와 근소한 차이를 보이고 있습니다.

      • 벤치마크-모델 비교표 (논문 8장)


        • 벤치마크별 특징 (잘설명된 PodCast : benchmarks-101)

          • MMLU : STEM, 인문과학, 사회과학 등 57개 과목 을 포괄해 모델 평가

          • Big-Bench : 언어학, 아동 발달, 수학, 상식 추론, 생물학, 물리학, 사회적 편견, 소프트웨어 개발 등 광범위한 주제를 포괄하는 204개의 과제로 구성

          • HumanEval : 코드 생성을 평가 (기능의 90%를 완성한 다음 언어 모델에 완료하도록 요청하는 방식)

          • GSM8K : 8천 500개의 수준 높은 초등학교 수학 문제로 구성

      월 7억명 MAU까지는 무료로 상업적 이용 가능하여, AI Company들로 부터 LlaMA보다 더욱 높은 수요를 이끌어 낼 것 같습니다.


      23년 7월 18일 공개 후 waitlist 신청을 받고 있으니 신청하시면 다운로드 받아보실 수 있습니다.


      Ps. 한국어 비중은 아쉽게도 아직 상당히 낮습니다.

      image.png

      Table 10: Language distribution in pretraining data with percentage >= 0.005%. Most data is in English,

      meaning that Llama 2 will perform best for English-language use cases. The large unknown category is

      partially made up of programming code data.


      참고 URL :

      댓글 0

      DEVOTEE를 활성화 시키면
      지금 작성한 댓글에 AI가 댓글을 달아줍니다.

      supecialkim 님의 최신 블로그

      더보기

      관련 블로그