데보션앱 소개페이지 바로가기
로그인 선택

신고하기

CLOSE
신고사유 (대표 사유 1개)
상세내용 (선택)
0/200
  • 신고한 게시글은 더 이상 보이지 않습니다.
  • 이용약관과 운영정책에 따라 신고사유에 해당하는지 검토 후 조치됩니다.
  • 허위 신고인 경우, 신고자의 서비스 이용이 제한될 수 있으니 유의하시어 신중하게 신고해 주세요.
(이 회원이 작성한 모든 댓글과 커뮤니티 게시물이 보이지 않고, 알림도 오지 않습니다.)

미리보기

커뮤니티

      1,234

      badge 23.06.15

      글 등록

      카테고리를 선택해주세요.

      DEVOTEE를 활성화 시키면
      지금 작성한 커뮤니티 글에 대해 1개의 댓글을 달아줍니다.

      버튼을 누르면 글 수정 시 ChatGPT가 작성한 댓글이 수정됩니다.

      임시저장함에 저장되었습니다. 저장일시 : 2022.5.17 14:29:08

      임시저장함

      제목을 선택하시면 이어서 작성이 가능하며,
      최대 20건까지 저장합니다.
      컨텐츠 유형, 제목, 저장일시, 삭제로 이뤄진 임시저장 목록
      컨텐츠 유형 제목 저장일 삭제

      데보션 블로그 게재 요청

      CLOSE
      • *
      • *

      본인인증

      효율적인 데보션 서비스 이용 및
      고객님의 소중한 개인정보보호를 위해
      본인인증을 진행해주세요. 본인인증 미 진행 시 로그인이 제한됩니다.
      본인인증 실패

      본인인증 로그인에 실패하였습니다.
      회원이 아니시거나 본인인증 등록이
      완료되지 않은 사용자입니다.

      회원정보 연결

      수식없이 GPT(트랜스포머) 이해하기. 1편

      Teus 25.08.07
      2,537 8 1
      DEVOTEE 요약
      본 블로그는 GPT와 같은 LLM 모델의 핵심 구조인 트랜스포머의 Self Attention Block에 대해 설명합니다. 텍스트를 벡터로 변환해 입력한 뒤, Masked Multi-Head Self Attention과 Feed Forward Layer를 통해 입력과 출력의 크기를 유지하면서 단어 간의 관계를 학습합니다. 마지막에는 최종 출력으로 다음 단어를 예측하는 과정을 거칩니다.
      DEVOTEE 추천 블로그

      안녕하세요 Teus입니다.


      이번 포스팅은 GPT의 근간이 되는 트랜스포머의 Self Attention Block이 어떤 구조로 되어있는지 간단히(?) 알아봅니다.

      행렬곱 에 대한 이해만 있으면 됩니다.


      1. LLM Model의 구조

      현재 LLM모델을 Transformer를 Base로

      Transformer의 Decoder만을 사용해서 구현되고 있습니다.

      image.png

      그래서 위 구조를 잘 살펴보면


      1 . Text가 들어가서 Text & Position Embedding을 거치면 단어가 d차원의 Vector로 바뀐다.

      2 . d차원의 Vector가 Masked Multi Self Attention으로 들어가고, 그 결과가 기존 값이랑 합쳐진다

      여기서 중요한게, Masked Multi Self Attention에 Input Matrix와 Output Matrix의 크기와 차원은 동일합니다.

      3 . layer Norm진행(설명 Skip)

      4 . Feed Forward Layer를 진행 시켜서 차원을 확장시키고, 다시 축소시켜 줍니다.

      해당 부분에서 상당한 가중치가 추가되는데, 정확히 해당 Layer가 어떤 역할을 하다기 보다, 추가해보니 LLM을 위한 가중치 학습이 잘되더라 정도로 이해하면 좋습니다

      결국 중요한건, Self Attention(이후 Self Att블록) 블록의 Input과 Ouput의 Tensor의 크기 변화가 없다는 점 입니다.

      설명에서 Activation이나 Layer Norm 같은 내용은 제외하고 설명합니다


      2. Multi Self Attention

      이제 GPT의 핵심중 하나인 Self Attention의 흐름을 같이 따라가 보겠습니다.

      먼저 문장은

      Life Is Short, You Need 다음에 어떤 단어가 올지를 찾는 과정이 되겠습니다.

      1) Text & Positional Embedding

      image.png

      단어들이 각각 Vector로 변환되고, 위치 인코딩이 추가된 다음 (단어개수(=Seq), 임베딩 차원 d) 모양의 Matrix가 Self Att Block의 Input이 됩니다.

      (Embedding관련 해서 어떻게 이게 되는지는 나중에 기회가 된다면...😌)

      2) Query, Key, Value

      image.png

      이제 input x를 가지고 3개의 Latent Matrix를 만들게 됩니다.

      각각 Matrix의 이름을 Query, Key, Value라고 이름을 붙여줍니다.

      현재 보면 Shape이 (단어개수 x 임베딩 d) ==> (단어개수 x Latent d)로 변경되었습니다.

      3) Attention Pattern

      Query, Key, Value가 특별한 Matrix같지만 사실상 기존 Input X를 다른 차원에 투영한 Matrix에 불과합니다.

      즉, QKV는 각각 단어들의 특징을 Latent d개의 Vector에 압축하고있다고 할 수 있습니다.

      Query와 Key간의 내적연산(두 Matrix간의 행렬곱)을 통해서 단어들 간의 얼마나 관계가 있는지 찾아냅니다.

      두개의 Vector 내적연산을 하면 Vector끼리 얼마나 유사한지를 수치로 표현할 수가 있게 됩니다.

      image.png


      문제는 Life Is만 가지고 Short를 예측하는 단계에서, you, need와 같이 나오지 않은 단어와의 연관성도 찾아볼 경우 치팅이 되기때문에 이부분을 가려서 Masked Self Attention을 진행하게 됩니다.


      image.png

      이제 이 Masked Attention Pattern과 Value를 행렬곱을 취해서, 단어들의 최종 Attention Score를 구해 줍니다.

      image.png

      4) MultiHead Attention

      문제는 보면 이러한 Attention이 하나만 있는게 아니라, MultiHead Self Attention이라고 하여 위와같은 Attention이 한개 이상의 Masked Self Attention을 진행하게 됩니다.

      image.png

      5) Concat

      분명 Input X와 Output이 동일해야 한다고 했습니다. 하지만 현재는 동일하지가 않죠?

      그래서 출력된 3개(Head 개수)를 Concat하고, 이 Attention을 Input X와 동일한 차원으로 맞춰주게 됩니다.

      image.png

      6) FeedForward Layer

      FeedForward Layer의 경우 모델의 비선형성을 추가해서 좀더 학습이 잘되게 만든다 라고 되어있습니다.

      근데 사실 이게 정확히 어떤 역할을 한다기 보다, 이걸 넣어보니깐 좀더 학습이 잘 되더라 Blcok 정도로 생각하면 좋습니다.

      image.png

      먼저 Input X를 행렬곱을 통해서 Matrix의 크기를 키워줍니다.

      그리고, 다시 행렬곱을 통해서 Matrix를 축소시켜주는 열할을 합니다.

      image.png

      이렇게 많은 수의 Weight를 모델에 추가하면서

      Input과 output Matrix의 구조가 동일한 Transformer Based LLM Model이 만들어지게 됩니다.

      이제 마지막에 Output X를 가지고 Classification을 통해서 다음 단어가 무엇이 나올지를 예측하게 됩니다

      image.png

      Final X의 마지막 Row를 통해서 다음 단어를 예측 하게 됩니다.

      전체 흐름을 보면 이렇게 흘러가게 됩니다.

      image.png

      image.png

      image.png

      댓글 0

      DEVOTEE를 활성화 시키면
      지금 작성한 댓글에 AI가 댓글을 달아줍니다.

      Teus 님의 최신 블로그

      더보기

      관련 블로그

      DEVOTEE 추천 블로그

      동영상 기고하기