23.06.15
DEVOTEE를 활성화 시키면
지금 작성한 커뮤니티 글에 대해 1개의 댓글을 달아줍니다.
버튼을 누르면 글 수정 시 ChatGPT가 작성한 댓글이 수정됩니다.
| 컨텐츠 유형 | 제목 | 저장일 | 삭제 |
|---|
본인인증 로그인에 실패하였습니다.
회원이 아니시거나 본인인증 등록이
완료되지 않은 사용자입니다.
안녕하세요 Teus입니다.
이번 포스팅은 GPT의 근간이 되는 트랜스포머의 Self Attention Block이 어떤 구조로 되어있는지 간단히(?) 알아봅니다.
행렬곱 에 대한 이해만 있으면 됩니다.
현재 LLM모델을 Transformer를 Base로
Transformer의 Decoder만을 사용해서 구현되고 있습니다.
그래서 위 구조를 잘 살펴보면
1 . Text가 들어가서 Text & Position Embedding을 거치면 단어가 d차원의 Vector로 바뀐다.
2 . d차원의 Vector가 Masked Multi Self Attention으로 들어가고, 그 결과가 기존 값이랑 합쳐진다
여기서 중요한게,
Masked Multi Self Attention에 Input Matrix와 Output Matrix의 크기와 차원은 동일합니다.
3 . layer Norm진행(설명 Skip)
4 . Feed Forward Layer를 진행 시켜서 차원을 확장시키고, 다시 축소시켜 줍니다.
해당 부분에서 상당한 가중치가 추가되는데, 정확히 해당 Layer가 어떤 역할을 하다기 보다, 추가해보니 LLM을 위한 가중치 학습이 잘되더라 정도로 이해하면 좋습니다
결국 중요한건, Self Attention(이후 Self Att블록) 블록의 Input과 Ouput의 Tensor의 크기 변화가 없다는 점 입니다.
설명에서 Activation이나 Layer Norm 같은 내용은 제외하고 설명합니다
이제 GPT의 핵심중 하나인 Self Attention의 흐름을 같이 따라가 보겠습니다.
먼저 문장은
Life Is Short, You Need 다음에 어떤 단어가 올지를 찾는 과정이 되겠습니다.
단어들이 각각 Vector로 변환되고, 위치 인코딩이 추가된 다음 (단어개수(=Seq), 임베딩 차원 d) 모양의 Matrix가 Self Att Block의 Input이 됩니다.
(Embedding관련 해서 어떻게 이게 되는지는 나중에 기회가 된다면...😌)
이제 input x를 가지고 3개의 Latent Matrix를 만들게 됩니다.
각각 Matrix의 이름을 Query, Key, Value라고 이름을 붙여줍니다.
현재 보면 Shape이 (단어개수 x 임베딩 d) ==> (단어개수 x Latent d)로 변경되었습니다.
Query, Key, Value가 특별한 Matrix같지만 사실상 기존 Input X를 다른 차원에 투영한 Matrix에 불과합니다.
즉, QKV는 각각 단어들의 특징을 Latent d개의 Vector에 압축하고있다고 할 수 있습니다.
Query와 Key간의 내적연산(두 Matrix간의 행렬곱)을 통해서 단어들 간의 얼마나 관계가 있는지 찾아냅니다.
두개의 Vector 내적연산을 하면 Vector끼리 얼마나 유사한지를 수치로 표현할 수가 있게 됩니다.
문제는 Life Is만 가지고 Short를 예측하는 단계에서, you, need와 같이 나오지 않은 단어와의 연관성도 찾아볼 경우 치팅이 되기때문에 이부분을 가려서 Masked Self Attention을 진행하게 됩니다.
이제 이 Masked Attention Pattern과 Value를 행렬곱을 취해서, 단어들의 최종 Attention Score를 구해 줍니다.
문제는 보면 이러한 Attention이 하나만 있는게 아니라, MultiHead Self Attention이라고 하여 위와같은 Attention이 한개 이상의 Masked Self Attention을 진행하게 됩니다.
분명 Input X와 Output이 동일해야 한다고 했습니다. 하지만 현재는 동일하지가 않죠?
그래서 출력된 3개(Head 개수)를 Concat하고, 이 Attention을 Input X와 동일한 차원으로 맞춰주게 됩니다.
FeedForward Layer의 경우 모델의 비선형성을 추가해서 좀더 학습이 잘되게 만든다 라고 되어있습니다.
근데 사실 이게 정확히 어떤 역할을 한다기 보다, 이걸 넣어보니깐 좀더 학습이 잘 되더라 Blcok 정도로 생각하면 좋습니다.
먼저 Input X를 행렬곱을 통해서 Matrix의 크기를 키워줍니다.
그리고, 다시 행렬곱을 통해서 Matrix를 축소시켜주는 열할을 합니다.
이렇게 많은 수의 Weight를 모델에 추가하면서
Input과 output Matrix의 구조가 동일한 Transformer Based LLM Model이 만들어지게 됩니다.
이제 마지막에 Output X를 가지고 Classification을 통해서 다음 단어가 무엇이 나올지를 예측하게 됩니다
Final X의 마지막 Row를 통해서 다음 단어를 예측 하게 됩니다.
전체 흐름을 보면 이렇게 흘러가게 됩니다.
DEVOTEE를 활성화 시키면
지금 작성한 댓글에 AI가 댓글을 달아줍니다.