로그인 선택
미리보기
커뮤니티
23.06.15
글 등록
DEVOTEE를 활성화 시키면
지금 작성한 커뮤니티 글에 대해 1개의 댓글을 달아줍니다.
버튼을 누르면 글 수정 시 ChatGPT가 작성한 댓글이 수정됩니다.
임시저장함
최대 20건까지 저장합니다.
| 컨텐츠 유형 | 제목 | 저장일 | 삭제 |
|---|
본인인증
고객님의 소중한 개인정보보호를 위해
본인인증을 진행해주세요. 본인인증 미 진행 시 로그인이 제한됩니다.
본인인증 로그인에 실패하였습니다.
회원이 아니시거나 본인인증 등록이
완료되지 않은 사용자입니다.
회원정보 연결
고등학생도 이해하는 Transformer (Deep Learning) #3
- DEVOTEE 요약
- 본 블로그에서는 그래픽스의 Affine 변환을 간단히 설명한 후, Transformer로 넘어갑니다. Affine 변환은 매트릭스 연산, 특히 벡터의 내적을 통해 객체 이동과 회전을 계산하며, 이러한 연산은 GPU에서 병렬 처리가 가능하여 빠른 수행이 가능합니다. 내적은 유사성이나 영향을 측정하는 것이 중요하며, 앞으로 설명할 다차원 공간에서도 내적의 개념을 이해하면 쉽게 접근할 수 있습니다.
고등학생도 이해하는 Transformer (Deep Learning) #1
고등학생도 이해하는 Transformer (Deep Learning) #2
원래 계획으로는 그래픽스 (Affine) Transform / Rotation / Reflection을 원리를 설명하고 다음을 진행하려고 하였으나,
너무 그래픽스에 내용이 나오는 것 같아서 자제하는 것이 좋을 것 같아 간단히 설명하고 Transformer로 넘어가도록 하겠습니다.
아래 그림을 보면 관점(카메라)의 이동과 객체의 이동과 회전에 대해 설명하고 있습니다.
실제로는 매트릭스 연산, 즉 벡터의 내적들의 모음으로 되어 있고, 각 객체, 위치, 픽셀별로 계산을 수행해야 하기 때문에 내적연산이 빠르게 많이 일어나야 합니다.
따라서 GPU는 이러한 그래픽스 연산 특화를 위해 병렬 내적 연산을 빠르게 수행 할 수 있게 설계가 되었습니다.
출처 : songho.ca - OpenGL Camera
Affine Transform 매트릭스
아래 그림과 같이 RGB 컬러 스페이스(각 Basis Vector가 Red, Green, Blue를 나타냄)를 YUV, CMYK, HSI등 다른 컬러 스페이스로 변환할때도
변환 메트릭스로 내적 연산을 이용해서 Basis Vector를 해당 컬러 스페이스로 변환하는데도 이용할 수 있습니다.
필자는 과게에 YUV를 RGB로 컬러 스페이스 변환을 빠르게 하기 위해 OpenGL 쉐이더를 이용하여 빠르게 변환한 적이 있습니다.
이는 GPU를 이용하여 빠르게 내적연산을 수행한것이고, 동일 연산을 CPU를 이용할 경우 모든 Pixel을 일일이 연산해야 하기에 성능이슈가 발생하였습니다.
Deep Learning도 내적을 이용하여 많은 파라메터를 연산하므로 GPGPU(General Pupose GPU)를 이용하면 효율을 높일 수 있습니다.
출처 : 3D RGB color-space
그래픽스는 3차원 공간이므로 머릿속으로 연산및 상상이 가능하기에 짧게만 이야기 하고 넘어가도록 하겠습니다.
중요한것은 계속 강조 드리지만 내적의 의미 입니다.
내적의 의미는 얼마나 유사한지, 영향을 주는지, 닮았는지는 나타냅니다.
이것만 기억 이해 부탁드립니다,
사실 앞으로 설명드릴 내용에서는 4차원 이상의 공간이여서 머릿속으로 이해하려면 조금 다른 접근 방법이 필요합니다.
지금까지 3차원 공간에서 설명한것은 현실세계와 동일하지만 내적의 의미만 충분히 이해 한다면 쉽게 다차원도 이해 됩니다.
앞으로는 왠만하면 수학 공식이 없으므로 기대 하셔도 됩니다 ^^
fromDK 님의 최신 블로그
더보기-
- Docker 빌드시 의존성(패키지 버전) 문제 확인 및 해결 방법
- Docker build 시 설치되는 패키지의 의존성으로 기존에 설치된 패키지의 버전이 업/다운그레이드 되는 경우가 있습니다. 이때 아래와 같이 Docker build시 log를 출력해서 uninstall 로 검색하면 버전의 변경되는 것으로 확인 할 수 있습니다. docker build --progress=plain --no-cache -t { TAG } -f Dockerfile . 2〉＆1 | tee build.log 예를 들어 아래와 같이 pillow 버전이 12.0.0을 제거 하고, 다시 pillow-11.3.0을 설치하고 있다. 만약 다른 패키지만 12.0.0 이 꼭 필요한 패키지가 있으면 해당 패키지는 의존 패키지 버전 미스매칭으로 런타임시 오류가 발생합니...
-
- 고등학생도 이해하는 Transformer (Deep Learning) #6 - Deep Learning이란
- 고등학생도 이해하는 Transformer (Deep Learning) #1 고등학생도 이해하는 Transformer (Deep Learning) #2 고등학생도 이해하는 Transformer (Deep Learning) #3 고등학생도 이해하는 Transformer (Deep Learning) #4 고등학생도 이해하는 Transformer (Deep Learning) #5 이전 5편에서는 Linear Layer를 이용한 손글씨 분류기를 만들어 보았습니다. 사실 아직 Deep Learning이 아니라 Machine Learning으로만 이야기 하고 있습니다. 그럼 AI(Artificial Intelligence), ML(Machine Learning)과 DL(Dee...
-
- 고등학생도 이해하는 Transformer (Deep Learning) #5 (업데이트)
- 고등학생도 이해하는 Transformer (Deep Learning) #1 고등학생도 이해하는 Transformer (Deep Learning) #2 고등학생도 이해하는 Transformer (Deep Learning) #3 고등학생도 이해하는 Transformer (Deep Learning) #4 지난 시간에 내적의 의미를 다시 한번 생각 해봤습니다. 내적의 의미를 알면 계산을 하지 않아도 어느 벡터가 서로 얼마나 유사한지, 영향을 주는지, 닮았는지 형태만 보고서도 알 수 있었습니다. 지금까지 나온 이야기가 딥러닝과 너무 거리가 멀다는 이야기가 있어서 이번에는 실제 코드로 내적을 실습 해보고자 합니다. (아~ 고등학생은 Python 모를려나요? ^^；； 대신 그...
-
- 고등학생도 이해하는 Transformer (Deep Learning) #4
- 고등학생도 이해하는 Transformer (Deep Learning) #1 고등학생도 이해하는 Transformer (Deep Learning) #2 고등학생도 이해하는 Transformer (Deep Learning) #3 자, 이번 시간에는 4차원 이상의 벡터의 내적에 대해 이해 하고 넘어가도록 합시다. 되도록 수학연산은 안하도록 하겠습니다 ^^ 아래 4차원 Basis Vector를 머릿속으로 그려 봅시다. 첫번째 Basis Vector는 ［ 0.5000, 0.5000, 0.5000, 0.5000 ］ 이거 두번째 벡터는 ［ 0.6533, 0.2706, -0.2706, -0.6533 ］ 세번째.... 네번째 벡터로 구성되어 있습니다. 이러한 벡터의 모음을 행렬(...
DEVOTEE 추천 블로그
-
- 고등학생도 이해하는 Transformer (Deep Learning) #1
- 예전에 ＂고등학생도 이해할 수 있는 Transformer＂의 제목으로 세미나를 한적이 있다. 제목이 너무 도발적이여서 그런지 이거 이해 못하면 고등학생보다 못하냐? 나는 질문을 많이 받았다 아래에서 이야기 하려는 것은 내적, Inner product에 관한 이야기이다. 내적은 2000년 이전 이과 고등학생들이 벡터와 함께 배우는 연산이었다. (2000년 이후에는 교과과정 개편으로 더이상 배우지 않는다고 한다. 이제는 고등학교에서 배우지 않으므로, 내적을 이해 못해도 다행히 고등학생 보다 못한다고 말하지 못할 듯) 내적은 벡터의 각 성분을 곱하고 더한 값이다. 사실 나도 고등학교때는 이게 무슨 의미인지 모르고 그냥 산수만 했었던것 같은데 대학원을 진학 하면서 지도교...
-
- 고등학생도 이해하는 Transformer (Deep Learning) #2
- 고등학생도 이해하는 Transformer (Deep Learning) #1 지난 시간에는 내적의 의미를 알아보았다. 항상 강조하지만, 내적의 의미를 알아야 Transformer와 DL(Deep Learning)모델을 이해할 수 있다. 내적의 의미는 두 벡터가 얼마나 유사한지, 영향을 주는지, 닮았는지를 나타내는 연산이다. 이것만 기억하고 이번에는 그래픽스 처리에서 이용되는 내적연산에 대해 알아 보자. 그래픽스 처리에 내적이 이용되는 것을 설명을 하는 이유는 아래아 같다. 2,3차원 벡터 연산은 현실과 유사하기 때문에 이해하기가 쉽다. (2,3차원이 이해되어야 고차원의 연산이 이해가 됨) 3D 오브젝트는 점, 선, 면(Vertices, Edges, Faces, Po...
-
- AI 학습을 위한 LLM 스터디 - 배치 전략 및 어텐션 개선 방안
- 안녕하세요, T멤버십서비스팀 유희현입니다. LLM에 대해 아무것도 모른채로 공부하고 싶은 마음에 LLM 스터디 (딥그라운드)에서 좋은 기회로 이렇게 제가 공부한 부분에 대해 정리 하게 되었습니다. 사실 AI라는 분야가 워낙 방대해서 처음에는 어디서부터 시작해야 할지 막막했어요. 하지만 조금씩 공부하다 보니 재미있는 부분들이 많이 보이더라구요. 부족한 점이 많겠지만, 저와 비슷한 초보자 분들에게 조금이나마 도움이 되었으면 좋겠어요. 배치 전략 입력 데이터 추론 시, 한번에 많은 데이터를 받으면 좋겠지만, 한번의 하나씩 토큰을 생성하고 입력에 따라 몇의 토큰을 추가할 지 예상하기 어려워 데이터 처리에 전략이 필요하다. 일반배치, 또는 정적배치는 전통적인 배치 처리 방...
-
- 수식없이 GPT(트랜스포머) 이해하기. 1편
- 안녕하세요 Teus입니다. 이번 포스팅은 GPT의 근간이 되는 트랜스포머의 Self Attention Block이 어떤 구조로 되어있는지 간단히(?) 알아봅니다. 행렬곱 에 대한 이해만 있으면 됩니다. 1. LLM Model의 구조 현재 LLM모델을 Transformer를 Base로 Transformer의 Decoder만을 사용해서 구현되고 있습니다. 그래서 위 구조를 잘 살펴보면 1 . Text가 들어가서 Text ＆ Position Embedding을 거치면 단어가 d차원의 Vector로 바뀐다. 2 . d차원의 Vector가 Masked Multi Self Attention으로 들어가고, 그 결과가 기존 값이랑 합쳐진다 여기서 중요한게, Masked Mult...
DEVOTEE를 활성화 시키면
지금 작성한 댓글에 AI가 댓글을 달아줍니다.