DEVOCEAN

안녕하세요.

오늘은 요즘 핫한 'Nvidia의 GPU' 이야기를 간단히 해보려고 합니다.

OpenAI 의 ChatGPT가 AI의 실효성을 보여주며, 대 AI 시대의 서막을 열었습니다.

AI 학습에 "GPU"가 왜 중요한지 알아보겠습니다.

우선 GPU가 무엇인가? 부터 살펴보면, 양의 데이터를 동시에 처리할 수 있는 병렬 처리 장치입니다.

Nvidia에서 CPU 와 GPU의 차이를 보여주기 위해 촬영한 영상입니다.

GPU 대 CPU Youtube Link (14 years ago)

CPU 가 입출력을 한번에 한 발씩 한다고 하면

GPU 는 대포처럼 병렬로 된 계산을 한 번에 출력하게 됩니다.

이는 계산 속도에 엄청난 차이를 발생하게 합니다.

최근 AI 학습에 기본이 되는 Neural Network(인공 신경망)은 GPU에 최적화 되어있습니다.

Nvidia GPU 와 AI (Nvidia Korea 공식 블로그)

(이유는 위 블로그 포스팅에 중간 쯤 자세히 설명 되어있습니다.)

왼쪽 CPU 구조 / 오른쪽 GPU 구조

앞선 영상처럼 CPU는 복잡한 알고리즘을 해결하기 위한 한 개의 연산을 해내고, GPU는 한번에 단순한 병렬연산을 해내게 됩니다.

AI 학습은 기본적으로 단순 반복학습으로 이뤄지는데, 단순한 y = Wx 연산을 통해 최적의 W(가중치,파라미터)를 찾는 무한 연산입니다.

GPU 연산의 효율성을 보기위해 예를 들어보겠습니다.

OpenAI의 GPT3 Model을 만들기 위해 175B의 파라미터(약 45TB)를 갖는 데이터를 학습시켰습니다..

최신 CPU와 GPU를 기준으로 성능을 비교를 하면 아래와 같습니다.

1 epoch 에 반년이상이 걸리는 CPU로는 빠르게 변화하는 AI Trend를 선도하기는 어려울 것 입니다.

현재 GPT4 는 1조개 이상 GPT3 대비 6배 이상이며, llama3.1은 40.5B으로 최근 트랜드가 대형 모델을 학습시켜야하기에, GPU가 필수적으로 필요하게 됩니다.

뿐만 아니라 Nvidia 는 AI 학습에 필수적인, Cuda 생태계를 지니고 있으며, Nvlink, transformer model engine 등을 제공하고 있기에, 현재로써는 필수불가결한 존재로 자리하고 있습니다.

여담으로 Nvidia가 Cuda 생태계를 Nvidia GPU를 사용해야만 활용할 수 있게 하여 다른 빅테크들에게 강매를 하고 있는데요.

애플의 M Chip / Google 의 TPU 생태계 뿐아니라 다양한 AI Chip을 만들며 대응하고 있습니다.

그렇지만, 아직은 꾸준히 병렬 계산을 연구해온 Nvidia 를 대체할만한 AI Chip은 나오지 않고 있는데요.

덕분에 HBM이 잘 팔려서 항상 감사하고 있습니다. Nvidia 파이팅 ^_^

글이 흥하면, HBM 이야기도 해보겠습니다.