DEVOCEAN

이번 포스팅은 AI 산업에서 필요한 HBM의 특징에 대해 작성해 보겠습니다.

DRAM과 HBM의 차이점

DRAM (Dynamic Random Access Memory)

• 구조와 기능: DRAM은 1개의 트랜지스터와 1개의 캐패시터로 구성된 셀을 사용하여 데이터를 저장합니다. 이 구조는 단순하면서도 고밀도의 메모리 저장을 가능하게 합니다.

• 특성: DRAM은 휘발성 메모리로, 전원이 공급되는 동안에만 데이터를 유지합니다. 데이터의 읽기/쓰기 속도가 빠르며, 대량의 데이터를 저장할 수 있어 컴퓨터와 모바일 기기에서 주로 사용됩니다.

• 응용 분야: DRAM은 CPU와 함께 작동하여 프로그램 실행 시 필요한 데이터를 빠르게 공급하는 역할을 합니다. 일반적으로 데스크톱, 노트북, 서버 등 다양한 IT 기기에 사용됩니다.

HBM (High Bandwidth Memory)

• 구조와 기능: HBM은 여러 개의 DRAM 다이를 수직으로 쌓아 올리고, TSV를 통해 연결하여 높은 데이터 전송 속도와 낮은 전력 소비를 실현한 메모리 기술입니다.

• 특성: HBM은 매우 높은 대역폭을 제공하며, GDDR 메모리보다 더 넓은 대역폭을 가집니다. 그러나 동작 속도는 낮고 구조가 복잡합니다. 여러 개의 칩으로 구성되어 열 관리가 필요하기 때문입니다.

• 응용 분야: HBM은 고성능 컴퓨팅(HPC), AI, 고해상도 그래픽 처리 등에서 사용됩니다. 특히 GPU와 같은 고성능 칩과 결합하여 성능을 극대화하는 데 활용됩니다

HBM이란?

• HBM은 High Bandwidth Memory의 줄임말인데, 영어 뜻 그대로 넓은 대역폭을 가진 메모리

• 메모리 반도체의 스펙은 용량, 속도, 대역폭로 정해집니다

1. 대역폭: 데이터가 메모리와 프로세서 간에 전송될 수 있는 속도

• 데이터 전송 효율: HBM은 높은 대역폭을 제공하여 데이터가 메모리와 프로세서 간에 빠르게 이동할 수 있도록 합니다. 이는 시스템의 전반적인 성능을 크게 향상시킵니다.

• 병목 현상 방지: 충분한 대역폭은 데이터 전송 시 발생할 수 있는 병목 현상을 줄여줍니다.

2. 속도: 메모리 반도체 내의 반응 속도 및 한 번에 이동시킬 수 있는 데이터의 양

• 응답 시간 개선: 높은 속도는 메모리 접근 시간을 줄여 응답성을 높입니다. 이는 실시간 처리나 고성능 컴퓨팅에 필수적입니다.

• 작업 처리 능력 향상: 빠른 속도는 더 많은 작업을 동시에 처리할 수 있게 해줍니다.

3. 용량: 기가바이트, 테라바이트 같은 단위로 나타나며, 실제 메모리 내에서 저장할 수 있는 데이터의 양

• 데이터 저장 증가: 용량이 클수록 더 많은 데이터를 저장할 수 있어, 복잡한 작업이나 대규모 데이터 처리가 가능합니다.

• 확장성 제공: 충분한 용량은 다양한 애플리케이션의 요구를 충족시키고 미래의 확장을 가능하게 합니다.

아래 이미지를 통해서 쉽게 HBM에 대해 파악해 보겠습니다.

위 이미지는 큰 창고에서 트럭들이 컨테이너를 운송하는 이미지입니다.

위 이미지를 메모리 반도체에 대입을 시키면 컨테이너 = 데이터, 창고의 크기 = 반도체의 용량, 도로 = 대역폭으로 대입을 시키면 이해하기 쉽습니다

창고가 클수록 컨테이너를 많이 저장 할 수 있고 도로가 넓을 수록 컨테이너를 빠르게 이동시킬 수 있듯이

이를 반도체에 대입하면 용량이 클 수록 데이터를 많이 저장할 수 있고 대역폭이 클 수록 데이터를 이동시킬 수 있는 능력이 뛰어납니다

위와 같은 특징들 때문에 HBM(High Bandwidth Memory)의 속도, 대역폭, 용량은 제품 성능에 크게 영향을 미치고 있습니다.

• 데이터 전송 속도: HBM의 높은 데이터 전송 속도는 메모리와 프로세서 간의 데이터 이동을 빠르게 하여 시스템의 전반적인 처리 속도를 향상

• 높은 대역폭: HBM은 기존 메모리 기술보다 훨씬 높은 대역폭을 제공하여, 대량의 데이터를 동시에 처리, AI 모델 훈련과 같은 데이터 집약적인 작업에서 병목 현상을 줄이고,

  GPU와 같은 고성능 프로세서가 최대한의 계산 능력을 발휘할 수 있도록 해주는 제품입니다.

• 용량: HBM의 3D 스택 구조는 더 많은 DRAM 다이를 수직으로 쌓아 높은 용량을 제공합니다.

  이는 AI 및 머신러닝과 같은 응용 프로그램에서 대규모 데이터셋을 효율적으로 저장하고 처리하는 데 필수적이며,

  HBM3는 최대 64GB의 용량을 지원하여 더 많은 데이터를 한 번에 처리할 수 있게합니다

HBM 반도체의 구조 및 원리

출처: 세계일보

HBM 구조

1. 3D 스택 구조: 여러 개의 DRAM 단품을 수직으로 쌓아 올린 구조입니다. 각 DRAM 다이는 서로 연결되어 높은 데이터 전송 효율을 제공합니다.

2. 로직 다이(컨트롤러): 메모리 스택 아래에 위치하여 데이터 전송을 관리하고 조정합니다.

3. TSV(Through-Silicon Via): 실리콘 관통 비아를 통해 각 DRAM 다이와 로직 다이를 연결합니다. 이는 전기적 신호를 빠르게 전달할 수 있도록 돕습니다.

원리

• 데이터 전송: TSV를 통해 수직으로 연결된 DRAM 단품 간의 데이터 전송이 가능하며, 이는 전통적인 평면 메모리보다 훨씬 빠른 속도를 제공합니다.

• 대역폭 증가: 3D 스택 구조와 넓은 인터페이스 덕분에 HBM은 높은 대역폭을 제공하여 AI 및 고성능 컴퓨팅 작업에서 데이터 병목 현상을 줄입니다.

• 전력 효율성: 짧은 데이터 경로와 효율적인 설계로 인해 전력 소비가 줄어들어, 에너지 효율성이 높은 메모리 솔루션을 제공합니다

HBM은 이러한 구조와 원리를 통해 AI 및 고성능 컴퓨팅 환경에서 필수적인 메모리 솔루션으로 자리 잡고 있습니다.