로그인 선택
미리보기
커뮤니티
1,234
23.06.15
글 등록
카테고리를 선택해주세요.
DEVOTEE를 활성화 시키면
지금 작성한 커뮤니티 글에 대해 1개의 댓글을 달아줍니다.
버튼을 누르면 글 수정 시 ChatGPT가 작성한 댓글이 수정됩니다.
임시저장함에 저장되었습니다.
저장일시 : 2022.5.17 14:29:08
임시저장함
제목을 선택하시면 이어서 작성이 가능하며,
최대 20건까지 저장합니다.
최대 20건까지 저장합니다.
| 컨텐츠 유형 | 제목 | 저장일 | 삭제 |
|---|
본인인증
효율적인 데보션 서비스 이용 및
고객님의 소중한 개인정보보호를 위해
본인인증을 진행해주세요. 본인인증 미 진행 시 로그인이 제한됩니다.
고객님의 소중한 개인정보보호를 위해
본인인증을 진행해주세요. 본인인증 미 진행 시 로그인이 제한됩니다.
본인인증 실패
본인인증 로그인에 실패하였습니다.
회원이 아니시거나 본인인증 등록이
완료되지 않은 사용자입니다.
회원정보 연결
대용량 AI 모델의 학습 및 추론 기술 발전에 따른 가속기 Trend와 HBM 전망
- DEVOTEE 요약
- 대용량 AI 모델의 학습은 방대한 계산량과 수많은 고성능 GPU의 병렬 작업을 필요로 하며, 이에 따라 GPU와 HBM(고대역폭 메모리)의 관계와 전망이 중요합니다. 또한, AI 모델 추론 과정에서 비용이 급증할 가능성이 있어, HBM의 대역폭과 용량이 핵심 역할을 하며 최신 AI 가속기 설계에서도 이를 반영하고 있습니다. 발표자는 AI 가속화와 최적화 연구를 진행하며 관련 분야 인재를 양성하고 있는 서울대학교 유승주 교수로, 추론 비용 및 성능 개선 방향에 대해 다룰 예정입니다.
대용량 AI 모델 학습은 대량의 계산량을 특징으로 합니다. 그런데 1~2개월의 제한된 시간에 학습을 수행하기 위해서는 수만대의 고성능 GPU를 필요로 합니다.
이번 발표의 초반부에는 대용량 AI 모델 학습을 위한 GPU 상의 초대규모 병렬 수행 문제 및 이를 위한 상용 솔루션들
그리고 이와 관련된 가속기와 HBM의 관계 및 전망을 다룰 예정입니다.
OpenAI의 o1이 대표하는 AI 모델의 추론 비용-정확도 비례관계는 앞으로 추론비용이 급속도로 늘어날 것이라는 것을 보여줍니다.
이번 발표의 후반부에는 대용량 AI 모델 추론의 비용 문제를 설명하고 이와 관련된 HBM의 대역폭, 용량의 중요성
그리고 이러한 관계에서 도출된 최신 서버향 AI 가속기 구조에 대해 설명해 드리겠습니다.
유승주서울대학교
서울대학교 전자공학과 학사/박사 졸업 후, France TIMA 연구소 연구원, 삼성전자 S.LSI 수석연구원 및 포항공대 부교수를 거쳐 '15년부터 현재까지 서울대학교 컴퓨터 공학부 교수로 역임 중입니다.
’18년 Facebook 본사에서 연구년을 수행하며 서버/모바일 시스템의 모델/하드웨어 통합설계공동연구를 수행했습니다.
현재 서울대학교에서 운영중인 컴퓨팅 및 메모리 구조 연구실을 통해 매년 Global 반도체/System 업계 핵심인재를 양성/ 배출해왔으며
AI 모델 가속화, 통합 최적화 연구를 활발히 진행하고 있습니다.
#Training #Inference #Accelerator #GPU HBM
DevRel 님의 최신 블로그
더보기-
- [전문가 밋업#3] 금융 AI의 진화: 컨텍스트 설계와 에이전트 아키텍처 (은행 AI 전문가가 밝힌, 아무도 말해주지 않는 3가지 진실)
- 요약 금융 산업의 인공지능(AI) 패러다임이 생성형 AI의 등장으로 근본적인 전환을 맞이하고 있습니다. 과거의 AI가 RPA(로봇 프로세스 자동화)나 예측 모델을 통해 개별 업무를 자동화하는 ＇조각난 효율성＇에 머물렀다면, 현재는 고객의 언어를 이해하고 데이터의 ＇의미＇를 연결하여 의사결정을 보조하는 단계로 진화하고 있습니다. 이러한 변화의 핵심은 AI를 단순히 도입하는 것을 넘어, 비즈니스 목표에 맞는 ＇컨텍스트(문맥)＇를 어떻게 설계하고 활용하느냐에 있습니다. 금융권의 미래 경쟁력은 복잡하고 사일로화된 데이터로부터 의미 있는 관계망을 구축하는 ＇컨텍스트 플로우＇ 설계 능력에 달려 있습니다. 이를 위해 고객, 상품, 리스크, 영업, 시장이라는 5가지 핵심 컨텍스...
-
- 제9회 데보션 테크 데이 - AI와 함께 일하는 시대, 에이전트와 자동화 기술 발표 요약 및 영상 공유
- 지난 9월 1일 월요일에 SKT타워 4층 SUPEX홀에서 진행한 제9회 데보션 테크데이 발표 요약 및 영상을 공유드립니다. 본 발표 요약은 ＂에이닷 노트 기능＂을 통하여 요약하였습니다. 전체 발표자료는 ＂제9회_데보션_테크데이_배포용.pdf＂ 참고 부탁드립니다. 1. AWS 생성형 AI 최신 기술 동향과 주요 업데이트 핵심 단어: Al 에이전트, AWS, 에이전트코어, S3벡터, 스트렌저SDK 요약 Al 에이전트의 발 전단계와 AWS의 대응 서비스 소개 Al 에이전트 개발. 운영을 위한 모델, 도구, 프레임워크 혁신 필요성 설명 AWS의 에이전트코어, S3벡터, 스트렌저 SDK 등 주요 AI 서비스 및 기능 소개 🧠 AI 에이전트 발전 단...
-
- [전문가 밋업#2] AI 서비스 경쟁력은 기능보다 최적화와 UX에서 나온다
- 주요 질문 / 답변 내용 Q. 보이저엑스는 어떤 회사이고, 어떤 제품을 만들고 있나요? A. 2017년 설립된 보이저엑스는 영상·자막 편집 서비스 ‘브루(Vrew)’, 모바일 문서 스캐너 ‘브이플랫(vFlat)’ 등 크리에이터와 지식 노동자를 위한 AI 기반 툴을 개발하는 스타트업입니다. 브루(Vrew): 자동 자막 생성, 텍스트 기반 컷 편집, 텍스트 기반 비디오 생성 기능을 제공합니다. 브이플랫(vFlat): 책이나 문서를 스캔헤 PDF로 변환합니다. 이외에도 AI를 이용한 다양한 서비스들을 출시하고 있습니다. Q. 현재 맡고 계신 역할은 무엇인가요? A. vFlat에 들어가는 on-device 모델을 학습하기도 하고, AI 모델을 서빙하거나 서빙된 모델을 최...
-
- 제8회 데보션 테크 데이 - AI 인프라의 핵심, 데이터센터를 말하다 발표 요약 및 영상 공유
- 지난 7월 10일 목요일에 SKT타워 4층 SUPEX홀에서 진행한 제8회 데보션 테크데이 발표 요약 및 영상을 공유드립니다. 본 발표 요약은 ＂에이닷 노트 기능＂을 통하여 요약하였습니다. 전체 발표자료는 ＂제8회_데보션_테크데이_배포용.pdf＂ 참고 부탁드립니다. 위 행사와 관련된 현장 스케치 보도 기사는 아래 SKT 뉴스룸에서 확인하실 수 있습니다. https://news.sktelecom.com/213870 00.Keynote AI 데이터 센터의 구조와 운영 변화 : AI 데이터 센터, GPU 클러스터, 토큰 제조 공장, 전력 최적화, SK 솔루션 요약 AI 데이터 센터는 초병렬 연산과 고전력 소비로 기존 데이터 센터와 구조와 운영 방식...
DEVOTEE 추천 블로그
-
- AI 모델 추론을 위한 gpu 스펙 비교
- 잡담 == skip 가능 AI모델들의 파라미터수가 많아지고, huggingface라는 플랫폼을 통해 기본 모델들을 다운받아 finetuning하는 형태로 사용하는 패턴이 보편화되면서, 실제 사용에 있어서 대부분의 사람들과 기업들에게 있어서 점점 모델 학습보다는 모델 추론에 관심이 더 많아지고 있습니다. 이런 트랜드를 nvidia에서도 눈치를 챘는지, 새로운 gpu 모델들은 이런 추론 성능을 높이는데 좀 더 집중하고, 이 부분에 초점을 맞춰서 홍보를 하고 있습니다. 당연하게도 최신 gpu를 사용하는것이 성능을 높이는데 가장 좋은 선택이지만, 돈이 없거나, 미리 주문을 못했거나, gpu가 부족해서 이전에 사둔 gpu도 써야되거나 등등 다양한 이유로 최신 gpu를 사용...
-
- DEcentralization: 프로세서 및 메모리 시스템 연구 동향 및 전망
- AI 기술의 발달로 인한 새로운 형태의 어플리케이션이 주류로 떠오르면서 기존의 컴퓨터 시스템은 새로운 구조적 연구를 필요로 하고 있습니다. 기존의 컴퓨터 시스템이 정형화된 메모리 계층 구조와 계층 구조의 최상위에 위치한 빠른 프로세서 구조로 이루어져 있다면, 현대의 컴퓨터 시스템 구조 연구는 대용량의 데이터 처리를 위한 병렬화된 가속기 연구와 데이터 이동 비용을 줄이기 위한 데이터 중심의 연산 모델 구조 연구가 활발하게 진행되고 있습니다. 또한 대용량 메모리풀을 제공하기 위하여 CXL 기반의 fabric-attached memory와 같이 새로운 메모리 프로토콜을 이용한 메모리 시스템 연구도 활발하게 진행되고 있습니다. 이와 같은 새로운 프로세서 및 메모리 시스템...
-
- LLM system에서 고용량 HBM의 성능 이득 탐색
- 용량 관점에서 특히 뛰어난 기술적 리더십으로, SK하이닉스의 HBM은 시장에서 유일한 선택지가 될 것으로 기대됩니다. 그러나 고용량 HBM이 성능 관점에서 어떠한 이득이 있는지에 대해서 명확하게 알아본 연구가 없습니다. 이번 발표에서 다양한 LLM 추론 학습 환경에서 고용량 HBM의 성능적 장점을 설명해 드리겠습니다. 전재영SK하이닉스 분산 컴퓨팅, 운영 체제, 메모리 관리, 메모리 계층 구조, 메모리 신뢰성, 하드웨어 로직 설계 등 시스템 아키텍처 분야에서 다양한 경험을 가지고 있습니다. 최근에는 대형 언어 모델(LLM) 시스템 분석에 집중하고 있습니다. #LLM #Training #Inference #High capacity HBM
-
- HPC를 여행하는 히치하이커를 위한 안내서 Part 1.
- 들어가며 AI 모델 개발 조직이라면 흔히 겪는 문제가 있습니다. 상황 1: 월요일 오전 9시 개발팀 A: 할당받은 GPU 8개로 소규모 모델 학습 중 개발팀 B: 긴급한 데모를 위해 GPU 32개가 필요하지만, 할당받은 8개로는 택도 없음 개발팀 C: GPU 8개를 할당받았지만 그대로 방치 중이며, 이번 달 평균 사용률은 5% 상황 2: 그 순간 서버실에서는 긴급하게 연락받고 전체 클러스터 상황을 보니 30개 이상의 GPU가 아무 일도 하지 않고 있음 막대한 비용을 투자한 GPU 인프라가 제대로 활용되고 못하고 있는 겁니다. 이는 단순히 배분을 잘못해서가 아닙니다. 개발 조직별, 프로젝트별로 GPU를 개별 할당하는 방식 자체의 한계입니다. 이러한 비효율성을 해결하...
DEVOTEE를 활성화 시키면
지금 작성한 댓글에 AI가 댓글을 달아줍니다.