로그인 선택
미리보기
커뮤니티
1,234
23.06.15
글 등록
카테고리를 선택해주세요.
DEVOTEE를 활성화 시키면
지금 작성한 커뮤니티 글에 대해 1개의 댓글을 달아줍니다.
버튼을 누르면 글 수정 시 ChatGPT가 작성한 댓글이 수정됩니다.
임시저장함에 저장되었습니다.
저장일시 : 2022.5.17 14:29:08
임시저장함
제목을 선택하시면 이어서 작성이 가능하며,
최대 20건까지 저장합니다.
최대 20건까지 저장합니다.
| 컨텐츠 유형 | 제목 | 저장일 | 삭제 |
|---|
본인인증
효율적인 데보션 서비스 이용 및
고객님의 소중한 개인정보보호를 위해
본인인증을 진행해주세요. 본인인증 미 진행 시 로그인이 제한됩니다.
고객님의 소중한 개인정보보호를 위해
본인인증을 진행해주세요. 본인인증 미 진행 시 로그인이 제한됩니다.
본인인증 실패
본인인증 로그인에 실패하였습니다.
회원이 아니시거나 본인인증 등록이
완료되지 않은 사용자입니다.
회원정보 연결
AI 시대, 최적의 GPU INFRA 선택 방안 (On-Premise VS Cloud)
- DEVOTEE 요약
- AI 시대에서 GPU는 핵심 인프라로 자리 잡았으며, 엔비디아 GPU 출시 주기 변화에 따라 AI 활용 목적(Serving, Fine-Tuning, Foundation 모델)에 맞춘 효율적 선택과 TCO 최소화 방안이 중요합니다. SK텔레콤은 람다와 협력하여 GPUaaS 서비스를 개발 중이며, 이를 통해 고객이 간편하게 사용할 수 있는 글로벌 서비스를 제공할 계획입니다.
AI 시대, GPU 가 AI INFRA 로써 핵심 경쟁력이 되고 있습니다.
GPU 의 합리적인 선택 기준에 대해 안내하여 드립니다.
엔비디아의 GPU 출시 주기 변경에 따라 AI Serving, Fine-Tunning, Foundation 모델 별, GPU 사용 기간과 패턴에 따른 TCO 최소화 방안을 설명 드립니다.
SK텔레콤이 람다와 함께 준비하고 있는 GPUaaS 의 특장점에 대해서도 소개합니다.
오상화SK텔레콤
SK텔레콤에서 람다와 협업하며 GPUaaS 를 새롭게 만들고 있습니다.
고객이 쉽게 쓸 수 있는 글로벌 서비스를 선보이려 합니다.
DevRel 님의 최신 블로그
더보기-
- [전문가 밋업#3] 금융 AI의 진화: 컨텍스트 설계와 에이전트 아키텍처 (은행 AI 전문가가 밝힌, 아무도 말해주지 않는 3가지 진실)
- 요약 금융 산업의 인공지능(AI) 패러다임이 생성형 AI의 등장으로 근본적인 전환을 맞이하고 있습니다. 과거의 AI가 RPA(로봇 프로세스 자동화)나 예측 모델을 통해 개별 업무를 자동화하는 ＇조각난 효율성＇에 머물렀다면, 현재는 고객의 언어를 이해하고 데이터의 ＇의미＇를 연결하여 의사결정을 보조하는 단계로 진화하고 있습니다. 이러한 변화의 핵심은 AI를 단순히 도입하는 것을 넘어, 비즈니스 목표에 맞는 ＇컨텍스트(문맥)＇를 어떻게 설계하고 활용하느냐에 있습니다. 금융권의 미래 경쟁력은 복잡하고 사일로화된 데이터로부터 의미 있는 관계망을 구축하는 ＇컨텍스트 플로우＇ 설계 능력에 달려 있습니다. 이를 위해 고객, 상품, 리스크, 영업, 시장이라는 5가지 핵심 컨텍스...
-
- 제9회 데보션 테크 데이 - AI와 함께 일하는 시대, 에이전트와 자동화 기술 발표 요약 및 영상 공유
- 지난 9월 1일 월요일에 SKT타워 4층 SUPEX홀에서 진행한 제9회 데보션 테크데이 발표 요약 및 영상을 공유드립니다. 본 발표 요약은 ＂에이닷 노트 기능＂을 통하여 요약하였습니다. 전체 발표자료는 ＂제9회_데보션_테크데이_배포용.pdf＂ 참고 부탁드립니다. 1. AWS 생성형 AI 최신 기술 동향과 주요 업데이트 핵심 단어: Al 에이전트, AWS, 에이전트코어, S3벡터, 스트렌저SDK 요약 Al 에이전트의 발 전단계와 AWS의 대응 서비스 소개 Al 에이전트 개발. 운영을 위한 모델, 도구, 프레임워크 혁신 필요성 설명 AWS의 에이전트코어, S3벡터, 스트렌저 SDK 등 주요 AI 서비스 및 기능 소개 🧠 AI 에이전트 발전 단...
-
- [전문가 밋업#2] AI 서비스 경쟁력은 기능보다 최적화와 UX에서 나온다
- 주요 질문 / 답변 내용 Q. 보이저엑스는 어떤 회사이고, 어떤 제품을 만들고 있나요? A. 2017년 설립된 보이저엑스는 영상·자막 편집 서비스 ‘브루(Vrew)’, 모바일 문서 스캐너 ‘브이플랫(vFlat)’ 등 크리에이터와 지식 노동자를 위한 AI 기반 툴을 개발하는 스타트업입니다. 브루(Vrew): 자동 자막 생성, 텍스트 기반 컷 편집, 텍스트 기반 비디오 생성 기능을 제공합니다. 브이플랫(vFlat): 책이나 문서를 스캔헤 PDF로 변환합니다. 이외에도 AI를 이용한 다양한 서비스들을 출시하고 있습니다. Q. 현재 맡고 계신 역할은 무엇인가요? A. vFlat에 들어가는 on-device 모델을 학습하기도 하고, AI 모델을 서빙하거나 서빙된 모델을 최...
-
- 제8회 데보션 테크 데이 - AI 인프라의 핵심, 데이터센터를 말하다 발표 요약 및 영상 공유
- 지난 7월 10일 목요일에 SKT타워 4층 SUPEX홀에서 진행한 제8회 데보션 테크데이 발표 요약 및 영상을 공유드립니다. 본 발표 요약은 ＂에이닷 노트 기능＂을 통하여 요약하였습니다. 전체 발표자료는 ＂제8회_데보션_테크데이_배포용.pdf＂ 참고 부탁드립니다. 위 행사와 관련된 현장 스케치 보도 기사는 아래 SKT 뉴스룸에서 확인하실 수 있습니다. https://news.sktelecom.com/213870 00.Keynote AI 데이터 센터의 구조와 운영 변화 : AI 데이터 센터, GPU 클러스터, 토큰 제조 공장, 전력 최적화, SK 솔루션 요약 AI 데이터 센터는 초병렬 연산과 고전력 소비로 기존 데이터 센터와 구조와 운영 방식...
DEVOTEE 추천 블로그
-
- AI 모델 추론을 위한 gpu 스펙 비교
- 잡담 == skip 가능 AI모델들의 파라미터수가 많아지고, huggingface라는 플랫폼을 통해 기본 모델들을 다운받아 finetuning하는 형태로 사용하는 패턴이 보편화되면서, 실제 사용에 있어서 대부분의 사람들과 기업들에게 있어서 점점 모델 학습보다는 모델 추론에 관심이 더 많아지고 있습니다. 이런 트랜드를 nvidia에서도 눈치를 챘는지, 새로운 gpu 모델들은 이런 추론 성능을 높이는데 좀 더 집중하고, 이 부분에 초점을 맞춰서 홍보를 하고 있습니다. 당연하게도 최신 gpu를 사용하는것이 성능을 높이는데 가장 좋은 선택이지만, 돈이 없거나, 미리 주문을 못했거나, gpu가 부족해서 이전에 사둔 gpu도 써야되거나 등등 다양한 이유로 최신 gpu를 사용...
-
- GenAI를 위한 서비스로서의 GPU가 필요한 이유
- Overview GPUaaS(GPU as a Service)는 ML 및 Gen AI 작업을 위해 더 많은 GPU가 필요한 조직을 위한 비용 효율적인 솔루션 역할을 합니다. 기존 자원의 사용을 최적화함으로써, GPUaaS는 조직이 새로운 하드웨어를 기다리지 않고도 애플리케이션을 구축하고 배포할 수 있게 해줍니다. 이번 포스트에서는 GPUaaS 서비스가 어떻게 작동하는지, GPU 부족 문제를 어떻게 해결할 수 있는지, 언제 GPUaaS를 사용해야 하는지, 그리고 이것이 Gen AI에 어떻게 적합한지 설명합니다. 기업들이 GPU 부족에 대처하는 방법 조직에서는 대량의 데이터를 동시에 처리하고, 계산 작업 속도를 높이며, AI, 데이터 시각화 등과 같은 특정 애플리케이션...
-
- SK텔레콤의 GPUaaS Full Stack
- AI 데이터 센터를 구축한 후, AI 서비스의 개발, 학습, 추론을 위해서는 다양한 형태의 GPU 및 클라우드 자원, 그리고 이를 지원하는 솔루션이 필요합니다. SK텔레콤의 GPUaaS 시스템은 고객이 AI 서비스 개발, 학습, 추론 등 원하는 용도에 맞춰 필요한 GPU 자원을 온디맨드로 제공하거나, 더 큰 규모의 GPU 자원을 약정 기간 동안 전용으로 사용할 수 있도록 지원합니다. 또한 다양한 AI/ML 솔루션도 함께 제공됩니다. 이러한 GPUaaS 서비스를 제공하기 위해서는 인프라부터 관리에 이르는 전체 소프트웨어 스택이 필요합니다. 이번 발표에서는 SK텔레콤이 구상하는 GPUaaS Full Stack과 각 영역별 구현을 위한 연구 및 개발 방향에 대해 설명할...
-
- 유무선 Infra의 Edge AI 진화 및 중장기 구조혁신
- Global AI company를 향한 SK텔레콤의 여정에서, 통신 네트워크에 AI 기술이 더해진 AI 유무선 인프라(Edge AI) 트랜스포메이션 방향성과 지향점을 소개하고, Edge AI 주요 추진 현황 및 성과를 공유합니다. 통신과 AI의 융합은 2030년경 도래할 것으로 예상되는 6G의 핵심 요소로 부각되고 있으며, 주요 AI 서버 및 칩 제조사들도 Telco 시장 진입을 시도하고 있습니다. SK텔레콤은 Global AI company를 향한 여정 중, 기존 Telco 인프라의 AI 유무선 인프라 진화를 통해 인프라의 가치를 높이고 새로운 수익화 모델의 기반이 되는 Edge AI 진화 전략을 추진하고 있습니다. 이번 발표에서는 SK텔레콤이 추진하고 있는 E...
DEVOTEE를 활성화 시키면
지금 작성한 댓글에 AI가 댓글을 달아줍니다.