로그인 선택
미리보기
커뮤니티
1,234
23.06.15
글 등록
카테고리를 선택해주세요.
DEVOTEE를 활성화 시키면
지금 작성한 커뮤니티 글에 대해 1개의 댓글을 달아줍니다.
버튼을 누르면 글 수정 시 ChatGPT가 작성한 댓글이 수정됩니다.
임시저장함에 저장되었습니다.
저장일시 : 2022.5.17 14:29:08
임시저장함
제목을 선택하시면 이어서 작성이 가능하며,
최대 20건까지 저장합니다.
최대 20건까지 저장합니다.
| 컨텐츠 유형 | 제목 | 저장일 | 삭제 |
|---|
본인인증
효율적인 데보션 서비스 이용 및
고객님의 소중한 개인정보보호를 위해
본인인증을 진행해주세요. 본인인증 미 진행 시 로그인이 제한됩니다.
고객님의 소중한 개인정보보호를 위해
본인인증을 진행해주세요. 본인인증 미 진행 시 로그인이 제한됩니다.
본인인증 실패
본인인증 로그인에 실패하였습니다.
회원이 아니시거나 본인인증 등록이
완료되지 않은 사용자입니다.
회원정보 연결
AI DC 운영 최적화를 위한 AWS 컨테이너 솔루션 및 사례 소개
- DEVOTEE 요약
- 컨테이너 기술은 AI 데이터 센터에서 GPU 서버의 유연성, 확장성, 빠른 배포를 지원하며 운영 최적화에 중요한 역할을 합니다. Amazon EKS 솔루션 포트폴리오와 이를 활용한 'Data & GenAI on EKS' 프레임워크를 통해 AI 클라우드 역량 강화 및 효율적 운영 방안을 소개합니다. 또한 Observability, AI 모델 배포 아키텍처, Karpenter 활용 사례 등 AI DC 최적화를 위한 AWS 컨테이너 솔루션 활용 팁을 제공합니다.
컨테이너 기술은 AI DC에서 학습과 추론 등에 필수적인 GPU 서버와 안정적 운영을 위해 유연성과 확장성, 빠른 배포와 스케일링을 지원합니다.
이번 발표에서는 컨테이너 기술을 AI DC 운영에 활용하기 위한 Amazon EKS 컨테이너 하이브리드 솔루션 포트폴리오 (EKS, EKS Anywhere, EKS Distro) 를 소개하고, 컨테이너 기술을 기반으로 AI 클라우드 역량 및 운영 최적화 활용하기 위한 레퍼런스 프레임워크인 Data & GenAI on EKS를 설명합니다.
또한, Observability와 같은 운영 이슈, AI 모델 배포 & 서빙 시나리오에서 제안되는 주요 아키텍처 패턴 및 Karpenter를 활용한 인프라 효율 항상 등 AI DC 운영 및 최적화를 위한 AWS 컨테이너 솔루션 활용 팁 및 주요 사례를 소개하고자 합니다.
최영락AWS
Amazon Web Services에서 컨테이너 스페셜리스트로 일하고 있는 최영락입니다.
엔터프라이즈 앱에 대한 마이그레이션 및 현대화 여정에서 컨테이너 기술이 비즈니스에 보탬이 될 수 있도록 고민하며 돕고 있습니다.
#AWS #Container #GPU #EKS #AI DC
DevRel 님의 최신 블로그
더보기-
- [전문가 밋업#3] 금융 AI의 진화: 컨텍스트 설계와 에이전트 아키텍처 (은행 AI 전문가가 밝힌, 아무도 말해주지 않는 3가지 진실)
- 요약 금융 산업의 인공지능(AI) 패러다임이 생성형 AI의 등장으로 근본적인 전환을 맞이하고 있습니다. 과거의 AI가 RPA(로봇 프로세스 자동화)나 예측 모델을 통해 개별 업무를 자동화하는 ＇조각난 효율성＇에 머물렀다면, 현재는 고객의 언어를 이해하고 데이터의 ＇의미＇를 연결하여 의사결정을 보조하는 단계로 진화하고 있습니다. 이러한 변화의 핵심은 AI를 단순히 도입하는 것을 넘어, 비즈니스 목표에 맞는 ＇컨텍스트(문맥)＇를 어떻게 설계하고 활용하느냐에 있습니다. 금융권의 미래 경쟁력은 복잡하고 사일로화된 데이터로부터 의미 있는 관계망을 구축하는 ＇컨텍스트 플로우＇ 설계 능력에 달려 있습니다. 이를 위해 고객, 상품, 리스크, 영업, 시장이라는 5가지 핵심 컨텍스...
-
- 제9회 데보션 테크 데이 - AI와 함께 일하는 시대, 에이전트와 자동화 기술 발표 요약 및 영상 공유
- 지난 9월 1일 월요일에 SKT타워 4층 SUPEX홀에서 진행한 제9회 데보션 테크데이 발표 요약 및 영상을 공유드립니다. 본 발표 요약은 ＂에이닷 노트 기능＂을 통하여 요약하였습니다. 전체 발표자료는 ＂제9회_데보션_테크데이_배포용.pdf＂ 참고 부탁드립니다. 1. AWS 생성형 AI 최신 기술 동향과 주요 업데이트 핵심 단어: Al 에이전트, AWS, 에이전트코어, S3벡터, 스트렌저SDK 요약 Al 에이전트의 발 전단계와 AWS의 대응 서비스 소개 Al 에이전트 개발. 운영을 위한 모델, 도구, 프레임워크 혁신 필요성 설명 AWS의 에이전트코어, S3벡터, 스트렌저 SDK 등 주요 AI 서비스 및 기능 소개 🧠 AI 에이전트 발전 단...
-
- [전문가 밋업#2] AI 서비스 경쟁력은 기능보다 최적화와 UX에서 나온다
- 주요 질문 / 답변 내용 Q. 보이저엑스는 어떤 회사이고, 어떤 제품을 만들고 있나요? A. 2017년 설립된 보이저엑스는 영상·자막 편집 서비스 ‘브루(Vrew)’, 모바일 문서 스캐너 ‘브이플랫(vFlat)’ 등 크리에이터와 지식 노동자를 위한 AI 기반 툴을 개발하는 스타트업입니다. 브루(Vrew): 자동 자막 생성, 텍스트 기반 컷 편집, 텍스트 기반 비디오 생성 기능을 제공합니다. 브이플랫(vFlat): 책이나 문서를 스캔헤 PDF로 변환합니다. 이외에도 AI를 이용한 다양한 서비스들을 출시하고 있습니다. Q. 현재 맡고 계신 역할은 무엇인가요? A. vFlat에 들어가는 on-device 모델을 학습하기도 하고, AI 모델을 서빙하거나 서빙된 모델을 최...
-
- 제8회 데보션 테크 데이 - AI 인프라의 핵심, 데이터센터를 말하다 발표 요약 및 영상 공유
- 지난 7월 10일 목요일에 SKT타워 4층 SUPEX홀에서 진행한 제8회 데보션 테크데이 발표 요약 및 영상을 공유드립니다. 본 발표 요약은 ＂에이닷 노트 기능＂을 통하여 요약하였습니다. 전체 발표자료는 ＂제8회_데보션_테크데이_배포용.pdf＂ 참고 부탁드립니다. 위 행사와 관련된 현장 스케치 보도 기사는 아래 SKT 뉴스룸에서 확인하실 수 있습니다. https://news.sktelecom.com/213870 00.Keynote AI 데이터 센터의 구조와 운영 변화 : AI 데이터 센터, GPU 클러스터, 토큰 제조 공장, 전력 최적화, SK 솔루션 요약 AI 데이터 센터는 초병렬 연산과 고전력 소비로 기존 데이터 센터와 구조와 운영 방식...
DEVOTEE 추천 블로그
-
- NVIDIA GPU Operator로 GPU 모니터링 PoC 구축하기
- GPU를 활용한 클라우드 환경에서는 비용 효율적이고 안정적인 운영을 위해 GPU 자원의 성능 지표(Metric)를 정확하게 수집하고 분석할 수 있는 모니터링 시스템 구축이 필수적입니다. 특히 GPU 인스턴스는 높은 성능만큼 비용도 상대적으로 높아 효율적인 자원 관리와 비용 최적화가 매우 중요합니다. 본 글에서는 이러한 과제를 해결하기 위해 AWS의 GPU 스팟(Spot) 인스턴스(g4dn, g5, g6)를 기반으로 Kubernetes(EKS) NodeGroup을 구성하고, NVIDIA GPU Operator를 통해 GPU 자원을 모니터링하는 PoC(Proof of Concept) 환경을 구축하는 방법을 소개합니다. 스팟 인스턴스는 온디맨드 인스턴스 대비 약 70~...
-
- 제8회 데보션 테크 데이 - AI 인프라의 핵심, 데이터센터를 말하다 발표 요약 및 영상 공유
- 지난 7월 10일 목요일에 SKT타워 4층 SUPEX홀에서 진행한 제8회 데보션 테크데이 발표 요약 및 영상을 공유드립니다. 본 발표 요약은 ＂에이닷 노트 기능＂을 통하여 요약하였습니다. 전체 발표자료는 ＂제8회_데보션_테크데이_배포용.pdf＂ 참고 부탁드립니다. 위 행사와 관련된 현장 스케치 보도 기사는 아래 SKT 뉴스룸에서 확인하실 수 있습니다. https://news.sktelecom.com/213870 00.Keynote AI 데이터 센터의 구조와 운영 변화 : AI 데이터 센터, GPU 클러스터, 토큰 제조 공장, 전력 최적화, SK 솔루션 요약 AI 데이터 센터는 초병렬 연산과 고전력 소비로 기존 데이터 센터와 구조와 운영 방식...
-
- SK텔레콤의 GPUaaS Full Stack
- AI 데이터 센터를 구축한 후, AI 서비스의 개발, 학습, 추론을 위해서는 다양한 형태의 GPU 및 클라우드 자원, 그리고 이를 지원하는 솔루션이 필요합니다. SK텔레콤의 GPUaaS 시스템은 고객이 AI 서비스 개발, 학습, 추론 등 원하는 용도에 맞춰 필요한 GPU 자원을 온디맨드로 제공하거나, 더 큰 규모의 GPU 자원을 약정 기간 동안 전용으로 사용할 수 있도록 지원합니다. 또한 다양한 AI/ML 솔루션도 함께 제공됩니다. 이러한 GPUaaS 서비스를 제공하기 위해서는 인프라부터 관리에 이르는 전체 소프트웨어 스택이 필요합니다. 이번 발표에서는 SK텔레콤이 구상하는 GPUaaS Full Stack과 각 영역별 구현을 위한 연구 및 개발 방향에 대해 설명할...
-
- 쿠버네티스로 여는 AI 추론 인프라
- 이번 글에서는 AI 컴퓨팅 트렌드가 어디로 향하는지, 그 흐름에서 추론(inference) 인프라를 운영하는 데 쿠버네티스가 어떤 도움을 주는지, 그리고 AWS 위에서 대규모 추론을 안정적으로 돌리는 방법까지 다뤄보려고 합니다. 긴 글을 읽기 부담스러우신 분들은 제가 Youtube 영상으로 제작해 놓았으니 영상으로 보셔도 좋습니다. https://youtu.be/i2LsxlQMpwc 최근 트렌드를 살펴봤을 때 클라우드 네이티브와 오픈소스로 AI를 활용하는 영역은 크게 모델 학습, 모델 추론, AI 에이전트 세 가지로 나눌 수 있습니다. 에이전트만으로도 할 얘기들이 많지만, 이 글은 모델, 그중에서도 추론에 집중해보려고 합니다. 1. 무게중심이 학습에서 추론으로 넘...
DEVOTEE를 활성화 시키면
지금 작성한 댓글에 AI가 댓글을 달아줍니다.