로그인 선택
미리보기
커뮤니티
1,234
23.06.15
글 등록
카테고리를 선택해주세요.
DEVOTEE를 활성화 시키면
지금 작성한 커뮤니티 글에 대해 1개의 댓글을 달아줍니다.
버튼을 누르면 글 수정 시 ChatGPT가 작성한 댓글이 수정됩니다.
임시저장함에 저장되었습니다.
저장일시 : 2022.5.17 14:29:08
임시저장함
제목을 선택하시면 이어서 작성이 가능하며,
최대 20건까지 저장합니다.
최대 20건까지 저장합니다.
| 컨텐츠 유형 | 제목 | 저장일 | 삭제 |
|---|
본인인증
효율적인 데보션 서비스 이용 및
고객님의 소중한 개인정보보호를 위해
본인인증을 진행해주세요. 본인인증 미 진행 시 로그인이 제한됩니다.
고객님의 소중한 개인정보보호를 위해
본인인증을 진행해주세요. 본인인증 미 진행 시 로그인이 제한됩니다.
본인인증 실패
본인인증 로그인에 실패하였습니다.
회원이 아니시거나 본인인증 등록이
완료되지 않은 사용자입니다.
회원정보 연결
생성형 AI 시대의 On-Device AI, 메모리의 새로운 도전과 기회
- DEVOTEE 요약
- On-Device AI의 추론 서비스는 CPU, GPU, NPU와 같은 컴퓨팅 유닛별로 메모리, 스토리지, 에너지 소비 요구 사항을 분석합니다. 스마트폰과 랩탑에서 멀티모달 모델의 평가를 통해 최신 AI 모델 트렌드와 소프트웨어 생태계를 탐구하며 주요 인사이트를 도출합니다. 이를 통해 차세대 메모리 솔루션 및 AI 플랫폼 연구에 필요한 방향성을 제시하고 있습니다.
On-Device AI의 추론 서비스의 메모리, 스토리지, 에너지 요구 사항을 설명합니다.
On-device AI의 메모리 요구 사항을 분석하기 위해 온-디바이스 AI 소프트웨어 생태계 및 최신 모델 트렌드를 살펴보고,
스마트폰과 랩탑에서 실제 멀티 모달 모델을 추론한 평가 결과를 공유합니다.
이를 통해 On-Device AI 컴퓨팅 유닛 별(CPU, GPU, NPU)의 성능, 메모리, 스토리지 요구량 및 에너지 소비를 설명하며, 주요 인사이트를 전달합니다.
이경수SK하이닉스
소프트웨어의 개발 방법과 운영 방법에 관심이 많으며 애자일을 신봉하지만 임베디드/리눅스 개발자로 경력을 시작하였습니다.
더 넓은 IT 세상을 알기 위해 시스템 응용 기술사가 되었고 최근 AI라는 또 다른 세상을 알게 되었습니다.
다양한 경험을 바탕으로 고객의 입장에서 SKH 메모리에 대한 폭넓은 Insight와 Vision을 제공하고 있으며
오늘도 팀원 들과 AI 플랫폼 SW를 연구하며 다가올 Memory Forest 세상의 자양분이 되고 있습니다.
#On-Device AI #차세대 메모리 솔루션
DevRel 님의 최신 블로그
더보기-
- [전문가 밋업#3] 금융 AI의 진화: 컨텍스트 설계와 에이전트 아키텍처 (은행 AI 전문가가 밝힌, 아무도 말해주지 않는 3가지 진실)
- 요약 금융 산업의 인공지능(AI) 패러다임이 생성형 AI의 등장으로 근본적인 전환을 맞이하고 있습니다. 과거의 AI가 RPA(로봇 프로세스 자동화)나 예측 모델을 통해 개별 업무를 자동화하는 ＇조각난 효율성＇에 머물렀다면, 현재는 고객의 언어를 이해하고 데이터의 ＇의미＇를 연결하여 의사결정을 보조하는 단계로 진화하고 있습니다. 이러한 변화의 핵심은 AI를 단순히 도입하는 것을 넘어, 비즈니스 목표에 맞는 ＇컨텍스트(문맥)＇를 어떻게 설계하고 활용하느냐에 있습니다. 금융권의 미래 경쟁력은 복잡하고 사일로화된 데이터로부터 의미 있는 관계망을 구축하는 ＇컨텍스트 플로우＇ 설계 능력에 달려 있습니다. 이를 위해 고객, 상품, 리스크, 영업, 시장이라는 5가지 핵심 컨텍스...
-
- 제9회 데보션 테크 데이 - AI와 함께 일하는 시대, 에이전트와 자동화 기술 발표 요약 및 영상 공유
- 지난 9월 1일 월요일에 SKT타워 4층 SUPEX홀에서 진행한 제9회 데보션 테크데이 발표 요약 및 영상을 공유드립니다. 본 발표 요약은 ＂에이닷 노트 기능＂을 통하여 요약하였습니다. 전체 발표자료는 ＂제9회_데보션_테크데이_배포용.pdf＂ 참고 부탁드립니다. 1. AWS 생성형 AI 최신 기술 동향과 주요 업데이트 핵심 단어: Al 에이전트, AWS, 에이전트코어, S3벡터, 스트렌저SDK 요약 Al 에이전트의 발 전단계와 AWS의 대응 서비스 소개 Al 에이전트 개발. 운영을 위한 모델, 도구, 프레임워크 혁신 필요성 설명 AWS의 에이전트코어, S3벡터, 스트렌저 SDK 등 주요 AI 서비스 및 기능 소개 🧠 AI 에이전트 발전 단...
-
- [전문가 밋업#2] AI 서비스 경쟁력은 기능보다 최적화와 UX에서 나온다
- 주요 질문 / 답변 내용 Q. 보이저엑스는 어떤 회사이고, 어떤 제품을 만들고 있나요? A. 2017년 설립된 보이저엑스는 영상·자막 편집 서비스 ‘브루(Vrew)’, 모바일 문서 스캐너 ‘브이플랫(vFlat)’ 등 크리에이터와 지식 노동자를 위한 AI 기반 툴을 개발하는 스타트업입니다. 브루(Vrew): 자동 자막 생성, 텍스트 기반 컷 편집, 텍스트 기반 비디오 생성 기능을 제공합니다. 브이플랫(vFlat): 책이나 문서를 스캔헤 PDF로 변환합니다. 이외에도 AI를 이용한 다양한 서비스들을 출시하고 있습니다. Q. 현재 맡고 계신 역할은 무엇인가요? A. vFlat에 들어가는 on-device 모델을 학습하기도 하고, AI 모델을 서빙하거나 서빙된 모델을 최...
-
- 제8회 데보션 테크 데이 - AI 인프라의 핵심, 데이터센터를 말하다 발표 요약 및 영상 공유
- 지난 7월 10일 목요일에 SKT타워 4층 SUPEX홀에서 진행한 제8회 데보션 테크데이 발표 요약 및 영상을 공유드립니다. 본 발표 요약은 ＂에이닷 노트 기능＂을 통하여 요약하였습니다. 전체 발표자료는 ＂제8회_데보션_테크데이_배포용.pdf＂ 참고 부탁드립니다. 위 행사와 관련된 현장 스케치 보도 기사는 아래 SKT 뉴스룸에서 확인하실 수 있습니다. https://news.sktelecom.com/213870 00.Keynote AI 데이터 센터의 구조와 운영 변화 : AI 데이터 센터, GPU 클러스터, 토큰 제조 공장, 전력 최적화, SK 솔루션 요약 AI 데이터 센터는 초병렬 연산과 고전력 소비로 기존 데이터 센터와 구조와 운영 방식...
DEVOTEE 추천 블로그
-
- AI 모델 추론을 위한 gpu 스펙 비교
- 잡담 == skip 가능 AI모델들의 파라미터수가 많아지고, huggingface라는 플랫폼을 통해 기본 모델들을 다운받아 finetuning하는 형태로 사용하는 패턴이 보편화되면서, 실제 사용에 있어서 대부분의 사람들과 기업들에게 있어서 점점 모델 학습보다는 모델 추론에 관심이 더 많아지고 있습니다. 이런 트랜드를 nvidia에서도 눈치를 챘는지, 새로운 gpu 모델들은 이런 추론 성능을 높이는데 좀 더 집중하고, 이 부분에 초점을 맞춰서 홍보를 하고 있습니다. 당연하게도 최신 gpu를 사용하는것이 성능을 높이는데 가장 좋은 선택이지만, 돈이 없거나, 미리 주문을 못했거나, gpu가 부족해서 이전에 사둔 gpu도 써야되거나 등등 다양한 이유로 최신 gpu를 사용...
-
- 온디바이스AI, 무엇이 다를까요?
- 1. 들어가며 진정한 로봇, 자율주행차, 드론이라면 스스로 추론하고 결정하고 동작해야 해요. 이렇게 동작하려면 AI 시스템이 탑재되어야 하고, 데이타 센터와의 연결 없이도 적절한 결정을 하고 수행이 가능해야 해요. 이것을 가능하게 하는 것이 ＇온디바이스AI(On-Device AI)＇에요. 최근 자주 언급되는 온디바이스AI가 무엇이며, 왜 관심을 받게 되었는지, 지금 어디쯤에 와 있는 지 살펴봐요. 2. 온디바이스AI란 무엇일까요? Open AI에서 제공하는 쳇GPT 서비스는 클라우드 기반이며 사용자가 요청하면 클라우드에서 연산 처리를 통해 답변을 만들고, 이를 다시 사용자에게 전달해요. 온디바이스AI는 인터넷을 통해 클라우드나 원격 서버를 거치지 않고, 스마트폰,...
-
- AI 개화기 시대를 맞이하는 SK hynix의 미래 메모리 솔루션 준비 현황 및 방향
- 생성형 AI 모델 등장과 함께 NVIDIA GPU - SK하이닉스 HBM 이 리드하는 AI Server 시장이 개화된 이후, 앞으로 AI 시대 1st Mover의 경쟁력을 지속해서 유지하기 위해 HBM 외에 어떤 메모리 제품을 준비해야 할지 내부 연구가 활발히 진행되고 있습니다. 메모리 업체 관점에서 AI 모델을 위한 차세대 Computing Architecture의 요구 사항을 어떻게 분석하고 있는지, 그리고 이러한 분석을 통해 CXL/PIM 등 어떤 형태의 제품이 SK하이닉스 특화 솔루션으로 연계 될 것인지를 간략히 소개드리겠습니다. 주영표SK하이닉스 SK하이닉스 AI Infra 內 메모리시스템 연구소 Software Solution 조직의 장을 담당하고 있습...
-
- 나만의 온디바이스 AI 구현을 위한 로컬 LLM 환경 구축 - LLM fine tuning (6회차)
- 안녕하세요 온디바이스 AI 구현을 위한 로컬 LLM 환경 구축 주제로 스터디를 진행 중인 LAC 입니다. overview 로, 저희의 전체적인 프로젝트 진행 방향은 아래와 같습니다: 1. Dataset 전처리 (중복 제거, ... etc) 2. Training -〉 gemini (Distilation to Gemma) 3. Fine Tuning 4. Optimize ＆ 경량화 5. Application으로의 확장 지난번에는 model의 학습을 위하여 elice 라는 클라우드 플랫폼을 활용하였는데요, 해당 플랫폼을 통하여 저희의 모델 최적화를 진행하였습니다. 최적화 방식으로는 Pruning과 Quantization 중 고민하다, Quantzation으로 결정하여 진...
DEVOTEE를 활성화 시키면
지금 작성한 댓글에 AI가 댓글을 달아줍니다.