로그인 선택
미리보기
커뮤니티
23.06.15
글 등록
DEVOTEE를 활성화 시키면
지금 작성한 커뮤니티 글에 대해 1개의 댓글을 달아줍니다.
버튼을 누르면 글 수정 시 ChatGPT가 작성한 댓글이 수정됩니다.
임시저장함
최대 20건까지 저장합니다.
| 컨텐츠 유형 | 제목 | 저장일 | 삭제 |
|---|
본인인증
고객님의 소중한 개인정보보호를 위해
본인인증을 진행해주세요. 본인인증 미 진행 시 로그인이 제한됩니다.
본인인증 로그인에 실패하였습니다.
회원이 아니시거나 본인인증 등록이
완료되지 않은 사용자입니다.
회원정보 연결
Advanced RAG Technique 기반 생성형AI 서비스 개발에 대한 연구 (2회차: RAG 논문 정복)
- DEVOTEE 요약
- 오픈랩 모임에서 RAG 관련 논문 4편에 대해 발표와 논의를 진행했습니다. 발표자들은 "Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks"와 "Lost in the Middle" 등 다양한 주제를 다룬 논문을 리뷰하며, 특히 LLM의 압축 효용성과 Context 요약에 대해 함께 고민하는 뜻깊은 시간을 가졌습니다. 참여자들은 유익한 논의와 함께 의미 있는 시간을 보냈으며, 발표자들에게 감사와 격려를 전하며 모임을 마무리했습니다.
지난 7월 21일 오픈랩 2회차 모임을 가졌습니다.
지난 1회차 모임을 통해서 각자 스터디후 발표를 진행할 RAG 논문을 선정하였고, 금일은 이중 4편의 논문을 함께 살펴보았습니다.
먼저 RAG의 시작을 알리는 "Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks" 논문 부터 이종민님이 발표를 진행하였고,
뒤이어 김여진님이 준비한 "Lost in the Middle" 이라는 표현으로 각인된 길을 잃은 맥락(Context)에 대해 연구한 논문을 리뷰하였습니다.
다음으로 압축에 대한 논문 2편을 연이어 살펴보았습니다.
AI 전공의 대학원 졸업반인 고성민님이 열심히 준비한 논문과 현업의 경험과 넓은 시야로 논문의 다양한 관점을 소개해주신 김한범님의 논문 리뷰로 금일의 일정을 소화했습니다.
압축에 대한 논문을 살펴보면서, 관련 과제에서 관습적으로 검토하게 되는 부분 중 하나가 Context 요약인데,
"현대 LLM에서 압축의 효용은 얼마나 될까?" 에 대해 같이 고민하고 의견을 나눌 수 있는 의미있는 시간이었던 것 같습니다.
저역시 그랬지만, 참여하신 분들 모두에게 유익한 시간이 되었을꺼라 생각합니다.
좋은 공간에서 좋은분들과 함께해서 더 좋았네요.
발표 준비하신 분들 너무 수고 많으셨고, 차주에 연이어 뵙도록 하겠습니다~!
박병선(알파를찾아서) 님의 최신 블로그
더보기-
- Advanced RAG Technique 기반 생성형AI 서비스 개발에 대한 연구 (6-7회차: RAG 구축)
- Advanced RAG Technique 모임 기록을 남깁니다. 길었던 명절 연휴도 있었고, 이번 모임은 6-7회차 예정된 Agenda를 Intensive하게 통합 하여 진행 하였습니다. 지난 다섯 번의 모임을 통해서 RAG의 시작부터 Advanced Techniques를 아우르는 총 15편의 논문을 Study하고 리뷰하였는데요. 이번 모임에서는 실제 RAG 구축에 있어 필수적인 Agenda를 중심으로 실증적인 내용들을 살펴보았습니다. 먼저 이종민님이 ＂Basic RAG using LangChain: Retriever ＆ Reranker＂ 를 주제로 발표를 해주셨습니다. RAG 구축에 보편적으로 사용하는 Lang Chain을 활용하면 손쉽게 RAG Techniqu...
-
- Advanced RAG Technique 기반 생성형AI 서비스 개발에 대한 연구 (5회차: RAG 논문 정복)
- Advanced RAG Technique 5회차 모임기록을 남깁니다. 어느덧 5번째 모임을 가졌네요. 금일 살펴본 4편의 논문을 포함하여 벌써 15편의 RAG 관련 주요 논문을 살펴보고 있습니다. 여러 RAG Technique를 통해서 최종 응답 품질을 향상 시켜나가지만, 기본 Retriever의 성능에 일정 부분 의존 할 수 밖에 없습니다. 먼저 ＂최고의 Retriever＂ 에 관하여 논의하기 위해 관련 논문을 살펴 보았습니다. 성능 평가를 위한 framework, Sparse Retriever의 역할, 앙상블 접근의 유효성 등 에 대해 살펴볼 수 있는 시간이었습니다. LLM 관련 과제를 진행하다보면 항상 고민하게 되는 부분이 어떻게 응답 품질의 신뢰성을 평가하...
-
- Advanced RAG Technique 기반 생성형AI 서비스 개발에 대한 연구 (4회차: RAG 논문 정복)
- 벌써 오픈랩 모임 4회차를 진행하게 되었습니다. 금일은 RAG분야 주요 논문 중 하나인 ＂Modular RAG...＂ 를 포함해서 RAG 관련 논문 3편을 리뷰 했습니다. 높은 참여율 속에 각 발표 담당자께서 성실히 준비해 주신 덕분에 RAG에 대한 논문을 바탕으로 심도있게 이야기 나누어 볼 수 있었던 자리였습니다. RAG Master를 향하여 Go Go !
-
- Advanced RAG Technique 기반 생성형AI 서비스 개발에 대한 연구 (3회차: RAG 논문 정복)
- 지난주에 이어 연달아 오픈랩 모임을 가졌습니다. 연이어 RAG 관련 논문 4편을 리뷰 했는데, 발표를 성실히 준비해 주신 덕분에 RAG에 대한 인사이트에 더불어 여러 이야기들을 심도있게 나눌 수 있었습니다. 현업에서도필수 논문이라 불리어지는 100+ 개의 연구가 집약된 서베이 논문을 살펴보았고, 자가 검증의 피드백 흐름을 제언한 Self-RAG, Corrective RAG, 그리고 Fusion 의 개념을 살펴볼 수 있는 논문도 함께 살펴보았습니다. 좋은 장소에서 유익한 시간을 보내었네요. 오늘 하루도 수고 많으셨습니다~!!
DEVOTEE 추천 블로그
-
- OpenLab - OpenLLM, Llama3-8b | LlamaIndex | qdrant 로 만들어본 RAG 요약 LLM
- 지난 5월22일 오후 8시~9시에 판교사옥에서 2차 오프라인 미팅을 진행하였습니다. 주제 : OpenLLM 스터디 2차 오프라인 모임 일시 : 5/22 20:00 ~ 21:30 장소 : 판교사옥 참석 : 멤버 9명 중 6명 스터디 내용 가. RAG, Langchain 1차 개발 경험 상호 공유 나. 향후 계획 RAG 2차 완성 코드 개발 개발 소스코드를 첨부하고 다른 사람의 코드를 모두 실행해 보면서, RAG와 Langchain의 정확한 이해 다. 스터디 목표 법 요약/문장요약/Q＆A 에 대한 RAG 및 Fine-tuning 완료 완성 형태 : 챗봇 또는 Web 등 완성품 형태의 UI 포함 라. 일정 RAG : 6/5 또는 6/19 Fine-Tuning : 6/1...
-
- OpenLab - OpenLLM, Llama-2 7B, FAISS, LangChain 활용한 RAG 구현
- OpenLLM 스터디 모임 경과를 정리하면서 현재까지 구현된 RAG 챗봇 내용을 함께 공유드립니다. 스터디 모임 경과 - 주제 : OpenLLM 스터디 5차 오프라인 모임 - 일시 : 7/3 20:00 ~ 21:00 - 장소 : 판교사옥 - 참석 : 멤버 6명 중 4명 ［+］ 7명에서 1명 탈퇴(1명:취업) - 스터디 내용 1) RAG 에서 Pre/Post Retriever 코드 구현 공유 및 의견 교환 2) 특이점 토의 ollama 로 모델이 배포되지 않은 경우 vllm 사용 pre/post retriever 부분에서 시간 지연이 큰 경우 정상동작하는 다른 멤버의 코드 참고 langchain 과 LlamaIndex 중 langchain 의 평가가 좋지 않은 것으...
-
- Advanced RAG Technique 기반 생성형AI 서비스 개발에 대한 연구 (3회차: RAG 논문 정복)
- 지난주에 이어 연달아 오픈랩 모임을 가졌습니다. 연이어 RAG 관련 논문 4편을 리뷰 했는데, 발표를 성실히 준비해 주신 덕분에 RAG에 대한 인사이트에 더불어 여러 이야기들을 심도있게 나눌 수 있었습니다. 현업에서도필수 논문이라 불리어지는 100+ 개의 연구가 집약된 서베이 논문을 살펴보았고, 자가 검증의 피드백 흐름을 제언한 Self-RAG, Corrective RAG, 그리고 Fusion 의 개념을 살펴볼 수 있는 논문도 함께 살펴보았습니다. 좋은 장소에서 유익한 시간을 보내었네요. 오늘 하루도 수고 많으셨습니다~!!
-
- Advanced RAG Technique 기반 생성형AI 서비스 개발에 대한 연구 (4회차: RAG 논문 정복)
- 벌써 오픈랩 모임 4회차를 진행하게 되었습니다. 금일은 RAG분야 주요 논문 중 하나인 ＂Modular RAG...＂ 를 포함해서 RAG 관련 논문 3편을 리뷰 했습니다. 높은 참여율 속에 각 발표 담당자께서 성실히 준비해 주신 덕분에 RAG에 대한 논문을 바탕으로 심도있게 이야기 나누어 볼 수 있었던 자리였습니다. RAG Master를 향하여 Go Go !
DEVOTEE를 활성화 시키면
지금 작성한 댓글에 AI가 댓글을 달아줍니다.