DEVOCEAN

지난 9월 1일 월요일에 SKT타워 4층 SUPEX홀에서 진행한 제9회 데보션 테크데이 발표 요약 및 영상을 공유드립니다.

본 발표 요약은 "에이닷 노트 기능"을 통하여 요약하였습니다.

전체 발표자료는 "제9회_데보션_테크데이_배포용.pdf" 참고 부탁드립니다.

1. AWS 생성형 AI 최신 기술 동향과 주요 업데이트

핵심 단어: Al 에이전트, AWS, 에이전트코어, S3벡터, 스트렌저SDK

요약

• Al 에이전트의 발 전단계와 AWS의 대응 서비스 소개

• Al 에이전트 개발. 운영을 위한 모델, 도구, 프레임워크 혁신 필요성 설명

• AWS의 에이전트코어, S3벡터, 스트렌저 SDK 등 주요 AI 서비스 및 기능 소개

🧠 AI 에이전트 발전 단계

1. AI 에이전트의 정의와 역할

AI 에이전트는 인간이나 시스템을 대신하여 목표 달성을 위해 추론, 계산, 행동하는 소프트웨어로 정의됩니다.

2. AI 에이전트 성숙도 4단계

1. 추종 단계

   • AI가 인간의 요청에 기반하여, 알고 있는 정보로 응답하는 수준

2. 지원 단계

   • AI가 외부 도구를 활용하여 요청에 따른 행동을 판단하고, 인간이 그 행동을 정의하는 수준

3. 협업 단계

   • AI가 스스로 목적을 설정하고 해결 방법을 탐색하며, 다양한 에이전트가 함께 협업하는 수준

4. 개척 단계

   • 완전한 자율 단계로, 인간은 거버넌스 관리만 수행하고 AI가 요청 생성, 플래닝, 액션까지 자율적으로 수행

※ 현재 대부분의 AI 에이전트는 추종 단계와 지원 단계에 머무르고 있음.

3. 2028년 전망

• 기업용 소프트웨어의 1/3에 AI 에이전트 탑재 예상

• 일상 의사결정의 15%가 AI에 의해 자율적으로 이루어질 전망

4. AI 에이전트 개발 환경과 AWS의 대응

📌 AI 에이전트 개발·운영을 위한 3대 요소

1. 모델

   • 다양한 특화 모델 및 멀티모달 LLM 필요

   • 에이전트 간 협업 및 오거나이징(조직화) 지원

2. 도구

   • 에이전트 인터페이스

   • 통합 도구

   • 모니터링 및 관리 툴

3. 프레임워크

   • 생산성 향상을 위한 베스트 프랙티스 및 디자인 패턴 포함

   • 목적에 맞는 에이전트 설계 지원

🔒 LLM이 생성한 코드를 안전하게 실행할 수 있는 샌드박스 환경의 필요성 강조

5. AWS 주요 AI 서비스 및 기능

✅ AWS Bedrock

• 서버리스 환경에서 다양한 AI 모델의 통합 및 실행 지원

• 통일된 인터페이스 제공

• 다양한 AI 모델 파트너 (Anthropic, Cohere, Meta, Mistral, Stability AI 등) 및 자체 모델 Titan 보유

• 오픈AI OSS 모델도 2025년 7월부터 서비스 포함 예정

✅ Agent Core

AI 에이전트 개발 및 프로덕션 환경 운영을 위한 모듈형 서비스 세트

• Agent Core Runtime: 서버리스 환경에서 에이전트 실행 지원

• Agent Core Memory: 에이전트 간 대화 공유 및 요약, 장기 저장 기능

• Agent Core Gateway: 기존 REST API를 MCP 서비스로 변환, 별도 API 수정 불필요

• Agent Code Interpreter: 에이전트가 생성한 코드를 실행할 수 있는 샌드박스 환경 제공

현재 총 7개 서비스로 구성, 프리뷰 단계

✅ S3 벡터

• 벡터 데이터 저장 및 관리 기능 제공

• 기존 벡터 DB 대비 비용 효율적인 테스트 환경 지원

• Bedrock 내 Knowledge Base와 연동 가능

• 대량 트래픽 처리에는 제한적이지만 POC 및 테스트용으로 적합

• 2025년 7월 발표된 프리뷰 서비스로 향후 기능 확장 예정

✅ Strangler SDK

• AWS가 개발한 오픈소스 에이전트 프레임워크

• 모델 중심 설계 지원, 빠른 개발 및 쉬운 환경 제공

• 기존 로직 중심 개발 방식에서 모델 중심 개발로의 전환 가능

• 2025년 7월 정식 출시, 10만 회 이상 다운로드, 주요 AI 기업들이 커스터마이징에 참여

• Amazon Q 개발에 활용되어 생산성 향상에 기여

✅ Amazon Q Developer

• 개발자를 위한 AI 코딩 어시스턴트

• 코드 생성, 보안 검사 등 다양한 기능 제공

• 기업 보안 규정에 맞춘 네트워크 환경 구성 가능

• 규제 환경에서도 AI 솔루션 사용 지원

6. AI 에이전트 서비스 운영 및 관리

대규모 운영 시 고려사항

• 트래픽 대응, 배포·롤백, 버전 관리 필요

• 데이터 통합 및 컨텍스트 공유, 에이전트 간 메모리 관리 중요

• 문제 발생 시 에이전트 간 이동 경로 추적 필요

AWS 내부 사례: Amazon Q

• 초기 소규모 POC에서 수천만 사용자 대상 서비스로 확장

• 운영 환경과 테스트 환경 간 차이점 강조

7. 옵서버빌리티(Observability)

• Agent Core Observability는 Langsmith, Langfuse 등 외부 도구와 충돌 없이 독립적 운영 가능

• 다양한 에이전트 프레임워크 수용 및 보완 관계 유지

8. 개발자 생산성 및 AI 활용

⏱ 개발자 시간 사용 현황

• 73%: 문서 작업, 코드 리뷰, 시스템 관리 등 비생산적 운영 업무

• 27%: 실제 코드 작성

• AWS CEO 발표: “하루 생산적 코드 작성 시간은 약 1시간 수준”

🎯 AWS의 AI 에이전트 활용 목표

• 개발자의 비생산적 업무 감소

• 개발 집중 시간 확보 지원

• AI 코딩 어시스턴트 및 자동화 도구 제공

  
  

2. AI 챗봇으로 운영 혁신하기

핵심 단어: T우주, AI 챗봇, 배치 모니터링, 정기 결제, 정산 자동화

요약

• SK텔레콤 T우주 구독 플랫폼 운영 중 발생한 문제를 AI 챗봇으로 해결한 사례 공유

• 배치 프로그램 모니터링, 정기 결제 테스트, 정산 업무에 특화된 챗봇 도입과 AI 연계 활용 현황 설명

• AI 챗봇 도입 이후 업무 효율화, 할루시네이션 문제 대응, 향후 개선 방향 논의

1. T우주 서비스 개요

• T우주 서비스는 다양한 상품을 패키지 또는 단독 구독 형태로 제공하며, 개별 구독 대비 할인 혜택 제공

• 예시: T우주 패스, 쇼핑, G마켓 등 상품 구성. 월 14,900원 구독료로 약 15,000원 절약 가능

구독 플랫폼 운영의 차별점

• 매년 또는 매월 정기 결제 기반 수납 구조

• 고객별 상품 구성과 구독 주기에 따라 결제 금액이 100원 ~ 10만 원 이상까지 다양

• 정기 결제 시 할인 정보·요금제 정보 계산을 위한 다수의 배치 프로그램 운영

2. 운영 문제점 및 AI 챗봇 도입 배경

• 정기 결제 배치 프로그램 오류 시 결제 리스크 및 개발자 수작업 빈번

• 배치 오류가 정기 결제 및 패스트 데이터 수급에 직접적인 영향

• 테스트 시 1개월 대기 대신 수작업으로 데이터 생성 필요

• 반복적이고 비효율적인 수작업 업무 존재 → 자동화 필요성 대두

• AI 챗봇을 통한 자동화 시도 및 커뮤니케이션 중심 해결책 모색

슬랙 챗봇 도입 이유

• 기존 슬랙 커뮤니케이션 툴을 활용하여 챗봇 계정을 채널에 초대, 다수 사용자와 소통 가능

• AWS Lambda 기반 개발로 비용 절감 및 개발 편의성 확보

• 슬랙 비모듈 활용 → 별도 UI 설계 불필요

3. AI 챗봇 구성 및 기능

① 배치봇

• 배치 프로그램 모니터링 및 로그 조회 자동화

• AI 요약 기능으로 이슈 발생 여부, 오류 원인, 영향받은 구독권 정보 제공

• 개발자가 로그나 DB를 직접 확인하지 않고도 모바일 슬랙 메시지로 신속 대응 가능

• 양방향 대화 기능: 회원 정보 조회 및 구독 계약 정보 연계 제공

② QA봇

• 정기 결제 테스트 데이터 생성 및 관리

• 계약 정보 입력 시 정기 결제일 변경, 결제 실패 테스트 기능 제공

• 다수 사용자와 채널 내 협업 가능

• AI 기반 테스트 케이스 일괄 생성 기능으로 복잡한 상품명도 유연하게 처리

③ 정산봇

• 엑셀 파일 업로드부터 DB 매핑, 밸리데이션, 오류 자동 수정까지 지원

• 개발자 개입 없이 정산 담당자가 컴플라이언스 페이지에서 직접 처리 가능

• 오류 발생 시 상세 행별 안내로 신속한 수정 유도

4. AI 기술 및 시스템 연동

• AWS Bedrock LLM 활용

  • 별도 외부 API 없이 라이브러리 import만으로 LLM 구현

  • 챗봇과 LLM 간 대화 내용과 업무 역할을 프롬프트에 정의해 응답 정확도 향상

  • 페르소나 설정 및 기본 밸리데이션 기능 포함

• 특수 메시지를 통한 Lambda 함수 호출로 DB 조회 및 결과 표 형태 전달

• 대화형 챗봇 아키텍처: 사용자 → 챗봇 → Bedrock → Lambda → DB 간 유기적 연동

• 대화 컨텍스트 유지로 연속 질의응답 가능

테스트 데이터 생성 프로세스

• 상품 ID, 계약 건수, 가입일 등 파라미터를 JSON 형태로 전달 → API 호출 → DB 업데이트

• 복잡한 상품명도 유사 표현 인식으로 정확한 매핑 가능

5. AI 챗봇 도입 효과 및 운영 경험

• 업무 효율성 대폭 향상

  • 개발자 및 운영자 수작업 감소

  • 신속한 이슈 파악과 대응

  • 모바일 환경에서도 실시간 모니터링 및 대응 지원

• 커뮤니케이션 중심 운영 환경 구축

  • 슬랙 내 채널에서 실시간 협업 및 이슈 해결

  • 챗봇이 백엔드 어드민 역할 수행

• 할루시네이션 문제 인지 및 대응

  • 사용자 흉내(역할놀이)에 빠져 잘못된 응답 → 정규표현식 기반 입력 검증 도입

  • 모니터링 리포트 생성 시 존재하지 않는 오류 생성 → 템플릿 기반 제한 처리로 해결

• 보안 및 데이터 처리

  • AWS Bedrock 내 데이터는 외부 유출 없이 내부 처리

  • 보안 이슈 미발생

6. 향후 개선 방향

• 기능 고도화 및 신규 유즈케이스 발굴 지속

  • SQL, MCP 연동 등 다양한 기술 적용 계획

  • 신규 기능 개발로 잠재적 유즈케이스 확대 기대

• 할루시네이션 대응 강화

  • 정교한 프롬프트 엔지니어링 필요성 인식

  • Bedrock Guardrails & Reasoning Check 기술 활용 예정

• AI 적용 영역 확대 및 양질의 챗봇 서비스 제공 목표

7. 챗봇 계정 분리 이유

• 사용자 그룹별 권한 관리 목적

  • 배치봇: 개발팀 전용

  • QA봇: QA팀 전용

  • 정산봇: 정산팀 전용

• 계정 권한 분리로 보안성과 관리 효율성 확보

8. AI 챗봇 활용 시 할루시네이션 위험 관리

• 현재 VOC 대응용 쿼리는 단순하고 사전에 정의된 쿼리만 사용

• DB 직접 조회 부분에서는 할루시네이션 발생 가능성 낮음

• 복잡한 쿼리 생성 시 위험 존재 인지 → 당분간은 정의된 쿼리 활용으로 최소화 전략 유지

  
  

3. Strands Agents로 에이전트끼리 일하게 만들기

핵심 단어: Strands Agents, 리액트 패턴, 멀티 에이전트, MCP, 프로토타이핑

요약

• AWS Strands Agents는 진입장벽을 낮춰 빠른 프로토타이핑과 멀티 에이전트 구성을 지원하는 AI 에이전트 프레임워크

• 에이전트는 리액트(React) 패턴 기반으로 도구 활용과 판단을 반복하며, 복잡한 비즈니스 로직도 처리 가능

• MCP 연동을 통해 외부 툴 통합이 용이하며, 툴 관리와 설명 정제가 정확도 향상에 핵심 역할

1. Strands Agents 개요

🚪 에이전트 개발 진입장벽 완화

• 기존 LLM 호출 방식은 대화 흐름이 끊기고, 복잡한 포맷팅과 구조로 인해 진입장벽이 높았음

• Strands Agents는 래퍼(wrapper) 클래스를 통해 몇 줄의 코드로 손쉽게 에이전트 실행 가능

🧱 에이전트 구성 요소

• 해야 할 일(Task)

• 판단(Listening)

• 사용 가능한 툴(Functions)

  → 외부 호출 및 메모리 관리 기능으로 대화 연속성 및 외부 정보 활용 가능

🔄 리액트(React) 패턴 기반 동작

• Reasoning(추론) → Acting(행동) → 반복 루프 구조

• 툴 실행 → 결과 판단 → 다음 행동 결정

• 복잡한 그래프 없이 심플한 워크플로우 구현 가능

💡 Strands Agents 철학

• 복잡한 그래프 설계보다 빠른 프로토타이핑과 단순한 구조를 지향

• 초보자도 쉽게 접근할 수 있도록 설계됨

2. 멀티 에이전트 및 워크플로우 구성

🧩 구성 방식

• 싱글 에이전트를 여러 개 인스턴스화하거나, 입출력을 연결해 워크플로우 구성

• 상위 에이전트가 하위 에이전트를 툴처럼 호출하여 오케스트레이션 가능

🤝 협동 모델 유형

• 중앙집중형(Supervisor): 상위 에이전트가 전체 흐름 제어

• 분산형(P2P): 에이전트 간 상호 협력

⚙️ 비즈니스 로직 적용

• LangGraph처럼 타이트한 구조는 아니지만, 노드 및 엣지 설정으로 어느 정도 제어 가능

• 플래닝, 체이닝, 슈퍼바이징 등 다양한 조합이 가능

3. MCP 연동과 툴 관리 전략

🔌 MCP 역할 및 연동 방식

• 외부에서 공급되는 다양한 툴을 MCP에 연결하여 Strands Agents에 통합 가능

• 코드 내 MCP 선언 → 사용할 툴 리스트 나열 → 간단히 연동

⚠️ 툴 사용 시 주의점

• MCP 툴이 많아질수록 중복/충돌로 정확도 저하 가능

• 각 툴의 **설명(Description)**을 명확히 작성하여 LLM이 적절히 선택할 수 있도록 관리

• 필요 시 **MCP를 다시 래핑(wrapping)**하여 툴로 등록 → 사용 제어 가능

📌 MCP 활용 사례

• AWS 공식 문서 기반 툴을 MCP에 연결하여 신뢰성 높은 응답 생성

• 웹 기반 데이터 검색 및 반복 리서치 기능으로 상세 보고서 자동 생성

4. Strands Agents 특징 및 비교

🧠 내부 LLM 구조

• Strands Agents 내부에 LLM 호출 기능 내장

• 보일러플레이트 코드를 감싸는 형태로 복잡한 작업을 추상화

• 포맷팅, 파라미터 설정 등의 과정을 간소화

🔍 LangGraph와의 차이점

✔ Strands Agents는 초보자에게 적합하며, 프로토타이핑 → 고도화로 확장 가능

5. 실무 적용 및 운영 전략

🛠️ 프로덕션 적용 방안

• 에이전트를 에이전트 코어로 백엔드에 올려 API 호출 및 인프라 연동

• 로드 밸런서 등 인프라 요소와 함께 구성

• 복잡한 작업을 줄이기 위해 전용 에이전트 코어 활용 권장

🧩 MCP 툴 관리 팁

• 툴 수가 많아질수록 정제 및 설명 보완을 통해 정확도 유지

• MCP도 결국 하나의 툴이므로, 래핑하여 제어 가능

🧱 역할 기반 에이전트 설계

• 하나의 에이전트에 모든 컨텍스트를 몰아넣으면 한계 발생

• 역할별로 분해하여 체이닝, 플래닝, 슈퍼바이징으로 구성 및 관리

🏁 최종 메시지

“진입장벽이 높으면 시작하기 어렵습니다.

Strands Agents로 먼저 시도해보고, 필요에 따라 고도화 구조로 확장해보세요.”

4. 구독 업무 효율화를 위한 Text2SQL 구현

핵심 단어: Text2SQL, AWS, 스키마 링킹, 검색 증강, 피드백 반영

요약

• 구독 업무 효율화를 위한 Text2SQL 구현 사례 및 AWS 기반 아키텍처 설계

• Text2SQL 적용 시 데이터 특성 분석, 스키마 링킹, 검색 증강(RAG), 피드백 반영 방식 소개

• 구현 결과의 한계, 보완 계획, 향후 활용 방안 제시

1. Text2SQL 개념 및 필요성

📌 기술 정의

• 사용자의 자연어 질문을 AI가 자동으로 SQL 문으로 변환해주는 자연어 처리 기술

• 예시: “T우주 패스 with 넷플릭스 구독 계약 조회” → AI가 해당 쿼리를 SQL로 자동 변환

📌 구독 데이터의 복잡성

• 정기 결제 기반, 계약 상태 다양 (일시 정지, 재개 등)

• 상품 구조 다양: 단독 상품, 패스형, 번들형 등

• 이동통신 요금제 할인, 제휴사별 정산 규칙 상이 → 복합적 데이터 관계 형성

📌 자동화 필요성

• 비즈니스 도메인에 대한 이해 및 운영 설계의 어려움

• AI 도입을 통해 최소 리소스로 최대 효율 달성이 목표

2. AWS 기반 아키텍처 및 구현 방식

🔧 AWS 서비스 활용 방안

• AWS Bedrock + Knowledge Base 조합으로 벡터 생성, 인덱싱, 검색 가능

• LLM 기반 워크플로를 스트림릿 UI에서 시각화 가능

🔗 스키마 링킹 작업

• 자연어 질문의 속성을 DB 스키마 항목과 매칭

• LLM이 이해할 수 있도록 DB 구조와 샘플 쿼리의 디스크립션 강화 필요

• 기존 메타데이터 부족 → LLM 기반 데이터 디스크립션 자동 생성

• 공통 코드 추출, LLM 기반 컬럼 간 연결 수행

🔍 검색 증강 및 LangGraph 적용

• RAG 구성: 메타데이터 벡터화 → OpenSearch에 저장/인덱싱

• LangGraph를 활용해 각 노드의 역할 분리 및 결과 기반 처리 흐름 제어

⚙️ Text2SQL 워크플로 단계

1. 자연어 질의 정제: 불필요 요소 제거, LLM 친화적 포맷으로 변환

2. OpenSearch 검색: 관련 문서 및 데이터 검색

3. SQL 생성: 검색 결과 + 정제된 질문으로 실행 가능한 쿼리 작성

4. SQL 검증: 문법·논리 오류 검토, 오류 시 반복 생성

5. 결과 요약: SQL 실행 결과를 자연어로 요약하여 사용자 전달

🧪 개발 환경

• Streamlit 기반 UI에서 전체 워크플로 확인 가능

• 향후 Slack 연동으로 사용자와의 상호작용 기대

3. 구현 결과 및 문제점

⚠️ SQL 생성 정확도 한계

• 단순 질의는 정상 동작

• 복잡한 질의는 참조 데이터 부족으로 오류 발생

• DB 스키마와 샘플 쿼리가 청크 단위로 분리되어 문맥 유지에 한계

🔁 피드백 반영 및 데이터 증강

• 사용자 피드백 기반 SQL 수정 가능하나 세션 내 유효성 한계 존재

• 정확도가 높은 피드백만 OpenSearch에 재임베딩 → 향후 유사 질의 대응

🧩 아키텍처 요약

• 검색 증강 + LangGraph 기반 워크플로 + 데이터 정제 및 피드백 구조로 구성

🧱 한계 및 보완 필요 사항

• 동의어 문제로 동일 의미 질의 결과 상이

• 정확도 향상 위해 Re-ranker 도입 검토

• DB 스키마 현행화 및 디스크립션 자동 보완 파이프라인 구축 필요

• 할루시네이션 방지 위한 프롬프트 엔지니어링 및 응답 검증 작업 필요

4. 향후 활용 방안

🤖 구독 챗봇 연계

• 사용자의 질의에 따라 Text2SQL을 통해 정확한 응답 생성

• Slack 등과 연동하여 실시간 구독 정보 질의 자동화

🧪 테스트 데이터 생성

• 통합 테스트용 데이터 자동 생성 및 수정 → 테스트 효율성 증가

📊 통계 데이터 자동 생성

• 가입자 추이, 매출 등 정형 통계 리포트 자동 생성 가능성

🔧 비즈니스 로직 설계 지원

• 신규 기능 개발 시 초안 생성 + 검증 자동화 → 업무 효율 및 정확도 향상

5. 구현 경험 및 기술적 난관

• 전체 구현 과정에서 Text2SQL의 도전 요소 인식

• LLM의 정확도는 비즈니스 도메인 이해 부족에 따라 제한됨

• 파인튜닝, 사용자 피드백, 용어 사전 구축 등을 통해 지속적 개선 필요

✅ OpenSearch를 벡터 DB로 활용한 장점

• AWS 관리형 서비스로 다른 서비스와 연계 용이

• KNN 기반 시맨틱 검색 지원 → 문맥 유사도 반영 가능

  
  

5. Agentic Ops 도입 사례 (Feat. AWS Bedrock)

핵심단어: 클라우드 운영, Bedrock, 멀티 에이전트, Q Developer CLI, 자동화

요약

• 클라우드 운영 단계의 반복 업무 자동화를 위해 AWS Bedrock 및 Q Developer CLI를 도입한 사례 공유

• Bedrock의 멀티 에이전트 구조를 활용한 이슈 관리 자동화 및 반복 문의 자동 응답 시스템 구축

• Q Developer CLI를 통한 클라우드 리소스 쿼리, 리포팅, 코드 자동 생성을 통해 운영 효율성 향상

1. 클라우드 운영의 문제점

• 운영 단계에서는 이상적인 개발 사이클이 깨지기 쉬움

• 초기에는 설계 → 개발 → 테스트 → 회고가 선순환되나, 운영 단계에서는 외부 요청, 장애 대응, 시스템 모니터링 중심으로 전환됨

• 아키텍처 개선, 비용 최적화 등 고가치 업무는 우선순위에서 밀림

• 다음과 같은 반복 업무 부담이 증가:

  • 방화벽 오픈 확인

  • 시스템 구조 문의

  • 오류 발생 시 리소스 점검

  • 과거 유사 사례 검색

  • 부하 점검

  • 리소스 만료 확인 등

• 각 개별 업무는 소모적이지 않지만, 반복될 경우 운영자의 리소스를 심각하게 침식

🔁 자동화 필요성

• 반복 업무를 운영자 수준에서 자동화하는 방안을 모색

• LLM 및 AWS Bedrock이 가장 적합한 솔루션으로 판단

2. Bedrock 도입 및 활용 사례

🧠 Bedrock 서비스 특징

• 다양한 AI 모델을 단일 API로 통합 제공

• S3, OpenSearch, IAM 등 AWS 리소스와 손쉬운 연동

• 에이전트를 통한 목적 중심 워크플로우 구성 가능

⚙️ 이슈 관리 자동화 사례

• 데이터독 알림 → Slack 수신 → Bedrock 분석 → Confluence 기록 → Knowledge Base 임베딩이라는 자동화 파이프라인 구축

• 구성 요소:

  • Slack: 알림 수신 및 인터랙션

  • Bedrock: 알림 분석, 원인 도출, 해결책 제시

  • Confluence: 분석 결과 자동 요약 및 게시

  • Knowledge Base: 재활용을 위한 벡터 임베딩

• 슈퍼바이저 에이전트가 요청을 하위 에이전트(로그 분석, 메트릭 분석, RAG 검색)에 분배 → 결과 취합 후 단일 메시지 제공

🔁 반복 문의 자동 응답

• 서비스 정보, 비용 정보, 오류 처리, 방화벽 상태 등 반복 문의에 자동 대응

• Slack에서 질문 → Bedrock 에이전트 응답으로 실시간 처리

• Lambda 코드 기반 로직 + 세션 유지 → 후속 질문 대응 가능

• 운영자 개입 없이 반복적 질의 처리 자동화

3. 멀티 에이전트 구조 설명

• 각 에이전트가 전문 역할별 병렬 처리 수행

• 슈퍼바이저가 분배 및 결과 조합 담당

• 최종 결과는 단일 메시지로 통합되어 운영자에게 전달됨

❗ 도입 시 고려 사항

• Confluence 온프레미스 버전은 Knowledge Base 연동 불가 → 파일 변환 후 S3 업로드 방식으로 우회

• 지식 문서 현행화되지 않으면 부정확한 응답 가능

• 멀티 에이전트는 추가 추론이 포함되어 응답 지연 우려 → 성능 민감 워크로드엔 단일 에이전트 추천

• RAG 검색 품질은 청킹 전략에 영향을 받음 → 텍스트 기반 문서에는 기본 토큰 청킹으로도 성능 확보 가능

4. Q Developer CLI 활용

🔧 주요 기능

• 로컬 설치 후 로컬 파일 읽기/쓰기/분석 가능

• AWS 인증 계정의 리소스를 텍스트 기반으로 쿼리

• MCP 연동으로 외부 데이터 통합

• 코드 생성 기능으로:

  • Terraform

  • CloudFormation

  • Lambda

  • 컨테이너 배포 코드 자동 생성

📌 활용 사례

• 운영 리소스 쿼리 및 리포트 자동화

• EKS, AWS 문서, Slack, Bedrock Knowledge Base 등 통합 운영 작업 자동화

• Slack에서 텍스트 입력만으로 필요한 정보 획득

• 코드 자동 생성 + CI/CD 연계 활용

📊 LLM 기반 대시보드 구상

• 내부 빌트인 도구를 활용해 LLM 기반 이벤트 분석 대시보드 구상 중

• AWS 내부 도구 *“USE”*를 통해 리소스 쿼리 가능

• 별도 MCP 구현 없이도 CLI로 운영 통합 가능

5. 도입 효과 및 비용 구조

💡 Bedrock 도입 효과

• 시스템 모니터링 및 운영 업무의 고도화된 자동화

• 인시던트 대응 시간 단축 + 운영자 판단 집중 가능

• 운영 효율성 및 대응 일관성 확보

💰 비용 구조 (월 기준)

• 총 약 $500/월

  • 80%: OpenSearch 인스턴스 비용

  • 20%: 프롬프트 기반 LLM 토큰 비용

• 토큰 비용은 예상 대비 크지 않음

6. 보안 및 거버넌스 고려사항

🔐 Bedrock 보안 정책

• 고객 데이터는 모델 학습이나 성능 개선에 사용되지 않음

• 프롬프트 및 응답 데이터는 저장되지 않음

• 대화 이력은 KMS 기반 암호화로 보호

• Guardrails 서비스를 활용하여 개인 정보 마스킹, 응답 필터링 가능

🛡️ 거버넌스 조직과 연동

• AWS MCP는 별도 구현 없이 Q Developer CLI의 내장 도구로 연동

• 거버넌스 조직에서 랜딩존(Landing Zone) 구성 완료

7. 향후 전망 및 의견

• 트러블슈팅 자동 해결 기능 도입에 대한 기대감 상승

• 현재는 분석 중심이지만, 향후 AI에 의한 직접 자원 제어로 진화 가능

• 신중한 설계 및 지속적인 발상 전환 필요

• 운영 자동화에서 나아가 AI 기반 운영 지능화 가능성 주목

  
  

6. 내가 만든 에이전트, Bedrock AgentCore 로 안전하고 빠르게 배포하기

핵심단어: AgentCore, Runtime, Gateway, Memory, 보안, Bedrock

요약

• AWS Bedrock AgentCore는 다양한 프레임워크와 모델에 적용 가능한 안전하고 확장성 있는 에이전트 배포 및 운영 서비스

• AgentCore는 Runtime, Gateway, Memory, Identity, Observability, Code Interpreter, Browser, Marketplace 등의 컴포넌트로 구성됨

• 에이전트 배포 시 코드 몇 줄 추가와 CLI 명령어 실행만으로 Docker 기반 클라우드 배포 가능

• 세션 관리, 보안, 모니터링 등 운영에 필요한 기능을 통합 제공

1. AgentCore 개요

• 다양한 프레임워크와 모델에 적용 가능한 에이전트 배포 및 운영 플랫폼

• AWS Bedrock의 AgentCore는 모든 에이전트 프레임워크에 대해 안전하고 확장 가능한 클라우드 기반 실행 환경 제공

• 고객이 만든 에이전트를 손쉽게 배포하고 운영할 수 있도록 설계

주요 목적

• 에이전트 개발 시 발생하는 통합, 스케일링, 인증, 모니터링 등의 문제를 해소

• MCP 연동, Memory, 웹 검색, 코드 개발 도구 등과의 통합 어려움 해결

• 다수 사용자 대응을 위한 스케일링과 인프라 구성 부담 완화

• 배포 이후 사용 현황 모니터링 및 Observability 기능 제공

• 거버넌스와 인증 체계 내에서 운영 안정성 보장

2. Runtime

• 에이전트 실행 환경 + 세션별 연결 유지 기능 포함

• 다양한 프레임워크를 지원:

  • Strands Agents

  • LangGraph

  • LangChain

  • Crew 등

배포 방식

• 에이전트를 Docker 이미지로 패키징하여 AWS 클라우드에 배포

• 세션별 끊김 없는 연결과 안정적 엔드포인트 제공

• 배포 절차:

  1. 코드 상·하단에 AgentCore용 라이브러리 및 데코레이터 추가

  2. agent-core config 명령어 → Dockerfile 자동 생성

  3. agent-core launch 명령어 → 배포 자동 수행

  4. 배포 완료 후 ARN 기반 상태 확인 및 호출 가능

• 엔드유저는 HTTP 엔드포인트 또는 boto3 등 SDK를 통해 에이전트 호출 가능

3. Gateway

• 다양한 MCP 도구와 커스텀 툴을 통합하는 중간 허브 역할

• 사용자가 만든 MCP 툴 또는 외부 도구를 AWS Lambda에 배포 → Gateway에 연결

주요 기능

• 인바운드 요청을 해당 MCP 도구로 라우팅하여 실행 지원

• 시맨틱 서치(Semantic Search) 기능으로 수천 개의 MCP 툴 중 관련 툴만 선별

  • 툴 목록 내 연관성 높은 툴 자동 탐색 및 제공

  • 툴 검색 속도 및 정확도 향상

    
    

7. T멤버십 사례로 보는 Aurora MySQL DB의 HLL에 대한 이해

핵심단어: Aurora MySQL, HLL, MVCC, Reader DB, Writer DB

요약

• Aurora MySQL에서 HLL 지표(Historical List Length) 급증이 DB CPU 부하 및 장애의 원인임을 확인

• Reader DB의 쿼리도 Writer DB의 HLL 증가에 영향을 미침에 따라 운영 시 주의 필요

• HLL 증가 방지를 위해 Repeatable Read 모드 관리, 세션 신속 종료 등 적극적 운영 방안 권고

1. 장애 원인 및 HLL 지표 분석

🚨 CPU 부하 및 장애 발생

• 특정 이벤트 없이 CPU 사용률 100% 근접 → DB 응답 지연 및 파드 재기동 발생

• AWS Performance Insights 분석 결과, 특정 쿼리가 과도한 CPU 점유로 장애 유발

📈 HLL 지표 급증 확인

• 장애 발생 전 1개월간 HLL 지표는 100만 건 이하 유지

• 장애 당일 6,500만 건까지 급증 → DB 부하와 성능 저하 발생

🧟‍♂️ 원인: 좀비 세션

• 배치 세션 오류로 인한 좀비 프로세스가 장시간 유지

• 세션 강제 종료 후 HLL 감소 및 CPU 부하 해소 확인

2. HLL 개념 및 MVCC 관계

🔁 MVCC 개요

• MVCC(Multi-Version Concurrency Control): 동시성 제어 기법

• 같은 테이블을 읽더라도 사용자별로 다른 시점의 데이터 제공

• 변경된 데이터는 Undo 로그에 이전 버전과 함께 저장됨

🔗 HLL과 Undo 로그 관계

• Undo 로그는 시간순으로 변경 내역 저장

• HLL(Historical List Length) = Undo 로그의 리스트 길이

• HLL 증가 시:

  • 디스크 I/O 및 CPU 부하 증가

  • 쿼리 성능 저하

  • Lock 충돌 가능성 증가

3. Aurora MySQL 구조와 Reader–Writer 영향

🧱 구조 차이

• Aurora MySQL은 Writer DB와 Reader DB가 스토리지를 공유

• 일반 MySQL은 Reader/Writer가 스토리지를 분리해 사용하는 구조

📌 리더 쿼리도 라이터에 영향

• Reader DB의 조회 쿼리도 Undo 로그를 공유 → Writer DB의 HLL 증가 유발

• Reader DB에서 발생한 질의도 Writer DB의 부하와 직결됨

4. HLL 관리 및 운영 대응 방안

📊 모니터링 및 알람 설정

• CloudWatch 및 Datadog 등을 활용해 HLL 수치 모니터링

• HLL이 100만 건 초과 시 알람 설정

• 알람 발생 시: DB 접속 → 장시간 실행 세션 확인 및 종료

⚙️ MVCC 모드별 HLL 영향

• Aurora MySQL의 Reader DB는 기본적으로 Repeatable Read 모드

  • 쿼리 시작 시점 기준으로 Snapshot 고정 → Undo 로그 증가 유발

• Read Committed 모드로 변경 시 HLL 증가 억제 가능

  • 단, 세션마다 직접 설정 필요해 운영상 번거로움 존재

🛑 세션 관리

• 불필요한 세션 유지 금지

• 쿼리 실행 후 즉시 연결 종료 권장

  • "빠른 접속 → 조회 → 종료" 방식이 가장 이상적

• Auto-commit 옵션은 HLL 증가 방지책이 아님

  • 세션이 열려 있는 한 HLL은 계속 증가

5. 결론 및 운영 상 교훈

• HLL 지표는 Aurora MySQL의 성능과 서비스 안정성을 좌우하는 핵심 지표

• Reader DB의 쿼리도 Writer DB에 영향을 주므로 운영 시 주의 필요

• 성능 유지를 위한 필수 대응:

  • 지속적인 HLL 모니터링 및 알람 설정

  • 세션 관리 철저

  • MVCC 모드 최적화 및 전략적 설정

    
    

8. 새로운 개발 파트너: Q Developer와 Kiro로 여는 개발 자동화의 시대

핵심 단어: Q Developer, Kilo, Agentic AI, MCP, 개발도구

요약

• Amazon Q Developer와 Kilo를 활용한 Agentic AI 기반 개발도구의 기능과 활용 사례 소개

• Agentic AI 도구의 목표 중심 자동화 방식, MCP 도구 연동 구조 및 현업 적용 방식 설명

• 국내외 기업들의 Q Developer 및 Kilo 도입 사례와 개발 생산성 향상 효과 공유

1. Agentic AI 기반 개발도구 개요

🤖 Q Developer & Kilo 소개

• 기존 개발환경에 통합 가능한 AI 개발 파트너

• VS Code, IntelliJ, Eclipse 등 주요 IDE에 플러그인 또는 CLI 형태로 통합

• 반복적·비효율적인 작업을 줄이고, 개발자가 창의적 본질 업무에 집중할 수 있도록 지원

🎯 Agentic AI의 목표 기반 작동 방식

• 명시적 목표 설정 + 컨텍스트 주입 → 목표 달성 위한 자동화 루프 실행

• MCP 도구 연동을 통해 다양한 기능 호출 및 결과 도출 가능

• **LLM 모델(Sonet 3.7 / 4.0)**과 Bedrock 기반 프롬프트 해석 및 사용자 친화적 응답 제공

2. Agentic AI 도구의 역할 분류 (비유적 설명)

• Q Developer 및 Kilo는 마치 경험 있는 계약직 개발자처럼 행동

• 사용자가 역할을 명확히 정의하면, 예: "5년 차 DevOps", "FinOps 전문가" 등

  → 해당 역할에 적합한 에이전트 실행 전략을 따름

3. Q Developer & Kilo 주요 기능

💡 Q Developer 기능

• 다양한 IDE 플러그인 지원: VS Code, JetBrains, Eclipse 등

• AWS 콘솔 내 챗봇 인터페이스 제공: 자연어로 코드 생성 및 수정

• CLI 형태 지원: 스크립트 자동화 및 기능 확장에 적합

🧩 Kilo의 스펙 기반 개발 지원

• 프롬프트 입력 → 요구사항/디자인/태스크/리스크를 마크다운 문서로 자동 생성

• 생성된 Task는 수동 관리 또는 자동화 가능

• 조직 단위의 일관된 코드 품질 및 Terraform 기반 인프라 관리 가능

🔗 MCP 도구 연동

• AWS 내 60여 개 MCP 도구와 JSON 형식으로 연동 가능

• 테스트, 버그 탐지, 코드 유틸리티 등 다양한 업무 자동화 지원

4. 국내외 활용 사례

📌 대규모 자바 버전 업그레이드

• 63만 라인, 140개 라이브러리 규모 프로젝트

• Q Developer 사용 → 4주 만에 JDK17 업그레이드 완료

• 전체 코드 중 약 70% 자동 변환, 생산성 약 4배 향상

📦 패션 쇼핑몰 이벤트 대응 및 비용 절감

• Kubernetes 기반 이벤트 시 20여 개 MCP 도구 활용

• 비용 분석 및 이슈 자동 진단, CloudWatch 대시보드 자동 생성

  → 이슈 파악 시간 30초, 월 $30,000 비용 절감

🎟 티켓팅 업체의 오토스케일링

• Google Calendar API 연동 → ECS Fargate / ALB 자동 확장 및 축소

• Q Developer가 Kubernetes Operator Controller 자동 생성

  → 운영 자동화 수준 향상

🔐 OTT 기업의 보안 리포트 자동화

• Q Developer로 일간/주간 보안 리포트 자동 생성 → S3 업로드 → Slack 알림까지 자동화

• 코드와 SQL 쿼리 자동 바인딩으로 보안 심사 대응력 강화

5. Agentic AI 도구 활용 전략 및 전망

⚙️ 업무 효율화 및 혁신 집중

• 반복 작업을 AI에게 위임하고, 기획·설계·창의적 업무 집중

• AI 도구가 미경험 영역을 대신 학습·처리 → 업무 허들 감소

🔄 개발 생애주기(SDLC) 전반 통합

• 프롬프트 기반 스펙 작성 → 실행 → 배포까지

• Q Developer, Kilo, MCP 도구를 조합해 SDLC 전반 자동화 가능

• GitHub, Argo 등 CI/CD 도구와 연동하여 생산성 극대화

6. 도구별 특징 및 도입 안내