DEVOCEAN

■ 연구 내용

[Agent 기술 관점]

• GUI Interaction을 자동화하는 Operator Agent의 지능형 계획 및 실행 모델 연구

• Autonomous Agent 기술의 기반이 되는 General AI Agent 상의 실행 ToolSet 이 되는 Web/App GUI Agent를 적용한 인터랙션 모델 개발.

[Edge/Device 연계 관점]

• Edge 인프라와 Device 환경에서 GUI Operator Agent 최적화 및 Web/App UI 기반 자동화 실행을 위한 모델 연구

• 유저가 수행한 Task에서 발생하는 수행 Step을 학습하여, Autonomous Agent (UI Task) 모델 및 Flow 개발 및 분산 지능 시스템 설계로서 Federated Learning과 Agentic AI 구조의 통합 메커니즘 연구 적용.

■ 연구 목적

• GUI Interaction Task를 학습하는 지능형 App/Web Operator Agent 개발

• Web과 App에 대한 GUI Agent의 탐색과정 최적화 및 Unified Memory 구조 기반 UI Transition Node 그래프 구성, MTCS의 UI Transition 알고리즘 개선, (Multi Modal 인풋) / 개인 Task 학습 FeedbackLoop 적용 자율 구현 및 에지 연계 자율 에이전트 개발.

■ 활용 계획

• Autonomous AI Agent/Operator Agent를 활용한 개인화된 Task Assist 서비스 사례 개발

• 자율형 에이전트 성능 개선 및 인터랙션 활용 개선, 도메인/시나리오별 Dynamic Flow, DIY Flow 메커니즘과 MCP, A2A 기반 Agent Aware 시스템으로 개선.

• Multi Modal 연계한 Agent2Agent 연동 프로토콜 연구 및 분산 Agent 시스템 아키텍처를 통한, 단말로 부터 사용자 요청의 Agentic 분산 처리 메커니즘 개발.

■ 관련 경험/역량

• 머신러닝/딥러닝 기초 지식 및 모델 학습 경험

• Python, JavaScript 등 관련 프로그래밍 언어 활용 능력

• Web/App 개발 경험 (프론트엔드 또는 백엔드)

• 모바일/웹 환경에서의 프로젝트 경험

• 우대사항 - Autonomous Agent 기술 및 LLM 활용 경험, Web/App GUI 인터랙션 개발 경험, 연합학습(Federated Learning) 이해 및 적용 경험, 에지 컴퓨팅 및 온디바이스 AI 구현 경험

01 멘토 소개

멘토 이름 김동현 GPAA - AI Tech Product 본부 - Agent Orchestrator 팀

[개발 관련]

현) SKT : (On Device / Edge Aware) Autonomous AI Agent 기술 개발.

전) SKT : (온디바이스향) AI 플랫폼 개발, (인지/판단/액션) 연계 파이프 라인 기술 개발, Application 액션 자동화 모델 환경 개발(LAM), (엣지 향) AI/ML 플랫폼 개발, 이동통신 시스템 가상화/엣지 설계,

삼성 : 서비스 플랫폼 개발,

TMAX : JEUS 웹서비스 엔진 개발,

LG 이통연 : 3G RNC 네트워크 시스템 개발

[멘토링 관련]

• SKT AI Fellowship 6기 멘토 (2024)

• 국가 유공 인재 양성 정보통신부 장관상(2023),

• SW Maestro Mentor (2024 인증 1개팀 , 2023, 인증 2개 팀의 멘토 - Agent, mLLM(whisper)/LLM 어플리케이션 주제)

표준 관련

• 현) AI Native 시스템, Cloud Native 시스템 표준화 위원

• 전) 5G Edge MEC 표준화 위원

특허 관련

• Edge Computing 관련, 모바일 서비스 플랫폼, 서비스 인프라 구조, Virtual Mobile Infra관련 등 (특허 10편).

02 프로젝트 소개

올해 Manus 를 필두로 한 여러 General AI Agent 기술이 태동기를 넘어 폭발적인 도메인 별 분야의 적용이 예상 됩니다 .

General AI Agent 기술은 Autonomous Agent의 기반 기술로서 많은 가치가 있지만, 이를 유저 관점에서는 채팅이상의 유저 인터랙션을 위한 인터페이스와 개인화가 적용되어야 하고,

Agent로 서비스를 개발하는 관점에서는 도메인 / 시나리오 상황에 맞는 Dynamic Flow 혹은 DIY Flow 및 MCP를 통한 Agent Aware한 Tools의 구성도 필요합니다.

이를 위해 많은 연구 및 실제 Applied 시스템이 나오고 있습니다.

이 과제에 대한 구상을 하는 중에도 그동안 자율형 Agent 에서 비어 있던 그림인 Agent간 연동 부분(Agent2Agent)이 Google 을 통해 발표 되기도 하였습니다.

본격적인 자율형 에이젼트의 시대가 시작을 알리는 이벤트라고 생각합니다.

본 과제에서는 이런 빠른 Agent의 기술 발전 속에 기여가 필요하다고 생각하는, Automonous Agent Enabling 기술을 진행하고자 합니다.

크게는 2가지 기술 도전사항이 있습니다.

첫째. 개인이 참여 하는 Agent 사용 시나리오로 부터 , Private Data 를 유지하면서 자율형 개선이 가능하게 하는, Federated Data / Learning 이 Agentic AI 구조 에서 다시 부각 될 것으로 보고, Edge 인프라와 Device에서 Autonomous Agent 연계한 부분을 (차별화) 포인트로 잡았습니다.

조금 타겟을 좁혀서 단말(서비스 Client) 로 부터 유저의 GUI Interacton Task를 UseCase를 학습하는 계획, 실행, 평가, 적응하는 유저의 실행 패턴으로 부터 GUI 자동화를 포함하는 유저 Task를 배우고 실행하는 Operator Agent에 대한 지능형 시스템을 개발하고자 합니다.​

둘째. 이에 앞서 자율형 Agent 시스템에서 Operator Agent 을 툴로 보고 시스템을 확장 개발하고 시작합니다. (Agent2Agent 와 MCP 구조를 활용한 분산된 Agent를 구성하고) Web 과 App에 대한 GUI Agent의 탐색과정의 최적화와 실제 이를 단말에서 수행을 위한 Web/App간의 Action Unified Memory구조 를 기준으로 App UI Transition Node 및 Web Transition Node 그래프 구성을 통해 이를 수행 위한 MTCS의 UI Transition 알고리즘의 개선도 수행하게 됩니다.

2024년 AI Fellowship 6기 On Device상의 (인지/판단/실행) 모델 파이프라인 기술 개발 과제, 이를 연계한 연구에서, APP GUI에 대한 Action 엔진을 진행한 바가 있습니다.

올해는 이의 연장선인 Mobile Agent 기술을, 자율형 AI Agent에 WebAgent와 함께 접목 하는 부분과, 실제 유저의 질의에 Interactive하게 반응하는 App/Web의 UI 기반 실행을 목적으로 합니다.

요약해 보면, 유저가 PAA등으로 부터 의도한 시나리오의 정확도를 위해 유저의 서비스 사용중에 자율 및 참여 개선하는 Agentic AI 구조상의 Federated (TaskData) Learning을 적용하고, 빠르고 정확한 실행을 위하여 Learning 과정에 최적화된 Replay Memory 생성을 하고, 이를 Autonomous AI Agent 상에서 통합하여 사용하게 됩니다.

03 기술의 활용점

• Autonomous Agent 기술을 활용한 개인화된 Task Assist 서비스 개발을 통해 사용자 경험 향상

• Web/App GUI 자동화를 통한 반복 작업 효율화 및 사용자 생산성 증대

• Federated Learning 기반 Agent 학습을 통해 사용자의 GUI Interaction 패턴을 분석하고 맞춤형 자동화 제공

• Agent2Agent 연동 구조를 통한 복잡한 사용자 요청 처리 및 다중 앱/웹 환경에서의 Task 자동화

• Edge 인프라와 Device 연계를 통한 개인정보 보호 강화 및 로컬 처리 기반 응답 속도 개선

• UI Transition 알고리즘 개선을 통한 더 정확하고 효율적인 GUI 자동화 실현

• 실사용자 피드백을 통한 지속적인 성능 개선 및 Learning 프로세스/Replay Memory 구현

04 발전하게 될 부분 / 기여하게 될 부분

Autonomous Agent 기반 기술 개발 심화 및 이를 활용한 Autonomus AI Agent / Operator Agent 적용 개인화된 Task Assist 서비스 사례 개발

선택 가능한 기술적 도메인 :

• Autonomous Agent 기술 연구 및 서비스 개발로서 자율형 에이전트 성능 개선, 인터랙션 등 활용 개선

• Multi Modal / 개인 FeedbackLoop 적용 자율 구현 / 에지 연계 자율 에이전트

본 과제에서는 이를 위한 Autonomous향 Agentic AI 를 위한 E2E 상의 기반 기술을 참여 Fellow의 관심사와 강점을 고려하여 방향 조절될수 있으며,

(과제의 부분 참여 가능합니다.) 의견 반영하여 진행 예정입니다.​