Actionable Agent. 그리고 Open AI Operator

1TBB 25.03.26

1,814 6 1

facebook twitter kakao link

6 1

facebook twitter kakao link

DEVOTEE 요약: Actionable Agent는 실행 가능한 행동을 계획하고 수행할 수 있는 에이전트로, 환경에 적응하고 자율적으로 작업을 수행하는 특징이 있습니다. OpenAI Operator는 웹 기반 자동화 에이전트로, 반복 작업의 효율성을 높이고 사용자가 개입할 수 있는 기능을 제공하여 작업 부하를 줄입니다. Operator는 강화 학습 및 고급 비전 기능을 통해 복잡한 작업을 단계별로 처리하며, 현재는 일부 국가에서만 사용 가능하고 ChatGPT Pro 계정에 한하여 제공됩니다.

DEVOTEE 추천 블로그

Actionable Agent란 무엇인가?

주어진 상황에서 실행 가능한 행동을 계획하고, 수행할 수 있는 에이전트를 의미합니다.

도구와 상황을 고려하여 사고하고, 필요한 다음 행동을 설계하는 역할을 합니다.

기본적인 LLM의 동작 방식이 Prompt에 대해 적절한 Output을 출력하는 방식이라 한다면,

Agent는 복잡하고 정교한 사고 작업을 실행할 수 있게 설계되어 있습니다.

Actionable Agent의 특징은 다음 3가지로 대표할 수 있습니다.

계획 및 실행 능력
에이전트는 작업을 계획하고, 필요 리소스를 식별하며, 그 계획을 실행할 수 있는 능력을 가집니다.
환경 적응성
에이전트는 환경의 변화를 감지하고, 그에 맞춰 행동을 조정할 수 있습니다.
자율성
에이전트는 독립적으로 작업을 수행할 수 있으며, 필요에 따라 사용자와 상호작용합니다.

이는 인간의 개입을 최소화하면서 복잡한 작업을 이해할 뿐만 아니라 수행까지 할 수 있도록 설계된 정교한 소프트웨어 시스템입니다.

이러한 에이전트는 고급 알고리즘을 활용하여 데이터를 분석하고, 사용자 지침을 해석하고, 결정된 목표에 따라 작업을 시작합니다.

이 기능은 현재 컴퓨팅에서 AI 에이전트의 역할을 높여, 인간 사용자와 디지털 환경 사이의 중요한 중개자 역할을 합니다.

이는 효율적인 상호작용과 작업 실행을 촉진하는 결과를 만듭니다.

OpenAI인 Operator는, 이러한 Actionable Agent의 특징을 고루 갖추고 있습니다.

Operator란 무엇인가?

각 프로세스를 개별 단계로 세분화하여 반복적인 규칙 기반 작업을 자동화해주는 AI agent입니다.

Operator는 휴가 계획, 식당 예약, 온라인 쇼핑 등.

다양한 작업을 자동으로 수행하는데 도움을 줄 수 있습니다.

시간이 많이 걸리고, 반복 작업들을 자동화하여 작업 부하를 줄여줍니다.

게다가 고정 API 통합 없이, 거의 모든 웹사이트에서 작동하기에, 광범위한 워크 플로우에 적응합니다.

Open AI Operator의 특징

작업 자동화
휴가 계획, 식당 예약, 온라인 쇼핑 등 다양한 작업을 자동 수행.
시간이 많이 걸리고 반복 작업을 자동화하여 작업 부하 감소.
원활한 사용자와 협업
사용자가 언제든 작업을 인수할 수 있는 기능 제공, (중요한 작업에서는 사용자의 확인 요구)
여러 작업 처리 능력
브라우저에서 여러 탭을 여는 것과 마찬가지로, 별도의 세션에서 다른 워크플로 시작 가능.

또한, 모든 것을 자동화하는 것이 아닌, 사용자가 언제든 작업을 인수할 수 있는 기능을 제공합니다.

모든 단계에서 제어 상태를 유지하며, 결제 처리 또는 보안 계정 로그인 같은 민감한 작업을 실행할 시에 일시 중지됩니다. (테이크 오버 모드 및, 사용자 확인)

=> 중요한 작업이 관련된 경우, 운영자는 안전하고 신뢰할 수 있는 작업을 유지하기 위해 사전에 사용자 확인을 요청합니다.

CAPTCHA, 로그인 프롬프트 또는 예기치 않는 장애물과 같은 문제 발생 시.

운영자는 즉시 사용자에게 제어권을 반환하여 민감한 작업이 사람의 감독 하에 진행되도록 합니다.

웹을 기반으로 한 자동화는 반복 작업의 효율성을 올려 줄 수 있고,

다중 처리 작업을 통한 편리함 또한 엄청난 장점이 될 수 있기 때문에 효율을 중시한다면 Operator의 성능에 주목할 만 하다는 것이 주된 평가입니다.

Operator 데모

CUA(Computer-Using Agent)

Operator는 GPT-4o의 고급 비전 기능과 강화 학습을 결합한 모델인 CUA(Computer-Using Agent) 로 구동됩니다. CUA

강화 학습을 통한 고급 추론 능력 결합, 사용자가 화면에서 보는 버튼, 메뉴, 텍스트 필드와 사용자 인터페이스(GUI)와 상호 작용하도록 훈련되어 있습니다.

CUA는 구조화된 HTML에만 전적으로 의존하는 대신, 실시간 스크린샷에서 원시 픽셀 데이터를 분석합니다.

이 접근 방식을 통해 운영자는 버튼, 메뉴 및 텍스트 필드와 같은 대화형 요소를 비표준 또는 레거시 인터페이스가 있는 웹 사이트를 포함한 다양한 웹 사이트에서 식별할 수 있습니다.

이 모델은 생각의 사슬 추론을 사용하여 복잡한 작업을 명확하고 관리 가능한 단계로 나눕니다.

OpenAI는 브라우징 시나리오에서 87%의 성공률을 보고하고 있으며 사용자 피드백과 엄격한 테스트를 통해 지속적으로 학습하고 개선합니다.

동작은 3가지 단계로 나눌 수 있습니다.

인식 (Perception)
컴퓨터 화면의 스크린샷을 분석하여 현재 상태를 파악
텍스트, 버튼, 메뉴 등 다양한 UI 요소를 이해 => 작업에 필요한 정보 수집
추론 (Reasoning)
체계적인 계획을 통해 작업 단계를 설계.
과거의 작업 기록과 화면 상태를 기반으로 문제를 해결 (필요시 작업 경로 수정)
작업 수행 (Action)
마우스 클릭, 키보드 입력, 스크롤 등 실제 작업을 수행
민감한 작업(예: 결제, 로그인)에서는 사용자 확인을 통해 안전성을 확보

이러한 과정은 CUA의 강력한 추론 메커니즘과 결합되어, 복잡한 작업도 단계별로 효과적으로 처리할 수 있도록 돕습니다.

Operator의 한계

하지만, 한창 성장 중인 모든 제품이 그러하듯. Operator에도 문제점은 있습니다.

복잡한 인터페이스 처리
Operator는 복잡한 UI 요소(예: 날짜 선택기, 드래그 앤 드롭 인터페이스)나,
비표준적인 웹 인터페이스를 처리하기 어려워합니다
속도와 효율성
Operator는 인간보다 느린 속도로 웹사이트를 탐색하며, 이는 작업의 효율성을 떨어뜨릴 수 있습니다.
여러 작업을 동시에 수행할 수 있지만, 동시 작업 수에 대한 제한이 있어 성능이 저하될 수 있습니다.
보안 및 인증
인증 절차에서는 사용자 개입이 필요합니다.
결제, 로그인 등 민감한 작업은 사용자 승인 후에만 진행됩니다.
기술적 한계
웹사이트 레이아웃 변경에 대응하기 어렵습니다.Figma, YouTube 등 자원 집약적인 플랫폼에서는 제한적입니다.

더불어, 현재는 일부 국가에서만 사용 가능하며, 다른 지역에서는 접근이 제한되어 있다는 점.

현재는 무료로 사용이 불가능하다는 점 등이 있습니다.

(ChatGPT Pro 계정에만 제공되며, 월 200달러의 비용이 듭니다.)

비교

Operator와 비교할 수 있는 AI 기능으로는, 대표적으로 Tasks가 있습니다.

	Operator	Tasks
작업 자동화 방식	웹 브라우저 상호작용을 통해 작업을 자동화 (시각적 요소를 해석, 클릭, 입력, 스크롤 등의 작업을 수행. 인간과 유사한 방식. 복잡한 멀티스텝 작업 가능.	사전 정의된 워크플로우나 API 통합을 통해 자동화. 구조화된 작업에 적합.
사용자 인터페이스 및 접근성	자연어 명령을 통해 작업. 사용자 친화적인 인터페이스를 제공.(비전문가도 쉽게 사용 가능)	사용자 정의 스크립트나 GUI를 통해 설정 및 관리(특정한 기술적 지식을 요구할 수 있음.)
보안 및 제어	민감한 작업에서는 사용자에게 제어권을 넘겨 보안과 안전성을 보장.	사전 설정된 보안 규칙에 따라 실행.
다중 작업 처리	여러 작업을 동시에 처리 가능. 사용자와의 협업을 통해 작업을 효율적으로 수행	단일 작업에 집중하거나, 사전 설정된 워크플로우에 따라 실행

Operator를 도입한 사례?

아직은 한창 발전 중에 있기 때문에, 이렇다 할 자료가 존재하는 도입 사례는 찾아보기 힘듭니다.

다만, 국내에서는 여행/숙박 플랫폼인 야놀자와 쇼핑 플랫폼인 카카오 쇼핑이 2025년 초 Operator를 도입한 바 있습니다.

야놀자의 경우. 후술할 여러 긍정적의 효과를 위해 Operator를 도입했습니다.

서비스의 자동화 및 효율성 향상
여행 예약, 온라인 쇼핑 등 다양한 작업을 자동화합니다.
이는 여행 관련 업무의 효율성을 높이고, 비용을 절감하는 데 기여합니다.
초개인화된 여행 경험 제공
실시간 데이터를 활용해 맞춤형 여행 플랜을 자동 생성하고 실행합니다.
이는 객실 예약 현황, 가격 변 동, 날씨 등을 종합적으로 분석하여 고객에게 최적의 여행 경험을 제공하는 데 도움을 줍니다.
데이터 기반의 서비스 고도화
수집된 여행 관련 데이터를 활용하여 서비스를 고도화합니다.
이는 AI 기반 여행 서비스의 품질을 향상시키고, 고객 만족도를 높이는 데 기여합니다.

아쉽게도, 현재는 도입 초기이기 때문에, 2025년 3월인 현 시점에서는 아직 유의미한 자료를 찾아보기가 힘듭니다.