DEVOCEAN

AI 검색 엔진의 부상 (검색의 진화)

다음은 "AI 검색이 기존의 검색과 어떻게 다른지 설명해줘"라는 질문를 구글과 Chat GPT에 각각 던졌을 때의 답변입니다.  

기존의 검색 (구글)과 AI 검색 (Chat GPT)이 어떻게 다른지를 보여주는 대표적인 예입니다.

"AI 검색이 기존 검색과 어떻게 달라" 라고 묻는다면, 아마 대부분의 사람들은 "정답을 바로 말해주는 것"을 꼽을 것입니다.

원하는 정보를 찾기 위해, 링크를 하나하나 찾아 들어가 문서를 직접 읽고 정리해야 했던 기존의 검색과 달리, 

AI 검색은 관련 문서를 "AI 가" 모두 읽고, 사용자가 원하는 답을 "AI 가" 정리해 줍니다.

답을 하기 까지 시간이 다소 소요되기도 하고,

때로는 거짓 정보를 제공하거나 있지도 않은 정보를 만들어내기도 하지만, 

바로 답을 내어주는 AI 검색의 편의성은  이 모든 단점을 모두 감내하고도 남을만한 신기한 경험을 사용자에게 제공해 줍니다.

문서를 대신 읽고 사용자 질문에 맞는 답을 해주는 AI 검색은 어쩌면 검색의 가장 본질적이면서도 동시에 (현재로서는) 가장 진화된 형태라 할 수 있을 것입니다.

AI 검색 엔진의 내재화 필요성

LLM 이 개발되면서 AI 검색 엔진 개발의 난이도가 다소 낮아진 것은 사실입니다. 

검색 엔진 개발에 있어서 가장 어려운 부분인 질의 분석과 문서 색인 그리고 답변 요약 기능이 모두 LLM과 RAG 등의 LLM 연관 기술로 어느 정도 해결이 가능해 졌기 때문입니다. 

Perplexity 가 AI 검색 엔진을 처음 선보이고 나서 유사한 기능의 AI 검색 엔진이 여럿 나올 수 있었던 배경에는 이러한 LLM 의 등장이 가장 컸습니다.

고성능의 AI 검색 엔진이 존재함에도 불구하고 SKT 내부에서 AI 검색 엔진을 자체적으로 개발하게 된 배경은 다음과 같습니다.

첫째로는 한국의 지역적 특성 때문입니다. 

성능이 좋다고 알려진 Perplexity 도 한국에서 일어난 이슈에 대해 실시간으로 대응을 제 때 해주지 못할 때가 있습니다.

아래는 그 대표적인 예입니다. 

(2025년 7월 3일 오전 기준으로 왼쪽이 SKT AI 검색엔진 PAAS, 오른쪽이 Perplexity Sonar 모델의 결과입니다.)

두 번째로는 AI 검색 엔진의 기술과 그들이 제공해주는 API 간의 성능 차이 입니다.

AI 검색 엔진들은 사용자의 복잡하고 다양한 질문에 대응하기 위해 보다 많은 비용을 들여 높은 수준의 검색 기술을 개발하게 됩니다. 

그러나 그들이 제공하는 API 는 그들이 가진 고수준의 검색 결과 보다는 가성비가 가장 좋은 (다소 낮은) 수준의 검색 결과를 제공합니다. 

API를 제공받는 곳에서 높은 수준의 검색 결과를 기대하기 어려운 이유입니다.

마지막으로 커스터마이징 이슈입니다. 

서비스에 필요한 특정 질의 군의 검색 결과가 맘에 들지 않아 개선하고 싶거나, 

서비스 개발을 위해 입력이나 출력의 포맷 변경이 필요한 경우 모두,

전적으로 검색 엔진 개발 업체에 기대할 수 밖에 없습니다.

이러한 이유로 AI 검색 엔진의 내재화가 필요하다 판단되었고,

2024년 7월부터 AI 검색 엔진 개발 프로젝트가 시작되었습니다.

AI 검색 엔진, PAAS

AI 검색엔진 PAAS는 2024년 7월에 개발을 시작하여 2024년 9월 그 첫 번째 버전을 내부에 공개하였습니다. 

2024년 12월에는 시스템 안정성과 검색 성능 향상 그리고 검색 서비스 제공을 위한 API 를 구축하였습니다. 

그리고 2025년 1월, 외부 AI 검색 엔진과 비교하여 적은 비용으로 수준 높은 검색 품질을 제공한다는 성능 실험 결과를 인정받아 에이닷에 적용되었습니다.  

에이닷에서 최신 정보를 요구하는 질문을 하신다면 PAAS가 답할 확률이 높습니다.

아래는 PAAS 답변의 예입니다.

출처가 노출되었다면 PAAS 답변일 가능성이 높습니다.

PAAS 는 Personal AI Assistant Search 의 약자입니다. 

개인 AI 비서 검색이라는 단순한 이름을 가지고 있지만, 사용자의 질문에 보다 정확하고 풍부한 답을 제 시간에 제공하기 위해 노력하고 있습니다.

다음은 PAAS 의 내부 구조입니다.

각 모듈이 담당하는 역할을 간단히 소개하면 다음과 같습니다.

Search Planner

• 사용자 대화 이력과 사용자 질의를 입력 받아 검색 필요 여부, 검색 유형, 검색 플랜, 유효 수집 기간 등을 분석하여 Query Processor 에 전달합니다.

• "검색 유형"의 종류 및 의미

  • Quick

    • 간단한 질의

    • 원본 질의 만으로 문제 해결 가능

    • 예) "아이브 그룹 멤버수 알려줘"

  • Simple

    • 보통의 질의

    • 원본 질의와 확장 질의로 문제 해결 가능

    • 예) "아이유 연기활동과 최근 출연작 알려줘"

  • Complex

    • 복잡한 질의

    • 질의를 분해하고 분해한 질의들을 모두 검색하고 종합해야 문제 해결 가능

    • 예) "포토프린터 대표적인 거 몇 개 찾아서 이들의 장단점과 평가 그리고 가격을 정리해줘"

• "유효 수집 기간"의 종류 및 의미

  • realtime

    • 실시간 수집 문서 필요

  • day / week / month / year

    • 1 일/주/달/년 이내 수집 문서 필요

  • all

    • 수집 기한 없음

• "검색 플랜"

  • PAAS는 문제를 풀기 위한 검색 플랜을 생성합니다. 다음은 그 예입니다.

  • 질의: "최신 AI 연구 동향 조사해줘"

  • 아래 검색 플랜 예제에서는 모두 9개의 확장 질의가 만들어졌음을 확인할 수 있습니다.

 {
  "logical_steps": [
    {
      "logical_step_seq": "1",
      "logical_step_name": "연구 동향 조사",
      "logical_step_keyword_query": [
        "최신 AI 연구 동향",
        "AI research trends 2025",
        "인공지능 연구 최신 동향"
      ]
    },
    {
      "logical_step_seq": "2",
      "logical_step_name": "연구 결과 분석",
      "logical_step_keyword_query": [
        "AI research findings analysis",
        "인공지능 연구 결과 분석",
        "AI 연구 성과"
      ]
    },
    {
      "logical_step_seq": "3",
      "logical_step_name": "미래 전망 및 응용",
      "logical_step_keyword_query": [
        "AI future prospects",
        "인공지능 미래 전망",
        "AI 응용 분야"
      ]
    }
  ]
}

Index

• (확장) 질의를 입력받아 관련있는 문서들을 모두 찾아 Search Processor 에 전달합니다.

• 관련 문서의 수가 부족할 경우에는 크롤러에게 수집 요청을 하게 되고, 크롤러는 다방면으로 시드를 수소문하여 관련 문서를 수집합니다.

• 빠른 시간 내에 AI 검색 엔진을 만들 수 있었던 배경에는 저희 본부가 다음의 시스템/모듈들을 미리 구축 및 개발해 두었기 때문입니다.

  • 크롤러 시스템 구축

  • 수집된 문서들의 저장 공간 구축

  • 색인기 개발

  • 검색기 개발

Scraper

• Index 로부터 얻어진 후보 문서들을 최신으로 업데이트 합니다.

• 후보 문서의 수집 시간이 Search Planner 에서 제공해 준 유효 수집 기간 내에 있다면 업데이트 하지 않습니다.

• 방문하는 사이트의 트래픽을 최소화하기 위해 (Crawler와 Scraper의 각 사이트) 방문 주기와 횟수는 Global TPS Controller 에 의해 엄격히 통제 및 관리됩니다.

Ranker

• 웹 컬렉션 (컬렉션은 문서의 묶음입니다.) 외에 뉴스, 증권과 같은 다른 컬렉션이 존재한다면 컬렉션 랭킹을 먼저 수행합니다. (컬렉션 랭킹 또한 Search Planner 에서 제공해 준 정보를 이용합니다.)

• 다음으로 컬렉션 내 후보 문서들의 랭킹을 매깁니다. 만약 문서와 질의간의 유사도가 많이 낮다면 문서를 후보 셋에서 제거합니다.

Summarizer

• 사용자의 대화 이력과 Ranker 에서 제공해 준 문서들을 이용하여 사용자 질의에 답변을 합니다.

• 입력 토큰 수와 출력 토큰 수를 설정할 수 있고, 입출력 포맷 또한 자유롭게 변경 가능합니다.

• 질의의 특성에 맞게 필요한 정보를 답변에 더욱 담도록 하는 프롬프트가 내재되어 있습니다.

  • 시제 ("최근", "예정", "작년" 등) - 현재 시간 기준으로 답변

  • 타임 라인 - 연도와 날짜

  • 음식점 - 위치, 메뉴, 영업 시간

  • 스포츠 - 경기 시간, 장소, 결과

다음은 타임 라인과 출력 포맷 변경 지시에 대한 PAAS 의 답변 예입니다.

현재 PAAS는 SKT 내부에서 활용도가 높아지고 있습니다.

외부 AI 검색 엔진 못지 않은 검색 결과를 저비용으로 제공하고 있고, 서비스 개발에 필요한 검색 결과 개선을 저희가 신속하게 지원하고 있기 때문입니다.

그러나 무엇보다 정보 탐색 분야는 AI Agent 개발의 가장 기본적인 기능이기에 개인 정보 보호 이슈와 더불어 PAAS의 활용도는 더욱 높아질 것으로 예상됩니다.

누구나 인정하는 AI 검색 엔진이 되려면...

현재 PAAS는 AI 검색 엔진 이라기 보다는 답을 해주는 "검색 엔진"에 가깝습니다.

누구나 인정하는 AI 검색엔진이 되려면 다음의 세 가지 기능을 탑재해야 합니다.

첫번째는 컬렉션 확장, 두 번째는 멀티모달, 세 번째는 딥서치 기능입니다.

PAAS는 in-house 데이터를 하나씩 추가하고 있고, 버티컬 확장 또한 준비 중에 있습니다.

수집된 웹 문서로만 검색 결과를 제공할 때 동반되는 실시간 성 이슈를 제거하기 위해 뉴스, 증권 등의 In-house 데이터를 하나씩 추가하고 있고,

문서 검색으로는 부족한 이미지, 지도 등의 버티컬 확장을 준비중에 있습니다.

또 다른 한 방향으로 이미지 검색 기능을 실험하고 있습니다.

이미지를 입력받아 이미지의 내용을 분석해 주거나 관련된 문서나 이미지를 검색해주는 기능을 준비 중에 있습니다.

마지막으로 딥서치 기능을 올해 내 공개할 예정입니다.

여러 번의 검색을 순차적으로 진행해야 답을 얻을 수 있는 복잡한 질의나 다양한 소스의 정보를 종합하여 의사결정을 도와주는 레포팅 기능을 현재 가다듬고 있는 중입니다.

다음은 "오징어 게임3의 평가와 출연진의 최신 영화 알려줘" 라는 질의를 PAAS-딥서치가 어떻게 문제를 해결하는 지 보여주는 예입니다.

(더 다양하고 복잡한 질의에 대해 PAAS-딥서치가 어떻게 문제를 해결하는지는 다음에 자세히 설명드리도록 하겠습니다.)

AI Agent 로서의 성장 가능성

PAAS를 개발하면서 우연히 발견했던 한가지는 LLM이 문제를 해결하기 위한 플랜을 제공해 준다는 것입니다.

위에서 설명드린 딥서치 개발도 이러한 LLM의 플랜 제공 기능에 기반합니다.

Reasoning 모델을 사용하면 더 좋겠지만 그보다 가벼운 일반 LLM 모델이라 하더라도 플랜 기능을 사용하기에 어려움은 없었던 것 같습니다.

검색 문제를 해결하는 데서부터 출발하였지만, PC/모바일로 할 수 있는 기능들을 하나씩 추가한다면,

사용자가 무엇을 지시하든 사용자가 원하는 어떤 것이든 수행할 수 있는 AI Agent로의 확장이 가능하겠다는 생각이 들었습니다.

비슷한 고민을 가진 사람들이 기능 확장을 위해 만든 프로토콜이 MCP(model context protocol) 가 아닐까 생각합니다.

앞으로 PAAS는 이러한 MCP를 이용한 AI Agent 에도 도전해 볼 생각이며,

모든 수행을 서버에서 수행하는 방식에서 벗어나 모바일에서 동작시키는 실험도 진행해 볼 생각입니다.