DEVOCEAN

오늘은 기술적인 이야기보다는 세간의 화두인 생성 AI와 대형언어모델(LLM : Large Language Model)이 실생활에 결합 되었을 때 어떤 결과를 가져올 수 있을지 이야기해보도록 하겠습니다.

생성 AI는 ChatGPT, Perplexity와 같이 웹 상에 존재하는 모든 데이터와 개인이 업로드하는 개별 데이터를 기반으로 추론, 연산, 조합, 생성을 통해 결과물을 제공하는 것이 대표적 입니다.

최근에는 개인의 스마트폰부터 각종 온디맨드 서비스에도 각각 디바이스와 서비스에 축척된 데이터를 기반으로 개인화된 AI서비스를 제공하고 있습니다.

[사진1] 저장된 400만 리뷰 데이터를 기반으로 AI가 최적의 메뉴와 음식점을 추천 해주는 배달의 민족. (Youtube)

[사진2] 네이버 블로그, 네이버 지도, 네이버 쇼핑 등에 쌓인 각각의 데이터를 기반으로 AI답변을 제공하는 네이버 Cue. (네이버 Cue 소개페이지)

이제는 나를 둘러싼 다양한 환경 - 가전제품, 자동차, 집, 인프라 등 - 에 통합되고 있습니다.

이러한 확장을 통해 사용자는 오프라인 생활 환경에서도 각 디바이스 별 최적의 솔루션을 제공 받습니다.

예를 들어, 삼성전자의 최신 가전제품에 탑재된 AI는 LLM기반의 Vision 기술을 통해 보관된 음식을 스캐닝하고, 이 음식을 기반으로한 요리 레시피 추천은 생성 AI를 통해 제안합니다.

[사진3] 냉장고 내부 카메라를 통해 어떤 음식이 보관되는지 실시간 스캐닝하여, 음식 관리를 돕고, 냉장고 안에 있는 재료들을 기반으로 요리할만한 레시피를 제안하는 삼성전자 BESPOKE AI (Youtube)

최근에는 자동차에서도 AI가 적용되어, 차량의 상태를 모니터링하고 경로를 제안하며,

운전자의 필요에 맞춰 다양한 서비스를 제공하는 방식으로 우리의 일상에 스며들고 있습니다.

그렇다면 LLM기반의 생성AI가 자동차와 만나면, 무슨 일이 생길까요?

SDV(Software-Defined Vehicle) 그리고 자율주행 시대의 시작

자동차 산업은 현재 혁신적인 변화를 겪고 있습니다. 그 중심에는 SDV(Software-Defined Vehicle)와 자율주행 기술이 있습니다.

기존의 내연기관 차량은 CAN(Controller Area Network) 신호 기반으로 차량 내 통신이 이루어졌습니다.

이는 여러 전자 제어 장치(ECU) - 예를들면, 창문 ECU, 공조 장치 ECU, 라이트 ECU - 간의 통신이 각 배선으로 연결되어 통신하는 방식을 뜻합니다.

하지만 SDV 시대로 접어들면서, 자동차 통신은 이더넷 기반의 통합 제어기로 전환하여, 중앙집중화된 컴퓨팅 환경으로 변화하고 있습니다.

이로 인해 자동차 내 통신은 더 빠른 속도로 데이터를 주고 받을 수 있게 되었고, 고해상도 카메라와 센서 간 통신을 통해 자율주행 기술 적용을 용이하게 했으며,

고성능 차량용 컴퓨터(HPVC)와 칩셋, 그래픽 카드 등이 적용되어 다양한 기능을 처리할 수 있게 되었습니다.

이러한 환경은 대용량의 데이터 분석과 컴퓨팅 연산이 필요한 생성AI가 자동차에 들어오기 적절한 환경을 제공해주었습니다.

[사진4] 왼쪽은 CAN 통신 방식, 오른쪽은 Zonal 이더넷 방식. 이더넷을 통해 배선의 길이와 양이 확연히 줄어든 것이 눈에 띈다. (출처)

‘말하는 차’의 등장: 차량에 LLM 기반 AI 어시스턴트 탑재 시작

최근 자동차에 LLM 기반의 대화형 생성AI가 탑재되기 시작했습니다.

올 해 초에 열렸던 CES 2024에서는 폭스바겐과 BMW가 ChatGPT기반의 AI 적용해 자유로운 대화가 가능한 차량을 선보였습니다.

자동차에서 AI 에이전트를 통해 아이가 좋아하는 공룡 이야기를 들려달라고 한다거나, 타코 레시피를 알려달라고 할 수 있게 되었습니다.

나아가 폭스바겐과 BMW에 대해 척척 박사처럼 알려주는 자동차 전문가 기능도 탑재되었습니다.

이를 통해 운전자는 내 차에 현재 떠있는 경고등이 무엇인지, 내 차의 와이퍼는 어떻게 교체하는 지 물어볼 수 있게 되었습니다.

최근에는 기아 EV3에도 GPT기반 대화가 적용되어, 운전자가 운전 중에도 여러가지 대화를 할 수 있도록 제공하고 있습니다.

[사진5] CES2024를 BMW는 차에 대해 백과사전 처럼 알려주는 Car Expert를, 폭스바겐은 자유로운 대화를 중심으로 선보였다.

중국은 생성 AI 적용이 가장 빠릅니다.

샤오미에서 만든 샤오미 자동차에는 자동차에 달린 전면 카메라를 이용한 생성AI 서비스를 선보였습니다.

예를 들어 운전자는 “지금 앞에 있는 자동차는 무슨 자동차야?” 질문을 통해 “앞에 있는 자동차는 000브랜드의 000모델의 자동차입니다”라는 답변을 얻을 수 있습니다.

이는 카메라에 들어온 이미지를 AI를 통해 이미지 분석하고 검색하여 무슨 자동차인지 도출하는 방식으로 이루어졌습니다.

또한 샤오미는 실시간 주변 지도 데이터와 카메라를 기반으로 “지금 지나간 터널은 무슨 터널이야?”에 대해서도 답변을 제공합니다.

[사진6] 샤오미 EV 런칭 영상. (Youtube)

내비게이션과 AI와의 만남

자동차 환경에서 가장 많이 사용하는 내비게이션과 지도에도 AI가 다방면으로 접목되고 있습니다.

Mapbox라는 서비스는 지도 데이터 - 예를들면, 장소 데이터, 지형지물 데이터 등 - 를 비롯하여,

내비게이션에서 쓰는 경로 탐색 기술, 경로 최적화 기술 등을 공급하는 내비게이션 솔루션 제공 서비스 입니다.

Mapbox에는 최근에 생성AI를 적용하여, 자유로운 대화를 통한 장소 검색 기능을 선보였습니다.

운전자는 이제 “아이와 가기 좋은 중식당 찾아주고, 식당 근처에 충전소가 있었으면 좋겠어”와 같은 문장으로 디테일한 장소 검색이 가능 해졌습니다.

그리고 어떤 경로로 가면 왜 막히는지, 각종 도로 규정은 어떻게 되는지 - 가령, “이번에 변경된 우회전 규정 알려줘”, “이 도로는 속도 제한이 어떻게 돼?”, “지금 버스 전용 차로 이용 가능해?” -

에 대한 질문에 대해서도 현재 운전자가 처한 맥락과 생성 AI를 활용하여 답변을 얻을 수 있게 되었습니다.

경로 옵션이나 가고 싶은 길도 보다 디테일한 설정이 가능할 것입니다. 실시간 교통 데이터, 운전자 별 이동 패턴 데이터, 장소 데이터를 기반으로

“남부순환로를 거쳐서 가는 경로로 안내해줘”, “마포대교는 피해서 가자”, “회전이 적은 경로로 안내해줘”와 같은 요청을 생성AI가 분석하고 대응할 수 있게 됩니다.

[사진7] LLM을 통해 현재 설정된 목적지에 대한 데이터를 수집하고 분석하여, 유용한 정보 혹은 추천 음식점을 제공할 수 있다.

최근 구글 안드로이드 오토에 적용된 구글 맵에서는 구글 맵에서 제공하는 장소에 대해 사람들이 남긴 리뷰를 요약해서 읽어주는 서비스를 소개한 바 있습니다.

[사진8] 음식점 리뷰를 생성AI로 요약해서 읽어주는 Gemini Model (Youtube)]

어쩌면 미래의 내비게이션은 도로에서 벌어지는 모든 일들(실시간 상황 데이터들)을 기반으로 길 안내를 제공할지도 모릅니다.

예를들면, “2km 앞 고속도로 출구는 자동차들이 많이 빠져나가는 출구이니, 미리 가장자리 차선으로 차선을 변경하는 것을 추천드려요” 라고 알려줄 수 있습니다.

혹은, 늘상 가던 동일한 도로임에도, 때에 따라 ‘오후 5시 석양을 보기 가장 좋은 경로’로 경로 추천을 해줄 수 있을 것입니다.

[사진9] 드라이브 코스 관련 검색 결과와 티맵의 다양한 데이터를 통해, LLM은 테마가 있는 경로를 제안할 수 있다.

미래의 비전: AI와 비전 기술의 융합

앞으로 LLM기반의 AI와 비전의 융합은 더욱 중요해질 것입니다.

현재 자율주행은 크게 레이다(Radar)와 라이다(LiDAR)를 이용한 방식과 카메라를 이용한 방식으로 나뉘고 있습니다.

레이다와 라이다는 인식 정확도가 높으나 비용이 비싼 편이고,

카메라는 상대적으로 저렴하지만, 정확도가 떨어질 수 있습니다.

테슬라는 카메라 기반의 자율주행 시스템을 사용하지만, 학습되지 않은 이미지에 대한 대처가 부족할 수 있습니다.

실제로 테슬라는 넘어져있는 트럭, 휠체어 등을 구별하지 못하고 사고로 이어진 경우가 많습니다.

하지만, 비전과 LLM이 융합된 VLAM 모델 기반 AI는 카메라에 비친 객체를 언어 모델과 매칭하여 보다 정확히 상황을 추론할 수 있습니다.

이는 각종 센서와 카메라 기반의 자율주행의 한계를 극복하는 데 기여할 수 있습니다.

[사진10] 카메라에에 비친 영상을 기반으로 도로 상황을 판단하고, 자율주행을 하는 Wayve LINGO-1 데모. 이미지에서는 사용자가 지금 무슨 상황인지 묻자, AI가 차량 앞에 자전거가 있어서 거리를 유지하며 서행하고 있다고 말하고 있다. (Youtube)

[사진11] 영상으로 입력된 내용과 각종 변수(경로, 속도 등) 그리고 LLM이 통합된 VLAM 구조도

실내 카메라와의 융합도 가능해지고 있습니다.

예를 들어, 실내 카메라가 후석 탑승자가 어른인지 아이인지 인식하지 못하더라도, LLM 기반의 생성AI는 이 영상 데이터(혹은 스냅샷 이미지)를 가지고 보다 정확히 추론할 수 있습니다.

추론 결과 '아이'라고 판단되면, 자동차 AI 에이전트는 차일드락을 활성화하라고 제안할 수 있습니다.

기존에는 비전 인식 솔루션 제공자만이 이러한 기능을 제공했습니다.

이제는 카메라만 있다면 AI를 통해 분석이 가능해져서 비용 절감이 가능 해졌습니다.

SK텔레콤은 지난 수 년 동안 음성 어시스턴트 NUGU를 통해 고객 분들께 다양한 가치를 제공했습니다.

스피커, TV 셋톱박스, T전화까지 각 디바이스와 서비스에서 꼭 필요한 기능을 손쉽게 음성으로 제어하도록 제공해왔죠.

그리고 NUGU auto를 통해 운전자가 운전에만 더 집중할 수 있도록 편의 환경을 제공했습니다.

이는 AI시대와 함께 AI기반 에이전트 ‘에이닷’으로 진화할 수 있도록 기술적 발판을 마련해주었습니다.

그렇다면 이제 에이닷이 자동차에 들어가면 어떨까요?

내비게이션과 TV에 들어가면 어떨까요?

재밌는 상상을 해보면서 이야기를 마무리 합니다.

[사진12] NUGU auto는 그동안 사전에 정해놓은 규칙을 기반으로 대화를 제공했습니다. 앞으로는 운전 중 옆에 탄 동승자와 대화하는 것처럼 자연스럽게 대화를 나눌 수 있도록 AI기술을 적용할 예정입니다. 운전할 때 늘 결에 친구가 함께 있다니, 벌써 기대 되지않나요?

참고문헌

1. CES 2024: Introducing SDV Exhibits and Unveiling Core Hyundai Technologies, Hyundai Worldwide, 2024. Link

2. The impact of AI in mobility. Factual, 2024. Link

3. Software Defined Vehicles (SDVs): Evolution, Challenges and Future Outlook. rinf, 2024. Link

4. Some auto companies want to put ChatGPT in your car. Tech Brew, 2024. Link

5. Generative AI in automotive industry: Use cases, architecture, implementation, and future trends. LeewayHertz, 2024. Link

6. Wayve AI Introduces LINGO-2, Making Driving Easy with Natural Language. AIM, 2024. Link

7. Autonomous Vehicles 3.0 AV 3.0: How Large Models Transform Autonomous Driving. Basic AI, 2024. Link