DEVOCEAN

안녕하세요,

Devocean OpenLab NVIDIA Isaac Sim 으로 배우는 Physical AI에 참여하고 있는 조재경입니다.

3회차 스터디는 T타워 1층에 있는 T-library 에서 진행하였습니다. 상기님도 와주셔서 저희를 응원해주셨네요!!

이번 3회차에는

1) 로봇을 제어하기 위한 미들웨어인 ROS2의 기초와

2) 유저의 발화만으로 로봇을 컨트롤하여 원하는 곳으로 이동시키기 위해 제안된 효율적 방법론인 ReMEMbR 에 대해서 알아보았습니다.

ROS2의 기초는 스터디 대장님인 유석님께서 설명해 주셨습니다. 아주 명쾌한 설명에 무릎을 탁 치면서 감탄하며 들었네요.

ReMEMbR는 제가 세미나 형식으로 준비해서 발표를 해보았는데요. 오랜만에 로봇 관련 논문 세미나를 준비하려니 두근두근 하더라구요...!!

그럼 어떤 내용들이 있었는지 간단히 살펴보겠습니다.

ROS2의 기초

우선 ROS2와 ROS1의 차이에 대해서 살펴보았습니다. 저는 ROS2가 ROS1의 발전된 버전이라고 생각했는데, 아예 다른 것이더라구요.

ROS1의 컨셉은 차용하되, ROS1에서 발생했던 고질적인 문제들을 해결한 완전히 새로운 소프트웨어에 가까웠습니다.

핵심은 TCP 통신이 아닌 UDP 통신을 사용한 것! (아래 밈으로 설명해 주셨습니다.)

ROS1은 TCP 통신을 사용하기 때문에 topic을 발행할 때에도 중간에 broker 가 있어야 하는 구조였지만,

ROS2는 UDP 통신을 사용하도록 변경되면서 효율적인 통신이 가능해졌다고 합니다.

물론 데이터가 누락될 가능성이 추가되기는 했지만, 통신 레벨을 설정하여 누락을 최소화 할 수 있습니다.

또 ROS1은 master 노드의 IP, PORT 를 알면 전체 시스템을 죽일 수 있었지만, ROS2 는 그 문제를 해결했습니다.

또한 ROS1은 1:1 pubsub 만 가능했지만 ROS2는 N:N pubsub 도 가능해졌다고 합니다.

ROS1과 ROS2 가 아예 다른 소프트웨어이기는 하지만, 기존 ROS1 사용자들을 위해서 ROS2에서도 ROS1 호환이 가능합니다.

별도의 브릿지를 사용해야 하기는 하지만요. 제가 ROS를 공부할 2021년만 해도 ROS1을 주로 사용하던 분위기였는데,

이제는 거의 ROS2로 넘어온 듯한 느낌이 듭니다!

ReMEMbR란?

"ReMEmbR: Building and Reasoning Over Long-Horizon Spatio-Temporal Memory for Robot Navigation" 는

이 논문은 로봇의 카메라 정보에 기반하여 로봇이 유저의 요청에 따라 목적지를 설정하는 상황을 가정합니다.

예를 들어 유저가 "의자에 앉고 싶어" 라고 한다면, 이전에 촬영되었던 곳 중 의자가 있을 법한 곳으로 안내하는 시나리오입니다.

원래 VLM (Vision Language Model) 을 이용하는 방법들이 있었는데, 이 방법은 크게 두가지 문제가 있었습니다.

첫 번째로 위치나 시간정보를 제대로 반영하기 어렵다는 것, 두 번째로 VLM의 context length 문제로 긴 이미지 시퀀스를 넣을 수 없다는 점입니다.

실제로 논문에서는 최신 VLM 인 gpt-4o 조차 2FPS로 촬영된 5분 이상의 비디오를 넣을 수 없다고 주장합니다.

ReMEMbR는 이를 해결하기 위해 image captioning 모델을 이용해 이미지 데이터를 전부 설명할 수 있는 caption 으로 바꾸고,

GPS 좌표와 timestamp 기록과 pairing 하여 데이터베이스에 저장하는 방식을 제안합니다.

이후, 유저의 질문이 들어왔을 때 RAG 방식으로 관련있는 기록을 가져와, 로봇의 목적지 설정에 기반이 되는 정보로 사용합니다.

아주 간단한 아이디어이지만 21분 이상의 긴 히스토리도 커버할 수 있는 훌륭한 성능을 보여준 방법론입니다.

설명 이후에는 Python, ROS2 구현 tutorial 을 함께 살펴보면서 어떤식으로 실제 로봇에 적용되는지를 살펴보았습니다.

마치며

이번주에는 ROS2와 ReMEMbR 에 대해서 알아보았습니다.

Isaac sim과 직접적인 관련은 없어보이지만, 실제 로봇을 제어하기 위해서는 ROS2와 같은 미들웨어가 반드시 필요합니다.

ReMEMbR 또한 제안한 방법론을 ROS2를 통해 실제 로봇에 적용한 사례 중 하나입니다.

Isaac sim 스터디를 통해 디지털 트윈 환경에서 학습한 모델과 제어 방법론들을 실제 로봇에 적용할 수 있는 그날까지! 함께 배워 나가 보겠습니다~