DEVOCEAN

안녕하세요! SKT AI Fellowship 6기에서 스마트폰 센서 활용 PDR 모델 연구 과제를 수행하는 팀 슼폰지입니다.

슼폰지라는 팀 이름은 SKT + 스마트폰 지도라는 의미를 가지고 있는데요, 곧 소개드릴 저희 연구 내용을 압축하여 담아보았습니다.

먼저 저희 연구에 대해 전반적인 소개를 드린 후 관련 연구, 연구 계획, 목표 순으로 설명드리겠습니다.

연구 소개

먼저 PDR (Pedestrian Dead Reckoning)이라는 분야가 생소하실 것 같습니다.

PDR은 보행자의 이동 경로와 위치를 추정하고자 하는 기술 분야입니다.

우리도 일상생활에서 보행하면서 지도 앱에서 현재 위치를 확인하곤 하는데요,

이 때에는 보통 GPS 가 사용됩니다.

하지만 실내에서는 GPS가 작동하지 않으므로 실내 위치 서비스를 제공하기 위해서는 PDR과 같은 기술이 필요합니다.

Wifi와 Bluetooth, 카메라 등을 사용해서 추정하는 방식도 있지만 저희 연구는 특히 센서만을 활용하는 Inertial based Navigation 에 해당합니다.

Inertial based Navigation 은 가속도계와 자이로스코프와 같은 센서에만 기반해서 위치를 추정하므로 코스트가 적고 기반시설 없이 사용할 수 있는 장점이 있습니다.

Inertial based Navigation 내에서도 보통 크게 세 가지 방법이 분류될 수 있는데요

Strapdown Inertial Naviagtion System(SINS), Step and Heading System, 그리고 Data-driven 방식입니다.

Strapdown Inertial Naviagtion System 은 가속도를 적분해서 속도를 얻고, 또 적분해서 변위 값을 구하는 방식으로 계산하는데요,

기본적으로 저가의 IMU 센서를 사용하면 노이즈가 많고, 이중적분시 bias 가 explode하기 때문에 제약이 많습니다.

따라서 보통 발에 부착해서 발이 땅에 닿는 순간의 Zero-velocity를 포착하는 방식을 사용합니다.

Step and Heading System 은 이러한 제약 없이 주로 핸드폰을 사용하여 위치를 추정하고자 하며 이 자체를 PDR이라고 부르기도 합니다.

Step 판별과 길이 추정, 그리고 방향 추정을 통해 최종적으로 위치를 추정하는데 이 때 정확도가 보행자의 모션에 따라 영향을 많이 받게 됩니다.

스마트폰은 주머니에 넣고 걷거나 손에 들고 다니는 등 들고 다니는 방식이 다양하고, 걸으면서도 계속 바뀔 수 있기 때문에 이러한 모션을 인식하여 추정을 하고자 하는 시도가 지속적으로 있었습니다.

하지만 모션 시나리오가 워낙 다양하기 때문에 최근에는 Data-driven 방식을 통해 이러한 상황에서 더욱 정확하게 추정 가능한 알고리즘이 개발되고 있습니다.

저희는 이러한 Data-driven 방식의 PDR 연구에 해당합니다.

보행하면서 모션의 제약이 없이 사용 가능하게 하고자 하며 스마트폰을 사용하는 사람이라면 모두가 부담 없이 활용할 수 있는 기술을 지향하고 있습니다.

관련 연구

Data-driven으로 딥러닝 기반의 모델을 만드려면 데이터셋이 필요합니다.

PDR특성상 핸드폰을 지닐 수 있는 여러가지 시나리오를 생각해야하고,

Ground truth 또한 보행자가 관련 디바이스를 지니고 수집해야 합니다.

RoNIN은 그 중 데이터셋 수집 방식이 정교한 편이며 많은 양의 데이터를 수집했습니다. 핸드폰을 자유롭게 쓸 수 있는 Ground truth 수집 방식, Calibration 프로세스 등 짚어볼 점이 많습니다.

알고리즘 측면에서는 다양한 딥러닝 아키텍쳐를 사용한 연구들이 나오고 있습니다.

스마트폰을 지니는 방식이 다양하다는 점이 PDR의 정확도에 영향을 미치는 중요한 요인이라고 소개드렸었는데요,

아래는 Transformer 구조를 활용해서 모션의 variation 에 상관 없이 consistent한 representation을 학습하고자 한 연구입니다.

이처럼 저희도 PDR 도메인에 더욱 fit 하고 성능이 좋은 아키텍쳐를 찾기 위해 다양하게 시도해 볼 예정입니다.

연구 계획

PDR 분야에서는 상업적으로 사용 가능한 퀄리티 높은 Open Dataset이 부재합니다. 따라서 데이터 수집 에도 중요하게 포커스를 맞춰 진행하고자 합니다.

Ground Truth 는 기존 PDR 연구에서 주로 사용하는 Visual Inertial Odometry을 사용할 예정입니다.

수집은 한 번에 3개의 핸드폰으로 총 40시간 가량 확보할 예정입니다. 이 때 다양한 패턴으로 수집할 수 있는 방법을 고민하고 있습니다.

알고리즘 측면에서 저희가 가장 주목하고 있는 부분 중 하나는 좌표계의 alignment입니다.

기본적으로 스마트폰 센서 값은 스마트폰 좌표계를 기준으로 기록됩니다.

저희는 이 때 Global 관점에서 사람이 쓰는 좌표계 등과 스마트폰의 좌표계가 다른 것이 학습을 방해하는 큰 요인 중 하나라고 생각합니다.

따라서 좌표계를 align 하고 거기에 다양한 최신의 딥러닝 아키텍쳐를 붙여 motion에 관계없이 가장 robust한 성능을 내도록 시도하고자 합니다.

연구 목표

저희의 연구 목표는 다음과 같이 정리할 수 있겠습니다.

1. 40시간가량의 데이터셋 구축

2. 구축한 데이터셋을 기반으로 기존 모델에 비해 높은 성능의 알고리즘 개발

곧 본격적으로 데이터 수집을 시작하여 연구에 박차를 가할 계획입니다.