데보션앱 소개페이지 바로가기

인재 DB 등록 시 유의사항

CLOSE

채용공고 지원 시 유의사항

CLOSE
로그인 선택

신고하기

CLOSE
신고사유 (대표 사유 1개)
상세내용 (선택)
0/200
  • 신고한 게시글은 더 이상 보이지 않습니다.
  • 이용약관과 운영정책에 따라 신고사유에 해당하는지 검토 후 조치됩니다.
  • 허위 신고인 경우, 신고자의 서비스 이용이 제한될 수 있으니 유의하시어 신중하게 신고해 주세요.
(이 회원이 작성한 모든 댓글과 커뮤니티 게시물이 보이지 않고, 알림도 오지 않습니다.)

AI 기반 카메라 위치 추정 및 광고판/간판 검출 기술 연구 - 연구계획(1)

yujin399 21.07.12
2099 6 0

1. 연구 과제 소개

연구 내용

2D 이미지와 3차원 Visual-Geo DB를 활용하여 정밀 측위 결과를 제공하는 서비스의 세부 기술 개발

✔️ 연구 목표 : 정밀 측위 서비스의 일부 기술을 Deep Learning 기반 알고리즘을 개발하여 서비스의 측위 성능 향상을 추구

✔️ 2D 이미지 : 사용자가 스마트폰 앱을 통해 전송한 이미지

✔️ 3차원 Visual-Geo DB : Visual SLAM(Simultaneous localization and mapping) 기술을 활용하여 구성된 Point cloud data

 

연구 세부 주제

저희가 수행하는 연구 주제에는 크게 2가지가 있습니다. 

2D-3D matching

카메라 위치추정 알고리즘에서 서버로 받은 query 이미지의 2D keypoint와 DB의 3D keypoint를 서로 매칭하는 단계가 필요합니다. 기존의 keypoint matching은 2D-2D matching 이후, 3D point feature 정보를 활용했습니다. 이때 DB 내 2D 이미지들이 상당 부분 겹쳐 있어, keypoint가 중복되는 연산이 많아 비효율적인 상황이 발생합니다. 따라서 2D-3D keypoint matching을 하는 deep learning model 개발을 통해 중간 과정 역할을 하는 2D-2D matching 생략하고 실시간 처리 및 DB 효율성 증대를 목표하고 있습니다.

 

광고판/간판 detection

기존의 위치 추정 알고리즘은 광고판과 같은 반복되는 이미지 특징으로 인해 동일한 장면으로 인식되는 오류가 존재했습니다. 이런 오류는 알고리즘의 성능 저하를 야기합니다. 따라서 위치 추정을 방해하는 object를 정의하고, 이를 detection하여 제거하고자 합니다.

 

활용 영역

저희가 연구하는 기술은 범용성이 높고 미래지향적인 기술입니다.

대표적으로 활용될 수 있는 분야는 다음과 같습니다. 

✔️ 물체에 대한 3D 모델 생성

✔️ 실내 로봇(로봇청소기, 서비스 로봇, 자율주행 자동차, 드론 등) 자율 주행

✔️ 실내 보행자 길 안내

✔️ AR의 Smart glass 위치의 실시간 추정

 

 

2. 연구 방향성

해당 연구가 추구하는 방향성은 다음과 같습니다. 

Accuracy

2D-3D correspondence의 mismatch 확률을 낮춰 정확한 pose estimation에 기여할 수 있는 모델 개발하는 것을 목표하고 있습니다. 

또한, 성능 저하의 요인이 될 수 있는 광고판 검출 및 제거하여, back-end model의 예측력을 높이려 합니다. 

Real-Time

실시간 데이터를 최대한 빠르게 처리할 수 있는 Low Complexity의 모델 개발을 목표로, 실시간으로 스마트폰 카메라를 통해 들어오는 이미지를 처리하기 위해 inference time을 30ms 이내 줄이려고 노력하고 있습니다. 

End-to-End

기존의 heuristic, hand-crafted 방식을 벗어난, End-to-End Deep Learning 기반 알고리즘 개발을 하고 있습니다. 

 

 

3. 연구 계획

▪️ 6월 - 연구 주제 관련 study 및 survey

▪️ 7월 - DB 구축, 2D-3D matching model 및 광고판 검출/제거 model 구현

▪️ 8월~9월 - model architecture develop 및 model test

▪️ 10월 - model 성능 향상 및 연구 과제 최종 발표

 

 

4. 팀 소개

ASAP팀

안녕하세요! 7번과제를 맡게된 ASAP조 강민지, 김유진, 진정민입니다.

저희는 Vision이라는 공통된 관심사를 가지고 빅데이터 동아리 BOAZ에서 만났습니다. 최신 동향의 딥러닝 기술을 함께 공부하면서 3D Vision 및 자율주행 기술에 관심을 가지게 되었고, 이 주제에 지원하게 되었습니다😊

팀 이름 ASAP은 Autonomous driving System Ai Professional의 약자로, 자율주행 전문가로 성장하겠다는 저희의 포부가 담겨 있습니다!

성성현 멘토님(a.k.a. 성스윗)과 열심히 연구해서 contributing한 기술을 꼭 개발하고 싶습니다! 감사합니다:)

 

 

Reference

Zhou, Qunjie, Torsten Sattler, and Laura Leal-Taixé. "Patch2Pix: Epipolar-Guided Pixel-Level Correspondences Supplementary Material." Training 480: 320.

Sarlin, Paul-Edouard, et al. "Superglue: Learning feature matching with graph neural networks." Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2020.

Zhou, Xingyi, Jiacheng Zhuo, and Philipp Krahenbuhl. "Bottom-up object detection by grouping extreme and center points." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019.

Redmon, Joseph, et al. "You only look once: Unified, real-time object detection." Proceedings of the IEEE conference on computer vision and pattern recognition. 2016.

yujin399 님의 최신 블로그

더보기

관련 블로그

데보션 스탬프 이벤트 안내 바로가기