인재 DB 등록 시 유의사항

CLOSE

채용공고 지원 시 유의사항

CLOSE
로그인 선택

신고하기

CLOSE
신고사유 (대표 사유 1개)
상세내용 (선택)
0/200
  • 신고한 게시글은 더 이상 보이지 않습니다.
  • 이용약관과 운영정책에 따라 신고사유에 해당하는지 검토 후 조치됩니다.
  • 허위 신고인 경우, 신고자의 서비스 이용이 제한될 수 있으니 유의하시어 신중하게 신고해 주세요.
(이 회원이 작성한 모든 댓글과 커뮤니티 게시물이 보이지 않고, 알림도 오지 않습니다.)

서비스 로봇용 신규 Vision AI 응용 기술 개발 - 연구계획(1)

seb5428 21.07.07
1830 5 0

SKT AI Fellowship 1번 과제 서비스 로봇용 신규 Vision AI 응용 기술 개발에 대한 연구 과제와 계획을 소개하고자 합니다. 

 

1. 팀 소개😀

안녕하세요 DGIST에서 자율주행을 하다 SKT Fellowship 3기 1번 과제에 참여하게 된 신관준, 서은빈입니다. 저희 팀명은 신서유기 입니다. 딥러닝 모델 설계도 하지만 딥러닝을 활용한 애플리케이션의 Mission-critical 시스템 ( 자율주행에서 주행... 깨알 홍보) 딥러닝 기술을 도입을 위해서 열심히 연구하고 개발을 참여하고 잘 마무리하고, 쉬다가 SKT에서 실제 서비스 로봇에 탑재하는 딥러닝 애플리케이션 과제가 떠서 바로 지원했습니다!

 

2. 연구소개 🤖

저희가 하게 된 연구를 간단하게 설명을 드리자면, 서비스 로봇이나 Signage 등에 적용가능한 RGB-D 카메라 기반의 실시간 Vision 애플리케이션 기술을 개발하는 것입니다. 실시간 Vision 애플리케이션 기술을 개발하고 로봇에 적용하는 것 까지를 목표로 하고 있습니다. 더 자세한 내용은 SKT AI fellowship 1번 과제 모집  에서 보실 수 있습니다.

 

3. 연구 목표 🏁

저희는 연구를 어떤 포인트에 중점을 두고 진행 해야할지 약 한달간 고민을 많이 했는데요. 저희의 핵심 목표는 다음과 같습니다.

1. 저사양 (NUC i3~ i5, 4GB) 보드에서도 실시간으로 동작하는 다중 딥러닝 모델을 돌리는 시스템 개발

a. Robot N : 1 시스템에서 MEC 방식의 추론 시스템 구성과 실증

b. N개 CNN 모델의 추론단계 경량화를 통한 실시간 동작 보장 ( N>=3 )

2. Depth image를 이용한 응용 기능 구축

a. 비전 시스템의 상황별 최적화

b. 로봇과 사람간의 인터랙션을 통한 재미 기능

- 손을 흔드는 사람에 대해서 영상 상황 인식을 통한 응대 인사말 출력

- 로봇 전면에 있는 사람에 한정하여, AR 이모지 기능 추가

Real world에 적용하는 프로젝트이므로, 한정적인 source를 효율적으로 사용하는 데에 초점을 맞추었습니다. Non-GPU PC를 이용하기 때문에, CPU에서만 여러 딥러닝 모델들을 작동시켜야 한다는 점도 도전해야 하는 point였습니다.
그래서 저희는 최적화를 고려하여 Depth 기반 응용 기능, detector 및 이종 스케줄링, GUI interactive demo program 제작, python packaging을 계획하고, 사용자와 상호작용할 수 있는 재미있는 기능까지 추가하여 real world에서 시연을 목표로 하고 있습니다.

 

4. 연구 개발 Point 🔍

1) Depth data 기반 응용 기능 구축

뎁스 카메라 (Realsense, Azure)를 이용하여 Human Skeleton 을 검출하여 사용하는 AR 재미 기능과 뎁스 데이터를 이용한 상기 여러 딥러닝 모델의 스케줄링 방식에 사용할 예정입니다.

다중 모델 경량화와 통합 스케줄링 방법 연구 보통 학습데이터 퀄리티 모델 사이즈를 높여서 모델 성능은 쉽게 얻을 수 있는데요, 다만 이렇게 만든 모델은 실제 도입하기에는 굉장히 난감합니다. 자율주행 당시에도 한 시스템에서 고사양 딥러닝 모델이 요구하는 시스템 자원은 GPU가 있다고 하더라도 VRAM이나 전력소모량 뿐만 아니라 CPU나 RAM에도 부하가 심합니다. 이를 해결하려고 기능별 런타임 단계에서 당연히 경량화 하거나 모델 용량이나 아키텍처의 구조를 단순화해서 부족한 성능을 직접 코드로 작성해서 보완 하거나 분산 시스템으로 나누어 작업했는데 한 로봇에 들어가는 여러 모델을 어느정도 규모로 경량화 할지는 난감하죠. 충분히 저사양에 빠르게 돌아가는 모델을 획일적으로 줄일필요도 없고 높은 정확도가 요구되는 모델을 단순히 빠르게만 하려고 정확도를 낮추기에는 인력소모가 많습니다.

저희는 기본적으로 CPU 및 iGPU만 탑재되는 시스템을 전제로 모든 모델을 OpenVino와 같은 런타임 가속 프레임워크와 연동하게 하고, 타겟 시스템에의 동작 성능을 확보하기 위한 요구사항과 모델의 동작 성능을 측정하고, 성능이 가속화를 위한 Adaptive model로 최적화하여 로봇의 부하를 낮추고, 각 모델의 추론의 Fairness를 높일 수 있는 시스템을 설계하는 것을 목표로 합니다.

 

2) 실증 환경 구축

하지만 꼭 Non-GPU로만 해결할 필요 없습니다. GPU가 있는 서버 1개와 Non-GPU SBC가 있는 로봇 N개 상황 같은 MEC 시나리오 및 SBC에서 최적화를 수행하여 진행하는 MEC 시나리오 2종을 테스트하도록 계획했습니다. 결론적으로 MEC 구조로 inference 할 수 있는 테스트 베드를 구축하고, MEC 환경에서 다중 플랫폼의 실시간 영상 데이터 추론 기술을 실증하고자 합니다.

위의 포인트는 지금까지 멘토님들과 여러 회의를 통해 도움을 받아 새로이 작성했습니다.

 

5. 예상 수행 결과물 

  • 딥러닝 모델 경량화, 스케줄링을 통한 low cost device에서 Realtime 동작, 하드웨어 플랫폼 기반 실증
  • 딥러닝 모델뿐만아니라 depth 기반의 데이터도 활용하여 crowd info(평균 밀집도, 최저 인원수 등)와 user status(표정 나이, 젠더, 마스크 등)를 파악하는 핵심 알고리즘 구축
  • GUI 개발, SDK 형태로 배포

 

 

많은 시간 고민한 연구 계획이고 열심히 과제 수행 중에 있습니다. 앞으로도 많은 관심 부탁드립니다. 😉

seb5428 님의 최신 블로그

더보기

관련 블로그