DEVOCEAN

안녕하세요 SKT AI Fellowship 3기 9번과제 Kinect 데이터 기반 스마트 물류 자동인식 기술 개발에 대해 연구하는 PSP 팀입니다. 

1. 연구 과제 소개

• 물류 산업의 현황

물류산업은 상하차 작업, 상자 분류 등 사람의 노동력이 많이 필요합니다. 하지만 물류서비스 이용의 증가와 X팡, X켓컬리의 빠른 배송 서비스의 등장으로 더 많은 노동력을 필요로 했고 많은 기업들이 물류 로봇의 도입으로 위 문제를 해결하고자 합니다. 대표적으로 아마 존은 키바 로봇을도입하여 운영비용을 20% 절감시켰다고 합니다.

저희 팀은 로봇팔로 물류상자를 하차하는 상황을 해결하고자 하고 그 중에서 로봇팔이 물류상자를 인식해 상자의 위치, 종류를 정확하게 파악할 수 있는 Object Detection 모델을 만 들어 로봇팔이 물류상자를 원활하게 하차시킬 수 있도록 하고자 합니다.

• 기존 Few Shot Object Detection의 한계

물류 창고에는 수십만 가지의 상자의 종류가 있고 모든 종류의 데이터를 충분하게 확보 할 수 없습니다. 따라서 일반적인 Object Detection 방법론이 아닌 Few Shot Object Detection 방법론으로 접근하고자 합니다. 하지만 Few Shot Object Detection 도 충분하진 않습니다.

근본적으로 많은 수의 클래스, 적은 수의 데이터를 가지는 데이터셋을 학습 시킬 경우 다수의 클래스는 의미 없는 training signal 을 전달하게 되고, 이로 인해 discriminability 가 저하됩니다. 또한 물류상자에 대한 데이터 셋은 수십만 종의 종류가 있고 fine-grained 한 데이터셋으로 기존Few Shot Object Detection 의 벤치마크로 사용되던 MS COCO, Pascal VOC 와 차이가 있어 기존 Few Shot Object Detection 의방법론들이 잘 작동할 것을 보장할 수 없습니다.

따라서 기존 Few Shot Object Detection 은 물류상자에 대한 데이터셋을 다루는데 충분하지 않다고 생각해 Classification 성능을 향상시키고자 합니다. 더불어 Azure kinect가 Depth data도 제공함에 따라 Depth data까지 접목 시켜 Localization 성능 또한 향상 시키고자 합니다.
 

2. 연구 목표

연구 주제는 “Improving Discriminability for Large Scale Few-shot Box Detection”로 Classification 성능을 향상 시킨 Few-Shot Object Detection 모델을 개발하는 것이 목표입니다. 

추가적으로 Localization 성능도 향상시키고자 하며 세부 연구 목표는 다음과 같습니다.

• Few Shot Object Detection을 이용한 물류 상자 자동인식 모델 개발
  

기존 Few Shot Object Detection 모델을 기반으로 Baseline 모델을 만드는 것을 목표로 합니다.

[참고 자료 : FSOT]

• Metric Learning Loss 접목을 통한 classification 성능 향상

각 클래스 간의 similarity를 학습하는 것으로 같은 클래스는 가깝게, 다른 클래스는 margin을 두는 것으로 멀게 mapping 됩니다. 수십만 종의 박스들 간의 similarity를 학습 하는 것으로 Classification 성능을 향상 시키는 것을 목표로 합니다.

• 기존 RGB data에 Depth를 추가한 multi-modal 데이터들을 사용한 localization 성능 향상

공간적인 정보를 가지고 있는 Depth data와 RGB data의 fusion에 대한 연구를 진행하는 것으로 Localization 성능을 향상 시키는 것을 목표로 합니다.

• SKD(Self Supervised Knowledge Distillation) 접목으로 robustness 향상

로봇이 박스를 인식할 때 항상 같은 상황일 수는 없습니다. 당일 날씨에 따른 빛 변화를 비롯한 외부 요인으로 인한 입력 데이터의 변화가 발생할 수있습니다. 따라서 입력에 대한 다양한 transformation에 robust 한 모델을 만들고자 SKD를 접목하 고자 합니다.

3. 연구 계획

연구는 다음 단계로 진행할 예정입니다.

• Deformable DETR 모델 재현 및 검증
  • Deformable DETR의 공식 깃허브 코드를 이용해 코드 분석 후 기술문서 작성
  • MS COCO 데이터셋 학습을 통한 논문 재현 및 검증 진행
• Meta-DETR 모델 재현 및 검증
  • Deformable DETR 기반으로 Loss, QEB, SEB, DB 모듈 구현
  • 학습, 추론 모듈(데이터 로더 포함) 구현 및 MS COCO 데이터셋을 통한 논문 재현 및 검증
  • 물류 상자 데이터 셋에 대한 학습 진행
• Metric Learning Loss 적용 및 검증
  • Proxy NCA++ 적용 및 학습 진행
  • Proxy Anchor Loss 적용 및 학습 진행
• multi-modal 데이터 적용 및 검증
  • Depth data sub model, data loader 구현
  • 물류 상자 데이터 셋에 대한 학습 진행
• SKD 적용 및 검증
  • SKD 학습 pipeline 구성
  • 물류 상자 데이터 셋에 대한 학습 진행

4. SKT AI Fellowship 활동 및 팀 소개

저희 PSP팀은 2명의 포항공대 학부,대학원생, 1명의 서울대 대학원생들로 이루어진 팀으로 앞으로 5개월 동안 좋은 성과 낼 수 있도록 노력하겠습니다.

5. 예상 결과 및 기대효과

• 실제 산업에서 요구되는 fine-grained, Large Scale, limited 데이터셋에 대한 Few Shot Object Detection 방법론의 효용성 검증
  실제 환경과 유사한 대규모 공개 데이터셋에 대한 부재로 기존 방법론들에 대한 효과를 검증 할 수 없었습니다. SKT의 물류상자 데이터셋의 적용으로 기존 방법론들을 검증 할 수 있을 것으로 예상합니다.

• fine-grained, Large Scale, limited 데이터셋에 대한 향후 연구 방향 제시
  실제 산업 환경에서 해결하고자 하는 문제들에 대한 데이터 셋은 현재 해결하고자 하는 물류상자 데이터 셋처럼 많은 클래스, 적은 데이터라는 특성을 높은 확률로 가질
  것이라 생각합니다. 다른 실제 산업 환경에서 해결하고자 하는 데이터셋에 대한 연구 진행시 저희가 접근한 방법들이 그 밑거름이 될 것이라 생각합니다.

감사합니다.