Kinect 데이터 기반 스마트 물류 자동인식 기술 개발 - 연구과정(2)

kjven0625 21.08.30
300 3 0

안녕하세요 🙂

"kinect 데이터 기반 스마트 물류 자동인식 기술 개발" 이란 주제로 활동하고 있는 9조 PSP팀입니다.

2차 활동 기록 보고를 위해 글 작성합니다.

지난 ②중간 발표 행사에서 문제 정의 와 함께 ① 연구 진행 과정, ③ 앞으로의 계획에 대해 발표했습니다.

이번 글에서는 ① 연구 진행 과정, ③ 앞으로의 계획을 중점적으로 설명할 예정입니다.

 

연구 진행 과정

수 많은 종류의 물류 상자에 대해 object detection을 수행하는 것이 저희의 목표인데 지난 3개월 동안 4가지 실험을 진행했습니다.

 

  1. Deformable DETR COCO 데이터셋 재현 실험

    COCO 데이터셋에 대해 Deformable DETR 모델을 학습시켰고 논문에서 제시한 성능(43.8 AP)과 비슷한 성능(43 AP)을 재현할 수 있었습니다.

     

  2. Deformbale DETR Pascal VOC 데이터셋 재현 실험

    1. COCO 데이터셋 checkpoint로 weight initialize 후 학습

      학습 3에폭만에 78AP 도달, UP-DETR 논문에서 제시한 Pascal VOC에 대한 성능 약 80AP와 비슷함.

    2. 스크래치로 학습

      학습이 제대로 이루어지지 않았는데 DETR 공식 깃허브 이슈 부분에 Pascal VOC 데이터셋에 대해 제대로 학습이 되지 않는 다는 내용이 리포트 되어있음
       

  3. Deformable DETR SKT 박스 데이터셋 적용 실험

    SKT 박스 데이터셋에 대해 Deformable DETR 모델을 학습

    IOU 0.5 기준으로 98 AP 달성


     

  4. Meta - DETR Pascal VOC 재현 실험 - base 단계

    61.8 AP 달성, 2주 동안 학습 진행

    Meta-DETR에서는 1 query, 10 support set으로 1 에피소드를 구성했지만 메모리 문제로 1 query, 5 support set을 1 에피소드로 구성해 논문에서 제시된 67 AP에 비해 낮은 수치가 나왔다고 추측
     

  5. 앞으로의 계획

    1. Meta - DETR Pascal VOC 재현 실험 - meta 단계

      앞서 base stage 학습을 진행했고 meta stage 학습을 진행할 예정이고 재현된 모델의 성능을 확인할 예정

    2. Metric loss 적용

      Metric Learning Loss 중 Proxy 기반 Loss 를 적용해 discriminability 를 높이는 것을 목표로 하며 https://github.com/KevinMusgrave/pytorch-metric-learning 라이브러리를 활용해 실험을 진행할 예정

    3. SKD 적용

      Self-supervised Knowledge Distillation for Few-shot Learning 논문에서는 주로 Rotation 대해 실험을 진행했으나 물류상자라는 특성에 맞춰 Rotation 이나 crop 보다는 BrightnessContrast, ShiftRGB, Grayscale 등의 augmentation 으로 진행해볼 예정

    4. Meta - DETR SKT 박스 데이터셋 적용

      여러종류의 박스가 포함되어있는 SKT 박스 데이터셋을 학습시켜보고 평가 예정

 

감사합니다.

kjven0625 님의 최신 블로그

더보기

관련 블로그