DEVOCEAN

안녕하세요! SKT AI Fellowship 5기로 활동하게 된 ‘Beyond Label’ 팀입니다.

저희는 AI 모델을 이용한 X-ray 영상 자동 진단 과제를 진행하게 되었습니다.

이번 포스트에서는 저희가 앞으로 진행할 연구에 대한 전반적인 내용과 계획에 대해 소개해드리겠습니다.

1. Introduction

1.1 Background

현재 인공지능 분야의 지배적인 방법론인 지도 학습은 다양한 분야에서 높은 성능을 보이지만,

의료 분야에서는 데이터가 많음에도 불구하고 레이블링이 되어 있지 않은 데이터가 많아 인공지능 활용이 어렵습니다.

의료 데이터의 레이블링을 위해서는 의학 분야에 전문성을 가진 인력의 시간과 노력이 필요하므로 고비용이 발생합니다.

이러한 한계점을 극복하기 위해 레이블이 없는 데이터를 사용해 학습하는 방법 중 하나인 자기지도학습(self-supervised learning)을 의학 분야에 적용하는 연구가 등장하고 있습니다.

자기지도학습은 unsupervised learning 방법론으로 레이블이 없는 데이터만을 활용하여 데이터의 representation을 잘 배우는 것이 목적입니다.

과거의 self-supervised learning 방법론들은 사용자가 미리 지정해 놓은 pretext task를 기반으로 모델을 학습하고 사용자가 풀고 싶은 downstream task에 적용하는 방식의 연구가 많이 진행되었습니다.

하지만 최근에는 contrastive learning, knowledge distillation, masked auto encoder등을 활용한 방법론들이 연구되고 있습니다.

self-supervised learning에 관한 다양한 방법론들은 추후 포스팅으로 작성하여 소개해드리겠습니다. 다음 포스트도 기대해주세요!

1.2 Research Objectives

저희는 self-supervised learning 학습 방법을 기반으로 의료 영상 이미지에 대해 정상/비정상 혹은 질환에 대한 분류 문제를 해결하고자 합니다.

다양한 임상 질환과 인의/수의 의료 영상 데이터에 기반하여 자동 진단 딥러닝 모델을 효율적인 방법으로 만들 수 있는 모델 개발을 진행할 것입니다.

또한 eXplainable AI를 통해 모델이 분석하는 질환 원인에 대한 명시적인 근거를 확보할 것입니다.

데이터 사용 전략부터 meta architecture 모델링까지 연구를 진행하여 의료 영상 SOTA 모델을 개발하여 기술 자산을 확보하고 활용 가능성을 타진해볼 것입니다.

1.3 Challenges & Solutions

저희가 앞으로 연구를 진행하면서 직면할 어려움과 이를 해결할 수 있는 방안에 대해 고민하였습니다.

1. 레이블이 없는 데이터를 사용하되 지도학습보다 성능이 우수해야 한다.

   → 많은 양의 데이터로 자기지도학습을 하여 좋은 representation을 추출

   
   

2. X-ray 영상 데이터의 다양한 문제점(화질, 불균형, 노이즈 등)에 대처해야 한다.

   → 데이터 전처리 과정을 통해 해결

   
   

3. 의료 관련 task이기 때문에 명시적인 근거가 확보되어야 한다.

   → CAM(Class Activation Map), XAI(eXplainable AI), Activation Map을 상황에 맞게 사용

   
   

4. classification, detection, segmentation 등 여러 task에 사용 가능한 범용적인 모델이어야 한다.

   → 여러 방법론(contastive, distillation, masked auto encoder 등)을 사용하여 다양한 task에 강인한 SOTA 모델 구현

   
   

2. Our Proposed Model

2.1 Dataset

Self-supervised learning은 레이블이 없는 데이터로부터 유용한 representation을 학습하는 것이 목표입니다.

Self-supervised learning을 진행할 때, 어떤 데이터셋을 이용하여 pretraining을 진행할지는 중요한 요소입니다.

대부분의 self-supervised learning 모델들은 일반적으로 ImageNet 데이터셋을 사용하여 representation을 추출하고 pretrained 모델을 생성합니다.

그러나 Big Self-Supervised Models Advance Medical Image Classification 논문과 더불어 최근 연구들에서 target domain과 동일한 domain으로 모델을 학습한 결과가 더 좋다고 실험을 통해 증명하였습니다.

한 단계 더 나아가, 바로 target domain의 데이터로 학습한 것보다, 대용량이지만 target domain은 아닌 데이터셋으로 학습한 후 target domain에 다시 한 번 더 pretraining시킨 결과가 더 좋았습니다.

따라서 저희도 ImageNet과 같이 target domain은 아닌 대용량 데이터셋으로 먼저 학습을 진행하고 의료 데이터로 pretraining을 진행할 것입니다.

Self-supervised learning 학습을 위해 CNN 뿐만 아니라 vision transformer 계열의 모델도 사용할 것인데, 좋은 성능을 위해 많은 양의 데이터를 필요로 하기 때문에 100만장이 넘는 의료 데이터를 확보하였습니다.

저희가 확보한 데이터셋을 이용하여 학습을 진행하기 위해서는 데이터셋 간에 일관성이 있어야 하고 전처리가 필요합니다.

데이터셋에서 화질 차이, 중복된 데이터, 클래스별 불균형, 노이즈와 같은 문제들이 있습니다.

이를 해결하기 위해 이미지들을 동일한 포맷으로 통일하고, 중복된 데이터는 삭제하며, focal loss, weighted cross entropy, exemplar sampling을 통해 불균형과 노이즈를 해결할 것입니다.

2.2 Network

SOTA를 달성했던 self-supervised learning 모델들의 성능을 비교해보기 위해 저희가 확보한 데이터 중 하나인 MSK dataset(반려동물 질병 진단을 위한 영상 데이터)으로 classification 성능 평가 실험을 진행해보았습니다.

그 중 DINO-v1 모델의 성능이 가장 우수했고 이는 vision transformer 뿐만 아니라 EMA 방식에서 기인했다고 생각하였습니다.

이를 기반으로 DINO-v1 모델을 baseline model로 설정하여 저희만의 모델로 발전시킬 계획입니다.

1. DINO encoder input 부분을 MICLe 논문 아이디어로 변경해 볼 것입니다.

   의료 데이터의 multi instance data를 활용하여 모델에 더 많은 정보를 주면 모델 성능이 향상될 것이라 예상하기 때문입니다.

2. collapse 해결을 위해 도입된 centering과 softmax을 DINO-v2 아이디어인 sinkhorn-knopp으로 변경할 것입니다.

   DINO-v2에서 sinkhorn-knopp을 통해 성능을 향상했기 때문에 이를 적용해볼 것입니다.

3. DINO의 cross entropy loss를 barlow twins의 correlation loss로 변경할 것입니다.

   Barlow twins가 앞선 MSK classification 실험에서 두번째로 성능이 좋았던 모델인데, 그 원인이 barlow twins의 loss에 있다고 판단하기 때문입니다.

AI를 이용하여 의학적 진단을 내릴 때, output에 대한 명시적인 근거를 제공하는 것은 중요합니다.

저희가 실험하게될 DINO-v1은 CNN 계열과 viT 계열로 나눌 수 있는데, 만약 CNN 계열의 모델을 사용할 경우 CAM을 활용할 것이며, viT를 사용할 경우 attention map을 활용할 계획입니다.

앞에서 MSK classification 실험들을 진행하면서 CAM을 부수적으로 구현해보았습니다.

위 사진은 CAM을 적용하기 전과 후의 사진들 입니다. 이를 통해 모델이 어느 부분에 집중하고 있는지 쉽게 확인할 수 있습니다.

distillation 기반의 DINO-v1 뿐만 아니라 Masked Auto Encoder 기반의 모델을 baseline model로 설정하여 저희만의 모델을 구현하기 위해 다양한 논문들을 공부하고 있습니다.

두 번째 baseline model에 대한 설명은 추후 포스팅을 통해 소개해드리겠습니다.

3. Project plan & Team Introduction

3.1 Project Plan

앞으로 5개월 간 진행될 연구에 대한 일정과 계획입니다.

3.2 Team Introduction

저희 팀 명은 'Beyond Label'입니다. 레이블이 없는 의료 데이터를 사용하여 딥러닝 모델을 훈련하는데 중점을 두고 있다는 것을 반영하였습니다.

'Beyond'라는 단어는 팀이 의료 영상 처리의 한계를 뛰어넘고자 하는 야망을 의미하고 'Label'이라는 단어는 팀이 레이블이 없는 의료 데이터에 대한 연구를 통해 의료 영상 처리의 효율성을 향상시키고자 하는 목표를 나타냅니다.

• 김기열 (소프트웨어학과 4학년 재학, rlduf422@gmail.com)

• 김현수 (글로벌바이오메디컬공학과/소프트웨어학과 3학년 재학, hyunsu.kim517@gmail.com)

• 양수영 (바이오메디컬공학과 4학년 재학, jimmy981016@gmail.com)

  
  

  
  

• 김창현 멘토 (AIX 미래 R&D, BioMedical AI 팀 소속)

  • 현재 진행 연구 (BioMedical AI)

  • 이빈인후과 음성 질환 모델 개발

  • 방사선 의료 영상 분류 모델 개발

• 이상율 멘토 (AIX 미래 R&D, BioMedical AI 팀 소속)

  • 반려동물 영상진단 AI 모델 개발과제 참여중

    
    

3.3 Team Communication

저희 조는 매주 월요일 19시에 온라인으로 미팅을 통해 멘토님들과 진행 사항을 함께 공유하고 있습니다.

추가로 상의할 내용이 있다면 SKT 판교 오피스에서 오프라인으로 미팅을 진행하기로 하였습니다.

과제 진행 사항에 대해서는 디스코드 채널과 노션을 통해 기록하고 있습니다.

또한 DEVOCEAN을 통해 저희가 공부하고 연구한 내용에 대해 공유할 예정입니다.

< Team ‘Beyond Label’ Notion Page >

References

• Big self-supervised models advance medical image classification, Azizi, Shekoofeh, et al, Proceedings of the IEEE/CVF international Conference on Computer Vision

• A Simple Framework for Contrastive Learning of Visual Representations, Ting Chen, et al, ICML 2020

• Bootstrap Your Own Latent – A New Approach to Self-Supervised Learning, Jean-Bastien Grill, et al , NeurIPS 2020

• SimSiam : Exploring Simple Siamese Representation Learning , Xinlei Chen, Kaiming He CVPR 2021

• Momentum Contrast for Unsupervised Visual Representation Learning, Kaiming He et al, CVPR 2020

• Barlow Twins : Self-Supervised Learning via Redundancy Reduction, Jure Zbontar, et al, ICML 2021

• DINO V2 : Learning Robust Visual Features without Supervision, Maxime Oquab, et al

  Learning Depp Features for Discriminative Localization, Bolei Zhou,, et al

• Generalization of deep neural networks for chest pathology classification in X-rays using generative adversarial networks, Hojjat Salehinejad et al

• Progressive growing of gans for improved quality, stability and variation, Tero Karras, et al