인재 DB 등록 시 유의사항

CLOSE

채용공고 지원 시 유의사항

CLOSE
로그인 선택

Smart Factory 서비스를 위한 진동/압력/온도 센서의 Anomaly Detection 개발 - 연구계획(1)

주주 21.07.02
3504 5 0

SKT AI Fellowship 과제로 진행하고 있는 Smart Factory 서비스를 위한 진동/압력/온도 센서의 Anomaly Detection 개발에 대한 연구 과제를 소개하고자 합니다. 10월말까지 진행하는 저희 연구 과제에 많은 관심 부탁드립니다. 

 

① 연구 과제 소개

■ 연구 배경 및 목적

Smart Factory(Data기반 지능형 공장)의 핵심 Task는 예지 정비(Predictive Maintenance) 솔루션/서비스입니다.

여기서 예지 정비란 이상치를 탐지하여 설비의 고장 (Failure) 이전에 정비를 하는 것입니다.

공장 내에서 설비의 고장으로 인해 설비가 멈추게 되면 Machine downtime이 발생하고,

이는 기업에게 막대한 손해로 이어지기 때문에 이를 방지하는 것이 업계에서 중요한 issue입니다.

따라서 많은 기업들이 공장 내 설비 Data를 기반으로 통계 분석, AI 분석을 통해 예지 정비를 시행하고 있으며,

이러한 분석을 이상치 탐지(Anomaly Detection)라고 합니다.

 

스마트 공장 솔루션 SKT Grandview 서비스

따라서, 본 연구는 SKT GrandView 서비스에 탑재할 수 있는 이상치 탐지 모델의 개발을 주목적으로 합니다.

 

 

■ 연구 내용

- 그렇다면 SKT GrandView 서비스에 개발된 모델을 탑재하려면 어떤 과정을 거쳐야 할까요?

우선, 데이터는 진동 센서를 통해 측정 된 공신력 있는 데이터 셋 이어야 합니다.

이에 많은 논문들이 사용하고 있는 NASA & CWRU Bearing Dataset 을 통해서 우선적으로 검증을 진행하고 있습니다.

 

- 진동 센서로 측정 된 데이터(Raw data)를 모델의 Input data로 활용 할 수 있을까요?

Raw data(웨이브 형태의 데이터)를 그대로 사용하면 주파수 형태로의 분석이 어렵고, False alarm의 발생 가능성이 높습니다.

따라서 Raw data를 Wavelet과 같은 주파수 변환 방법을 통해서 Input 데이터의 품질을 향상을 하는 것이 중요합니다.

 

- NASA , CRWU Bearing Dataset은 시뮬레이션 환경 하에 측정 된 데이터 아닌가요?

위의 데이터는 실제 수집 환경에서 발생할 수 있는 noise & NaN 을 고려하지 않습니다.

따라서 실제 수집 환경에서 발생할 수 있는 noise & NaN을 임의로 추가하고,

이를 포락선 분석(envelope analysis), Imputation 방법을 통해 이상 상황과 구분 할 것입니다.

 

- 개발한 모델을 추가적인 데이터 셋으로 추가 검증한다고 들었습니다.

저희는 SKT Grandview에 모델을 탑재할 것이기 때문에 성능 검증을 위한 추가적인 Dataset을 고려할 것입니다.

Noise와 NaN이 포함되어 있는 산업 현장의 실제 센서 데이터를 통해 최종 점검을 진행할 예정입니다.

 

 

- 그렇다면 이상 탐지 모델은 어떤 것을 사용하시나요?

저희가 모델링 부분에서 최우선적으로 고려한 것은 비지도 학습 모델이었습니다.

실제 환경에서 수집된 데이터는 당연하게도 Label이 존재하지 않기 때문이지요.

따라서, 이상 탐지에 주로 쓰이는 비지도 학습 모델인 Autoencoder (AE)Generative Adversarial Networks (GAN)을 기반으로 모델링을 수행하고 있습니다.

모델의 특성, 역할별 구분은 다음 그림을 참고하시면 됩니다.

 

- Baseline model과 Backbone model은 무슨 차이가 있나요?

먼저 Baseline model이란 성능 비교 모델을 뜻합니다.

SKT GrandView 서비스에 도입하고자 하는 모델의 성능을 직관적으로 확인하기 위한 비교 대상인 것이지요.

다음으로 Backbone model성능 개선의 대상이 되는 모델을 뜻합니다.

기존의 state-of-the-art (SOTA, 해당 분야의 최고 성능을 기록한 모델) model들이 해당되며,

이를 개선하고자 부단히 노력중에 있습니다.

저희는 Baseline과 Backbone model을 각각 2개씩 4개의 Anomaly Detection 알고리즘을 개발하고 있습니다.

 

- 본 과제의 Workflow는 다음과 같습니다.

SKT GrandView 탑재를 목표로, 실제 환경에 초점을 맞추어 일반화 성능을 갖춘 알고리즘을 개발하고 있습니다.

 

 

■ 활용 계획

연구 결과를 SKT GrandView 서비스에 탑재

 

 

② 연구 계획 (연구 방향성, 계획)

■ 추진 계획

주차별 추진 계획은 위와 같습니다. 활동 공유는 ③-■소통방법에서 자세히 설명드리겠습니다. 

 

 

■ 데이터 소개 및 전처리

1) DWT (Discrete Wavelet Transform)

Discrete Wavelet Transform 과정

- DWT를 통해서 high pass filter 역할을 하는 Approximation과 low pass filter 역할을 하는 Detail Coefficient 값을 구함

- Wavelet Families 에 형태가 조금씩 달라지며 데이터에 적합한 함수를 선택

 

2) LPF(Low Pass Filter) + CWT (Continuous Wavelet Transform)

스펙트로그램(spectrogram)

- 외부 충격 및 Noise 제거를 위해 CWT 앞에 Low Pass Filter 추가

- CWT를 통해 스펙트로그램(spectrogram)을 생성 할 수 있으며 이를 활용해 CNN 과 같은 모델로도 활용 가능

 

3) 실제 적용 결과 예시 & Future works

CWRU bearing Dataset + DWT 적용 결과

- 위의 그림은 CWRU Bearing Dataset의 raw data를 DWT를 통해 여러 주파수로 분해한 성분들

- 데이터가 안정적인 환경에서 수집되어 잡음(noise)이 존재하지 않음

- 하지만 SKT GrandView 서비스를 통해 실제 수집 된 데이터는 Noise와 Nan이 많이 포함되어 있을 것으로 예상

- 앞으로의 Task는 이러한 실제 환경에서도 모델이 우수한 성능일 보일 수 있도록 전처리 방법을 지속적으로 고민

 

4) 데이터 전처리에 대한 진행 상황 및 계획

Week 1 (06.04~06.10): DWT & CWT 코드 구현 및 정리(Notion 및 개인 블로그 업로드 완료)

Week 2 (06.11~06.17): NASA Bearing Dataset DWT 변환 작업 완료(Notion 업로드 완료)

Week 3 (06.18~06.24): CWRU Bearing Dataset DWT 변환 작업 완료(Notion 업로드 완료)

Week 4 (06.25~07.01): Noise가 포함된 진동 센서 데이터 조사

Week 5 (07.02~07.08): Noise 및 Nan 처리 방법 조사 및 구현

 

 

■ Baseline 모델 구축

- 본 과제에서 Baseline 모델이란 성능 비교의 대상이 되는 모델을 말하며 두 모델을 선정함

1) Autoencoder based baseline model - DAGMM

DAGMM 모식도

- DAGMM은 그림과 같이 압축 네트워크(Compression Network, Autoencoder)와 추정 네트워크(Estimation Network, Gaussian Mixture Model)로 구성됨

- 압축 네트워크에서는 차원을 축소하고 추정 네트워크에서는 GMM으로 밀도를 추정하여 Energy를 계산하며 이 Energy 값이 Anomaly score가 됨

- DAGMM은 축소된 차원에서도 input 데이터에 대한 특성을 유지하여 중요 정보를 잘 유지함

- GMM을 활용하여 입력 데이터에 대한 밀도 함수 추정에 강력한 성능을 보이며 GMM 단계에서 생기는 정규화로 인하여 local optimal에 잘 빠지지 않음

 

2) GAN based baseline model - GANomaly

GANomaly 모식도

- Autoencoder와 GAN의 구조를 동시에 가지고 있는 모델임 - 이미지에 최적화됨

- Generator(Autoencoder), Encoder, Discriminator 세 가지로 구조를 가지고 있으며 Loss도 세가지 term으로 구성되어 있음.

- 각 Loss는 1. 정상 이미지를 최적으로 encode하게 학습 하고, 2. Generator가 Input에 대한 contextual 정보(이미지)를 학습하게 하며, 3. 진짜와 가짜를 구분함

- AnoGAN 보다 빠른 학습 속도를 보이며 새로운 anomaly score를 도입함

- 따라서 상기 모델들을 Baseline 모델로 선정하였음

 

3) Baseline에 대한 진행 상황 및 계획

Week 1 (06.04~06.10): DAGMM논문 이해 및 모델 구현/성능 검증

Week 2 (06.11~06.17): DAGMM code 안정화

Week 3 (06.18~06.24): GANomaly 논문 이해 및 모델 구현/성능 검증

Week 4 (06.25~07.01): GANomaly code 안정화

Week 5 (07.02~07.08): 각 PC에 실험 환경 구축, 모델 review 자료 제작 및 공유

 

 

■ Backbone 모델 구축 및 성능 개선

- 본 과제에서 Backbone 모델이란 성능 개선의 대상이 되는 모델을 말하며 Baseline 모델과 마찬가지로 두 모델을 선정함

1) Autoencoder based backbone model - USAD: Unsupervised Anomaly Detection on Multivariate Time Series

USAD 모식도

- USAD는 Autoencoder의 장점(안정적인 학습)과 Adversarial Training의 장점(정밀한 이상 탐지)을 결합한 모델

- 기존 Autoencoder based 모델 대비 높은 성능을 보임

 

2) GANs based backbone model- TadGAN: Time Series Anomaly Detection Using Generative Adversarial Networks

TadGAN 모식도, 출처: https://www.youtube.com/watch?v=jIDj2dhU99k

 

- TadGAN은 학습의 불안전성을 보완한 Wasserstein GAN의 idea를 time series anomaly detection domain에 맞게 변형 도입한 모델(상기 그림의 Cx, Cz, Critique networks)

- MAD-GAN 등 기존 GANs based 모델 대비 높은 성능을 보임

- 따라서 상기 모델들을 Backbone 모델로 선정하였음

 

3) Backbone에 대한 진행 상황 및 계획

Week 1 (06.04~06.10): USAD 논문 이해 및 자료 제작(Notion 및 개인 블로그 업로드 완료)

Week 2 (06.11~06.17): USAD 모델 구현 및 성능 검증(Pytorch, GitHub 업로드 완료)

Week 3 (06.18~06.24): TadGAN 논문 이해 및 자료 제작(Notion 업로드 완료)

Week 4 (06.25~07.01): TadGAN 모델 구현 및 성능 검증(Tensorflow, GitHub 업로드)

Week 5 (07.02~07.08): 제안 idea 도입을 통한 USAD, TadGAN 성능 개선 및 검증

Week 6 (07.09~07.15): 제안 idea 결과 도출 및 해석, 개선 방향 검토

Week 6 (07.09~07.15): 제안 idea 결과 도출 및 해석, 개선 방향 검토

Week N (07.23~): 성능 고도화 & 주차별 과제 수행 시 발생하는 task 수행

 

 

③ SKT AI Fellowship 활동 및 팀 소개

최주임 팀 소개                                                   

연세대학교 산업공학과 시스템인텔리전스 연구실에서 함께 연구를 하고 있는 영제 재현 형구 (최주임 팀) 입니다.

최영제, 주재현 연구원은 여러가지 산학과제 경험을 바탕으로 Baseline 및 Backbone 모델을 구축하고 있으며

임형구 연구원은 전기전자공학부 출신으로 데이터 전처리 부분 고도화를 담당한 뒤 모델링 부분에 참여할 예정입니다. 

제조 환경에서 발생하는 시계열 데이터의 특징을 추출 후 이상 탐지를 하는 본 과제(4번)는,

저희 연구실이 중점적으로 연구하는 주제(Data science for manufacturing)와 연관성이 매우 큽니다.

따라서 연구 경험을 바탕으로 우수한 성과를 내고자 다음과 같이 체계적으로 과제를 수행하고 있습니다.

SKT AI Fellowship 4번과제 공고를 보자마자 이 과제는 저희를 위한 것이라고 생각하였습니다smiley 

앞으로 남은 기간동안 멘토님들의 지도편달을 받으며 "열심히", "즐기며", "잘" 연구하겠습니다.

 

 

■ 소통 방법 - Notion & GitHub

Notion과 GitHub를 통해서 일정, 진행상황과 코드를 실시간으로 멘토님들 & 팀원들에게 공유하고 있습니다.

"Welcome to the Hell"은 멘토님 께서 오리엔테이션에서 저희에게 환영 인사로 해주셨던 인사였습니다.

잠은 두 시간이면 충분하다며 부담 갖지 말라는 이광석 멘토님의 따스한 배려를 마음 깊이 새기고자 Notion의 메인을 다음과 같이 구성하였습니다.

Notion 메인 화면

 

과제 수행 시 작성한 자료들 또한 Notion에 꾸준히 업로드 하고 있습니다.

Github, 블로그 공유 예시

 

■ 소통 방법 - 주간 미팅

저희는 매주 목요일 오후 5시에 주간 미팅을 통해서 "금주 진행 상황", "차주 계획" 등을 발표하며 멘토님들에게 방향성에 대해서 끊임없이 고민하며 성장하고 있습니다.

 

- 멘토님들

현업에 계신 이광석 멘토님, 허성민 멘토님, 김연섭 멘토님이 실제 SKT GrandView 서비스에 적용될 수 있는 모델을 개발하는데 큰 도움을 주시고 계십니다.

 

- 즐거운 주간 미팅 현장 smiley (놀랍게도 왼쪽 분과 동일 인물이십니다)

항상 추진력 있게 연구를 일선에서 도와주시는 이광석 멘토님,

실제 적용 분야에서 필요한 연구를 지도해주시는 허성민 멘토님,

경험을 바탕으로 분석 방향성을 제시해주시는 김연섭 멘토님 덕분에 즐겁게 연구하고 있습니다.

 

이상으로 SKT AI Fellowship 4번 과제 posting을 마무리 짓겠습니다.

감사합니다. 

주주 님의 최신 블로그

더보기

관련 블로그