AI 기반 고 디지털 미디어 복원 기술 개발 - 연구과정(2)

jichoi2014 21.08.31
291 3 2

안녕하세요! 11번 과제 고 미디어 디지털 영상 복원> 과제를 진행하고 있는 SKSAK입니다.

이번에는 AI fellowship 중간발표에서 발표했던 내용들에 대해 좀 더 자세히 알려드리려고 합니다. 발표를 보며 궁금했던 점이나 혹은 이 글을 보며 궁금한 점은 댓글로 남겨주시면 감사하겠습니다 :)

 

데이터 셋 구성

저번 글에서 말씀드렸던 오래된 영상의 열화현상을 기억하시나요?

처음 데이터 셋을 구성하려고 생각했을 때 노이즈, 업 샘플링 아티팩트, 블러를 대표적인 열화 현상이 있다고 말씀드렸습니다. 이후로 저희 팀은 조금 더 좋은 데이터 셋을 구성하고자 데이터 셋에 나타나는 열화 현상을 조사하였고 기존에 생각했던 열화 이외에 무언가가 있는 것을 알 수 있었습니다.

오늘 이 글에서는 추가로 발견했던 열화 현상들과 데이터셋을 만들기 위해 이를 어떻게 적용 했는지에 대해 알려드리겠습니다.

 

그림 1.(a)

그림 1.(b)

그림 1.(a)를 보며 저희가 생각한 추가적인 열화는 압축에 의한 열화라고 생각했습니다. 그 중 그림 1.(b)에 빨간 칸으로 칠해진 ringing, color bleeding, blocking, (a)에는 없지만 mosquito noise가 대표적이라고 생각하고 관련 데이터 셋을 만들기로 했습니다.

 

데이터 셋 생성 과정

저희는 MPEG-2 기반 압축 알고리즘을 직접 만들어 여러 파라미터 실험을 통해 과거 영상과 가장 비슷한 blocking Artifact를 구현하는 파라미터를 찾았고 이를 통해 Edge 부분같이 명암이 극단적으로 나뉘는 곳에서 ringing, mosquito Artifact를 구현할 수 있었습니다.

허나 같은 파라미터를 이용해도 표현할 수 없었던 것이 있었습니다, 그것은 바로 color bleeding이었습니다.

color bleeding은 대표적으로 RGB 데이터를 YUV(4:2:0)으로 변환시키거나 혹은 압축을 할 때 처리하는 한 단위인 블록에서 채도 성분인 UV 성분의 고주파 성분이 없어지면 발생합니다. 여기 까지 본다면 쉽게 잘 만들 수 있겠죠?!!

하지만 새로운 문제가 있습니다. 이미 Spectral redundancy를 줄인 UV 성분에는 보통 주파수 성분이 아주 적다는 것과 주파수를 제거하여 만든 color bleeding은 약하게 표현된다는 것, 마지막으로 color bleeding과 비슷한 무아레 현상이 발생하는 것입니다. 첫 번째 문제는 Y 성분에서의 Edge를 뽑아내고 그 값을 통한 UV 성분의 제어하는 것으로 해결하려고 합니다.

또 다른 문제인 무아레 현상은 빛의 파장과 눈에 보이는 그림의 주파수가 서로 간섭되어 생기지만 카메라 센서에 의해서도 발생한다고 합니다. 아래 그림을 보면 무아레 현상이 발생하는 것을 볼 수 있습니다.

 

 

그림 2

이러한 색이 튀는 현상을 잡기위해 저희는 아래 방식을 사용 했습니다.

 

그림 3

바로 Y성분의 주파수를 보고 임계값 이상의 값을 가지는 주파수를 가진다면 UV성분에서의 DC값을 올려주는 방식을 이용해 강한 블록단위의 color bleeding이 발생하는 것을 구현하려고 했습니다. 또한 DC Low frequency중 일부를 제거 하지 않음으로 모아레 현상이 발생할 수 있습니다

#더해지는 값은 랜덤한 값을 가지면서 고주파 성분에 종속적인 파라미터를 설정했습니다.

그림 4.(a)

그림 4.(b)

저희의 알고리즘에 의해 만들어진 데이터 셋입니다. 맨 위의 작은 그림은 color bleeding을 구현한 것이고 2번째 그림은 blocking을 3번째 그림에서는 ringing현상을 확인 할 수 있습니다. 가장 아래 그림에서는 무아레 현상과 비슷한 데이터가 뽑히는 것을 알 수 있습니다.
최종적인 학습 데이터가 네트워크에 들어갈 때는 AWGN도 잡음수준을 다양하게 추가하여 학습하였습니다. 아직 데이터 셋 구성에 대해 연구해야 할 것들이 많습니다. 이후 새로운 실험 방향에 대해서는 아래에 소개해드리도록 하겠습니다.

 

● 네트워크 구성

저희의 네트워크의 이름은 SKSAK이며, Base ModelMulti-Stage Progressive Restoration(MPRNet)의 네트워크입니다. MPRNet에서는 Multi-stageSAM, CSFF를 참고하여 구성하였습니다. 전체적인 네트워크 구성은 아래 그림과 같습니다.

 

그림 5

Multi-stage 기법은 한 이미지에 대해 다음과 같이 stage1에서는 4개로 stage2에서는 2개로 나누어 각각의 sub-network를 진행하는 방식입니다. 저희는 모든 sub-networkUnet구조를 이용하여 구성하였습니다. 또한 마지막 단에 Up-scale을 추가하여 SR을 진행하고, 해상도를 2배 키우는 네트워크를 구성하였습니다.

 

CSFF

CSFFCross-Stage Feature Fusion으로 현재 stage의 피쳐들을 다음 stage로 전달하는 역할을 하게 됩니다. Encoder의 정보와 Decoder의 정보를 덧셈 연산을 활용하여 다음 stageEncoder로 전달해주는 역할을 합니다. CSFF를 통해 EncoderDecoder에서 학습된 내용을 다음 stage로 피드백해주어 학습에 도움을 주는 역할을 합니다.

그림 6

SAM

SAMSupervised Attention Module로 이전 stage의 학습을 통한 출력을 GT 이미지와 Loss를 비교하여 학습된 결과를 만들어냅니다. 이 결과를 바탕으로 Attention Map을 만들게 되고 학습에 유용한 피쳐를 다음 stage로 전달하는 역할을 하게 됩니다. 종합적으로 앞서 설명 드린 CSFFSAMstage간의 종속적인 연결을 위한 모듈이라고 생각하시면 될 것 같습니다.

그림 7

 

Feature Extractor

Feature extractor는 엣지 모듈과 ASPP Block으로 구성되어 있는데요, 엣지 모듈의 경우 잡음 제거 시 혹은 블러 현상이 존재할 때 엣지가 뚜렷하지 못하거나 흐려지는 현상을 해결하고자 고안한 아이디어입니다. 엣지 모듈을 거친 출력 데이터에 대해 GT EdgeLoss를 비교하여 열화된 이미지가 입력으로 주어졌을 때 깨끗한 엣지를 추출하고자 설계하였습니다. 또한 ASPP Block을 통해 다양한 수용 영역의 정보를 추출하고 이 두 가지를 함께 학습데이터로 이용하였습니다.

그림 8

U-Net

Channel Attention 기반의 U-Net을 구성하였습니다. 또한 다양한 수용 영역의 정보를 학습하기 위해 WRCB(Wide Receptive Field Channel Attention Block)U-Net의 플랫한 부분에 삽입 하였습니다.

 

그림 9

 

● 실험 결과

실험결과에서는 저희가 만든 데이터 셋과 네트워크를 통한 영상의 복원 결과 사진들을 보여드리겠습니다.

 

원본 이미지 복원 이미지

 

원본 영상은 목욕탕 남자들(1995)이며 동영상 전체를 이미지로 바꾼 뒤 각 프레임별로 복원했습니다. 가장 먼저 잘 보였던 것은 노이즈와 컬러 블리딩이 많이 사라진 것을 볼 수 있었습니다. 다만 아쉬운 것이 있다면 복원 시 이미지의 색상이 변하는 것과  동영상으로 확인할 경우 깜빡이는 현상이 있다는 것입니다. 이와 관련해서는 앞으로 해결해야 하는 문제에서 다루도록 하겠습니다

 

 해결해야 할 과제들

여러 가지 실험을 하며 도전해야 하는 과제들에 대해 소개해드리겠습니다.

첫 번째, 데이터 셋 실험 : 아직 여러 가지 열화 현상들을 완벽히 재현해내지 못했다고 생각합니다. 특히 ringing mosquito는 특수한 조건이 있기 때문에 조금 더 다양하고 정확한 데이터 셋을 만들기 위해 파라미터값의 조정과 새로운 방식을 적용하는 실험을 진행할 예정입니다

두 번째, 네트워크 개선 사항 : 현재 발생하는 많은 열화현상을 제거하고 있지만 부족한 부분이 있기에 알고리즘을 개선할 예정입니다, 바로 위에서 말씀드린 것처럼 동영상을 이미지로 복원하여 다시 복원하면서 Temproal Artifact중 하나인 Flickering이 발생하는 것을 알 수 있었습니다. 저희는 네트워크를 보완하여 Flickering을 제거할 수 있도록 할 것입니다.  

마지막으로 새로운 작품에 대한 실험을 진행 할 예정입니다. (파리의 연인, 딸 부잣집)

벌써 중간발표가 끝나고 마지막을 향해 달려가고 있습니다 ㅠㅠ 아직 부족한 부분이 많이 보이지만 최선을 다해 마지막까지 노력해서 좋은 성과로 다시 찾아뵙도록 하겠습니다.

 

 

SKSAK이 부탁드리는 한가지!

댓글에 원본 이미지와 복원 이미지의 색감 중 어떤 색감이 최신 드라마와 비슷하다고 생각하시나요? 댓글을 남겨주시면 추첨을 통해 큰절 올리겠습니다. 감사합니다 :)

jichoi2014 님의 최신 블로그

더보기

관련 블로그