DEVOCEAN

안녕하세요! 흥미로운 분석 결과와 함께 돌아온 NeRF Maverick입니다!

이번 중간 발표 결과의 핵심 내용은 다음과 같습니다.

1. 기존 3D 배경 제작의 문제점

2. 활동 내용

3. 향후 연구 계획

1. 기존 3D 배경 제작의 문제점

SKT TEAM Studio에서는 현재 Unreal Engine을 이용하여 실시간 렌더링을 하고, 그 결과물을 배경 LCD에 올리는 방법을 사용하고 있는데요, 위의 그림처럼 보통 다섯 단계로 진행합니다.

Step 1, 2, 3은 영상 촬영 전에 모델링 전문가 분들의 손길을 거치고, Step 4는 현장에서 실시간으로, Step 5는 영상 전문가 분들께서 영상 촬영 후에 진행하고 있습니다.

여기서 문제는, Step 1, 2, 3의 과정에 수 개월의 시간이 소요된다는 점입니다. 영상에 등장하는 모든 단일 물체마다 모델링이 이루어져야 하기 때문에 굉장히 많은 작업을 필요로 합니다.

저희 팀 이름에도 있는 NeRF라는 기술을 활용하면, 이 다섯 단계를 두 단계로 줄일 수 있습니다!

NeRF(Neural Radiance Fields)는 물체와 배경을 찍은 이미지를 통해 물체와 배경의 공간 상의 밀도와 색상을 표현하는 연속함수를 딥러닝 모델을 통해 학습시킬 수 있는 기술입니다.

학습을 마친 뒤에는 공간 상의 원하는 위치에서 학습된 함수를 가지고 장면을 생성할 수 있습니다.

이렇게 배경 제작에 NeRF를 적용하게 되면, 모델링 작업에 드는 시간과 비용을 획기적으로 절약할 수 있습니다.

2. 활동 내용

먼저, SKT TEAM Studio를 방문하여 현장의 감독님 및 관계자 분들과 요구되는 기술 수준에 대하여 이야기를 나누어 보았습니다.

기술 수준 평가를 위해 TEAM Studio에서 가지고 있는 3D 모델링 데이터를 받아 실험을 진행하였습니다.

위의 왼쪽이 제공된 데이터를 Unreal Engine으로 렌더링 한 결과이고, 오른쪽이 왼쪽의 결과를 받아 NeRF를 통해 학습시킨 결과물입니다.

이러한 실험 결과를 멘토님들과 스튜디오의 감독님들과 공유하며 NeRF를 Virtual Studio에 적용할 수 있다는 가능성을 확인하였습니다.

회의를 통해 정리한 실무자 분들의 요구 사항은 다음과 같습니다.

1. NeRF의 실사 모델링 수준 분석

2. NeRF의 입력 데이터셋 제작 방법 메뉴얼화

3. NeRF로 생성한 배경의 수정 가능성 분석

4. NeRF의 출력을 이용한 mesh 생성

1. NeRF의 실사 모델링 수준 분석

합성 데이터 셋을 통해 NeRF의 가능성을 확인했으므로, 실제 사진으로 이루어진 데이터셋을 직접 수집하여 실험하고자 했습니다.

실내와 실외 배경에는 차이가 있으므로 실내 배경으로는 잠실역 지하의 트레비 분수, 실외 배경으로는 올림픽공원의 엄지손가락 동상을 선정하여 다양한 방식으로 촬영하였습니다.

이 때, 데이터 수집 방식의 차이를 확인하기 위해 동일한 해상도로 사진과 동영상을 각각 촬영하였고,

데이터의 양에 따른 성능 비교를 위해 촬영한 동영상은 3가지 fps(2, 5, 10)로 샘플링했습니다.

이렇게 구성한 데이터셋은 실내 이미지 약 680장, 실외 이미지 약 1,060장 규모입니다.

2. NeRF 입력 데이터셋 제작 방법 메뉴얼화(논문 작성)

TEAM Studio의 PD님들께서 앞으로 촬영하실 데이터셋으로도 좋은 품질의 NeRF 결과물을 만들 수 있게 하기 위하여,

저희 팀에서는 NeRF에 입력되는 데이터셋을 만들 때의 최적 카메라 궤적을 실험을 통해 찾아내어 분석하고 논문을 작성하였습니다.

이 연구 결과로 PD님들께서 효과적으로 데이터셋을 수집하실 수 있는 메뉴얼을 제공해드고자 했습니다.

먼저 제안된 카메라 궤적 후보들은 다음과 같습니다.

1. Track shot

2. Arc shot

3. Dolly shot

4. Pan shot

5. Track + Arc shot

6. Arc + Dolly shot

7. Track + Dolly shot

   
   

   위의 후보 궤적들로 사진 및 동영상을 촬영한 뒤, 공정한 실험을 위해 궤적 외 다른 조건들은 동일 시 한 뒤, 렌더링하여 성능 비교 실험을 진행했습니다.

   
   

   
   

   논문 및 고화질 결과물 등 자세한 내용은 아래 링크에서 확인해보실 수 있습니다.

한국인공지능학술대회 논문 투고(0912 Accepted)

https://sonbosung.github.io/NeRFMaverick/

이러한 내용을 바탕으로 한국인공지능학술대회에 논문을 투고하였고, 현재 accept된 상태로 23.09.20(수)에 구두 발표를 할 예정입니다! 🎉🎉🎉

3. NeRF로 생성한 배경의 수정 가능성 분석

TEAM Studio에서 요청했던 배경의 수정 가능성을 검증하기 위한 3D 스타일 변환 실험을 수행하였습니다.

이를 구현하기 위해 적용한 모델은 arXiv 2023, Instruct NeRF2NeRF 입니다.

해당 논문은 Stable diffusion을 기반으로하는 Instruct Pix2Pix를 통해 우선 2D 이미지의 스타일 변환을 수행하고, 이미지간의 일관성을 유지하여 3D 상에서도 부드러운 스타일 변환을 가능하게 해줍니다.

위 결과는 “Make it winter”라는 명령어를 통해 이집트 환경의 NeRF를 겨울 환경의 NeRF로 만들어 줍니다.

향후 연구

NeRF 성능 고도화

SIGGRAPH 2023(ACM Transactions on Graphics)에서 발표한 3D Gaussian Splatting은 3D Gaussian을 기반으로 공간의 시각화를 훨씬 빠르게 할 수 있는 장점이 있습니다.

현재 약 1920x1080 해상도로 160Hz 이상의 실시간 렌더링을 지원하기 때문에, 실시간 배경 장면 생성에 있어 적합한 기술로 보고, 이에 대한 연구도 진행할 예정입니다.

로봇암 적용

위의 상황처럼 실시간으로 렌더링하거나, 기존 방식처럼 미리 렌더링한 NeRF 결과물을 이용하기 위해서는 카메라 위치와의 연동이 필수적입니다.

이에 로봇암을 이용하여 NeRF에서 렌더링에 사용한 가상 카메라 궤적과 실제 카메라 궤적을 동기화하는 MVP(Minimum Viable Product의 약자)를 개발하고자 합니다.

Mesh 생성

최근 CVPR 2023에서 발표한 Neuralangelo로 만든 3D Mesh 결과물을 확인해보고, 제안된 Pipeline에 적용할 수 있는지 검증해볼 예정입니다.

기대 효과

위의 연구 내용을 고도화시켜, Virtual Production에서 사용할 수 있는 사실적인 NeRF 기반 3D 배경을 만드는 것이 저희 NeRF Maverick의 목표입니다. 읽어주셔서 감사합니다!

Garden Scene from Mip-NeRF 360 dataset https://neuralradiancefields.io/revolutionizing-virtual-production-how-neural-radiance-fields-will-supercharge-production-pipelines/