AI 기반 고화질 3D 변환 기술 - 연구계획(1)

안녕하세요! 저희는 SKT AI Fellowship 5기의 “02. AI 기반 고화질 3D 변환 기술(NeRF:Neural Radiance Fields)” 과제에 참여하게 된 NeRF Maverick 팀입니다.

연구하려는 3D 변환기술 NeRF와, 창의적인 혁신가를 뜻하는 Maverick을 합쳐 NeRF Maverick으로 하였습니다.

NeRF에 대해 관심이 많은 팀원들이 모인만큼 열심히, 즐겁게 연구하겠습니다!😊

1. 연구 과제 소개

저희는 SKT TEAM Studio에서 사용하는 Volume Stage에 적용할 수 있는 인공지능기반 3D 배경 영상 생성 기술을 개발하고자 합니다.

<SKT TEAM Studio에 있는 Volume Stage>

1-1.연구 목적

<기존의 Volume Stage에 들어가는 배경 생성 과정>

• 기존 Volume Stage에서는 고화질 Video wall과 Video floor가 설치되어 카메라의 위치에 따라 자연스럽게 배경이 바뀌는 영상을 Unreal Engine을 기반으로 실시간 렌더링하여 보여줍니다.

  • 이 과정에서 Blender라는 툴을 이용하여 사람이 최대 ⚠️약 한 달여간⚠️ 수작업 과정🔧을 거쳐 3차원 가상 모델을 만들어 Unreal Engine에 입력하고, 이를 바탕으로 장면을 생성하여 사용하고 있습니다.

• 현재 저희는 NeRF(Neural Radiance Fields) 라는 장면 생성 모델을 이용해 배경의 품질은 비슷하게 유지하면서도, 3D 모델을 생성하는 데에 걸리는 기간을 획기적으로 단축시키고자 합니다.

1-2. 기술 개요

NeRF

• Neural Radiance Field의 약자로 입력 영상에서 없었던 방향과 위치에서 바라보았을 때 해당 장면을 예측하는 인공지능 기술입니다.

NeRF의 원리는 다음과 같습니다.

1. 카메라의 중심으로부터 각 픽셀을 지나가는 Ray를 쏘게 됩니다.

2. 이러한 Ray위에 많은 샘플 포인트를 생성합니다. 특히 object 근처에서 더 많은 샘플 포인트를 생성합니다.

3. 각각의 위치값 x,y,z와 방향값 θ와 φ로 구성된 샘플포인트가 MLP(Multi Layer Perceptron)에 입력됩니다.

4. MLP를 통해서 예측된 각 샘플 포인트들의 Color값 RGB와 Density 값인 σ를 예측합니다.

   • 예측한 RGB와 σ 가 각 샘플포인트가 가지는 값이 됩니다.

   • 빈 공간에서는 σ값이 거의 없기 때문에 샘플포인트가 투명하며, Object가 가까운 곳에서는 σ가 높아 Color 값이 진합니다.

5. 이러한 값들을 Volume rendering하여 최종 픽셀의 Color 값을 계산하게 됩니다.

6. 위 방법을 통해서 모든 카메라에서 각 픽셀 방향으로 모든 Ray를 쏘게 되고, 모든 픽셀의 Color 값을 계산하여 3D Scene을 구성하게 됩니다.

그럼 위와 같이 입력 영상에서 없었던 방향과 위치에서 바라보았을 때 조명에도 자연스러운 3D 장면 생성을 하게 됩니다.

사전 답사

연구 계획 수립에 앞서, 멘토님들과 함께 6/14(수)에 직접 SKT TEAM Studio를 방문했습니다!

<SKT TEAM Studio에 있는 Volume Stage>

<TEAM Studio의 촬영을 하는 메인 카메라>

볼륨 스테이지가 상당히 크고, 화질도 8K로 매우 좋았습니다!

이렇게 가상 배경에서 사진도 찍어봤는데요, 실제 스튜디오에 있는 화면은 제한된 넓이를 가지고 있지만

결과에는 해당 영역 밖으로 확장하여 담을 수 있는 기술을 사용하여 위의 사진과 같이 자연스러운 사진을 찍을 수 있었습니다.

Team Studio에 계시는 PD님과 감독님을 직접 뵙고 저희와 함께 현장의 고민과 기술적 고민을 열정적으로 토의하는 시간을 가졌습니다.

2. 연구 계획

멘토님들과 대화를 나눠보고, 답사를 다녀온 후 정리해 본 연구 계획은 다음과 같습니다.

2-1. NeRF의 가능성 알아보기

VFX(Visual effects)에 다양한 NeRF 모델을 적용하여, 배경의 품질과 생성에 걸리는 기간을 파악해보자 합니다.

최근 빠르게 발전한 아래의 NeRF 모델들을 실험할 예정입니다.

1. Instant-NGP: NeRF를 학습할 때 tiny-cuda-nn library와 Multi-resolution hash encoding 기법을 적용하여 해상도를 높이고, 모델의 학습 시간을 획기적으로 줄여주었습니다.

2. Zip-NeRF: 배경과 같은 넓은 공간에 특화된 Mip-NeRF 360과, 위의 instant-NGP를 결합한 형태로, 더욱 세밀한 장면의 표현이 가능합니다.

3. Neuralangelo: 3D Mesh를 출력하는 데에 특화된 모델로, blender와 연동할 수 있는 것이 장점입니다.

TEAM studio에서 만들어 사용중이던 가상 공간에서, 촬영한 사진을 이용하여 만든 결과물을 이용하여 기존 품질과 비교하는 방식으로 진행할 예정입니다.

2-2. 다양한 입력 영상으로 NeRF 모델 학습하기

일반적인 카메라로 촬영한 영상은 화각이 약 40~50도로 출력이 직사각형 형태인데, 어안 렌즈로 촬영한 영상은 화각이 360도로, 출력이 원의 형태를 띄고 있습니다.

화각이 넓어 많은 피사체를 담을 수 있다는 장점이 있는 데에 반해, 결과물에 왜곡이 발생한다는 단점이 있습니다.

많은 피사체를 담을 수 있다는 점이 배경을 표현할 때의 이점으로 작용할 것이라 생각하여 360도 어안 렌즈 이미지를 NeRF 모델의 입력 영상으로 사용하는 실험을 해볼 예정입니다.

넓은 화각의 이미지를 직접 사용할 수 있게 되면 VR headset과 같이 더 넓은 시야각을 요구하는 환경에 적용할 수 있으리라 기대합니다.

2-3. NeRF를 이용하여 수정 가능한 3D Mesh 초안 생성

NeRF는 렌더링된 이미지를 만드는 것이 초기 목적이었습니다만, 연구가 거듭되며 이미지 형태가 아닌 Mesh를 출력할 수 있는 모델도 등장하고 있습니다.

이때는 LiDAR와 같은 3D 스캔을 특수 장비 없이 카메라로 진행할 수 있게 된다는 장점이 있습니다.

이미지는 깊이에 대한 정보는 가지고 있지 않기 때문에 현재로서는 NeRF를 이용하여 물체의 표면을 3D Mesh로 생성할 때 오차가 큰것이 사실입니다.

하지만 배경에 필요한 개별 물체들을 처음부터 손수 만들면 많은 품이 들지만, NeRF를 이용해 초안을 생성한 후 다듬는 방식으로 간다면 시간과 노력을 절약할 수 있으리라 기대합니다.

2-4. NeRF의 화질 개선

TEAM studio에서 사용하는 Volume stage는 4K 수준의 스크린을 사용하고 있습니다.

NeRF를 통해 렌더링한 영상을 실제로 활용하려면 그에 준하는 선명함을 가져야만 합니다만, 현재로서는 세부적인 표현력이 부족한 실정입니다.

따라서 저희의 가장 큰 목표가 바로 화질 개선이라고 할 수 있습니다.

3. 진행 계획 요약

4. 결론

지금도 Stable diffusion과 같은 최신 AI를 통해 쉽게 2D 이미지를 생성할 수 있습니다.

하지만 VFX, Virtual production에서는 굉장히 디테일한 3D 모델 구현이 필요합니다.

때문에 Blender와 같은 Modeling software tool을 통해서 한 땀 한 땀 디자인하고 계십니다.

이렇게 만들어낸 3D 모델은 품질이 매우 높지만 생성에 많은 시간과 인력이 요구됩니다.

따라서 이번 SKT AI Fellowship 프로젝트에서 배경의 품질은 전문가가 생성한 것과 비슷하게 유지하면서도,

NeRF 장면 생성 모델을 이용해 3D 모델을 생성하는 데에 걸리는 기간을 획기적으로 단축시키고자 합니다.