DEVOCEAN

안녕하세요! 7월8일 5번째이자 마지막 스터디를 진행하였습니다.

오늘의 논문은 "Champ: Controllable and Consistent Human Image Animation with 3D Parametric Guidance" 입니다.

이논문읜 최근에 Arxiv 에 올라왔습니다. 아직 학회에 발표되진 않았습니다.

본 논문은 앞서 소개했던 논문과 달리 SMPL 기반의 3D 포즈 guidance를 적용하였습니다.

3D 사용의 장점으로 인간의 기하학적 구조를 잘 보존한다는 강점을 지녔다고 강조합니다.

아래 영상에서 왼쪽의 reference 이미지와 중간의 SMPL 기반 특성이 주어지면 오른쪽의 동영상을 생성하게 됩니다.

모델 구조는 다음과 같습니다.

우선 입력이 처리되는 내용을 살펴보면 reference image 는 VAE 및 CLIP 인코더를 사용하여 인코딩 됩니다.

포즈는 동작이 있는 영상에서 SMPL 을 적용하여 추출한 다음 SMPL 을 사용하여

depth,normal, sematic segmentation map 및 dwpose 를 2차로 추축한다음 MLMF 를 통해 인코딩 됩니다. ( MLMF 설명은 생략)

추가로 Reference image 에서 smpl 의 Shape 파라미터를 추출하여 포즈영상에서 추출된 smpl 시퀀스의 파라미터에 대입하여 Shape 를 align 시킵니다.

네트웍 구조는 referencenet 을 사용하여 reference image 의 입력을 받고,

포즈 시퀀스는 별도의 네트워크를 사용하여 referencenet 과 연동시켜 reference image 의 특성을 전달받으며 동시에 temporal alignemnt 기반의 motion alignment 를 수행합니다.

자세한 내용은 논문을 참고해 주세요!!!

감사합니다. 이로서 Generative AI 스터디를 마칩니다.