DEVOCEAN

안녕하세요!

5월 17일 2번째 모임을 판교 사옥에서 진행하였습니다.

발표는 이정인 님께서 수고해 주셨어요.

발표 논문은 다음과 같습니다.

"Follow-Your-Pose : Pose-Guided Text-to-Video Generation using Pose-Free Videos"

본 논문은 Pose 를 입력으로 동영상을 생성하며 데모는 다음 링크에서 볼수 있습니다.

링크

이 논문에서의 특징정은 2 단계 학습입니다.

일반적으로 Pose video 와 캡션이 있는 데이터는 공개된 것이 없고 또 대량으로 수집하기기 어려워 본 논문에서는 2단계 학습을 제안합니다.

1단계에선 이미지 기반으로 포즈를 추출하여 포즈 기반으로 이미지를 생성하는 방법을 학습을 시기키고

2단계에선 포즈와 상관없이 비디오의 연속성을 보장하는데 중점을 둡니다.

물론 2단계에서 포즈 관련 weight 는 모두 고정시킵니다.

1단계에선 포즈 conditioning 관련 weight 만 학습을 하고, 2 단계에선 temporial coherency 관련 weight 만 학습을 해서 좋은 결과를 얻을수 있다는 걸 보여줬네요.

필요한 부분을 분리해서 학습시키는 장점이 있어 다양한 Conditioning 조건에 적용해볼수 있을것 같습니다.

오늘 모임에서도 역시 파파존스 피자를 시켜먹었습니다. SKT VIP 할인 30% 받아 배부르게 먹었습니다!!

다음 모임에선 좀 더 많은 내용을 준비 중입니다.^^