AI NEWS.ccAudioLift: 멀티뷰 비디오 생성을 통한 오디오 기반 단일 이미지에서 풀헤드 가우시안 아바타로의 변환
arXiv:2610.31747v1 발표 유형: 신규 초록: 기존의 3D 말하는 아바타 방법들은 주로 3DMM이나 FLAME와 같은 파라메트릭 얼굴 모델에 의존하며, 이들 모델의 컴팩트한 움직임 표현 방식은 극단적인 표정을 합성하거나 헤드웨어와 같은 액세서리를 모델링하는 데 한계가 있습니다. 우리는 파라메트릭 얼굴 모델이나 개별 인스턴스 최적화 없이, 생성된 멀티뷰 비디오를 오디오 기반 아바타 생성을 위한 중간 표현으로 활용하는 두 단계 프레임워크인 AudioLift를 제안합니다. 본 프레임워크는 동기화된 멀티뷰 비디오 생성 단계와 불일치에 강한 가우시안 재구성 단계를 결합하여, 단일 인물 사진 이미지로부터 일관된 풀헤드 지오메트리를 복원합니다. 광범위한 실험 결과, AudioLift는 더 많은 표현을 포착할 수 있는 3D 말하는 아바타를 생성함을 보여줍니다.