ReMoVe:一貫性のある人物動画生成のためのビデオモデル独自の動きの精緻化
arXiv:2611.18666v1 発表タイプ:新規 要旨:ビデオ生成モデルは、リアルな人間の動きを合成する能力を着実に向上させてきましたが、その動きを現実的にするための構造そのものを失ってしまうことがしばしばあります。生成される人間の動きが複雑化するにつれて、ビデオはフレーム間で進行的な身体の変形や外見のずれといった問題を抱えるようになります。既存のモーション制御手法は、生成を安定させるために明示的な表現を使用していますが、通常は事前に定義されたモーションシーケンスを参照として依存しています。このことは根本的な疑問を投げかけます。ベースとなるジェネレーターがすでに使用可能な粗いモーションを生成しているのに、なぜそれを外部のものと置き換える必要があるのでしょうか。ReMoVeは、この疑問に答えるため、粗い出力を最終結果ではなくモーション仮説として扱います。ReMoVeは基礎となるモーションを復元・精緻化し、その精緻化されたモーションを3Dメッシュとしてレンダリングした上で、顔の外見を転写することで、モーションの精度とアイデンティティの一貫性を向上させます。さらに、同じ3Dシーンとカメラ軌跡から深度を導出し、メッシュを超えたシーンレベルでの空間的一致性を強制します。メッシュと深度の両方にビデオ生成モデルを共同で条件付けることで、ReMoVeは制御可能なカメラ軌跡と強化された時空間的一致性を備えた高品質なモーションビデオを合成します。広範な実験により、ReMoVeが人間の構造的安定性、外見の一貫性、時間的整合性、およびモーション追従の忠実度を向上させるとともに、ベースジェネレーターのモーション事前分布を保持し、正確なカメラ制御を提供することが示されています。


