VidEngram:構造化階層型メモリによるエージェント的長期ビデオ理解
arXiv:2611.18578v1 発表タイプ:新規 要旨:マルチモーダルモデルがクエリごとに同じ動画を再符号化しなければならない場合、長尺動画の質問応答は非効率的で情報損失が生じます。コンテキストの制限によりスパースなサンプリングや切り捨てを余儀なくされ、後の質問に利用できる再利用可能な表現が残りません。そこで我々はVidEngramを提案します。これはエージェント型の動画QAシステムであり、インジェスト時に一度永続的な階層的メモリを構築し、その後の質問に対してそのメモリから回答を生成します。VidEngramはQwen2.5-Omniを用いて動画と音声を共同でキャプションし、セグメントメモリをエピソード層やエンティティ層に統合し、専用の検索ツールを備えたテキストのみのエージェント型プランナーを利用して根拠のある回答を生成します。Webインターフェースによりこのプロセスを確認可能で、ユーザーはメモリの形成を見守り、検索トレースを調べ、ビデオプレーヤー上で引用された証拠を検証し、エンティティ間の関係性を探索できます。OmniVideoBench全体において、GPT-5-miniプランナーを搭載したVidEngramは強力な単一通過型Qwen2.5-Omniベースラインを上回り(37.0%対32.3%)、特に単一通過ではカバレッジがスパースになる長尺動画でその優位性が顕著です。知覚コストは一度だけかかるため、以降のクエリでは低コストなテキストのみのプランニングが可能です。



