AtariBench: Atari 게임 플레이에서 비전-언어 모델의 시공간 추론 평가
arXiv:2611.08755v1 발표 유형: 신규 초록: 비전-언어 모델(VLM)은 정적인 시각 이해 벤치마크에서 우수한 성능을 달성했지만, 동적 환경에서의 행동 능력에 대해서는 아직 잘 이해되지 않고 있습니다. 우리는 AtariBench를 제안하며, 이는 20개의 Atari 2600 게임을 대상으로 VLM을 평가하는 통제된 벤치마크로, 모델들이 고시간 해상도의 게임플레이 스트림에서 순차적 결정을 내려야 합니다. 게임 내 빠른 동역학과 실제 경과 시간 기반 추론 속도를 분리함으로써, AtariBench는 모델들이 급격한 시각적 상태 변화를 인지하고, 시공간적 동역학을 추론하며, 현재 관찰 결과에 기반하여 행동을 수행할 수 있는지를 중점적으로 평가합니다. 우리의 실험 결과는 최신 VLM들에 상당한 한계가 있음을 보여줍니다. 모델들은 종종 객체의 움직임과 방향을 추론하지 못하고, 취약한 순차적 의사결정을 보이며, 새로 추가된 시각적 피드백에도 불구하고 텍스트 상호작용 이력을 지나치게 의존하는 것으로 나타났습니다. 또한 우리는 모델 역량의 신뢰할 수 있는 신호를 제공하는 게임 내 점수가 무엇인지 파악하기 위해 분리 가능성 분석을 도입하고, 벤치마크를 활용하여 메모리 설계와 프롬프팅 전략이 성능에 미치는 영향을 연구합니다. 전반적으로 AtariBench는 수동적 시각 인식과 능동적 의사결정 사이에 여전히 존재하는 격차를 드러내며, 동적 환경에서 추론하고 행동할 수 있는 VLM 개발을 위한 가볍고 엄밀한 테스트베드를 제공합니다.
