12:00
다중 에이전트 LLM 시스템에서의 의사소통 실패 이해
arXiv:2610.32060v1 발표 유형: 신규 초록: 다중 에이전트 LLM 시스템은 토론, 증거 공유 및 상호 교정을 통해 추론 능력을 향상시키는 것을 목표로 하지만, 상호작용 과정에서는 최종 정확도만으로는 설명할 수 없는 다양한 실패가 발생할 수 있습니다. 에이전트들은 지나치게 빨리 수렴하거나, 이견을 무시하거나, 올바른 소수 의견을 억압하거나, 여러 라운드에 걸쳐 잘못된 프레임을 유지하는 등의 문제를 겪을 수 있습니다. 우리는 의료 QA, 코딩, 금융, 다중 홉 추론, 윤리, 그리고 체화된 텍스트 작업 등 다양한 분야에서 수집된 3,211개의 실패한 다단계 대화 트래젝터리를 바탕으로, 데이터셋과 시스템 설계별 실패 분포, 라운드 수준의 오류 동역학, 복구 난이도, 다수 의견 전환, 소수 의견 신호 억압, 그리고 자가 보고된 신뢰도 등을 분석하기 위한, 데이터셋 기반의 의사소통 실패 분류체계를 제시합니다. 이를 통해 우리는 다음과 같은 사실을 발견했습니다.