LLMは自身の予測内容を理解できるのか?金融市場における潜在的因果構造推論の評価
arXiv:2611.23533v1 発表タイプ:新規 要旨:大規模言語モデル(LLM)は、将来の結果を予測する能力によって評価されることが増えており、その背後にあるシステムの理解を反映していると暗黙的に仮定されています。しかし、観測可能な結果を生み出す潜在的なメカニズムを復元しなくても、正確な予測が実現できる場合もしばしばあります。この仮定を検証するため、私たちはLUCIDというベンチマークを導入しました。これは、イベントの説明や過去の金融データからモデルが潜在的な市場構造を推論できるかどうかを評価するものです。モデルは、推論された市場構造を表すイベント誘発因果グラフを生成し、再構築ベースのフレームワークによって評価されます。公開重みを持つ6つのLLMおよびプロプライエタリなLLMを対象とした我々の評価では、生成されたグラフを追加すると、過去の観測データのみを使用した場合に比べて一般的に再構築品質が低下する一方で、一部の指標では改善が見られました。これらの知見は、観測可能な証拠から情報量の多いイベント固有の市場構造を推論することは、評価対象のLLMにとって依然として困難であることを示唆しています。



