推論を行う大規模言語モデルのための教師あり微調整:サーベイ
arXiv:2610.37681v1 公表タイプ:新規 要旨:近年、大規模な推論モデルは複雑なタスクの解決において顕著な能力を示しており、長文の思考過程データに対する教師あり微調整(SFT)が、その推論能力を引き出し、さらに向上させるための重要な基盤となっています。推論に特化したSFTの改善と分析の両面で急速な進展が見られるにもかかわらず、この分野には依然として、急成長する文献を統合した体系的なサーベイが存在しません。このギャップを埋めるために、私たちは推論向けSFTに関する最近の進展を包括的にレビューし、方法論的設計と分析的検討という二つの視点から文献を考察します。まず、SFTパイプライン全体にわたる方法論上の改良を概観し、それらをデータ中心のアプローチとアルゴリズム中心のアプローチに分類します。



