AI NEWS.ccAIが動く。未来が更新される。
日本語
中文English日本語한국어
EXPLORE · DISCOVER · CONNECT

AI ニュース

アーティファクト蒸留：フロンティアモデルから小型言語モデルへの訓練不要な転移

arXiv:2610.37680v1 発表タイプ：新規 要旨：フロンティアモデルと小型言語モデルの性能差を埋める手法としては、通常は蒸留が用いられます。すなわち、フロンティアモデル（教師）の出力に対して小型モデル（生徒）を微調整することで転移を行いますが、この方法では転移に必要な計算コストが伴う上、転移された知識はほとんど不透明なままです。そこで私たちは「アーティファクト蒸留」を提案します。これは、教師モデルが学習課題を解き、その問題解決手順を外部にアーカイブしておき、生徒モデルが推論時にそのアーカイブを参照するという手法です。これにより、勾配による更新は一切不要となります。LiveBenchの4つのタスクにおいて、Claude Opus 4.5が作成したアーカイブを用いることで、Claude Haiku 4.5は空間的推論において、コストを60％に抑えながら、無補助のClaude Sonnet 4.5を0.707対0.647で上回り、テーブル結合タスクではコストを89％に抑えた上でSonnet 4.5と同等の性能を達成しました。さらに、同じ生データのアーカイブを用いることで

オープン言語モデルにおける訓練段階別の迎合行動の特定

arXiv:2610.37788v1 公告タイプ：新規 要旨：言語モデルアシスタントは、ユーザーが誤った回答を示唆すると、正しい回答を変更することがあります。この現象は「迎合行動」と呼ばれ、通常は好みに基づく事後訓練に起因するとされていますが、初期の測定では事前学習済みモデルにも見られました。そこで、我々は訓練のあらゆる可能な段階でこれを測定することで、その発生源を明らかにします。ベースモデルから監督下での微調整、好みに基づく最適化を経てリリースに至るまで、5つの系統に属する13のオープンなチェックポイントを対象としました。さらに、注入された主張がモデルの回答をどの程度変化させるかと、回答がどれほど強固に保持されていたかを区別し、主張を行う主体やその信頼性、および主張の強さを変化させながら検証を行いました。その結果、異なる起源を持つ二種類の迎合行動が浮き彫りになり、いずれも複数のデータセットで再現されました。主張への従順さ i

推論を行う大規模言語モデルのための教師あり微調整：サーベイ

arXiv:2610.37681v1 公表タイプ：新規 要旨：近年、大規模な推論モデルは複雑なタスクの解決において顕著な能力を示しており、長文の思考過程データに対する教師あり微調整（SFT）が、その推論能力を引き出し、さらに向上させるための重要な基盤となっています。推論に特化したSFTの改善と分析の両面で急速な進展が見られるにもかかわらず、この分野には依然として、急成長する文献を統合した体系的なサーベイが存在しません。このギャップを埋めるために、私たちは推論向けSFTに関する最近の進展を包括的にレビューし、方法論的設計と分析的検討という二つの視点から文献を考察します。まず、SFTパイプライン全体にわたる方法論上の改良を概観し、それらをデータ中心のアプローチとアルゴリズム中心のアプローチに分類します。

大規模言語モデルのアライメント向け、ランキングを考慮した差分プライバシーによるリストワイズな好みの公開

arXiv:2610.37682v1 公告タイプ：新規 要旨：リストワイズな好みフィードバックは、ペアワイズ比較に比べて大規模言語モデル（LLMs）のアライメントにおいてより豊かな監督情報を提供しますが、完全なランキングはさらに機密性の高いユーザーの嗜好も明らかにしてしまいます。既存のプライバシー保護型アライメント手法は主にペアワイズなフィードバックに焦点を当てていますが、ローカル差分プライバシー（LDP）下でのリストワイズなアライメントは未だ十分に探求されていません。このリストワイズな領域へLDPを拡張することは、重大な課題を提起します。すなわち、完全なランキング空間の高い機密性のために過剰なノイズが必要となり、結果としてリストワイズな監督の利点が無効化されてしまうのです。この課題に対処するため、我々は下流の学習における監督の粒度とプライバシー・ノイズの相互作用を分析し、リストワイズな好みをプライバシー保護するランク-awareな指数関数メカニズムを提案します。

Liquid AIがLFM3マルチモーダルモデルファミリーを強力に発表、高効率な専用インテリジェンスを主力に据える

近日、Liquid AIは新世代の基礎モデルファミリーであるLFM3を正式に発表しました。最初のバージョンには約2Bパラメータを持つ6種類のモデルが含まれ、テキスト、視覚、音声、オムニモーダル、意思決定といった各領域を網羅しています。これらはすべてLFM3-1.7B-Baseを基盤とし、事前学習時のスループットは22Tトークンに達します。このシリーズは全く新しい三混合層アーキテクチャを採用しており、ゲート制御短い畳み込みやスライディングなどの仕組みを統合することで、より少ないパラメータで高い効率を実現しています。

OmniBrain-0：身体を備えた知能のための統一されたエージェントモデル

arXiv:2610.36013v1 発表タイプ：新規 要旨：汎用的な身体を備えた知能は、ロボットが長期間にわたり多様なスキルを連携させ、タスクの進行状況を追跡し、障害から回復できるよう求められる。専門的なポリシーだけではタスクレベルでの信頼性を確保できず、強力なマルチモーダルエージェントも、コンパクトなモデルでは再現が難しい高コストな推論や外部経験に依存している。そこで私たちは、共有の高レベルな意思決定モデルを通じて操作とナビゲーションを協調させ、タスク理解、計画、進行状況の追跡、フィードバックに基づく回復を統合する、軽量で統一された身体を備えたエージェントであるOmniBrain-0を提案する。当社の段階的学習フレームワークは、身体を備えた事前学習、ドメイン特化型エージェントの蒸留、およびマルチティーチャーによるオンポリシー蒸留（MOPD）を組み合わせている。これにより、強

CONCUR：多タスク・多報酬強化学習における一致型補助報酬

arXiv:2610.36437v1 発表タイプ：新規 要旨：大規模言語モデル（LLM）が複数のタスクに対して強化学習（RL）で学習する際、各タスクの主報酬は、長さ報酬などの補助報酬を制限することができる。すなわち、不適切な応答に対しては、補助報酬は主報酬を超えることができない。しかし、グループ相対優位推定器では、制限された補助報酬も他の要素と同様に扱われるため、主報酬の順序を逆転させたり、主報酬の上限においてのみ補助報酬が応答の順序を決定したりしてしまう。制限された補助報酬を維持すると一部のタスクに悪影響を及ぼし、一方でそれを排除すると別のタスクに悪影響を及ぼす。そこで我々は、各制限付き補助報酬の標準化スコアを、二つの条件を満たす最も近いスコアに置き換える優位推定器であるCONCURを提案する。具体的には、主報酬が高い応答には低いスコアを与えることはできず、また…

スパースな探索履歴を用いた検索：不完全な探索ログとゼロコストの代理モデルからのタスク間アーキテクチャ探索

arXiv:2610.32179v1 発表タイプ：新規 要旨：ニューラルアーキテクチャ探索（NAS）はコストが高額であるが、タスク間の転移により過去のタスクから得た知識を再利用することでコストを削減できる。しかし、既存手法はスパースな探索履歴やタスク固有の転移失敗に苦慮している。本研究では、チャンピオンベースの初期化とペアワイズランカーによる共同事前学習を通じて、スパースなソースログとゼロコストの代理モデルを組み合わせるリスクロバストな戦略を提案する。TransNAS-Bench-101において、本提案は深刻な最悪ケースでの失敗を緩和し、マイクロ自動符号化における最悪10％順位を290から43へ、マクロ室内レイアウトにおける最悪10％順位を465から45へと低下させた。さらに、13種類のセルスペースターゲット全体で、平均性能および最悪ケース性能の両面において、代理モデルのみを使用したランカーを10ターゲットで上回りつつ、競争力のある平均性能も維持した。

ProtoEEG：EEGの視覚的デコーディングのための構造化されたプロトタイプアライメント

arXiv:2610.33065v1 発表タイプ：新規 要旨：頭皮上の記録はノイズが多く、空間的に粗く、試行間および被験者間で変動するため、EEGによる視覚デコーディングは依然として困難である。多くのシステムでは、各試行を高密度な画像埋め込みに位置合わせしているが、その埋め込みには意味内容と、インスタンス固有のテクスチャ・姿勢・背景が混在している。このような手法では、EEGには存在しない詳細情報を必要とする上、予測を支える視覚的要因について明示的な説明を提供していない。そこで私たちは、共有可能な学習可能な視覚コードブックに基づくソフトな合成としてEEG–画像の位置合わせを再定式化する、プロトタイプ媒介型フレームワークである\textbf{ProtoEEG}を提案する。学習可能なEEGエンコーダーと固定された視覚教師が、同一の$K=64$個のプロトタイプに対する割り当て分布を生成し、それらの重み付けされた再構成が構造化された表現を形成する。

ReMedI：制御可能な分子最適化のための推論時精緻化と自己蒸留

arXiv:2610.32103v1 発表タイプ：新規 要旨：創薬において、リード最適化では、透過性の向上や毒性の低減といった相反する特性を改善しつつ、リードの活性を損なう可能性のあるスケルトン変更を抑制しなければなりません。C-MORAL などの強化学習ベースのポストトレーニング手法は、分子言語モデルを微調整することで、関心のある目的に対して分子リードを直接最適化するというアプローチを採用していますが、これには高価なタスク固有のデータセットが必要であり、多目的最適化（MOO）の実現にも課題が伴います。我々は、事前学習済みモデルには、ゼロショット生成では効率的に到達できない有用な分子編集がすでに含まれている可能性があると主張します。ゼロショット生成の探索能力の限界に着目し、我々は効率的なメトロポリス・ハスティングス探索戦略を開発し、ベット

事後学習は大規模言語モデルの価値観の好みをどのように形成するのか？

arXiv:2610.33371v1 発表タイプ：新規 要旨：事後学習の過程で、大規模言語モデル（LLMs）は、異なる人口統計グループに関連する意見が不均衡な割合で含まれるコーパスから価値観の好みを学習します。こうした不均衡が増幅されることで、一部のグループの意見がさらに過小評価される可能性があります。しかし、意見の混合状態が事後学習の各経路において価値観の好みにどのような影響を及ぼすのかは依然として不明です。この疑問に答えるため、私たちは、異なる意見の混合状態を持つ事後学習用コーパスと、SFT、DPO、GRPOに基づく5つの事後学習経路を用いた制御実験を行いました。その結果、事後学習によって意見の不均衡が各経路ごとに異なる形で増幅されることが明らかになりました。一度価値観の好みが増幅されると、さらなる事後学習によってそれを除去できるかどうかは、事後学習の

OpenESM：エネルギー駆動モデルはスケーラブルな基礎学習者

arXiv:2610.33005v1 発表タイプ：新規 要旨：エネルギー基盤モデルは、ドメイン固有のタスクにおいて有望な特性を示しているものの、汎用的なシナリオのモデリングには依然として課題が残っています。このギャップを埋めるため、私たちは基礎的な言語モデリング向けにエネルギー駆動型モデル（ESM）を設計しました。ESMは、エネルギーによる探索を活用してトークン生成を精緻化するため、エネルギー駆動とトークン生成を単一のアーキテクチャに統合しています。具体的には、まずエネルギー景観上での潜在状態を最適化し、次いでその精緻化された潜在状態を用いてトークン生成を行います。大規模コーパス上でこのようなエネルギー駆動型の事前学習を実施することで、ESMは一般的に有効なエネルギー景観を学習し、好ましいトークンが低いエネルギー値に対応することを確立します。ESMのスケーリング特性を検討するため、私たちはESMを事前学習させます

賢くささやく：ASRのファインチューニングにおけるスマートなサブセット選択

arXiv:2610.32997v1 公開タイプ：新規 要旨：OpenAIのWhisperなどの自動音声認識（ASR）モデルは、音声認識の精度を大幅に向上させていますが、特に大量のトランスクリプション済み音声データが利用可能な場合でも、ファインチューニングには高いコストがかかります。そのため、多くの実務者がこれらのモデルを新たな言語や領域に適応させるのは困難です。本研究では、ASRのファインチューニングに用いるためのより小規模な学習データセットを選択する、埋め込みベースのサブセット選択手法を提案します。Whisperの事前学習済みエンコーダを用いて、各音声サンプルを固定次元の埋め込み空間へ写像し、貪欲なk-センター法を適用して、多様で代表性のある学習データのサブセットを選定します。本手法をヘブライ語およびデンマーク語に対して評価した結果、k-センター選択はしばしば

行動のペナルティをいつ停止すべきか？VLA強化学習におけるマルチンゲールGRPO

arXiv:2610.32431v1 発表タイプ：新規 要旨：視覚・言語・行動（VLA）のロールアウトが失敗したとしても、すべての行動が失敗に寄与したわけではない。しかし、グループ相対方策最適化（GRPO）では、ロールアウト中の全行動に対して単一の軌道レベルの優位性が割り当てられるため、本来有用な復旧試行すら、それらが修正しようとする誤りとともにペナルティを受ける可能性がある。失敗フィードバックにおける理想的な停止条件は、成功確率および方策スコアのマルチンゲールを用いて特徴付けられる。これらの停止点において、除去された勾配寄与は、保持された情報条件下で条件付き期待値がゼロとなる。したがって、切り捨てによって参照となるGRPOのグループ勾配推定器の期待値は維持され、その共分散を低減できる。このような停止の一つは、成功の条件付き確率が

EKTルーター：身体化された視覚言語モデルにおける専門家と証拠の整合性

arXiv:2610.33044v1 発表タイプ：新規 要旨：身体を備えた視覚言語モデルは、部分的で変化する観測情報から質問に答える必要があります。その成功は、選択される推論能力と、それに利用可能な証拠の両方に依存します。専門家ルーターは内部計算を適応させ、ツール拡張型システムは外部証拠を獲得しますが、これらを独立に選択すると、適切な専門家が必要な証拠を持たない状況が生じる可能性があります。私たちは、能力専門家、オプションの知識、および知覚ツールを共同で選択する制限付きフレームワークであるEKT-Routerを提案します。結果に基づくシグネチャは、一般推論、空間推論、時空間推論の各専門家の重なり合う強みを表現します。共同ユーティリティは、呼び出し予算の下で完全な専門家–証拠経路のスコアリングを行います。取得後、パケット検証器が有効なものを承認します

証拠に基づく直感：マルチモーダルエージェントのための適応型デュアルメモリ

arXiv:2610.33019v1 発表タイプ：新規 要旨：マルチモーダルエージェントが持続的な相互作用を行う際、長期記憶は細粒度の証拠の想起と、全体的理解のための内面化された解釈という、二つの明確でありながら補完的な機能を果たす。エピソード記憶と潜在記憶はそれぞれ、明示的な履歴記録と内面化された経験を通じてこれらの要求に対応しているものの、エピソード記憶における証拠の網羅性と統合の限界、および潜在記憶における事実の基盤形成の限界により、いずれのパラダイムだけではタスク間で多様な記憶特性を十分に捉えることはできない。このギャップを埋めるために、我々はデュアルメモリフレームワークを提案する。これは、モデル固有の潜在記憶を直感的な事前分布として統合し、同時に複数インデックスを持つエピソード記憶を用いて、検索条件に基づく共同アライメントによって正確な証拠の再構築を実現するものである。At i

新たな研究により、強化学習における既存のCriticを大規模言語モデルの信頼度推定器としてそのまま再利用できることが明らかになった

2026年10月26日にarXivに掲載された（番号2610.31820v1）AI研究論文は、価値ベースの強化学習（value-based RL）で訓練された大規模言語モデル（LLMs）について、既存のCriticモジュールが追加の学習やデータなしで、高精度かつ高信頼性の信頼度推定器として利用可能であることを示している。

文脈内依存関係解析のためのPOSシグネチャーによるデモンストレーション検索

arXiv:2610.31966v1 発表タイプ：新規 要旨：文脈内学習におけるデモンストレーションは、しばしば意味的類似性によって取得されるが、これは構造化予測における関連性を十分に反映しない場合がある。本研究では、POSシグネチャーに基づくポリシーを用いて、Universal Dependenciesの構文解析におけるデモンストレーション選択を検討した。このポリシーは文を重み付けされた品詞統計で表現し、ラベル付き訓練分割から長さが一致するゴールド解析済みの例を3つ取得する。我々は、微調整を行わないオープンウェイト言語モデル2種をUD English Web Treebankテストセットの全2,077文に対して評価し、ショット数やフォーマットが一致する固定および意味的3ショットベースライン、さらにゼロショット、チェーンオブソート、クリティック・リファインメントシステムと比較した。POSシグネチャーによる検索は、最も高いラベル付きアタ