AI NEWS.ccNVIDIA NemoClawで、自社管理のスタック上に専用エージェントを構築する
自律型エージェントの構築には、モデル、ハーネス、およびドメイン固有のツールが必要です。エージェントをより安全にデプロイするためには、ポリシーを強制するランタイムに加え、信頼性の高い実行を確保するための最適化ツールや観測可能性ツールも必要です。
AI ニュース
vLLM セマンティックルーターが d3-ultra をリリース：270億パラメータのオープンなマルチモーダル意思決定モデル
vLLMセマンティックルーターは、270億パラメータ規模のオープンウェイトなマルチモーダル意思決定モデルであるd3-ultraをリリースしました。同モデルはテキスト、画像、動画を一度に読み込み、各回答に対する確率を返却し、チームのSR-Textテストで87.2点を獲得しています。この記事「vLLMセマンティックルーター、270億パラメータ規模のオープンマルチモーダル意思決定モデルd3-ultraをリリース」は、MarkTechPostに最初に掲載されました。
京東広告は、ファーウェイの鲲鵬と連携することで、生成型広告の推論遅延を15％削減し、618大促において主要なシナリオでの検証を完了しました。
京東広告は華為の鲲鵬と協力し、霊衢相互接続を活用して300TB規模の共有メモリプールを構築、RPC通信を再構築することで、エンドツーエンドの推論遅延を15％低減しました。また、KVキャッシュおよびRPCの性能が大幅に向上し、2026年の618大促における主要なシナリオでトラフィックの5％による検証も実施されています。さらに、この協業は検索・推薦といったサーチ＆レコメンデーションの各シーンへ波及しており、SuperCacheやAgentサンドボックスなど、Agentic AIの先端分野にも展開しています。
清華大学と香港中文大学が共同でAKVをオープンソース化：LLMエージェント向けのKVキャッシュエンジニアリングサービスシステム
清華大学と香港中文大学の研究者らは、2026年10月26日、SGLangを基盤とし、大規模言語モデル（LLM）エージェント向けに設計されたKVキャッシュ用のエンジニアリングサーバーであるAKVをオープンソース化しました。このシステムは、従来のテキスト履歴の要約ではなく、エージェントが自らKVキャッシュを積極的に破棄・再配置することで、4つのエージェントベンチマークにおいて推論コストを平均27.7％削減し、タスクの平均スコアを1.7ポイント向上させました。コードはApache-2.0ライセンスのもとで公開されており、現在はQwen、GPT-OSS-120B、MiniMax-M2.7などのモデルをサポートしています。
llama.cpp がバージョン b11871 をリリース：サービスのクラッシュを防ぐため、JSON のネスト深度に制限を追加
llama.cpp のバージョン b11871 では、重要なセキュリティ修正が導入され、リクエスト内の JSON のネスト階層に対して 128 層のハード制限を設けることで、深い再帰的解析による HTTP スレッドスタックのオーバーフローおよびサービスのクラッシュ（macOS では SIGBUS、Linux では SIGSEGV をトリガー）を防止しています。この対策は、chat インターフェースの複数の入力シナリオに適用され、統一的に HTTP 400 エラーを返します。
llama.cpp が b11870 バージョンをリリースし、DeepSeek-V4.1-Flash モデルを正式にサポートしました
llama.cppはバージョンb11870において、DeepSeek-V4.1-Flash（deepseek41）モデルへの対応を追加し、そのEngramアーキテクチャに対してKVキャッシュ計算の簡略化、BF16精度によるMXFP8代替、in-graph行gatherなど、複数の低レベル最適化を施しました。同時に、macOS、Linux、Windows、Android、iOSおよびopenEulerを網羅するマルチプラットフォームのバイナリビルドも提供しています。
llama.cpp がバージョン b11869 をリリース：Jinja テンプレート関数の引数処理を修正し、マルチプラットフォーム対応のバイナリを新たに追加
llama.cpp プロジェクトはビルドバージョン b11869 をリリースしました。主な修正点は、Jinja テンプレートにおける select 関数および selectattr 関数の引数解析ロジックであり、macOS、Linux、Windows、Android、iOS、および openEuler に対応した数十種類のハードウェアとバックエンドの組み合わせをカバーするプリコンパイル済みバイナリパッケージを提供しています。
llama.cpp が b11868 バージョンをリリース：Hexagon NPU のマルチコア Flash Attention に対するサポートを強化し、全プラットフォームでのコンパイルとビルドを網羅
llama.cpp v2.45.0（タグ b11868）が正式にリリースされ、主要な更新点として、Hexagon バックエンドに KV-head のグループ分割メカニズムを導入してマルチコア HMX Flash Attention の性能を最適化し、FA の分割制御フラグを統一しました。同時に、macOS、Linux、Windows、Android、iOS、openEuler など、全プラットフォーム向けのバイナリパッケージを提供しており、CUDA 12/13、Vulkan、ROCm、OpenVINO、SYCL、Snapdragon（Adreno＋Hexagon）など、複数のバックエンドに対応しています。
llama.cpp がバージョン b11867 をリリース：サーバーエンジンのエントリーポイントを再構築し、マルチプラットフォームと異種アクセラレーションバックエンドを全面的にサポート
llama.cpp が GitHub 上で正式にバージョン b11867 をリリースしました。主要な変更点として、サーバー側のエントリーポイントの再構築（PR #31113）と、server_role 機構の追加が挙げられます。また、macOS、Linux、Windows、Android、iOS、openEuler を対象とした 40 種類以上の事前ビルド済みバイナリパッケージを提供しており、CPU、CUDA（12.4/12.8/13.4）、Vulkan、ROCm 10.0、OpenVINO、SYCL（FP16/FP32）、Snapdragon（Adreno+Hexagon）など、多様なハードウェアバックエンドをサポートしています。
llama.cpp が b11866 バージョンをリリース：Metal バックエンドの冗長な AMAX スケーリングロジックを削除し、MoE の計算パスを簡素化しました
llama.cpp v.b11866 では、Metal バックエンドに実装されていた時代遅れの src1 の2のべき乗による AMAX スケーリング機構が削除され、代わりに計算グラフ内でのより細粒度なエキスパートごとのトークン単位の amax スケーリングに依存するようになりました。これにより、MoE 下における投影後の活性化値が f16 表現の範囲内に収まることが保証されます。同時に、関連する二段階リダクションカーネル、F32 精度のスケジューリング、および境界外アクセスを検出するテストケースも削除されました。
llama.cpp が b11865 バージョンをリリース：RDMA 受信の境界チェックを追加し、CUDA 13.4、ROCm 10.0、Snapdragon NPU など、複数のプラットフォーム向けバックエンドをサポート
llama.cpp プロジェクトはビルドバージョン b11865 をリリースし、主要な変更点として、RDMA 受信ロジックにメモリ境界チェックを追加（PR #30399）するとともに、ハードウェアアクセラレーションのサポートを大幅に拡張しました。これにより、CUDA 13.4、ROCm 10.0、Vulkan、OpenVINO、SYCL、さらに Qualcomm Snapdragon（CPU＋Adreno＋Hexagon）によるフルスタックの異種計算バックエンドが対象となります。なお、macOS における KleidiAI のサポートおよび openEuler 上でのビルドは、明示的に DISABLED とマークされています。
llama.cpp がバージョン b11861 をリリース：minimax-m3 モデルの量子化スケーリングテンソルが伝達されないことで生じる推論エラーを修正
llama.cpp v.b11861 では、minimax-m3 モデルにおいて NVFP4/MXFP8 の量子化下でスケールテンソルが計算グラフに注入されないために生じていた重みの歪み問題を修正し、『token soup』や残差の埋没を回避しました。また、macOS、Linux、Windows、Android、iOS、openEuler を網羅するマルチプラットフォーム対応のバイナリビルドも同時に提供されています。