原題: Agent-as-a-Router: Agentic Model Routing for Coding Tasks
著者: Pengfei Zhou、Zhiwei Tang、Yixing Ma、Jiasheng Tang、Yizeng Han、Zhenglin Wan、Fanqing Meng、Wei Wang、Bohan Zhuang、Wangbo Zhao、Yang You
公開日: 2026年6月（arXiv v3、2026年6月26日更新）
ソースURL: https://arxiv.org/abs/2606.22902
アーカイブ日: 2026-09-05
Claude CodeやCodexのようなコーディングエージェントは、ほとんどの場合、すべてのタスクを単一のLLMで処理する。著者らはこれを「提供者中心」の設計と呼ぶ。提供者にとっては自社モデルを優先し、配信コストを予測可能に保つ合理性があるが、複数の提供者を契約し、オープンモデルをローカルでも動かせる利用者にとっては、タスクごとの品質とコスト効率こそが優先事項になる。
その前提を裏づけるのが、8つのフロンティアモデル（Claude Opus 4.6、Claude Sonnet 4.6、GPT-5.4、Qwen3-Max、Qwen3.5-Plus、GLM-5、Kimi-K2.5、MiniMax-M2.7）を9つのコーディング次元で測った観測行列である。平均ではClaude Opus 4.6が42.9%で最高だが、アルゴリズム設計ではGLM-5が47.2%対25.4%で大きく上回り、テスト生成ではQwen3-Maxが82.7%対39.2%、データサイエンスではKimi-K2.5が18.4%対14.2%で勝つ。9次元のうち次元別最良モデルは5種類に分かれ、しかも強いモデルほど高価で、7,080タスクの探索セット全体でOpus 4.6の総コストはKimi-K2.5の約12倍だった。タスクごとに最良モデルを選ぶ「オラクル」は、常に最強モデルを選ぶ方針を明確に上回る。ここから「どのモデルにどのタスクを渡すか」という自動ルーティングの問いが立つ。
先行研究のルーター（RouteLLMの選好学習、メタモデリング、LLMRouterBenchなど）は、ルーティングを静的な一回限りの分類問題として扱ってきた。著者らはまず、Claude Sonnet 4.6をルーターとして使うゼロショットのLLM-as-a-Routerが、オラクルから大きく離れることを確認する。2,919タスクの分布内テストで、オラクルの平均性能57.00%に対し、素のLLMルーターは41.41%にとどまった。
ここで著者らはルーターに与える情報だけを変える切り分け実験を行った。タスクの次元名を追加しても41.18%と変化がないが、探索セットから集めた次元別の性能統計を加えると47.74%へ跳ね上がる。相対で15.3%の改善であり、同じ次元別統計を固定ルールとして符号化したヒューリスティックのDimensionBest（47.50%）をも上回る。つまりLLMルーターは、判断材料さえあれば規則ベースを超える判断ができる。ボトルネックは推論の失敗ではなく情報の欠損だ、というのが本論文の出発点となる診断である。付録の分析では、素のLLMルーターの選択分布が次元をまたいでほぼ一様で、次元構造をまったく活用できていないことも示されている。
この診断から二つの設計要件が導かれる。第一に、ルーターは各判断のたびに実行に基づく新しい情報（選んだモデルの出力をサンドボックスで実際に動かした結果）を獲得しなければならない。第二に、その情報をタスクの流れの中で蓄積し、以後の判断の条件にしなければならない。情報状態が凍結された静的ルーターには、構造的にこれができない。
著者らはこの二要件をContext→Action→Feedback→Context（C-A-F）ループとして定式化する。タスク列を一つずつ処理しながら、ルーターは文脈（プロンプト、任意のメタデータ、それまでに蓄積された記憶状態）を観測し、行動としてモデルプールから一つを選び、検証器から性能スコアと金銭コストという実行に基づくフィードバックを受け取り、それを次の文脈へ書き込む。一周するごとに次の判断がより多くの情報を持つ。
この構造は文脈付き多腕バンディットに対応する。タスクごとの報酬は性能スコアとコストの重みつき和として定義され、論文ではスコアに1、USD建てコストに−0.1の重みを置く。事前に全タスク×全モデルの結果行列を構築しておけば、タスクごとに報酬最大のモデルを選ぶ「タスク単位オラクル」が定義でき、そこからの累積的な差である累積リグレットが、流れてくるタスクに対する自然な評価指標になる。著者らはこのオラクルが、単一の最良モデルに固定する方針とは一般に一致しないことを強調している。
C-A-Fループの実装がACRouter（Agentic Coding Router）である。三つの中核モジュールと、それらが呼び出すツール層から成る。
Orchestratorは情報を統合して判断する。DimensionBestの事前知識、記憶から類似度検索で取り出した過去10件の近傍タスク、タスクのメタデータを文脈として受け取り、CodeRouterBenchの探索セットでファインチューニングした軽量なQwen3.5-0.8Bのポリシーと、ロジスティック回帰や次元別最良などのヒューリスティック規則を、重みつき投票で合成して最終的にモデルを選ぶ。論文の図では、各投票者がそれぞれMiniMax-M2.7、GLM-5、Kimi-K2.5を推し、重みつき合計でKimi-K2.5が選ばれる様子が示されている。
Verifierは情報を生み出す。選ばれたモデルの出力に対し、AST解析、サンドボックス実行、プロンプトに埋め込まれたテストの抽出と実行、自己一貫性の確認、LLM-as-Judgeなど複数の信号を、タスク種別ごとの重みで一つのスコアに集約する。重要なのは、これらが正解のテストを持たずに品質信号を出す点で、実運用でも成立する設計になっている。
Memoryは情報を蓄積する。タスク埋め込み（voyage-code-3またはBGE-large）をキーとするオンラインのベクトルストアで、選んだモデル、観測された性能、コスト、検証の痕跡を記録する。コサイン類似度による近傍検索（上位10件、閾値0.5）で取り出され、2万件を上限とするFIFOで管理される。次元のハッシュで丸める静的ルーティングと違い、タスク単位の粒度で「似たタスクで最近どのモデルが失敗したか」までOrchestratorに見える。
著者らはさらに、既存のルーティング手法をC-A-Fの構成要素の有無で整理する。単一モデル固定（三要素なし）、静的ヒューリスティック（凍結した記憶のみ）、学習済み静的ポリシー（Orchestratorのみ、LogReg、TF-IDF+MLP、RouteLLMの行列分解版とBERT版、LoRAでファインチューニングしたQwen3.5）、オンラインバンディット（LinUCB、LinTS。パラメトリックな記憶と報酬のみの検証器）である。この分解がそのまま比較実験の構造になる。
累積リグレットを測るには、全タスク・全モデルの結果が事前に揃った環境が要る。既存のルーティングベンチマークは単発の正答率しか測れない。そこで著者らは15以上の既存ベンチマーク（HumanEval+、MBPP+、BigCodeBench、LiveCodeBench、DebugBench、SWE-bench Lite、CRUXEval、DS-1000、MultiPL-E、CodeXGLUEなど）を統一し、10次元・10,111タスクのCodeRouterBenchを構築した。9つの単一ターン次元はそれぞれ1,111タスクで、MD5に基づく決定論的な分割で探索セット7,080タスクと分布内テスト2,919タスクに分かれる。7次元はサンドボックス実行によるpass@1で、3次元（リファクタリング、コード理解、テスト生成）は代理指標とLLM-as-Judgeで採点する。8モデル分で約8万件の実行検証済み応答が含まれる。
10番目の次元であるエージェント型プログラミングは分布外（OOD）テストとして完全に隔離されている。SWE-bench Verified、LongCLI-Bench、FeatureBench、SWE-CIから、探索セットと似たプロンプトを除いた176タスクで、mini-swe-agentとSWE-benchのDockerハーネスを使い、1タスク40ステップ上限で実行する。複数ステップの計画、ファイル探索、反復デバッグを要する点で、9つの単一ターン次元とは質的に異なる。
分布内テスト（2,919タスク）では、ACRouterが平均性能49.98%、累積リグレット205.5で全ルーター中最良だった。完全な次元別事前知識を持つDimensionBest（47.50%、277.4）を2.48ポイント上回り、常にOpus 4.6を選ぶ方針（43.83%、387.1）を6ポイント以上引き離す。総コストはACRouterが13.21ドル、DimensionBestが12.89ドル、Opus常用が34.02ドルで、ACRouterは最強モデル常用より高性能かつ半額以下である。一方、LogRegやRouteLLM-BERTなどの軽量分類器は46〜47%と分布内ではDimensionBestに肉薄し、コストは7〜8ドル、ドルあたり性能では6以上と最も効率がよい。最安のKimi-K2.5常用は2.90ドルでドルあたり性能12.62と突出するが、平均性能は36.66%に沈む。
分布外テスト（176タスク）で差が鮮明になる。ACRouterは解決率62.50%、累積リグレット17.0で首位を保ち、Opus常用（57.14%、26.7）、ファインチューニングしたQwen3.5-0.8B（55.36%）、LinUCB（49.82%）、LinTS（46.43%）を上回った。対照的に、分布内で健闘した軽量分類器は8.93〜21.43%へ崩落し、ランダム選択の31.25%すら下回る。学習時のプロンプト特徴が分布外では信号を失い、評価中に新しいフィードバックを取り込めないためだと著者らは説明する。オンラインバンディットは更新を続けるため生き残るが、腕ごとの線形モデルでは文脈を踏まえた判断ができず、ACRouterに及ばない。累積リグレットの推移図でも、静的手法は分布内で速く積み上がり分布外で崩れる一方、ACRouterは記憶が満ちるにつれて傾きが緩やかになる。
ただし著者らは、同じ分布外分割で単体のGPT-5.4を改めて走らせた結果が75.00%に達し、オラクルの75.89%にほぼ並んだことも付録で開示している。分布外の性能は基盤モデルのコーディング能力に強く順序づけられ、この設定ではバックエンド側の進歩がルーターの効果を超え得ることを示す数値である。
付録の追加実験にはいくつか示唆的な観察がある。8モデルすべてをLLMルーターとして試すと、最強のコーダーであるOpus 4.6がルーターとしてはゼロショットでも3ショットでも最下位で、「コーディング能力とルーティング能力は別物」である。少数ショットは決定的な解決にならない。ルーター用Qwen3.5を0.8Bから27Bまで約30倍スケールしても平均性能は0.5ポイントしか動かず、ファインチューニングの有無が門であって容量はボトルネックではない。相互情報量の分解では、タスクの次元だけでオラクルの選択エントロピーの約27%しか説明できず、残りはアルゴリズム選択やAPIパターンといったタスク個別の内容にあり、これがタスク埋め込みで検索する記憶が効く理由になっている。
実務者向けの手引きも添えられている。静的なDimensionBestだけでオラクルの約83%に達するのでまずそれを基準とし、分類器に置き換えれば同等性能をより安く得られ、新しい分布に配備するときにC-A-Fループを完成させる、という段階的な導入順序である。著者らはC-A-Fの考え方がモデル選択に限らず、ツール選択、プロンプト戦略の選択、思考量の配分にも適用できると論じ、コミュニティで維持される生きたプロトコルへの拡張を構想している。
著者ら自身が挙げる限界は三つある。提供者側のキャッシュヒット率が観測できないため、金銭コストは公開単価と測定トークン数からの推計であり、相対比較のための副次指標にとどまる。エージェント型評価は予算の都合で標準の250ステップではなく40ステップ上限で行っている。C-A-Fの実装はLLMポリシーと近傍検索記憶の一つの組み合わせにすぎず、パラメータ水準の記憶など別の実装は未探索である。
本論文の最も持ち運びやすい貢献は、ACRouterというシステムそのものより、その前段にある診断である。「ルーターに次元別の性能統計を渡すだけで、同じ統計を規則にしたヒューリスティックを超える」という切り分けは単純だが、LLMを判断者に据えるあらゆる場面に転用できる問いを立てている。判断が悪いとき、それはモデルの推論の限界なのか、単に材料が届いていないのか。この区別をつけずにより大きなモデルへ乗り換える誘惑は強く、Qwen3.5を30倍スケールしても性能がほぼ動かないという補助結果は、その誘惑への具体的な反証になっている。
方法論として堅実なのは、全タスク×全モデルの結果行列を先に作り、タスク単位オラクルからの累積リグレットで手法を同一条件で比べられるようにした点である。単発の正答率で比べる従来のルーティング評価では「配備後に学ぶ」性質を測れない。静的分類器が分布内では最良に近く、分布外ではランダム以下に崩れるという結果は、この評価設計があって初めて見える事実であり、コーディングエージェントの基盤選定を単一モデルの信頼で済ませてきた実務にとって最も行動を変える知見だろう。
一方で、留保も明確に残る。分布外テストは176タスクと小さく、モデルプールも2026年前半のスナップショットで、個々の数値は短期間で古びる。とりわけ、著者らが誠実に開示した単体GPT-5.4の75.00%という結果は、分布外においては「賢く選ぶ」ことより「最良のモデルが更新される」ことの効果が大きい場合があることを示しており、ルーティングの価値が基盤モデル間の相補性の大きさに依存することを読者は忘れるべきではない。また、ACRouterは記憶と検証器のために分類器の約2倍のコストを払っており、コスト効率だけを見れば軽量分類器の方が優れる。それでも、モデルの相補性と価格差が構造的に残り続ける限り、実行に基づくフィードバックで情報の欠損を埋めるというループの発想と、それを測るためのリグレット評価の枠組みは、モデル名が入れ替わった後も参照に耐える。
LLMルーティング, コーディングエージェント, 文脈付きバンディット, 累積リグレット, ベンチマーク, モデル選択, National University of Singapore, Alibaba DAMO Academy