AIエージェントは3回に1回失敗する前提で導入する

参考: The 2026 AI Index Report

まとめ

• OSWorldでのAIエージェントの成功率は約12%から66.3%まで伸びた
• それでも、構造化された評価で約3回に1回は失敗する
• 導入初期は、結果を確認できて、失敗から戻せる業務に絞る
• 正答率だけでなく、確認時間、修正時間、復旧の成否まで測る

AIエージェントは、質問に答えるだけでなく、画面やファイルを読み、ツールを操作して仕事を進めるようになりました。

性能の伸びはかなり大きい。 しかし、任せる範囲を決めるには、成功率の高さより失敗の残り方を見る必要があります。

66.3%をどう読むか

Stanford AI Index 2026の技術性能に関する報告によると、OSWorldで測ったAIエージェントの成功率は約12%から66.3%へ上昇しました。 OSWorldは、複数のOS上でコンピューター操作を伴う課題を評価するベンチマークです。

66.3%は、AIエージェントが実用的な操作へ近づいたことを示します。 同時に、構造化された課題でも約3回に1回は失敗する計算です。

「ベンチマークで高得点なら、そのまま業務を任せられる」とは限りません。 実際の業務には、組織固有の画面、曖昧な依頼、途中で変わる状態、権限の境界が加わるからです。

失敗しても戻せる仕事から始める

最初の対象には、結果を人間が確認でき、失敗しても元へ戻せる仕事が向いています。

たとえばソフトウェア開発なら、次の仕事は境界を作りやすいでしょう。

• リポジトリを調べて変更案を作る
• 隔離された環境でコードを変更する
• テストを実行して結果を報告する
• Pull Requestの下書きを作る

本番反映、秘密情報の変更、外部への送信まで同じ権限で任せる必要はありません。 読み取り、下書き、検証、本番操作のあいだに承認を置けば、失敗がそのまま事故になるのを防げます。

OpenAIのAgents SDKに関する発表は、エージェントがファイルやツールを扱う長時間タスクを、隔離された実行環境で動かす構成を示しています。 Googleのcomputer useに関する発表でも、機密性の高い操作で明示承認を求め、間接プロンプトインジェクションを検出した場合に停止する仕組みが紹介されています。

製品側の安全機能だけでは、業務の境界は決まりません。 どの操作に承認が要るか、失敗をどう検知するか、どの状態へ戻すかは導入側の設計です。

正答率の外側にある費用

Stanford AI Index 2026の経済分野の報告では、調査対象組織のAI導入率は88%に達しました。 一方、AIエージェントの利用はまだ初期段階とされています。

AIを使っている組織が多いことと、個々の業務で費用に見合うことは別です。 回答が正しくても、人間がすべて確認し直すなら、その時間を費用から外せません。

一回の回答ではなく、仕事が完了するまでを測ります。

評価項目	記録する値
品質	完了率、誤り率、差し戻し率
時間	実行時間、確認時間、修正時間
費用	推論料金、実行環境、人間の作業時間
安全性	誤操作、権限逸脱、復旧の成否

モデルの単価だけを比べても、実際の費用は分かりません。 Microsoft Researchの2026年の研究では、比較したモデルの組み合わせの21.8%で、表示単価が安いモデルのほうがタスク完了までの費用は高くなりました。 同じ問いを繰り返したときの推論トークン数にも、最大9.7倍の差がありました。

安いモデルが悪いという話ではありません。 単価ではなく、完了までの再試行と人手を含めて測る必要がある、という話です。

導入候補を判定する

候補業務ごとに、次の表を埋めると、モデル名から距離を置いて判断できます。

質問	導入初期の目安
成功を判定できるか	テスト、照合元、承認者のいずれかがある
書き込み範囲を絞れるか	下書き、一時環境、限定されたAPIに閉じる
失敗から戻せるか	差分、履歴、バックアップが残る
人の作業は減るか	確認と修正を含めた総時間が短くなる
継続費用に見合うか	1件あたりの総費用を既存手段と比較できる

Stanford AI Index 2026の責任あるAIに関する報告では、記録されたAIインシデントが2024年の233件から2025年の362件へ増えました。 利用の拡大も影響するため、この増加だけで個々のモデルが危険になったとは断定できません。 それでも、外部システムを操作するAIでは、失敗時の影響を回答欄の中だけに閉じられません。

最初の検証で見る数字は、ベンチマークの順位ではありません。 現場で何件終わり、何件を人間が直し、失敗から何分で戻せたかです。