Text by Ichiro Hoshinaka

Text by スタンフォード大学のHAI（Human-Centered AI：「人間中心のAI」を研究する機関）が毎年発表している「AI Index Report」(AIの現状を包括的に分析し、技術進歩、経済や社会への影響などをまとめた年次報告書)の2025年版から、「AIエージェントの性能評価」に関するパートを読み解いてみましょう。(斜体ピンク文字は同レポートから引用し翻訳したもの) 

レポート全文：https://hai.stanford.edu/assets/files/hai_ai_index_report_2025.pdf

HAIは、AIエージェントの性能評価に関して、

数十年にわたり、AIエージェントは活発に議論されてきましたが、広く受け入れられるベンチマークはほとんど存在しません。

この背景には、エージェント形式のタスク（自己判断・行動するAIのタスク）が、画像分類や言語質問応答などと比べて「多様で動的」「結果が安定しにくい」といった複雑さがあるためです。AIが進化を続ける中、エージェントの性能を正しく評価する手段の整備はますます重要になっています。

としています。確かにAIプロダクトは数あれど、その精度について客観的・横断的な評価を確認できるベンチマークはこれまで見当たりませんでした。

開発する側にとって、自分たちのプロダクトの強みと弱みはどこなのか、どこにフォーカスして開発を進めるべきなのか等を知る上で、客観的な評価は大きな助けになります。

そこでHAIは、複雑な機能の安定的な評価を可能にするAIエージェントのベンチマークの必要性を訴えます。レポートの中ではそのニーズに応える形で開発されている、最新かつ信頼性の高いベンチマーク3つを取り上げ、その評価方法と結果のサマリーを掲載しています。

VisualAgentBench (VAB：2024年)

https://github.com/THUDM/VisualAgentBench

進化著しいマルチモーダルAIや、仮想空間やロボット空間での行動能力に着目した新たなベンチマークです。従来の言語指示だけでなく、以下の3領域でエージェントを評価します。

1. 実世界エージェント（家庭内やゲームの仮想空間で動く）
2. GUIエージェント（モバイルアプリやWebアプリを操作）
3. 視覚デザインエージェント（CSSのデバッグなど）

複数の領域を横断的に測ることで、様々な環境下でのAIの適応力・実力を包括的に検証します。評価結果では、最強モデルである GPT 4o でも成功率は 36.2％ にとどまり、大多数の商用モデルは 約20％。つまりまだ十分とは言えず、実用段階には至っていないと結論付けられています。

VABは大規模マルチモーダルモデル(LMM)を「視覚的ファウンデーションエージェント(Visual Foundation Agents)」として育成・評価する初の総合ベンチマークです。名前の通り、視覚を主体としたインタラクティブなエージェント評価環境を提供するベンチマークです。

大多数のAIモデルは未だ実用段階にないという評価結果は厳しく感じられますが、評価内容のハードルの高さは、完璧なAIエージェントを目指している開発者が指標とすべきものであると言えるかもしれません。

本レポートやVABのGitHubリポジトリ等を確認すると、良い評価を得るためのアプローチとして、以下のものが考えられそうです。

・提供されている各環境の実行軌跡データを用いてオープンソースLMMをSFT(Supervised Fine-Tuning)する
・高→低の二段階処理による「Plan‑and‑Act」フレームワークの実装
・視覚的グラウンディングと計画力の強化
・VABの評価は「マルチターン・インタラクティブ形式」によるため、最初のプロンプトで各ターンの行動候補、環境からのフィードバック表現、数ショットのデモンストレーションを明示的に提示する

RE-Bench (2024年)

https://github.com/METR/RE-Bench/tree/main

最先端の AI を研究職や R&D に適用する可能性を探るためのベンチマークです。7つの「オープンエンドな」機械学習研究課題（カーネル最適化、スケーリング則実験、GPT 2の微調整など）をテーマにしており、これは71件の8時間チャレンジ（60人超の人間専門家）から得たデータをもとに構成されています。

短時間（2時間以内）では、AIが人間専門家を4倍も上回る成果を挙げる一方、 時間が伸びてくる（8～32時間）と、人間の方が優位になり、最終的には2倍ほどの差で上回るケースもあります。ただし一部の課題では、AIエージェントが「人間と同等の専門性」を持ち、しかも高速・低コストで成果を出すものも確認されています。たとえば Triton カーネルの自動生成などが好例です。

RE-Benchは主に言語実装の性能評価向けに使われていますが、さまざまなアプリケーションやプログラムのパフォーマンス監視にも適用できます。良スコアを出すためには、AIモデルが以下の能力を発揮することが求められているようです。

・長期的かつ複雑なタスクに耐えうる戦略的思考
・柔軟なツール連携
・本質を捉える論理的推論
・タスクを遂行するための巡回的ワークフロー(スキャフォールディング)
・推論と計算資源の最適化

また、長期的実験を通じて得た背景知識の蓄積と活用や、同様の問題や失敗を今後の改善に自動で繋げる能力が備わっていることも重要となるでしょう。

GAIA (2024年)

https://ai.meta.com/research/publications/gaia-a-benchmark-for-general-ai-assistants/

GAIAは、Metaが提示した、ジェネラルAIアシスタントの汎用能力を測るベンチマークです。
466問から構成され、次のような多様なスキルが要求されます。

• 推論力、マルチモーダル処理（画像＋文章など）
• ウェブ検索や各種ツールの活用
• 多段階の複雑問題の解決
ただの試験形式ではなく、実際の思考過程や探索力を問う設計になっています。2023年の発表当初は：
• GPT 4（プラグイン使用）でも正答率15％程度だったのに対し、
• 人間は 92％

と大きな差がありました。しかし2024年には、急速に進歩して最高で 65.1％ を記録し、前年の最高スコアから 約30ポイント上昇しています。

Metaは、GAIAの哲学を「平均的な人間と同等の堅牢性を持つことこそが、真の汎用AI(AGI)の到来の鍵」だとしています。最近のLLM(大規模言語モデル)が法律や化学などの専門分野では人間を凌駕する傾向にあることを考えると、そうでない「平均的な人間」の分野にフォーカスしたMetaの哲学は明快です。

複雑なタスクを実行しGAIAで良い結果を導き出す上では、以下のアプローチが有効と考えられます。

・「検索 → 情報抽出 → 計算 → 整理 → 出力」の流れを効率よく構築
・GAIAは完全一致による採点方式のため、余分な空白や大文字小文字の違いも減点対象となる。正確なフォーマットと後処理が求められる
・複数のエージェントをタスクに応じて使い分ける設計
・高度なWebブラウジング能力を実装
・複数の検索エンジンを活用
・回答に出典情報や参照リンクを添える等で信頼性を強化

いずれのベンチマークも評価軸が多岐に渡る複雑なものであり、開発する側にとってはチャレンジングな内容になっていますが、それだけ人間の柔軟性・総合力が優れているということでもあり、多くのデベロッパーがこれら複数の信頼できるベンチマークを活用し、高いレベルでスコアを競うようになることが、真のAIエージェントの実現に近づくための第一歩になるのではないでしょうか。

それぞれのベンチマークで良い結果を導くためのアプローチは記載しましたが、最後に、それらを踏まえてAIが今後さらに進化すべき方向性を考察してみます。

1. 多領域・長期安定性能の確保

VABで示された通り、最先端モデルでも成功率は約20～36％と低く、多様な環境での安定性能は未整備です。環境横断的な能力獲得のため、モジュール設計や適応的自己学習を強化し、単一タスクではなく「環境間の知識転移と蓄積」に注力することが求められているのではないでしょうか。

2. 時間経過と共に高いパフォーマンス維持

RE‑Benchでは、短時間ではAIが人間を圧倒する一方、8時間以上では人間に追い抜かれる傾向がありました。進化するためには、長期的な探索と発散・収束を切り替える「メタ制御」や「再計画」能力の強化、さらにエラーからのリカバリーや中間戦略の再評価機構を組み込むことも必要と思われます。

3. 創造性・探索力の向上

GAIAで見られるように、複雑多段階タスクへの対応は急速に改善しているものの、依然として正答率65％程度にとどまり、人間（約92％）を大幅に下回ります。単なる指示実行ではなく、自律的「思考過程の構築」と「仮説検証」の能力を深め、多段階問題において自ら問題を分解し解法を生成できるような仕組みが重要です。

4. 評価基盤の高度化

現行ベンチマークは、手元評価・短時間評価・単一タスクが中心であるという批判があり、真の実用性能や経済価値を捉え切れていません。長時間・長期課題、リアル運用を模した連続タスク、外部評価／アドバーステストによる堅牢性評価などを含む多層的テスト設計が不可欠です。サードパーティによる監査評価や開示基準も同時に整備する必要があるかもしれません。

5. 研究・イノベーション領域での自律性強化

RE‑Benchや新興フレームワーク（MLGym, PaperBenchなど）では、AIの研究課題対応力に関心が寄せられています。「新規仮説の生成」「自身の評価」「並列的な実験設計」ができる「研究者エージェント」へ進化し、階層的セルフ改善、実装→検証→反復という「科学的思考ループ」の自立遂行力を身につける必要があります。

We Are Hiring!

クーガーは自律的で大胆なチャレンジを支援し、それぞれの個性を生かした技術と創造性の追求ができる場を目指しています。

ぜひ採用ページからエントリーください。カジュアル面談も実施しています！