METRのAnthropic AI研究開発加速評価とは?AECI 1.9倍の意味・AI寄与・検証限界を解説

当サイトではアフィリエイト広告を利用しています。

METRは2026年11月5日、Anthropic社内のAI研究開発がどの程度加速しているかを調べた独立評価を公開しました。

評価では、Anthropicの内部モデルを含むベンチマーク推移、学習計算量、研究開発の投入量、AI利用状況、研究者への聞き取りなどを確認しています。調査期間は8月12日から10月29日までの約11週間です。

公開結果で最も目を引く数字は、Anthropic版のEpoch Capabilities IndexであるAECIの進歩速度が、2025年10月以降にそれ以前の約1.9倍になったという推定です。95%信頼区間は1.5〜2.8倍で、推定値の不確実性を示す範囲です。

この1.9倍が示すのは、AECIで測った能力進歩の速度の比率です。AI利用が加速へどの程度寄与したかは別の推定で、METRは現在の加速の大半をAI利用が説明すると判断し、主観的な目安として「おそらく約80%」を挙げています。

同時に、この評価には大きな検証限界があります。METRが結論形成で特に重視した証拠の多くはAnthropicによって公開版から非開示とされ、外部の読者は同じ証拠一式を使って結論を再計算できません。

METRは約11週間、Anthropicの内部指標などを確認した

今回の評価でMETRが確認した中心課題は3つです。

  1. Anthropic内部のモデル能力の進歩速度は加速したか
  2. その加速のどの程度をAI利用が説明するか
  3. 今後の加速を止める大きなボトルネックが近い将来にあるか

METR側は2.5人分のフルタイム換算体制で約11週間調査しました。Anthropicからは、事前学習や強化学習に関する内部指標、内部モデルのベンチマーク、学習計算量、研究者のAI利用状況、コードやPull Request、AIエージェントの推論利用量、内部資料、スタッフへのインタビューなどが共有されています。

スタッフへの聞き取りは約15人に行われました。

METRの情報アクセスは要求ベースで、Anthropic側が各要求を承認・拒否できる仕組みでした。非公開モデルを直接サンプリングして評価するアクセスも受けていません。

METRはAnthropicから調査費用を受け取っていないと説明しています。調査ではAnthropicの端末と無償提供されたトークンを使い、データ分析や可視化にもAIを利用しました。

1.9倍はAECIの「進歩速度」を比較した数字

AECIは、Anthropicが複数の能力ベンチマークを一つの潜在的な能力指標へまとめるために使っている、Epoch Capabilities IndexのAnthropic版です。

METRはAECIの時系列を使い、2025年10月以降の進歩速度と、それ以前の歴史的な進歩速度を比較しました。

主分析の推定は次の通りです。

項目METRの公開結果
AECIの進歩速度2025年10月以降、約1.9倍
95%信頼区間1.5〜2.8倍
METRの広い主観レンジ歴史的速度の1.3〜3倍でも驚かない
概算の意味過去約2年分に相当するベンチマーク進歩を約1年で達成した水準

METRは「加速」を成長率の比として扱っています。2倍の加速なら、過去のペースで2年かかった進歩を1年で進める、という読み方です。

ここで、統計モデルから得た1.9倍と、METRが全証拠を踏まえて述べる「1.3〜3倍でも驚かない」という主観レンジは役割が違います。前者はAECI時系列への分析結果、後者は非公開証拠や方法論上の不確実性まで含めた総合判断です。

AECIの推定値は分析方法によって動く

AECIでは、各ベンチマークの得点をモデルの潜在能力へ結び付けるためにリンク関数を使います。主分析ではロジスティック関数を採用しています。

METRは方法を変えた頑健性分析も行いました。

  • リンク関数を変える:推定加速率は1.1〜2.9倍
  • 使用するモデルのスナップショットを変える:1.9〜2.2倍
  • 使用するベンチマークを変える:1.9〜2.2倍
  • 正則化の方法を変える:1.9〜2.1倍

主分析の1.9倍は多くの分析条件で近い値が出ていますが、前提の置き方によって幅も出ます。

METRは、最近の内部モデルを含めたことが、Anthropicの以前のシステムカードで示された1.7倍より今回の推定が高くなった主因だと説明しています。

ベンチマークの数字は、測っている対象、集計方法、試行条件を分けて読む必要があります。実務型ベンチマークGDPxの12.0%をどう読むかは、次の記事で詳しく整理しています。

GDPxとは?12.0%の意味と11分野206タスクでAIエージェントの実務力を測る仕組み
GDPxとは何かを解説。11分野206タスク、14専門パートナー、最大8時間の実務型AIエージェント評価の仕組みと、公開時トップ12.0%の正しい意味、企業が自社業務評価へ持ち込める考え方を整理します。

AI利用の寄与は1.9倍とは別の推定

AECIの1.9倍は「加速が観測されたか」を見る数字です。

「その加速をAIがどれだけ引き起こしたか」は、別の因果推定になります。

METRは、学習計算量の拡大ペースが速くなったことでは今回の加速を説明できないと判断しました。そのうえで、研究者への聞き取り、AI利用による自己申告の生産性向上、研究開発投入量、コードや実験利用など複数の証拠を組み合わせています。

METRの総合判断は、2026年10月時点の加速の大半はAI利用による可能性が高いというものです。主観的な目安として「おそらく約80%」を挙げていますが、詳細な寄与率の推定過程は公開されていません。

2025年後半の加速には、AI以外の要因も大きく寄与した可能性があるとしています。

研究者のspeedupとモデル能力のaccelerationは別の指標

Anthropic内部のSlack投票では、AI利用による自己申告の速度向上が2026年10月に最大12倍へ達したデータも共有されました。

METR自身が、この数字を緩い証拠として扱っています。

speedupは個人やチームの作業速度、accelerationはモデル能力の進歩速度が歴史的なペースからどれだけ変わったかを表す別の指標です。

研究者の生産性が高くても、研究開発には計算資源、データ、実験、組織調整、逓減効果など複数の制約があります。個人の12倍という自己申告を、そのままAI研究開発全体の12倍加速へ読み替えることはできません。

現在の寄与はAI支援が中心で、完全自律研究はまだ主要因ではない

METRが聞き取った範囲では、現在の研究開発加速はAIによる支援が中心です。

AIはコード作成、分析、実験支援などで大きく使われていますが、モデル学習工程の最重要部分へ高い影響を持つ完全自律的な貢献は、現時点で全体進歩の主要因にはなっていないと評価されています。

一方で、研究領域によっては自律的な貢献が近づいている兆候も報告されました。

この点は、現在観測された1.9倍と、将来さらに加速が進むかというリスク評価を分けて読む理由になります。

METRは近い将来の明確なボトルネックを確認できなかった

METRは、今後12か月で進歩を大きく止める明確なボトルネックを、次の領域では確認できなかったとしています。

  • アルゴリズムの進歩
  • 学習計算量
  • 実験用計算量
  • データ

この結論の確度は高くありません。

調査中に追加情報を受けるたび、METR側のボトルネック評価は何度か変わりました。公開版では特定のボトルネック分析も非開示です。

「明確な阻害要因を確認できなかった」という現在の観測と、「今後も加速が続く」という予測は分けて扱う必要があります。

公開版では重要証拠の多くを外部から再評価できない

今回の評価で最も大きな制約が、証拠の公開範囲です。

Anthropicは、非公開情報について公開前に削除できる権利を持っていました。METRによると、結論形成で特に有益だった証拠の大半が公開版では非開示になりました。

公開版で確認できる範囲と、METRだけが確認した範囲を分けると次のようになります。

証拠METRへ共有公開版で結果を説明
内部モデルのベンチマーク能力ありあり
主要な中間能力指標あり非開示
アルゴリズム進歩の推定あり非開示
AI利用の寄与あり一部
主要な研究開発投入量大部分あり非開示
ボトルネックと将来予測一部あり非開示
スタッフへのインタビューあり一部

METRは、公開された証拠だけで読者が同じ結論へ独立に到達できる透明性には達していないと説明しています。

このため、公開読者が確認できるのは「METRがどんな証拠を見たか」という概要と、一部の数値・方法論までです。非公開の重要証拠を使った総合判断では、METRの解釈そのものへの依存が大きくなります。

評価の独立性と公開可能性は別に見る

METRはAnthropicから調査費用を受け取らず、複数の情報源を照合し、約15人のスタッフにも聞き取りを行っています。

同時に、アクセス範囲と公開範囲にはAnthropic側の統制がありました。

  • 情報要求はAnthropicが承認・拒否できる
  • 非公開情報にはAnthropicの一方的な削除権があった
  • METRは社員同等の常時アクセスを持っていない
  • 非公開モデルを直接サンプリングしていない
  • 当初予定されていた「能力開発と安全研究への計算資源配分の検証」は途中で対象外になった

独立評価という位置づけは、評価主体がMETRであることを示します。公開された証拠だけで第三者が全工程を再現できるかは、別の評価軸です。

1.9倍を読むときは4つの層を分ける

今回の結果は、次の4層に分けると意味を取り違えにくくなります。

1. 観測された進歩速度

AECIでは、2025年10月以降の進歩速度が約1.9倍と推定されました。

2. AI利用の因果寄与

METRは現在の加速の大半をAI利用が説明すると判断しています。約80%は、METRが全証拠を踏まえて示した主観的な目安です。

3. 将来の加速リスク

明確なボトルネックが見つからなかったことから、METRは今後さらに加速するリスクを重く見ています。将来の加速リスクは、現在観測された1.9倍とは別に行われたリスク判断です。

4. 公開情報で検証できる範囲

AECIの主要分析や一部の証拠は公開されていますが、重要な内部指標やAI寄与の詳細推定は非開示です。外部からの再検証にはこの情報境界があります。

METR自身が挙げる主な不確実性

METRは、加速を過小評価する方向と過大評価する方向の両方を挙げています。

加速を過小評価している可能性

  • 最近さらに加速していても、モデル学習の完了まで観測に遅れが出る
  • AIによる自律研究が急速に実用域へ近づく可能性
  • AECIの緩やかな改善より、実世界では能力閾値を越えた影響が急に大きくなる可能性

加速を過大評価している可能性

  • AI以外の要因が最近の加速を大きく説明している可能性
  • AECIが採点しやすい、明確に定義されたタスクへ寄っていること
  • Anthropicの過去のAECI成長率が一時的に低かったため、最近の伸びが大きく見えている可能性
  • ベンチマーク分布への最適化や方法論上の前提が推定へ影響している可能性

AECIの進歩速度は能力指標の変化率、AIの因果寄与はその加速要因の推定、実世界への影響は能力変化が現実に及ぼす効果を扱う、それぞれ異なる評価対象です。

まとめ

METRの独立評価では、AnthropicのAECI指標の進歩速度が2025年10月以降に約1.9倍へ加速したと推定されました。95%信頼区間は1.5〜2.8倍です。

METRは、2026年10月時点の加速の大半をAI利用が説明すると判断し、主観的な目安として約80%を挙げています。学習計算量の拡大ペースだけでは今回の加速を説明できないという評価です。

この結果を読むうえで重要なのは、観測された1.9倍、AIへの因果帰属、将来リスク、公開情報から検証できる範囲を分けることです。

特に、METRが結論形成で重視した証拠の多くは公開版で非開示です。今回の報告はAI研究開発の加速を示す重要な材料であると同時に、独立評価であっても証拠の公開範囲が限られると、外部検証に明確な境界が残る例になっています。

公式情報・参照先

タイトルとURLをコピーしました