Salesforce SFR-AutoR&Dとは?人が条件を決め、AIが仮説・実装・実験を回すR&Dエージェント設計

当サイトではアフィリエイト広告を利用しています。

Salesforce AI Researchは2026年11月11日、研究開発の反復をAIエージェントで進める「SFR-AutoR&D」を公開しました。

SFR-AutoR&Dに渡すのは、研究目標、対象となるコードベースやモデル、測定したい改善、計算予算や制約です。エージェントはその範囲で仮説を立て、手法を実装し、ベースラインと比較する実験を行い、検証結果を次の探索へつなげます。

設計の中心は、人が目標・予算・評価・データ制約を定め、AIがその内側で仮説・実装・評価を反復することです。改善が検証できた候補だけを残し、確認できなければベースラインを維持します。

SFR-AutoR&Dは人が条件を決め、AIが探索を回す

Salesforceが示すSFR-AutoR&Dの入力には、研究対象に加えて、何を改善したいか、どの指標で測るか、どこまで計算資源を使えるかが含まれます。

人が設定するものAIエージェントが進めるもの
研究目標改善仮説の立案
対象のコードベース/モデル手法・コードの実装
測定したいターゲットベースラインとの比較実験
計算予算・制約結果を踏まえた次の仮説
評価条件・データ制約検証済み候補の選別

この境界によって、自動探索の速さと、研究として採用する条件を別々に管理できます。

Discover・Build・Evaluate・Learnの4段階で反復する

SFR-AutoR&Dの基本ループは4段階です。

  1. Discover:対象システム、ボトルネック、先行研究を確認し、検証可能な仮説を作る
  2. Build:提案した手法を実装し、ベースラインと比較できる実験を準備する
  3. Evaluate:同じ条件で候補とベースラインを測定し、正しさやモデル品質を確認する
  4. Learn:成功・失敗の両方を記録し、次の仮説へ反映する

検証済みの改善が得られた場合は候補を次へ進めます。改善を確認できない場合はベースラインを維持し、その実験結果を次の探索材料に使います。

この仕組みでは、AIが多くのアイデアを試せることに加え、何を「改善」と判定するかが実験前に決まっていることが重要な制御点になります。

AutoR&D-Engineer・TrainForge・AutoInfraで役割を分ける

SFR-AutoR&Dには、異なる研究対象を扱う2つのエージェントと、それらを支える共有基盤があります。

構成入力主な役割出力
AutoR&D-Engineerリポジトリ、研究目標、対象・制約既存コードのアルゴリズム・システム改善を探索検証済み実装、パッチ、ベンチマーク証拠
TrainForgeベースラインモデル、タスク、評価、計算予算新しい学習手法を考案し、学習・評価を反復検証済みチェックポイント、評価記録
AutoInfra実験要求、モデル、共有GPU資源学習・推論実験を並列に実行し、結果を返す実験結果、保存済みモデル、再利用可能な基盤

AutoR&D-Engineerは、既存コードのボトルネックを見つけ、方法を変えた実装を作り、同条件で性能と正しさを検証します。

TrainForgeはモデル学習側を担当します。新しい戦略を設計し、まず軽量な実験で候補を絞り、見込みのある方法を大きな学習へ進めます。評価には学習に使わないheld-outデータを使う構成が示されています。

AutoInfraは、複数の実験を共有GPU基盤上で実行する学習・推論インフラです。TrainForgeなどから来る実験要求を受け、計算資源の割り当て、実行、結果取得を共通化します。

人が残す判断は目標・予算・評価・データ制約

Salesforceは、SFR-AutoR&Dの自律性に対して人が設定する範囲を明示しています。

  • Goal:何を改善する研究か
  • Budget:探索へ使える計算資源と時間
  • Evaluation:何をベースラインとし、どの指標で改善を判定するか
  • Data constraints:学習や評価に使えるデータの条件
  • Production requirements:研究成果を実運用へ進めるための要件

Salesforceの製品向けモデルでは、倫理・法務レビューを通過したデータセットだけを使うことも問題設定の一部です。評価で改善したモデルも、顧客が使う前に本番要件を満たす工程があります。

研究方向と採用判断を人が持ち、AIへ長時間の実行作業を任せる別の例は、OpenAIの「自動AI研究インターン」の記事でも整理しています。

OpenAIの自動AI研究インターンとは?AI研究をどこまで任せられるのか
OpenAIが到達したと発表した「自動AI研究インターン」とは何かを解説。3.1 agent-workdays、人間の介入率、AI研究の6工程、2028年の自動AI研究者との違い、一般の開発チームへ応用できる役割分担を整理します。

SFR-AutoR&Dでは、さらに評価条件とベースライン比較を研究ループそのものへ組み込み、候補の昇格条件を固定している点が特徴です。

EmbeddingGemma 2の改善は約80時間の研究ループで実施した

SalesforceはSFR-AutoR&Dを、自社の検索向け埋め込みモデルSFR-Embedding V3の改善にも使っています。SFR-Embedding V3はData Cloudの検索で使われるモデルです。

その後、Salesforce AI ResearchはオープンモデルのEmbeddingGemma 2を対象にSFR-AutoR&Dを実行し、SFR-Embedding v4を作成しました。

Salesforce Newsroomが公表した評価結果は次の通りです。

セッション主な目的評価条件Salesforceが報告した結果
約80時間検索品質の改善MTEB English v2の公開retrieval 10タスク、nDCG@10ベースライン比 +6.13ポイント
約9時間実行効率の改善同モデルの効率改善セッションスループット+36%、レイテンシ-17%、品質低下はほぼなし

nDCG@10は、検索結果の上位10件で関連する結果をどれだけ上位へ置けたかを見る指標です。

+6.13ポイントは、Salesforceが示したMTEB English v2の公開retrieval 10タスクにおける結果です。他のモデルや研究課題では、それぞれの評価条件で改善幅を確認します。

また、Salesforceは研究成果を顧客向けに使う前に本番要件を満たす必要があると説明しています。SFR-Embedding v4の研究結果と、顧客環境への展開は別の工程です。

AutoR&D-Engineerは既存コードの改善を扱う

SFR-AutoR&Dはモデル学習に加えて、既存コードの改善も扱います。AutoR&D-Engineerでは、オープンソースコードやSalesforce内部基盤を対象に、アルゴリズムや実装方法の改善を行っています。

公開されている例には次があります。

対象Salesforceが示した改善主な条件
pandasnullable dtypeの行方向集約で最大1.84倍40ベンチマークセル、中央値1.38倍
hnswlib検索QPS中央値+4.1%独立した3つのindex build
USearch検索スループット+17.5%GCC 11.4、100万ベクトル、単一コア
SFR-RL生成スループット最大3.14倍/学習ピークメモリ-39%別々の公開ワークロード

これらも各条件での測定結果です。AutoR&D-Engineerの公開ページでは、正しさの確認、ベースラインとの比較条件、失敗時のフォールバックまで含めて証拠を残す構成が示されています。

R&Dエージェント導入では6つの制御点を先に決める

SFR-AutoR&Dの設計を実務へ置き換えると、研究エージェントを動かす前に次の6点を決める必要があります。

  1. 研究目標:何を改善したら成功なのか
  2. ベースライン:候補を何と比較するのか
  3. 計算予算:何回・どの規模まで実験できるか
  4. 評価データ:学習と分離した評価条件をどう固定するか
  5. 昇格条件:どの改善幅・正しさ・再現性で候補を採用するか
  6. 本番移行条件:安全性、法務、運用、コストを誰が確認するか

この6点が決まると、AIへ探索の自由度を与えながら、研究成果を採用する基準を人側で固定できます。

研究エージェントの価値は、単発のコード生成量より、仮説→実装→比較実験→検証のサイクルを、同じ評価ルールで何度も回せることにあります。

まとめ

SFR-AutoR&Dは、研究目標、対象、計算予算、評価条件を受け取り、AIエージェントが仮説・実装・比較実験・検証を反復する研究開発システムです。

AutoR&D-Engineerは既存コードの改善、TrainForgeは学習方法の探索、AutoInfraは並列実験を支える共有計算基盤を担当します。

Salesforceが示したEmbeddingGemma 2の例では、約80時間の研究ループでMTEB English v2の公開retrieval 10タスクにおけるnDCG@10が6.13ポイント向上し、その後の約9時間のセッションでスループット36%増、レイテンシ17%減が報告されました。

実務で再利用しやすい設計は、人が目標・予算・評価・データ制約と本番移行条件を定め、AIがその内側で探索を反復することです。探索速度を上げても、評価基準と採用条件を固定することで、研究成果を証拠付きで比較できます。

公式情報・参照先

タイトルとURLをコピーしました