コンテンツにスキップ

Meta「Muse Code」ベンチマーク比較｜Muse Spark 1.2はClaude Opus 5・GPT-5.6に届いたのか

導入判断を先に置く

判断条件現時点の選択
長時間タスクの成功率を優先するClaude Opus 5かGPT-5.6 Solを基準にする
再実行しやすい大量処理の単価を下げるMuse Spark 1.2標準枠を実タスクで検証する
Contributor枠を使うコードを含むデータ条件を法務・情報管理が確認する

Metaは2026年8月5日、計画立案から結果検証までを担うターミナル型AIコーディングエージェント「Muse Code」のベータ版と、コーディング向けモデル「Muse Spark 1.2」を公開し、Claude CodeやCodexと競合する位置に置いた。1Claude Opus 5は、Metaが示した3つのコーディング評価すべてでMuse Spark 1.2を上回った。 一方でMuse Spark 1.2の標準API料金は大幅に低く、最高スコアではなく1件の実タスクを完了する費用が導入判断の争点になる。

Muse Spark 1.2とClaude Opus 5の3ベンチマークの差、および標準API料金を比較した図

3評価すべてでClaude Opus 5が上回った

Metaの公開チャートにある主要値は次のとおりで、Terminal-Bench 2.1とDeepSWE 1.1では各モデルをそれぞれ選定されたエージェント製品上で動かしている。1

ベンチマークMuse Spark 1.2
(Muse Code)		Claude Opus 5
(Claude Code, max)		GPT-5.6 Terra
(Codex, max)
Terminal-Bench 2.182.9%86.7%81.8%
DeepSWE 1.159.3%65.0%64.8%
Meta Internal Coding Bench（440タスク）70.6%79.4%65.4%

Muse Spark 1.2はTerminal-Bench 2.1でGPT-5.6 Terraを1.1ポイント上回る一方、DeepSWE 1.1ではTerraを5.5ポイント下回り、Meta社内評価ではOpus 5との差が8.8ポイント残る。同じチャートにあるGrok 4.5は、Terminal-Bench 2.1が81.6%、DeepSWE 1.1が56.6%である。

Terra超えは最上位Codexへの到達を意味しない

比較表にGPT-5.6 Solが含まれていない点も重要である。 OpenAIはSolをGPT-5.6系列のフラッグシップ、Terraを性能と費用の均衡を狙うモデルと位置付けている。34 したがって、Muse Spark 1.2のTerminal-Bench上の「Terra超え」を、Codexで利用できる最上位性能への到達と読むことはできない。

前世代比にはモデルとハーネスの改善が混在する

Metaのチャートでは、Muse Spark 1.1から1.2への差はTerminal-Bench 2.1で6.7ポイント、DeepSWE 1.1で6.3ポイントとなる。1 ただし、1.1は汎用のmini-swe-agent、1.2はMuse Codeで評価されている。

Metaの方法論PDFも、DeepSWE公式リーダーボードが全モデルにmini-swe-agentを使うのに対し、今回の評価はモデルごとに異なるエージェント製品を使うため、同一ハーネス比較ではないと明記する。2 伸び幅にはモデル本体、ツール、システムプロンプト、コンテキスト圧縮、サブエージェント設計の効果が混在する。

これは製品比較として誤りではない。 利用者が買うのはモデル単体ではなくエージェント全体だからである。 ただし「Muse Sparkというモデルが6ポイント強くなった」という説明には使えない。

価格差はベンチマーク差より大きい

標準API料金を100万トークン単位で比べると、Muse Spark 1.2は入力1.25ドル、出力4.25ドルである。7 GPT-5.6 Terraは入力2ドル、出力12ドル、Claude Opus 5は入力5ドル、出力25ドル、GPT-5.6 Solは入力5ドル、出力30ドルである。453

モデル入力出力
Muse Spark 1.2（Contributor）$0.10$0.20
Muse Spark 1.2（標準）$1.25$4.25
GPT-5.6 Terra$2.00$12.00
Claude Opus 5$5.00$25.00
GPT-5.6 Sol$5.00$30.00

入力100万、出力20万トークンの単純計算では、Muse標準枠は2.10ドル、Terraは4.40ドル、Opus 5は10ドルになる。 Muse標準枠はOpus 5のおよそ5分の1である。

この表だけで実効費用は決まらない。 Opus 5はキャッシュ済み入力が100万トークン当たり0.50ドルになり、Batch APIでは入出力が50%引きになる。6 思考トークンは出力として課金されるため、同じタスクでもモデルと推論強度によって出力量が変わる。

Contributor枠は割引ではなくデータ境界の選択である

Muse Spark 1.2には入力0.10ドル、出力0.20ドルのContributor枠が案内されている。7 標準枠に対して入力12.5分の1、出力21.25分の1になる。

この枠は、利用データをモデル改善へ提供する条件と結び付く。 企業のリポジトリ、顧客情報、未公開脆弱性を扱う場合、単価だけで選んではならない。 Metaの公開開発者ページはログインを要求するため、利用地域、保存期間、学習利用、オプトアウト、削除手続きは、契約時に表示される現行条件で確認する必要がある。

企業検証の入口は、標準枠で次の境界を確定することである。

  1. 情報管理部門が、送信可能なリポジトリと禁止データを分類する。
  2. 法務部門が、学習利用、保存、再委託、削除の条件を確認する。
  3. 開発基盤チームが、標準枠で監査ログとアクセス制御を検証する。
  4. 調達部門が、必要ならゼロデータ保持の適用条件を書面で確認する。

Muse Codeは長時間実行と分離作業を製品差にした

Muse Codeは、セッション中に継続する専門バックグラウンドエージェントと、隔離した作業ツリーで動く並列サブエージェントを備える。1 イベントログへモデル呼び出し、承認、編集、ツール実行を追記し、長時間タスクの復旧に使う設計も公開された。

導入方法はmacOSまたはLinux向けのシェルスクリプトで、Windowsネイティブ版は公開ページに案内されていない。 Windows環境ではWSLを含めた運用境界を別途検証する必要がある。

MetaはNVIDIA Hopper向けGPUカーネルを最大24時間、1,000回を超えるツール呼び出しで最適化した事例も示す。1 これは長期実行能力のデモであり、一般的な業務リポジトリでの再現性を示す独立評価ではない。

ベンダー評価は調達スコアとして使えない

Metaの方法論では、Terminal-Bench 2.1の89タスクとDeepSWE 1.1の113タスクを、5回試行の平均成功率で評価する。2 社内評価は実際の社内プルリクエストから作った440タスクを2回ずつ試行する。

同時にMetaは、第三者モデル向けのツールとシステムプロンプトが各モデルへ最適化されておらず、専用環境での最高性能を反映しない可能性を認めている。2 比較には次の3つが混在する。

  • モデル能力
  • エージェント製品の設計
  • Meta側の評価フレームワークと設定

したがって、調達判断では自社の移行作業、実チケット、失敗時の復旧を含む評価セットを使う。 成功率だけでなく、完了までの入出力トークン、再試行回数、所要時間、人の修正量を同時に記録する。

導入判断は1タスクの完了単価で決める

高い自律性を長時間求め、途中の誤りが下流へ波及する作業では、Opus 5またはGPT-5.6 Solを基準にする合理性が残る。 ベンチマーク差が数ポイントでも、長期タスクでは失敗後の手戻りが費用差を上回り得る。

大量のリファクタリング、テスト生成、静的解析の修正候補など、失敗を検出しやすく再実行しやすい作業では、Muse Spark 1.2標準枠の価格差を検証する価値がある。 Contributor枠は、コードをモデル改善へ提供できるリポジトリに限定する。

検証では同じ20〜50件のタスクを各候補へ与え、次の式で比較する。

完了単価 = API費用 + 人のレビュー時間 + 失敗後の再実行費用

ベータ公開直後のベンダーチャートは候補を絞る材料にはなる。 置き換えを決める材料は、自社リポジトリで測った完了単価である。

この記事をポスト リンクをコピー

関連記事

出典

  1. Meta AI Research, Introducing Muse Code and Muse Spark 1.2, 2026-08-05。製品構成、評価チャート、インストール対象、長時間カーネル最適化事例を公開する。 ↩↩↩↩↩

  2. Meta AI Research, Muse Spark 1.2 & Muse Code Evaluation Methodology, 2026-08-05。タスク数、試行数、ハーネス、第三者モデル評価の制約を記載する。 ↩↩↩

  3. OpenAI, GPT-5.6 Sol, 2026-08-06参照。モデル位置付けと入出力料金を案内する。 ↩↩

  4. OpenAI, GPT-5.6 Terra, 2026-08-06参照。性能と費用の均衡を狙う位置付け、入出力料金、キャッシュ料金を案内する。 ↩↩

  5. Anthropic, Models overview, 2026-08-06参照。Claude Opus 5の位置付け、モデルID、料金、コンテキスト長を案内する。 ↩

  6. Anthropic, Pricing, 2026-08-06参照。プロンプトキャッシュとBatch APIの料金を案内する。 ↩

  7. VentureBeat, Meta enters the AI coding wars with Muse Spark 1.2 and Muse Code, 2026-08-05。Metaの開発者向け料金表示に基づく標準枠とContributor枠を報じる。契約時はログイン後の現行条件を確認する必要がある。 ↩↩