LLMの性能は指示量だけでは測れない：「自由」と「測定」を分離する設計

手順を指定する前に分けるもの

タスクの状態	選ぶ設計
正解手順が確立している	手順をワークフローとして固定する
解法が未知で比較したい	目的と評価を固定し、解法はLLMへ委ねる
失敗の原因を特定したい	理由文だけでなく、行動・結果・インフラを別々に記録する

解法が未知の問題では、目的・制約・評価を固定し、自由条件と手順指定条件を分け、行動・結果・インフラを同じ方法で測る。

指示量だけでは性能を判定できない

同じタスクに対して、あるプロンプトは分析手順を細かく指定し、別のプロンプトは目的だけを伝えるが、出力が違ってもどちらが「AIの性能」を示すかは指示の長さだけでは決められない。 既知の手順を再現したいのか、未知の解法を探索したいのかで適切な設計が変わるため、本稿が参照する研究は指示量そのものの因果効果を確立していないことを踏まえ、詳細手順と目的中心の条件を比較できる実験設計を手法仮説として提案する。

探索問題では解法を先に固定しない

Anthropicは、手順を明確に分解できる仕事では、事前に定めたワークフローが予測可能性と一貫性を得やすいと説明する。 一方、必要な手順を予測できない仕事では、LLMが工程とツール利用を動的に決めるエージェントが適する。 ただし、エージェント化はレイテンシ、コスト、複合的な失敗を増やすため、単純な方法で足りるなら複雑化しないことも同時に推奨している。¹

したがって、自由度を高くする対象は「AIを使うすべての仕事」ではない。

• 解法がまだ確立していない
• 複数の調査・分析方法を比較したい
• モデルや条件による差を測りたい
• 最終結果を客観的、または事前に定めた基準で採点できる
• 失敗しても隔離環境で回復できる

定型処理、法令や監査で手順が決まる処理、不可逆な操作では自由度を下げる。 ここでの主張は「手順を教えない」ことではなく、検証していない手順を唯一の正解として初期条件へ埋め込まないことである。

固定・委任・観測は入れ子として設計する

NIST AI Risk Management Frameworkは、AIリスク管理をGovern、Map、Measure、Manageの反復的な活動として扱い、文書化、継続的監視、役割の明確化を求める。² この考え方を探索的なLLMタスクへ適用すると、三つの責任を分けられる。

層	実行前または実行中に扱うもの	主体
固定	目的、成功・失敗、評価指標、期限、権限、禁止操作、出力形式	人間と評価設計者
委任	調査順序、ツール、分析方法、停止判断、記憶の更新	LLM
観測	入出力、ツール呼び出し、参照元、差分、実行時間、結果、運用障害	外部システム

委任層は固定層の内側で動く。観測層は固定層と委任層の両方を横断する。 上から下へ一度だけ流れる工程ではない。

自由にするのは内側だけだ。 利用できる情報、権限、期限、禁止操作まで曖昧にすると、それは探索ではなく未管理の実行になる。

評価指標はプロンプトより強いバイアスになる

評価指標は、AIが最適化すべき目的の代理である。 代理指標が本来の目的を表していなければ、AIは高得点でも役に立たない結果を作れる。 Google DeepMindが整理したspecification gamingは、文字どおりの仕様を満たしながら、設計者の意図した結果を達成しない行動を指す。³

たとえば、報告書の文字数だけを評価すれば冗長化を誘発する。 変更ファイル数を評価すれば不要な修正が増える。 短期収益だけを評価すれば、大きなリスクを抱えた戦略が有利になり得る。

評価指標を隠せば中立になるわけでもない。 隠された基準は再現性を失い、後から都合よく採点できる。 実務上の対策は、指標を実行前に固定し、望ましくない最適化を予測し、補助指標と安全条件を置くことである。

プロンプトは解法ではなく契約を伝える

プロンプトの細部は単なる表現差ではない。 FormatSpreadの研究は、意味を保った書式変更だけでもLLMのタスク性能が大きく動き、モデル間の順位まで逆転し得ることを示した。モデルサイズ、few-shot例の増加、instruction tuningでも感度は消えなかった。⁴

だからこそ、良いプロンプトを「短いプロンプト」と定義するのは不十分である。 必要なのは、解法を押しつけず、実験条件を明確にする契約だ。

契約項目	伝える内容
目的	何を達成するか
入力	利用可能な情報と時点
権限	利用できるツールと操作範囲
制約	期限、禁止事項、安全境界
評価	何を良い結果と判定するか
出力	機械的に検証できる形式

「必ず三つの観点で比較する」「最初に仮説を立てる」「失敗したら前回と逆の方法を試す」といった指示は、制約ではなく手法仮説である。 有望なら削除せず、自由条件とは別の実験条件として比較する。

フィードバックは与えても学び方は固定しない

Self-Refineは、同じLLMが自分の出力へフィードバックを与え、反復的に修正する方法で複数タスクの改善を報告した。⁵ Reflexionも、試行結果を言語化して外部メモリへ保存し、後続試行へ利用する設計で改善を示している。⁶ これらは、明示的な自己改善手順が有効な場面の証拠であり、「自由にすれば常に良い」という主張への反例になる。

運用では、次の境界が扱いやすい。

1. システムが過去の結果と評価を改変不能な入力として渡す。
2. LLMが変更の要否を判断する。
3. LLMが変更方法を選ぶ。
4. システムが変更内容と次の結果を記録する。
5. LLMがno_changeを選ぶことも許可する。

過去の全会話を無制限に継承する必要はない。 新しいセッションへ、LLM自身が管理したファイルだけを渡し、システム側で作成・変更・削除を記録すれば、自由な記憶形成と追跡可能性を分けられる。

理由文は行動記録の代わりにならない

Anthropicの実験では、回答へ影響するヒントを与えたとき、その利用をChain-of-Thoughtで明示した割合はClaude 3.7 Sonnetで平均25%、DeepSeek R1で39%だった。⁷ 理由文は判断要因の一部、後から整えた説明、評価者が納得しやすい物語のいずれでもあり得る。

一方、理由文が無価値ということでもない。 OpenAIは、Chain-of-Thoughtを含む監視が行動と最終出力だけの監視より有効だった評価群を報告しているが、実環境への一般化などの限界も明記している。⁸ 理由文は、単独の事実ではなく観測信号の一つとして扱う。

証拠	役割	限界
自己申告	AIが説明した理由や変更意図	内部判断の忠実な写像とは限らない
機械記録	ツール呼び出し、ファイル差分、実行時間	意図そのものは説明しない
客観結果	最終状態、正誤、数値評価	指標設計のバイアスを受ける
第三者レビュー	別の人間またはLLMの解釈	独立した意見であり、客観評価ではない

Anthropicの評価ガイドも、モデル評価者は柔軟で拡張しやすい一方、非決定的であり、人間評価との校正が必要だとする。⁹ 完全なブラックボックスにも、自己説明への全面依存にもせず、性質の違う証拠を重ねる。

自由度の増加は測定コストを増やす

この設計には明確な限界がある。

第一に、人間の知識を減らせば性能が上がるわけではない。 Anthropicによる約40万件のClaude Codeセッション分析では、利用者のタスク固有の専門性が高いほど成功しやすく、エラーから回復しやすい傾向が報告された。¹⁰ 専門家の知識は、目的、異常状態、安全境界、評価方法を定義するために必要である。

第二に、自由度を上げると出力の分散が増える。 エージェント評価では同じタスクを複数回試行し、成功率を見る必要があるため、時間と計算資源が増える。⁹

第三に、インフラが測定結果を変える。 AnthropicのTerminal-Bench実験では、同じモデル、ハーネス、タスクでも、資源構成の違いで成功率に6ポイントの差が生じた。¹¹ モデル失敗、認証切れ、保存失敗、期限超過、資源不足を一つの「AI失敗」へまとめると、改善先を誤る。

第四に、長期的な自己改善は保証されない。 LLMはノイズから偽の規則を学び、記憶を肥大化させ、過去の偶然へ過適応する可能性がある。 メモリ差分、条件変更、評価結果を残し、変更しない選択肢とロールバックを用意する。

実装は比較可能な条件から始める

1. 評価設計者が、読者や利用者の目的を一文で固定する。
2. 評価設計者が、成功・失敗・安全条件を実行前に定義する。
3. システム担当者が、自由条件と手順指定条件を別バージョンにする。
4. モデルとバージョン、sampling設定、プロンプト書式、ハーネス、資源上限を事前登録し、条件間で固定する。
5. LLMが、各条件の内側で解法とツールを選ぶ。
6. 条件の実行順をランダム化または均衡化し、各条件を複数回試行する。
7. 観測基盤が、入力、行動、差分、結果、運用障害を試行IDへ記録する。
8. 評価処理が、LLMの自己申告から独立して結果を採点し、単発の出力ではなく成功率や分布を不確実性とともに比較する。
9. 人間が、指標の抜け道と実務上の価値を再評価する。

この「固定・委任・観測」も、万能な正解ではない。 探索的タスクの能力をより正確に測れるという手法仮説である。 だからこそ、この枠組み自体も無条件に採用せず、比較対象を置き、失敗を含めて検証する必要がある。

この記事をポスト リンクをコピー

関連記事

• 「ループ」が作業の単位になる：Codexホワイトペーパーに見る長時間タスクの設計
• ハーネスエンジニアリングとは何か
• AI導入の運用コストを増やす前に決める監査ログ設計

出典

---

1. Anthropic, Building effective agents, 2024-12-19. ↩

2. NIST, AI Risk Management Framework Core, accessed 2026-08-01. ↩

3. Google DeepMind, Specification gaming: the flip side of AI ingenuity, 2020-04-21. ↩

4. Sclar et al., Quantifying Language Models' Sensitivity to Spurious Features in Prompt Design, ICLR 2024. ↩

5. Madaan et al., Self-Refine: Iterative Refinement with Self-Feedback, 2023. ↩

6. Shinn et al., Reflexion: Language Agents with Verbal Reinforcement Learning, 2023. ↩

7. Anthropic, Reasoning models don't always say what they think, 2025-04-03. ↩

8. OpenAI, Evaluating chain-of-thought monitorability, 2025-12-18. ↩

9. Anthropic, Demystifying evals for AI agents, 2026-01-09. ↩↩

10. Anthropic, Agentic coding and persistent returns to expertise, 2026-06-16. ↩

11. Anthropic, Quantifying infrastructure noise in agentic coding evals, 2026-02-05. ↩