第10章 — フィードバックループ: 品質の門番
AI は自分の間違いに気づけるのか？
プロジェクトが進む中、ユウキはある問題に気づいた。Claude Code が生成したコンポーネントの一部に、アクセシビリティの問題があった。色のコントラスト比が不足している。
「AI が自分で間違いに気づいて、自分で直してくれたらいいのに」
ミサキの答えは意外だった。
「研究は明確な結論を出している。LLM は自力では自分の間違いを修正できない。でも、仕組みを作れば修正させることはできる。それがフィードバックループだ」
フィードバックループとは
AI エージェントの出力を評価し、問題があれば修正を促す循環的な仕組み。ハーネスエンジニアリングの品質保証エンジンだ。
4つの検証パターン
パターン1: 構造的検証（Structural Enforcement）
コードの正しさを自動化されたツールで検証する。最も信頼性が高い。
| ツール | 何を検証するか |
|---|---|
| TypeScript コンパイラ | 型の整合性 |
| ESLint / Biome | コーディング規約 |
| Vitest / Jest | 機能の正しさ |
| セキュリティスキャナ | 脆弱性の有無 |
AI に「コードをチェックして」と頼むのではなく、実際にツールを動かして結果を確認する。これを「接地された自己修正（Grounded Self-correction）」と呼ぶ。
INFO
接地された自己修正: AI が自分の出力を「考えて」評価するのではなく、テストランナーやリンターという「現実のツール」に接地して評価する。
パターン2: 対抗的検証（Adversarial Verification）
生成したものを、別の AI エージェントに批判させる。
複数の独立した「懐疑主義者」エージェントが、生成結果を反証しようとする。過半数が「問題あり」と判定すれば、修正に回す。
Workflow の敵対的検証パターンが、まさにこれだ:
const votes = await parallel(
Array.from({ length: 3 }, () => () =>
agent(
`この発見を反駁せよ: ${finding.description}`,
{ schema: VERDICT_SCHEMA }
)
)
)
const confirmed = votes.filter(Boolean)
.filter(v => !v.refuted).length >= 2パターン3: Self-QA ループ
AI エージェントが自分の出力を、定義された品質基準に照らして評価する。
- エージェントが結果を生成
- 同じエージェント（または別のプロンプト）で結果を評価
- 評価結果に基づいて承認・修正・エスカレーション
WARNING
研究の警告: LLM は自力で自分の誤りを認識することはできない。Self-QA が有効なのは、評価基準が明確に定義されている場合に限られる。
パターン4: リフレクション
エージェントが自分の出力を振り返り、改善版を生成するループ。
タスク完了前に「一歩引いて考える」ステップを組み込む。「Process Reward Model」と呼ばれる手法では、最終結果だけでなく推論の各ステップを評価する。
4パターンの比較
ヒューマンインザループ — 最後の砦
どんなに精巧なフィードバックループを構築しても、人間の判断が必要な場面は必ず存在する。
なぜ人間が必要か
- AI プロジェクトの 88% が本番に到達しない
- 失敗は繰り返しパターンに集中。欠けているのは「設計されたハンドオフ層」
- 信頼度が閾値を下回ったとき、ビジネス判断が必要なとき——AI は人間にエスカレーションすべき
エスカレーションの設計原則
| 原則 | 説明 |
|---|---|
| リスクに応じた閾値 | 高リスク領域（決済、個人情報）は厳しい基準で人間に回す |
| 可逆性に応じた承認 | 取り消し可能な操作は自律、取り消せない操作は人間承認 |
| 完全なコンテキスト保存 | エスカレーション時に AI の全履歴を人間に渡す |
| チューニングの継続 | 実際のエラー率に基づいて閾値を調整し続ける |
ガードレール — ハルシネーション対策
フィードバックループの一種として、AI の出力が危険な領域に踏み込む前に介入するガードレールがある。
主なガードレール技法
| 技法 | 説明 |
|---|---|
| セマンティック類似度チェック | 出力とソース情報のコサイン類似度で「話の脱線」を検出 |
| LLM-as-Judge | 別の LLM が出力を審判。根拠に基づいているか判定 |
| RAG + ガードレール | RAG だけで 40〜71% 削減。ガードレールと組み合わせでさらに大幅削減 |
衝撃の数字
WARNING
本番 AI システムの 63% が、最初の 90 日以内に危険なハルシネーションを経験する。ハルシネーションはモデルの問題ではなく、システムの問題だ。
ユウキの実装
ユウキはプロジェクトに以下のフィードバックループを組み込んだ:
- 構造的検証: TypeScript コンパイラ + Vitest + Biome を全コード変更に PostToolUse Hook で適用
- 対抗的検証: security-auditor エージェントが決済関連コードを常にレビュー
- ヒューマンインザループ: 決済ロジックとユーザーデータ処理は人間の承認を必須に
結果: 本番リリース後のバグ報告が 75% 減少。
「フィードバックループは"品質の門番"だ。AI の出力を信じるのではなく、測定する。測定して初めて、信頼できるようになる」
次の章では、セキュリティとサンドボックスの設計をさらに深掘りする。