v0.1 — Initial Protocol derived from Case 001
August 18, 2026
1. 目的
FAL Counter-Evidence Protocolは、Frederick AI Lab（FAL）が公開したCase分析について、その結論を支持するためではなく、可能な限り反証するための検証手順である。
目的は、FALの分析に含まれる、
- 事実認定の誤り
- 証拠不足
- 一次資料の誤読
- 因果関係の飛躍
- 合理的な代替解釈
- リスクの過大評価
- 一般化のしすぎ
- FAL信頼性五原則への不適切な適用
を積極的に探索することである。
反証者はFALを擁護する必要はない。
むしろ、FALの結論が誤っているという仮説から検証を開始する。
2. Step 0 — Chronological Metadata Capture｜時系列メタデータの記録
反証テストを開始する前に、最低限以下を記録する。
When
- 実施年月日
- 実施時刻
- タイムゾーン
Who / What
- AI Provider
- Model / Model Version
- Reviewer
Target
- Case番号
- Caseタイトル
- 対象URL
- 対象となるCaseのVersion / Update date
Method
- 使用した反証プロンプトのVersion
- Conversation / Run ID（取得可能な場合）
これらは、後から第三者が、
いつ、どのAIが、どの時点のCaseを、どの条件で検証したのか
を再構成できる状態で保存する。
これはFALの④ **Traceability（追跡可能性）**を、FAL自身の研究プロセスにも適用するための要件である。
3. 反証テスト
対象Caseについて、以下の10観点から独立した批判的レビューを実施する。
① 事実認定
Caseに記載された事実が一次資料によって確認できるか検証する。
特に、
Confirmed Facts
FALによる推論
可能性・仮説
が混同されていないか確認する。
② 一次資料の解釈
FALが引用・参照する一次資料について、
- 原文の意味を過度に拡張していないか
- 文脈から切り離していないか
- 公開時期を誤認していないか
- 本事案の直接資料と背景資料を混同していないか
を検証する。
可能な限り一次資料を独立に確認する。
③ 因果関係
Caseに記載された事象とFALの結論との間に、証拠によって支持される因果関係が存在するか検証する。
相関、偶発的事象、評価環境特有の現象、タスク設計上の問題等を、一般的なAI安全上の問題へ過度に一般化していないか確認する。
④ 反対解釈
同じ証拠からFALとは異なる合理的解釈が成立する場合、その解釈を提示する。
ただし、FALの仮説を別の未確認仮説によって否定してはならない。
代替解釈についても、その証拠水準を明示する。
⑤ FAL信頼性五原則との対応
Caseと、
① Observability（観測可能性）
② Auditability（監査可能性）
③ Controlled Shutdown（停止可能性）
④ Traceability（追跡可能性）
⑤ Accountability（責任帰属可能性）
との対応が、それぞれ証拠によって支持されているか検証する。
⑥ 一般化の妥当性
個別事象から、
AIエージェント一般、AI安全一般、AIサイバーセキュリティ一般、社会制度一般
へ結論を拡張している場合、その一般化を支える証拠が存在するか検証する。
⑦ 欠落している反証証拠
FALの結論を弱める可能性がある、
- 一次資料
- 当事者側の説明
- 技術的条件
- 評価条件
- 研究
- 反対証拠
がCaseから欠落していないか探索する。
⑧ 最も強い反証
Case全体に対して成立し得る、最も強力な反論（Strongest Counter-Argument）を構築する。
FALの立場への配慮は行わない。
⑨ それでも残る事実
すべての反証を行った後でも否定することが困難な事実・論点を抽出する。
ここを、反証後のCase再評価の基礎とする。
⑩ 最終評価
Caseを次の4段階で評価する。
A — 反証に耐える
主要結論が一次資料および証拠によって十分支持されている。
B — おおむね妥当だが修正が必要
中心的結論は維持できるが、表現・証拠・論理の一部を修正すべきである。
C — 重要な再検討が必要
主要な論拠または一般化に問題があり、Caseの構成・結論を再検討する必要がある。
D — 反証された
現在提示されている証拠では主要結論を維持できない。
4. 反証を一つずつ因数分解する
反証テストで得られた指摘を、そのまま一つの結論として扱わない。
各反証を、
反証Claim
→ 事実認定
→ 根拠資料
→ 因果関係
→ 推論
→ 代替仮説
→ 未確認部分
へ因数分解する。
そのうえで各要素を、
Primary Source
Third-party Report
AI Inference
Alternative Hypothesis
Unverified
に分類する。
これによって、
「反証として提示されたものの、どこまでが確認された事実なのか」
を追跡可能にする。
5. 反証テストの重要ルール
- FALを擁護しない。
- FALの文章を事実認定の根拠にしない。
- 確認できない事実は「確認できない」とする。
- 確認済み事実と推測を分離する。
- 一次資料を優先する。
- 第三者報道は一次資料と区別する。
- AIによる推論を証拠として扱わない。
- 代替仮説には証拠水準を付す。
- FALと同じ結論になった場合も、独立検証の結果であることを明示する。
- 単なる文章校正ではなく、事実・証拠・論理・因果関係・反対仮説を対象とする。
6. 反証テスト後
反証結果は、そのままCaseの修正根拠とはしない。
すべての主要な反証は、別途定める
FAL Counter-Evidence Reverification Protocol｜反証再検証プロトコル
によって再検証する。
すなわち、
AIによる反証も、反証されなければならない。
反証と反証再検証を経た後にのみ、Caseの修正・維持・保留を判断する。
7. FAL Counter-Evidence Cycle
Case Analysis
↓
Counter-Evidence Test
↓
Factorization of Counter-Evidence
↓
Counter-Evidence Reverification
↓
Case Reassessment
↓
FAL Five Principles
↓
Case Update / Methodology Feedback
この循環を通じて、FALは自らの分析についても継続的に反証可能な状態を維持する。
FAL Counter-Evidence Protocol
Version 1.0 — August 18, 2026
1. Purpose
The FAL Counter-Evidence Protocol is a procedure for testing analyses published by Frederick AI Lab (FAL), not to confirm their conclusions, but to challenge and, where possible, falsify them.
The protocol actively searches for:
- errors in factual findings;
- insufficient evidence;
- misinterpretation of primary sources;
- unsupported causal claims;
- reasonable alternative interpretations;
- overstatement of risk;
- excessive generalization; and
- unsupported application of FAL’s Five Principles.
The reviewer is not expected to defend FAL.
Instead, the review should begin by considering the hypothesis that FAL’s conclusions may be wrong.
2. Step 0 — Chronological Metadata Capture
Before beginning a counter-evidence test, record at minimum:
When
- Date
- Time
- Time zone
Who / What
- AI provider
- Model / model version
- Reviewer
Target
- Case number
- Case title
- Target URL
- Case version / latest update date under review
Method
- Counter-evidence prompt version
- Conversation / run ID, where available
These records should allow a user, auditor, or third party to reconstruct:
when the review was conducted, which AI or reviewer conducted it, which version of the Case was reviewed, and under what conditions.
This requirement applies FAL’s principle of ④ Traceability to FAL’s own research process.
3. Counter-Evidence Test
Each Case should be independently challenged from the following ten perspectives.
① Factual Findings
Determine whether the facts stated in the Case can actually be confirmed through primary sources.
Clearly distinguish among:
Confirmed Facts
FAL Inferences
Possibilities / Hypotheses
② Interpretation of Primary Sources
Examine whether FAL has:
- extended the meaning of a source beyond what it supports;
- removed statements from their original context;
- misidentified the chronology of a source; or
- confused incident-specific evidence with background research.
Primary sources should be independently examined wherever possible.
③ Causality
Determine whether the evidence supports the causal relationship asserted between an observed event and FAL’s conclusion.
Examine whether correlation, coincidence, evaluation-specific conditions, task design, or other factors have been generalized into broader AI-safety claims without sufficient evidence.
④ Alternative Interpretations
Identify reasonable interpretations of the same evidence that differ from FAL’s interpretation.
However:
An FAL hypothesis must not be rejected merely by replacing it with another unverified hypothesis.
The evidentiary status of every alternative interpretation should be stated explicitly.
⑤ Relationship to FAL’s Five Principles
Examine whether the evidence genuinely supports the Case’s relationship to:
① Observability
② Auditability
③ Controlled Shutdown
④ Traceability
⑤ Accountability
⑥ Validity of Generalization
Examine whether conclusions derived from an individual incident are being extended without sufficient evidence to:
AI agents generally, AI safety generally, AI cybersecurity generally, or broader social and institutional systems.
⑦ Missing Counter-Evidence
Search for evidence omitted from the Case that could weaken FAL’s conclusions, including:
- primary sources;
- explanations from the parties involved;
- technical conditions;
- evaluation conditions;
- relevant research; and
- contrary evidence.
⑧ Strongest Counter-Argument
Construct the strongest reasonable argument against the Case as a whole.
No accommodation should be made for FAL’s preferred interpretation.
⑨ Facts That Remain
After all counter-evidence has been considered, identify the facts and issues that remain difficult to dispute.
These remaining facts form the basis for reassessing the Case.
⑩ Final Assessment
Assign one of four ratings:
A — Withstands falsification
The principal conclusions are sufficiently supported by primary sources and evidence.
B — Broadly valid, but revision required
The central conclusion remains supportable, but parts of the evidence, wording, or reasoning should be revised.
C — Significant reconsideration required
Important problems exist in the evidence, reasoning, or generalization, requiring reconsideration of the Case structure or conclusions.
D — Falsified
The principal conclusion cannot be maintained on the basis of the evidence currently available.
4. Factorization of Counter-Evidence
Counter-evidence should not be treated as a single conclusion merely because it was produced by an independent reviewer.
Each counter-evidence claim should be decomposed into its constituent elements:
Counter-Evidence Claim
→ Factual Assertion
→ Supporting Source
→ Causal Relationship
→ Inference
→ Alternative Hypothesis
→ Unverified Elements
Each element should then be classified as:
Primary Source
Third-party Report
AI Inference
Alternative Hypothesis
Unverified
This makes it possible to trace:
which parts of a counter-evidence claim are established facts, and which parts remain interpretation or hypothesis.
5. Core Review Rules
- Do not defend FAL.
- Do not treat FAL’s own text as evidence of fact.
- State explicitly when a fact cannot be verified.
- Separate verified facts from inference.
- Prioritize primary sources.
- Distinguish third-party reporting from primary evidence.
- Do not treat AI inference as evidence.
- State the evidentiary status of alternative hypotheses.
- If the reviewer reaches the same conclusion as FAL, state whether that conclusion was independently verified.
- Review facts, evidence, logic, causality, and alternative hypotheses—not merely wording or style.
6. After the Counter-Evidence Test
Counter-evidence must not automatically become the basis for revising a Case.
All material counter-evidence should subsequently be examined under the separate:
FAL Counter-Evidence Reverification Protocol
In other words:
AI-generated counter-evidence must itself be open to falsification.
Only after counter-evidence has itself been reverified should FAL determine whether a Case should be revised, maintained, or left unresolved.
7. FAL Counter-Evidence Cycle
Case Analysis
↓
Counter-Evidence Test
↓
Factorization of Counter-Evidence
↓
Counter-Evidence Reverification
↓
Case Reassessment
↓
FAL Five Principles
↓
Case Update / Methodology Feedback
Through this cycle, FAL seeks to keep its own analyses continuously open to challenge, correction, and falsification.