概要
エビデンスパイプラインを構築する:情報源、測定、不確実性、そして再現性。
理論的基礎
- T1 適合定理(目標は普遍的なランキングではなく適合性):/ja/wiki/theorem-1-matching
- A2 条件付き主観性公理(次元 vs 重み):/ja/wiki/axiom-2-conditional-subjectivity
系統評価が必要な理由
純粋に主観的なレビューの限界
- 気分やフレーミングに影響されやすい
- 再現や検証が困難
- 不完全(重要な次元を見落とす)
- 製品間の比較に弱い[^1]
系統評価の価値
- 見落としを減らす
- 一貫性を高める
- 比較をサポートする
- 事後検証と反復を可能にする
系統評価のパイプライン
ニーズ定義 — 次元選択 — 基準構築 — テスト設計 — データ収集 — 分析 → 報告 → 検証と反復
標準化された報告チェックリスト
- 評価の目標と範囲
- 基準と測定方法
- 生データの利用可能性(可能な場合)
- 限界と不確実性
- 重みがどのように選択されたか(明示的に、またはツールを介して)
参考文献
- Kahneman, D. (2011). Thinking, Fast and Slow. Farrar, Straus and Giroux.[source]
- Keeney, R. L., & Raiffa, H. (1993). Decisions with Multiple Objectives: Preferences and Value Tradeoffs. Cambridge University Press.[source]