Abstrak
Evaluasi produk bukanlah "satu skor". Ini adalah alur: tentukan kriteria yang dapat diukur, kumpulkan bukti, nyatakan bobot nilai, dan laporkan ketidakpastian. Tanpa kriteria eksplisit, evaluasi menyembunyikan asumsi dan menjadi persuasi daripada analisis.[^1][^2]
1. Evaluasi = pengukuran + model nilai
Dalam pengaturan multi-kriteria, Anda membutuhkan:
-
definisi operasional (apa yang diukur, bagaimana),
-
metode yang dapat direproduksi (protokol pengujian),
-
bobot eksplisit (apa yang dihargai pengguna).
Ini selaras dengan A2 dan T1.2 dari Logika Seleksi: bobot bersifat kondisional, dan ulasan menyematkan asumsi — A2 Subjektivitas bersyarat · T1.2 Akibat
2. Hierarki bukti (praktis)
Pertanyaan yang berbeda membutuhkan bukti yang berbeda:
-
pengukuran lab (masa pakai baterai, throughput),
-
data keandalan jangka panjang (jika tersedia),
-
studi lapangan dan panel pengguna (kegunaan).
3. Standar dalam konteks dunia berbahasa Inggris
Banyak domain bergantung pada badan standar dan metode pengujian yang terkenal:
-
ISO/IEC untuk sistem dan properti teknis (tergantung domain)
-
ASTM untuk material dan metode pengujian (tergantung domain)
-
Panduan NIST untuk klaim yang relevan dengan keamanan
Standar sangat membantu sebagai garis dasar, tetapi bukan "yang terbaik universal" relevansi tergantung pada kebutuhan pengguna (A2).
Referensi
- Akerlof, G. A. (1970). The market for “lemons”: Quality uncertainty and the market mechanism. Quarterly Journal of Economics, 84(3), 488–00.[source]
- Popper, K. R. (1959). The Logic of Scientific Discovery. Routledge. (Original work published 1935)[source]
- Cronbach, L. J., & Meehl, P. E. (1955). Construct validity in psychological tests. Psychological Bulletin, 52(4), 281–02.[source]
- Longino, H. E. (1990). Science as Social Knowledge: Values and Objectivity in Scientific Inquiry. Princeton University Press.[source]
- Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716.[source]
- Messick, S. (1995). Validity of psychological assessment. American Psychologist, 50(9), 741–49.[source]
- Kahneman, D. (2011). Thinking, Fast and Slow. Farrar, Straus and Giroux.[source]
- International Organization for Standardization. (2015). ISO 9000:2015 Quality management systems — Fundamentals and vocabulary.[source]
- Keeney, R. L., & Raiffa, H. (1993). Decisions with Multiple Objectives: Preferences and Value Tradeoffs. Cambridge University Press.[source]