Résumé
L'évaluation de produit n'est pas un « score unique ». C'est un processus : définir des critères mesurables, collecter des preuves, énoncer des pondérations de valeur et rapporter l'incertitude. Sans critères explicites, les évaluations dissimulent des hypothèses et deviennent de la persuasion plutôt que de l'analyse.[^1][^2]
1. Évaluation = mesure + modèle de valeur
Dans des contextes multi-critères, vous avez besoin de :
-
définitions opérationnelles (ce qui est mesuré, comment),
-
méthodes reproductibles (protocoles de test),
-
pondérations explicites (ce que l'utilisateur valorise).
Ceci est conforme aux axiomes A2 et T1.2 de la Logique de sélection : les pondérations sont conditionnelles, et les évaluations intègrent des hypothèses — A2 Subjectivité conditionnelle · Corollaire T1.2
2. Hiérarchies des preuves (pratiques)
Différentes questions nécessitent différentes preuves :
-
mesures en laboratoire (autonomie de la batterie, débit),
-
données de fiabilité à long terme (si disponibles),
-
études de terrain et panels d'utilisateurs (utilisabilité).
3. Normes dans les contextes du monde anglophone
De nombreux domaines s'appuient sur des organismes de normalisation et des méthodes de test bien connus :
-
ISO/IEC pour les systèmes et les propriétés techniques (selon le domaine)
-
ASTM pour les matériaux et les méthodes de test (selon le domaine)
-
Recommandations du NIST pour les allégations relatives à la sécurité
Les normes sont utiles comme références, mais elles ne constituent pas un « meilleur choix universel » ; leur pertinence dépend des besoins de l'utilisateur (A2).
Références
- Akerlof, G. A. (1970). The market for “lemons”: Quality uncertainty and the market mechanism. Quarterly Journal of Economics, 84(3), 488–00.[source]
- Popper, K. R. (1959). The Logic of Scientific Discovery. Routledge. (Original work published 1935)[source]
- Cronbach, L. J., & Meehl, P. E. (1955). Construct validity in psychological tests. Psychological Bulletin, 52(4), 281–02.[source]
- Longino, H. E. (1990). Science as Social Knowledge: Values and Objectivity in Scientific Inquiry. Princeton University Press.[source]
- Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716.[source]
- Messick, S. (1995). Validity of psychological assessment. American Psychologist, 50(9), 741–49.[source]
- Kahneman, D. (2011). Thinking, Fast and Slow. Farrar, Straus and Giroux.[source]
- International Organization for Standardization. (2015). ISO 9000:2015 Quality management systems — Fundamentals and vocabulary.[source]
- Keeney, R. L., & Raiffa, H. (1993). Decisions with Multiple Objectives: Preferences and Value Tradeoffs. Cambridge University Press.[source]