Abstracts
Résumé
Les méthodes observationnelles, à partir desquelles des observateurs externes évaluent des comportements, sont des plus importantes pour assurer la fiabilité des données d’une étude, la validité des résultats obtenus, leur réplicabilité, et l’avancement des connaissances d’un domaine. Cependant, l’observation de comportements est sensible à la subjectivité des observateurs. Pour minimiser l’influence des biais personnels, il est essentiel d’évaluer la fidélité interjuge et d’atteindre un niveau de fidélité élevée, c’est-à-dire un accord satisfaisant entre plusieurs observateurs. L’objectif du présent article est de sensibiliser le lecteur aux pratiques rigoureuses permettant d’évaluer et faciliter la fidélité interjuge. Notamment, le kappa de Cohen sera utilisé pour les variables nominales et la corrélation intra-classe (ICC) le sera pour les variables continues. D’autres indices statistiques, comme l’interprétation adéquate des intervalles de confiance pour les variables continues, sont également présentés. Enfin, la formation des évaluateurs à l’outil d’observation, de même que le processus mis en place pour obtenir et calculer l’interjuge sont décrits comme des facilitateurs d’une fidélité interjuge élevée.
Mots-clés :
- fidélité interjuge,
- données observationnelles,
- méthodes statistiques
Appendices
Bibliographie
- Asuero, A. G., Sayago, A., & González, A. G. (2006). The correlation coefficient: An overview. Critical Reviews in Analytical Chemistry, 36(1), 41−59. https://doi.org/10.1080/10408340500526766
- Bakeman, R., & Goodman, S. H. (2020). Interobserver reliability in clinical research: Current issues and discussion of how to establish best practices. Journal of Abnormal Psychology, 129(1), 5−13. https://doi.org/10.1037/abn0000487
- Bakeman, R., & Quera, V. (2023). Behavioral observation. Dans H. Cooper, P. M. Camic, D. L. Long, A. T. Panter, D. Rindskopf & K. J. Sher (Dirs.), APA handbook of research methods in psychology, Volume 1 (2e éd., p. 251–274). American Psychological Association. https://doi.org/10.1037/13619-013
- Bajpai, S., Bajpai, R., & Chaturvedi, H. (2015). Evaluation of inter-rater agreement and inter-rater reliability for observational data: An overview of concepts and methods. Journal of the Indian Academy of Applied Psychology, 41(3), 20−27. https://www.researchgate.net/publication/273451591_Evaluation_of_Inter-Rater_Agreement_and_Inter-Rater_Reliability_for_Observational_Data_An_Overview_of_Concepts_and_Methods
- Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37−46. https://doi.org/10.1177/001316446002000104
- Dancey, C. P., & Reidy, J. (2023). Statistiques sans maths pour psychologues (3e éd.). De Boeck supérieur.
- Deneault, A.-A., Duschinsky, R., van IJzendoorn, M. H., Roisman, G. I., Ly, A., Fearon, R. M. P., & Madigan, S. (2023). Does child-mother attachment predict and mediate language and cognitive outcomes? A series of meta-analyses. Developmental Review, 70, Article 101093. https://doi.org/10.1016/j.dr.2023.101093
- Dettori, J. R., & Norvell, D. C. (2020). Kappa and beyond: Is there agreement? Global Spine Journal, 10(4), 499−501. https://doi.org/10.1177/2192568220911648
- Gwet, K. L. (2014). Intrarater reliability. Dans R. S. Kenett, N. T. Longford, W. W. Piegorsch & F. Ruggeri (Dirs.), Wiley StatsRef: Statistics reference online (1re éd.). Wiley. https://doi.org/10.1002/9781118445112.stat06882
- Hallgren, K. A. (2012). Computing inter-rater reliability for observational data: An overview and tutorial. Tutorials in Quantitative Methods for Psychology, 8(1), 23−34. https://doi.org/10.20982/tqmp.08.1.p023
- Huang, J. L., Curran, P. G., Keeney, J., Poposki, E. M., & DeShon, R. P. (2012). Detecting and deterring insufficient effort responding to surveys. Journal of Business and Psychology, 27(1), 99−114. https://doi.org/10.1007/s10869-011-9231-8
- Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159−174. https://doi.org/10.2307/2529310
- Larson, R. B. (2019). Controlling social desirability bias. International Journal of Market Research, 61(5), 534−547. https://doi.org/10.1177/1470785318805305
- Koo, T. K., & Li, M. Y. (2016). A guideline for selecting and reporting intraclass correlation coefficients for reliability research. Journal of Chiropractic Medicine, 15(2), 155−163. https://doi.org/10.1016/j.jcm.2016.02.012
- Kreitchmann, R. S., Abad, F. J., Ponsoda, V., Nieto, M. D., & Morillo, D. (2019). Controlling for response biases in self-report scales: Forced-choice vs. psychometric modeling of Likert items. Frontiers in Psychology, 10, Article 2309. https://doi.org/10.3389/fpsyg.2019.02309
- McGrath, R. E., Mitchell, M., Kim, B. H., & Hough, L. (2010). Evidence for response bias as a source of error variance in applied assessment. Psychological Bulletin, 136(3), 450−470. https://doi.org/10.1037/a0019216
- McGraw, K. O., & Wong, S. P. (1996). Forming inferences about some intraclass correlation coefficients. Psychological Methods, 1(1), 30−46. https://doi.org/10.1037/1082-989X.1.1.30
- Mitchell, S. K. (1979). Interobserver agreement, reliability, and generalizability of data collected in observational studies. Psychological Bulletin, 86(2), 376−390. https://doi.org/10.1037/0033-2909.86.2.376
- Zapf, A., Castell, S., Morawietz, L., & Karch, A. (2016). Measuring inter-rater reliability for nominal data – which coefficients and confidence intervals are appropriate? BMC Medical Research Methodology, 16(1), Article 93. https://doi.org/10.1186/s12874-016-0200-9