Documenting medical students’ use of self-explanations: Tool development and initial validity evidence Documentation de l’usage de l’auto-explication par les étudiants en médecine : élaboration d’un outil et premières données de validité

Abstract

Introduction: Self-explanation (SE), an individual learning strategy for the development of clinical reasoning skills, has been implemented in undergraduate medical curricula. A tool for documenting students’ appropriate use of SE is needed to ensure benefit on learning. The objective of this project was to develop such a tool and report on evidence of its validity.

Methods: We used DeVellis’s eight steps to develop the tool. Assessors applied the tool to 85 audio-recorded SEs. We calculated students’ mean number of inferences (biomedical, clinical, monitoring) and case elements used when self-explaining to document validity evidence of content. We used interrater agreement, with intraclass correlation coefficients, to document validity evidence of response processes.

Results: Three assessors documented the students’ use of SE with the tool. They found means of 13.33 to 17.76 biomedical inferences, 16.27 to 27.04 clinical inferences, 2.03 to 3.10 monitoring statements, and listed 21.77 to 26.87 case elements. Interrater reliability varied from 0.53 to 0.96.

Discussion: We developed the tool using the principles underlying SE. The way students used SE aligned with our expectations. Assessors used the tool in a consistent way. The tool could document students’ use of SE in experimental or educational contexts.

Résumé

Introduction : L'auto-explication (AE), une activité pédagogique favorisant l'acquisition de compétences en raisonnement clinique, a été étudiée et implantée dans des programmes médicaux. Un outil est nécessaire pour évaluer la qualité de l'AE. L'objectif de ce projet était de développer un outil évaluant la qualité de l'AE et de démontrer sa validité.

Méthodes : Nous avons suivi les huit étapes de DeVellis pour élaborer l'outil. Les évaluateurs ont appliqué l'outil à 85 AE enregistrées. Pour la validité du contenu, nous avons calculé le nombre moyen d'inférences (biomédicales, cliniques, de monitoring) et d'éléments du cas utilisés. Pour la validité des processus de réponse, nous avons utilisé l'accord inter-juges.

Résultats : Trois évaluateurs ont mesuré la qualité de l'AE des étudiants. Ils ont trouvé en moyenne 13,33 à 17,76 inférences biomédicales, 16,27 à 27,04 inférences cliniques, 2,03 à 3,10 éléments de monitoring, et 21,77 à 26,87 éléments du cas. La fidélité inter-juges variait de 0,53 à 0,96.

Discussion : L'outil a été développé sur les principes de l'AE. L'AE des étudiants correspond à nos attentes. Les évaluateurs ont utilisé l'outil d'une façon standardisée. L'outil pourrait être utile pour documenter l'engagement des étudiants à faire de l'AE en contexte expérimental ou pédagogique.