Objective Structured Clinical Examinations practices across Canadian medical schools: A national overview Pratiques des examens cliniques objectifs structurés dans les facultés de médecine canadiennes : un aperçu à l’échelle nationale

Abstract

Introduction: Objective Structured Clinical Examinations (OSCEs) are crucial in assessing clinical competencies, but their implementation varies widely across medical schools. This work examines OSCE practices across Canadian medical schools, focusing on frequency, type, and timing.

Methods: A survey was conducted among all 17 Canadian medical schools through the AFMC Clinical Skills Working Group. Data were collected during the 2023-2024 academic year. Details on OSCEs implementation during pre-clerkship and clerkship phases, categorized as formative or summative, and on the timing of final OSCEs was collected. Descriptive statistics were used to analyze the data.

Results: The median number of OSCEs per school was four, with one-third formative and two-thirds summative. Pre-clerkship assessments were split between formative and summative OSCEs, while 78% of clerkship OSCEs were summative. Timing of a program’s final OSCE varied: 35% occurred before the last year, while 65% took place in the final year, predominantly in the second half. All final OSCEs were summative.

Discussion and Conclusion: Variability in OSCE implementation likely reflects differing curricular approaches and institutional constraints. This work demonstrated a more balanced proportion of formative and summative assessments during pre-clerkship, indicating a desire to provide students with opportunities learn from feedback during their early training years. During clerkship, the focus shifted towards summative assessments. The later emphasis on summative OSCEs may highlight a focus on certifying competence at the cost of reduced opportunities for formative feedback. Medical schools may use these findings as guidance when building their programs of assessment.

Résumé

Introduction : Les examens cliniques objectifs structurés (ECOS) sont essentiels à l'évaluation des compétences cliniques, mais leur mise en œuvre varie considérablement d'une faculté de médecine à l'autre. Cette étude examine les pratiques des ECOS dans les facultés de médecine canadiennes, en se concentrant sur la fréquence, le type et le calendrier.

Méthodes : Une enquête a été menée auprès des 17 facultés de médecine canadiennes par l'entremise du Groupe de travail de l'AFMC sur les compétences cliniques. Les données ont été recueillies au cours de l'année universitaire 2023-2024. Des détails sur la mise en œuvre des ECOS pendant les phases de préclinique et d'externat, catégorisés comme formatifs ou sommatifs, et sur le calendrier des ECOS finaux ont été recueillis. Des statistiques descriptives ont été utilisées pour analyser les données.

Résultats : Le nombre médian d'ECOS par faculté était de quatre, dont un tiers formatif et deux tiers sommatifs. Les évaluations pré-cliniques étaient réparties entre des ECOS formatifs et sommatifs, tandis que 78 % des ECOS d'externat étaient sommatifs. La date de l'ECOS final varie d'un programme à l'autre : 35 % ont eu lieu avant la dernière année, tandis que 65 % ont eu lieu au cours de la dernière année, principalement au cours du deuxième semestre. Tous les ECOS finaux étaient sommatifs.

Discussion et conclusion : La variabilité de la mise en œuvre des ECOS reflète probablement des approches curriculaires différentes et des contraintes institutionnelles. Ce travail a démontré une proportion plus équilibrée d'évaluations formatives et sommatives au cours de l'externat, ce qui indique un désir de fournir aux étudiants des occasions d'apprendre à partir des commentaires au cours de leurs premières années de formation. Au cours de l'externat, l'accent a été mis sur les évaluations sommatives. L'accent mis par la suite sur les ECOS sommatifs peut mettre en évidence l'importance accordée à la certification des compétences au prix d'une réduction des possibilités de retour d'information formatif. Les facultés de médecine peuvent s'inspirer de ces résultats pour élaborer leurs programmes d'évaluation.