Can we predict failure in licensure exams from medical students’ undergraduate academic performance? Peut-on prédire l’échec aux examens d’aptitude à partir des résultats scolaires des étudiants en médecine?

Abstract

Background: In 2015, the Medical Council of Canada increased the minimum pass level for the Medical Council of Canada Qualifying Examination Part I, and students had a higher rate of failure than in previous years. The purpose of this study was to predict students at an increased odds of examination failure to allow for early, targeted interventions.  

Methods: We divided our dataset into a derivation cohort and two validation cohorts and used multiple logistic regression to predict licensing examination failure. We then performed receiver operating characteristics and a sensitivity analysis using different cutoffs for explanatory variables to identify the cutoff threshold with the best predictive value at identifying students at increased odds of failure.

Results: After multivariate analysis, only pre-clerkship GPA was a significant independent predictor of failure (OR 0.76, 95% CI [0.66, 0.88], p < 0.001). The probability of failure increased steeply when the pre-clerkship GPA fell below 80% and 76% was found to be the most efficient cutoff for predicting failure (OR 9.37, 95% CI [3.08, 38.41]).

Conclusions: Pre-clerkship performance can predict students at increased odds of licensing examination failure. Further studies are needed to explore whether early interventions for at-risk students alter their examination performance.

Résumé

Contexte : En 2015, le Conseil médical du Canada a resserré les exigences de réussite à l’examen d’aptitude du Conseil médical du Canada, partie I, entraînant un taux d’échec plus élevé que les années précédentes. L’objectif de cette étude était de détecter les étudiants ayant de plus grande probabilité d’échec à l’examen afin de permettre des interventions ciblées en temps utile.

Méthodes : Nous avons comparé les données d’une cohorte de dérivation et deux cohortes de validation et nous avons utilisé la régression logistique multiple pour prédire l’échec à l’examen d’aptitude. Nous avons ensuite effectué une analyse de la fonction d’efficacité du récepteur et une analyse de sensibilité en utilisant différents seuils pour les variables explicatives afin de déterminer la meilleure valeur prédictive seuil pour cibler une forte possibilité d’échec chez les étudiants.

Résultats : L’analyse multivariée a révélé que seule la moyenne générale des étudiants était un prédicteur indépendant significatif de l’échec (OR 0.76, 95 % CI [0.66, 0.88], p < 0.001). La probabilité d'échec augmentait fortement lorsque l'indice de moyenne générale tombait en dessous de 80 %. Le seuil le plus efficace pour prédire l’échec s'est avéré être 76 % (OR 9,37, 95 % CI [3,08, 38,41]).

Conclusions : Les résultats scolaires des étudiants en médecine constituent un indicateur de risque d’échec à l’examen d’aptitude. Des études supplémentaires sont nécessaires pour vérifier si une intervention précoce auprès des étudiants à risque peut améliorer leurs résultats à l’examen.