‘What would my peers say?’ Comparing the opinion-based method with the prediction-based method in Continuing Medical Education course evaluation Qu’en penseraient mes pairs ? Comparaison entre la méthode fondée sur l’opinion et celle fondée sur la prédiction dans l’évaluation de cours de formation médicale continue

Abstract

Background: Although medical courses are frequently evaluated via surveys with Likert scales ranging from “strongly agree” to “strongly disagree,” low response rates limit their utility. In undergraduate medical education, a new method with students predicting what their peers would say, required fewer respondents to obtain similar results. However, this prediction-based method lacks validation for continuing medical education (CME), which typically targets a more heterogeneous group than medical students.

Methods: In this study, 597 participants of a large CME course were randomly assigned to either express personal opinions on a five-point Likert scale (opinion-based method; n = 300) or to predict the percentage of their peers choosing each Likert scale option (prediction-based method; n = 297). For each question, we calculated the minimum numbers of respondents needed for stable average results using an iterative algorithm. We compared mean scores and the distribution of scores between both methods.

Results: The overall response rate was 47%. The prediction-based method required fewer respondents than the opinion-based method for similar average responses. Mean response scores were similar in both groups for most questions, but prediction-based outcomes resulted in fewer extreme responses (strongly agree/disagree).

Conclusions: We validated the prediction-based method in evaluating CME. We also provide practical considerations for applying this method.

Résumé

Contexte : Bien que les cours de médecine soient fréquemment évalués au moyen d'enquêtes avec des échelles de Likert allant de « totalement d'accord » à « totalement en désaccord », les faibles taux de réponse en limitent l'utilité. Dans l'enseignement médical prédoctoral, une nouvelle méthode dans laquelle les étudiants prédisent ce que leurs pairs diraient, nécessite moins de répondants pour obtenir des résultats similaires. Cependant, cette méthode fondée sur la prédiction n'est pas validée pour la formation médicale continue (FMC), qui cible généralement un groupe plus hétérogène que les étudiants en médecine.

Méthodes : Dans cette étude, 597 participants à un grand cours de FMC ont été choisis au hasard pour exprimer leur opinion personnelle sur une échelle de Likert en cinq points (méthode fondée sur l'opinion; n = 300) ou à prédire le pourcentage de leurs pairs choisissant chaque option de l'échelle de Likert (méthode fondée sur la prédiction; n = 297). Pour chaque question, nous avons calculé le nombre minimum de répondants nécessaire pour obtenir des résultats moyens stables à l'aide d'un algorithme itératif. Nous avons comparé les scores moyens et la distribution des scores entre les deux méthodes.

Résultats : Le taux de réponse global était de 47 %. La méthode fondée sur la prédiction a nécessité moins de répondants que celle fondée sur l'opinion pour des réponses moyennes similaires. Les scores moyens des réponses étaient similaires dans les deux groupes pour la plupart des questions, mais les résultats fondés sur la prédiction ont donné lieu à moins de réponses extrêmes (totalement d'accord/totalement en désaccord).

Conclusions : Nous avons validé la méthode fondée sur la prédiction dans l'évaluation de la FMC. Nous présentons également des considérations pratiques pour la mise en oeuvre de cette méthode.