Simulation vs workplace-based assessment in resuscitation: A cross-specialty descriptive analysis and comparison Évaluation des compétences en réanimation en séance de simulation et en milieu de travail : analyse descriptive et comparative dans trois spécialités

Abstract

Background: Simulation-based assessment can complement workplace-based assessment of rare or difficult to assess Entrustable Professional Activities (EPAs). We aimed to compare the use of simulation-based assessment for resuscitation-focused EPAs in three postgraduate medical training programs and describe faculty perceptions of simulation-based assessment.

Methods: EPA assessment scores and setting (simulation or workplace) were extracted from 2017-2020 for internal medicine, emergency medicine, and surgical foundations residents at the transition to discipline and foundations of discipline stages. A questionnaire was distributed to clinical competency committee members.

Results: Eleven percent of EPA assessments were simulation-based. The proportion of simulation-based assessment did not differ between programs but differed between transition (38%) and foundations (4%) stages within surgical foundations only. Entrustment scores differed between settings in emergency medicine at the transition level only (simulation: 4.82 ± 0.60 workplace: 3.74 ± 0.93). 70% of committee members (n=20) completed the questionnaire. Of those that use simulation-based assessment, 45% interpret them differently than workplace-based assessments. 73% and 100% trust simulation for high-stakes and low-stakes assessment, respectively.

Conclusions: The proportion of simulation-based assessment for resuscitation focused EPAs did not differ between three postgraduate medical training programs. Interpretation of simulation-based assessment data between committee members was inconsistent. All respondents trust simulation-based assessment for low-stakes, and the majority for high-stakes assessment. These findings have practical implications for the integration simulation into programs of assessment.

Résumé

Contexte : Pour les activités professionnelles confiables (APC) qui sont rarement observées ou difficiles à évaluer, une évaluation en séance de simulation peut compléter celle en milieu de travail. Nous avons comparé le recours à une évaluation en séance de simulation pour les APC axées sur la réanimation dans trois programmes de formation médicale postdoctorale et décrit les perceptions de membres du corps professoral à propos de cette modalité d’évaluation.

Méthodes : Nous avons extrait les scores et le cadre (simulation ou lieu de travail) d’évaluation des APC de 2017 à 2020 pour les résidents en médecine interne, en médecine d’urgence et en fondements chirurgicaux aux étapes de transition vers la discipline et de fondements de la discipline. Un questionnaire a été distribué aux membres des comités des compétences cliniques.

Résultats : Onze pour cent des évaluations d’APC étaient faites lors de séances de simulation. Cette proportion était la même pour tous les programmes, mais dans le cadre des fondements chirurgicaux elle était différente selon qu’il s’agissait de l’étape de transition (38 %) ou de celle des fondements (4 %). Les scores de confiance différaient selon le cadre de l’évaluation uniquement pour les résidents en médecine d’urgence à l’étape de la transition (simulation : 4,82 ± 0,60; lieu de travail : 3,74 ± 0,93). Le questionnaire a été rempli par 70 % des membres des comités (n=20). Parmi ceux qui avaient eu recours à une évaluation en séance de simulation, 45 % avaient interprété les données de l’évaluation différemment de la façon dont ils interprètent les données d’évaluation en milieu de travail. Soixante-treize pour cent et 100 % d’entre eux font confiance à la simulation pour les évaluations à enjeux élevés et à faibles enjeux, respectivement.

Conclusions : La proportion d’évaluations en séance de simulation pour les APC axées sur la réanimation était la même dans trois programmes de formation médicale postdoctorale. Les membres des comités de compétences cliniques n’ont pas interprété les données de ce type d’évaluation de manière uniforme. Tous les répondants font confiance à l’évaluation en séance de simulation pour les évaluations à faibles enjeux, et la plupart d’entre eux pour les évaluations à enjeux élevés. Ces données ont des implications pratiques pour l’intégration de la simulation dans les programmes d’évaluation.