Benchmarking a Canadian anesthesiology resident research program against national norms using a logic model framework: A quality improvement study Évaluation d’un programme de recherche canadien pour les résidents en anesthésiologie par rapport aux normes nationales à l’aide d’un modèle logique : une étude d’amélioration de la qualité

Abstract

Background: Canadian specialty training programs are expected to deliver curriculum content and assess competencies related to the CanMEDS Scholar role. We evaluated our residency research program and benchmarked it against national norms for quality improvement purposes.

Methods: In 2021, we reviewed departmental curriculum documents and surveyed current and recently graduated residents. We applied a logic model framework to assess if our program’s inputs, activities, and outputs addressed the relevant CanMeds Scholar competencies. We then descriptively benchmarked our results against a 2021 environmental scan of Canadian anesthesiology resident research programs.

Results: Local program content was successfully mapped to competencies. The local survey response rate was 40/55 (73%). In benchmarking, our program excelled in providing milestone-related assessments, research funding, administrative, supervisory, and methodologic support, and requiring a literature review, proposal presentation, and local abstract submission as output. Acceptable activities to meet research requirements vary greatly among programs. Balancing competing clinical and research responsibilities was a frequently reported challenge.

Conclusions: The logic model framework was easily applied and demonstrated our program benchmarked well against national norms. National level dialogue is needed to develop specific, consistent scholar role activities and competency assessments to bridge the gap between expected outcome standards and education practice.

Résumé

Contexte : Les programmes de spécialité canadiens doivent proposer un contenu de formation en lien avec le rôle CanMEDS d’érudit et évaluer les compétences qui s’y attachent. Nous avons évalué notre programme de résidence en recherche par rapport aux normes nationales en la matière à des fins d’amélioration de la qualité.

Méthodes : En 2021, nous avons examiné les documents du programme d’études du département et interrogé des résidents et des médecins récemment diplômés. Nous avons utilisé un modèle logique pour déterminer si les intrants, les activités et les extrants de notre programme couvraient adéquatement les compétences pertinentes liées au rôle CanMeds d’érudit. Nous avons ensuite comparé de façon descriptive nos résultats à une analyse du milieu des programmes de résidence canadiens en recherche en anesthésiologie effectuée la même année.

Résultats : Nous avons établi une correspondance entre le contenu du programme local et les compétences. Le taux de réponse à l’enquête était de 40/55 (73 %). D’après l’analyse comparative, notre programme se démarque par l’offre d’évaluations d’étape, de fonds de recherche, de soutien administratif, de supervision, d’orientation méthodologique, et, en ce qui concerne les extrants, par l’exigence d’une analyse documentaire, de la présentation d’une proposition et de la soumission d’un résumé à l’université. Les activités admissibles pour répondre aux exigences de la recherche varient considérablement d’un programme à l’autre. De nombreux répondants ont signalé la difficulté de concilier les responsabilités cliniques et de recherche.

Conclusions : L’application du modèle logique a été aisée et elle a permis de montrer que notre programme respecte les normes nationales. Un dialogue au niveau national est nécessaire pour définir de manière précise et cohérente les activités et les évaluations des compétences en lien avec le rôle d’érudit afin de combler le fossé entre les normes quant aux résultats attendus et les pratiques des programmes.