The development of two Point of Care Ultrasound stations for Objective Structured Clinical Examinations in undergraduate medical education Développement de deux stations d’échographie au point d’intervention pour les examens cliniques objectifs structurés dans le cadre de la formation médicale de premier cycle

Abstract

Introduction: Point-of-care ultrasound (POCUS) is a valuable clinical skill that improves clinical care but requires substantial training. Validated assessment tools provide empirical evidence regarding trainee performance while also informing program-level evaluation. We developed two POCUS-specific stations for objective structured clinical examinations (OSCEs) to assess skill acquisition and inform best practices in undergraduate medical education.

Methods: A multidisciplinary group of POCUS educators identified two POCUS applications (pleural effusion and abdominal free fluid) well suited for the undergraduate level. A modified Delphi approach was used to develop POCUS-application-specific skill checklists and global rating scale. Two medical programs piloted the stations to inform reliability.

Results: Across two sites, 46 and 41 students participated in the pleural effusion and abdominal free fluid stations respectively. Checklists showed high internal reliability, with Cronbach’s alpha of 0.85 (95% CI 0.71-0.93) for the pleural effusion station and 0.87 (95% CI 0.74-0.95) for the abdominal free fluid station. Krippendorff’s alpha, a measure of inter-rater reliability, was also equally strong at 0.85 (95% CI 0.43-0.94) and 0.83 (95% CI 0.50-0.94) respectively.

Conclusion: Both POCUS OSCE stations demonstrated good internal and inter-rater reliability. Deployment of these OSCE stations at programs with integrated POCUS curricula may help refine programming and training expectations.

Résumé

Introduction : L'échographie au point d'intervention (POCUS) est une compétence clinique précieuse qui améliore les soins cliniques, mais qui nécessite une formation approfondie. Des outils d'évaluation validés fournissent des preuves empiriques concernant les performances des médecins résidents tout en éclairant l'évaluation au niveau du programme. Nous avons développé deux stations propres à POCUS pour les examens cliniques objectifs structurés (ECOS) afin d'évaluer l'acquisition des compétences et d'éclairer les meilleures pratiques dans l'enseignement médical de premier cycle.

Méthodes : Un groupe multidisciplinaire d'éducateurs POCUS a identifié deux applications POCUS (épanchement pleural et liquide libre abdominal) bien adaptées au niveau de premier cycle. Une approche Delphi modifiée a été utilisée pour développer des listes de contrôle des compétences spécifiques à l'application POCUS et une échelle d'évaluation globale. Deux programmes médicaux ont testé les stations afin d'en vérifier la fiabilité.

Résultats : Sur les deux sites, 46 et 41 étudiants ont respectivement participé aux stations consacrées à l'épanchement pleural et au liquide libre abdominal. Les listes de contrôle ont montré une fiabilité interne élevée, avec un coefficient alpha de Cronbach de 0,85 (IC à 95 % : 0,71-0,93) pour la station consacrée à l'épanchement pleural et de 0,87 (IC à 95 % : 0,74-0,95) pour la station consacrée au liquide libre abdominal. Le coefficient alpha de Krippendorff, qui mesure la fiabilité inter-évaluateurs, était également élevé, avec respectivement 0,85 (IC à 95 % : 0,43-0,94) et 0,83 (IC à 95 % : 0,50-0,94).

Conclusion : Les deux stations POCUS ECOS ont démontré une bonne fiabilité interne et inter-évaluateurs. Le déploiement de ces stations ECOS dans des programmes intégrant des cursus POCUS pourrait contribuer à affiner les attentes en matière de programmation et de formation.