Designing a touchless physical examination for a virtual Objective Structured Clinical Examination Conception d’un examen physique sans contact pour un examen clinique objectif structuré virtuel

Abstract

Purpose: Given the COVID-19 pandemic, many Objective Structured Clinical Examinations (OSCEs) have been adapted to virtual formats without addressing whether physical examination maneuvers can or should be assessed virtually. In response, we developed a novel touchless physical examination station for a virtual OSCE and gathered validity evidence for its use.

Methods: A touchless physical examination OSCE station was pilot-tested in a virtual OSCE in which Internal Medicine residents were asked to verbalize their approach to the physical examination, interpret images and videos of findings provided upon request, and make a diagnosis. Differences in performance by training year were explored using ANOVA. In addition, data were analyzed based on a modified approach of Bloom's taxonomy of learning: knowledge, understanding, and synthesis.

Results: Sixty-seven residents (PGY1-3) participated in the OSCE. Scores on the pilot station were significantly different between training levels (F=3.936, p=0.024, ηp2=0.11). The pilot station-total correlation (STC) was 0.558, and the item-station correlations (ITC) ranged from 0.115 to 0.571, with the most discriminating items being those that assessed higher orders of learning (understanding and synthesis).

Conclusion: This touchless physical examination station was feasible, had acceptable psychometric characteristics, and discriminated between residents at different levels of training.

Résumé

Objet : Compte tenu de la pandémie de COVID-19, de nombreux examens cliniques objectifs structurés (ECOS) ont été adaptés vers un format virtuel sans que l'on se questionne à savoir si les manœuvres d'examen physique peuvent ou doivent être évaluées virtuellement. Conséquemment, nous avons développé une nouvelle station d'examen physique sans contact pour un ECOS virtuel et recueilli des preuves de validité concernant son utilisation.

Méthodes : Nous avons utilisé une station d'examen physique sans contact testée dans le cadre d'un ECOS virtuel pendant lequel les résidents en médecine interne devaient verbaliser leur approche concernant l'examen physique, interpréter des images et des vidéos d’examens fournis sur demande, et poser un diagnostic. Nous avons étudié les différences de rendement en fonction de l'année de formation à l'aide de l'ANOVA. En outre, nous avons analysé les données en utilisant les éléments de la taxonomie de l'apprentissage de Bloom, c'est-à-dire la connaissance, la compréhension et la synthèse.

Résultats : Soixante-sept résidents (PGY1-3) ont participé à l'ECOS. Les scores de la station pilote étaient significativement différents entre les niveaux de formation (F=3.936, p=0.024, ηp2=0.11). La corrélation totale de la station pilote (STC) était de r=0,558, et les corrélations question-station variaient de r=0,115-0,571, les questions les plus discriminantes étant celles qui évaluaient l'application (interprétation et synthèse) plutôt que le rappel de connaissances.

Conclusion : Cette station d'examen physique sans contact était réalisable, a présenté des caractéristiques psychométriques acceptables et a permis d'établir une discrimination entre les résidents de différents niveaux de formation.