A critical analysis of The Royal College of Physicians and Surgeons of Canada examination experience Analyse critique de l’expérience d’examen du Collège royal des médecins et chirurgiens du Canada

Abstract

The Royal College of Physicians and Surgeons of Canada (RCPSC) plays a leading role in specialty and subspecialty post graduate medical education (PGME) in Canada. As the RCPSC accredits PGME programs, these programs are structured to meet the RCPSC Competence by Design model and their CanMEDS roles. RCPSC Certification is required by Medical Regulatory Agencies (MRAs) across Canada as a condition of entry to independent practice. The RCPSC relies heavily on the use of high-stakes subject examinations as a key component of its Certification process. Recently, questions have been raised regarding the usefulness of such high-stakes examinations. If such examinations are to be fair and equitable, they must be designed and implemented in accordance with best practices for educational testing and the processes for implementation and grading must be transparent and fair. This paper reviews the recent literature on high-stakes examinations and best practices in examination construction, references the findings of a survey of RCPSC examination experiences conducted by the Society for Canadians Studying Medicine Abroad exploring the perception of respondents, and raises concerns regarding RCPSC examinations related to validity, reliability, and fairness. The paper concludes by recommending closer scrutiny of RCPSC examination processes by interested stakeholders and by provincial MRA's who delegate entry to practice decisions to the RCPSC.

Résumé

Le Collège royal des médecins et chirurgiens du Canada (CRMCC) joue un rôle de premier plan dans l’éducation médicale postdoctorale (EMPo) de spécialité et de surspécialité au Canada. Comme le CRMCC accrédite les programmes d’éducation médicale postdoctorale, ces programmes sont structurés de manière à répondre au modèle de la compétence par conception du CRMCC et à leurs rôles CanMEDS. La certification du CRMCC est exigée par les agences de réglementation médicale (ARM) dans tout le Canada comme condition d'accès à la pratique indépendante. Le RCPSC s'appuie fortement sur l'utilisation d'examens à enjeux élevés comme élément clé de son processus de certification. Récemment, des questions ont été soulevées quant à l'utilité de ces examens à enjeux élevés. Pour que ces examens soient justes et équitables, ils doivent être conçus et mis en oeuvre conformément aux meilleures pratiques en matière de tests éducatifs et les processus de mise en œuvre et de notation doivent être transparents et équitables. Ce document passe en revue la littérature récente sur les examens à enjeux élevés et les meilleures pratiques en matière d'élaboration d'examens, fait référence aux résultats d'une enquête sur les expériences d'examen du CRMCC menée par la Société des Canadiens qui étudient la médecine à l'étranger afin d'explorer la perception des répondants, et soulève des préoccupations concernant les examens du CRMCC en matière de validité, de fiabilité et d'impartialité. Le document conclut en recommandant un examen plus approfondi des processus d'examen du CRMCC par les parties prenantes intéressées et par les ARM provinciales qui délèguent au CRMCC les décisions relatives à l'accès à la pratique.