Reviewers’ views on the editorial review processes of the Canadian Medical Education Journal Points de vue des évaluateurs sur les processus de révision éditoriale de la Revue canadienne d’éducation médicale

Abstract

Background: Peer review is an integral part of the scientific process, ongoing efforts are needed to improve this process for both the reviewer and the scientific journal conducting peer review. This work describes the Canadian Medical Education Journal (CMEJ) peer reviewers’ experiences in accepting or declining invitations to review.

Methods: We deployed questionnaires between December 2020 and May 2022. We calculated descriptive statistics for each response group (accepted or declined invitations). We analyzed open-ended comments using conventional content analysis.

Results: CMEJ Reviewers described their experiences within three broad categories of factors: individual, contextual, and journal. Participants strongly agreed or agreed to review an article (n = 95) because the article was: within their area of expertise (84/95 = 88.4%); within a topic of interest (n = 83, 87.4%); an appropriate length (n = 79, 83.2%); relevant to their work and/or interests (n = 77, 81.1%); of sufficient quality (n = 75, 78.9%); educational (n = 72, 75.8%); and provided the opportunity to remain up-to-date on current research (n = 69, 72.6%). Participants’ (n = 17) most cited reason for declining their invitation to review for CMEJ was competing workloads (n = 14, 82.4%). Reviewers appreciated reviewer instructions, knowing the article’s outcome, and seeing what other reviewers had to say.

Conclusion: This work describes the enablers and barriers of CMEJ reviewers and highlights the need to acknowledge peer reviewers' work, while challenging institutions and journals to support peer review activities.

Résumé

Contexte : L'évaluation par les pairs fait partie intégrante du processus scientifique. Des efforts continus sont nécessaires pour améliorer ce processus, tant pour l'évaluateur que pour la revue scientifique qui procède à l'évaluation par les pairs. Ce travail décrit les expériences des réviseurs de la Revue canadienne d'éducation médicale (CMEJ) qui acceptent ou refusent les invitations à évaluer.

Méthodes : Nous avons déployé des questionnaires entre décembre 2020 et mai 2022. Nous avons calculé des statistiques descriptives pour chaque groupe de réponse (invitations acceptées ou refusées). Nous avons analysé les commentaires à l'aide d'une analyse de contenu conventionnelle.

Résultats : Les évaluateurs de la CMEJ ont décrit leurs expériences dans trois grandes catégories de facteurs : individuels, contextuels et journaliers. Les participants étaient tout à fait d'accord ou d'accord pour réviser un article (n = 95) parce que l'article était : dans leur domaine d'expertise (84/95 = 88,4 %); dans un sujet d'intérêt (n = 83, 87,4 %); d'une longueur appropriée (n = 79, 83,2 %); pertinent pour leur travail et/ou leurs intérêts (n = 77, 81,1 %); de qualité suffisante (n = 75, 78,9 %); éducatif (n = 72, 75,8 %) et offrait l'occasion de rester à jour sur la recherche actuelle (n = 69, 72,6 %). La raison la plus souvent invoquée par les participants (n = 17) pour décliner leur invitation à procéder à une évaluation pour la CMEJ était une charge de travail concurrente (n = 14, 82,4 %). Les évaluateurs ont apprécié les instructions des évaluateurs, le fait de connaître le résultat de l'article et de voir ce que les autres évaluateurs avaient à dire.

Conclusion : Ce travail décrit les facilitateurs et les obstacles rencontrés par les évaluateurs de la CMEJ et souligne la nécessité de reconnaître le travail des évaluateurs, tout en incitant les institutions et les revues à soutenir les activités d'évaluation par les pairs.