L’évaluation des compétences d’agent de changement des professionnels de la santé et des services sociaux : développement d’un questionnaire auto-administré à l’aide de la méthode Delphi

Lavoie-Trudeau, Étienne; Beaudoin, Michael; Carrier, Annie

doi:https://doi.org/10.7202/1111100ar

Introduction et recension des écrits

L’agentivité dont font preuve les leaders transformationnels est importante pour améliorer les services sociaux et de santé (SSS) (Kumar, 2013) puisqu’elle permet d’utiliser des actions créatives (Parsell et al., 2016) et qu’elle se situe à la frontière entre les personnes et la structure sociale (Smith, 2014). L’agentivité est définie comme la capacité d’agir en fonction de ce qui est considéré comme valable (Sen, 1985) et implique, pour répondre aux besoins de la collectivité, la capacité de prendre conscience d’une situation problématique (Stuart, 2014), de choisir (Eteläpelto et al., 2013), d’organiser intentionnellement ses actions (Toom et al., 2015) et, enfin, d’agir selon ces intentions (Stuart, 2014). Pour les professionnels en SSS, l’agentivité est généralement associée à un rôle spécifique. Comme les appellations désignant les leaders transformationnels exerçant leur agentivité (p. ex., promoteur, leader, défenseur) varient selon la profession (p. ex., ergothérapie, physiothérapie, travail social), nous utiliserons le terme d’agent de changement (AC) en raison de sa proximité lexicale avec le terme d’agentivité.

Plusieurs disciplines en SSS, dont l’ergothérapie (Carrier & Beaudoin, 2020), la physiothérapie (Bessette et al., 2020), le travail social (Saxena & Chandrapal, 2022), les sciences infirmières (Rafferty, 2018) et la médecine (McDermott et al., 2019), s’entendent sur le fait qu’agir en tant qu’AC implique une variété de compétences à développer et à consolider. En effet, pour changer une situation, le professionnel peut agir pour et avec son patient et sa famille au niveau microsystémique (AC clinique), ou pour et avec un groupe ou une communauté aux niveaux méso et macrosystémique (AC social) (Carrier & Beaudoin, 2020). Selon la littérature, six compétences sont généralement mobilisées pour agir en tant qu’AC. La première, la revendication (Carrier & Beaudoin, 2020 ; Steggles & Clark, 2013), est définie comme la défense d’une cause (changement désiré), pour et avec les personnes concernées. Elle vise à persuader une personne ou une entité de son importance. La deuxième, la collaboration (Brian et al., 2015), est un mode de travail collectif, interprofessionnel ou intersectoriel, autour d’un projet visant à apporter des changements profonds à propos de problématiques multifactorielles. La troisième, la communication (Carrier & Contandriopoulos, 2015), représente la réception et la transmission de messages de manière adéquate à l’intérieur et à l’extérieur du contexte de pratique. La quatrième compétence, la navigation (Lipsky, 2010), se définit comme la connaissance des systèmes (santé et autres) et de leur environnement institutionnel (lois, règlements, politiques et procédures, organisation des services et du travail, etc.). Elle comprend également l’adaptation des actions à ces systèmes. La cinquième compétence est la promotion (Clarke & Swimm, 2011), définie comme la publicisation des avantages de la profession pour diverses problématiques et la sensibilisation des personnes à ces avantages. Enfin, la sixième, le travail avec des patients ou des communautés en situation de vulnérabilité (Jasmin, 2019), inclut les contextes d’inégalités socioéconomiques, de stigmatisation ou de pauvreté.

Il est attendu des programmes universitaires que ces compétences variées soient développées pendant la formation professionnelle initiale (Jacobs et al., 2020). Or, les professionnels en exercice jugent leur niveau de maîtrise des compétences d’AC inférieur à celui qui est attendu ou nécessaire (Finlayson, 2013 ; Restall & Ripat, 2008 ; Vance et al., 2019) et peinent à internaliser le leadership nécessaire à l’exercice de ce rôle (Booher et al., 2021). Alors, en cohérence avec l’approche de développement professionnel (Tran et al., 2014), les professionnels et les organismes de contrôle ou de soutien de leur exercice (ordre professionnel ou association professionnelle) misent sur la formation continue pour développer et consolider leurs compétences (Forsetlund et al., 2021).

Dans une approche par compétences (Caverzagie et al., 2017), le développement de ces dernières est indissociable de leur évaluation (Ferguson et al., 2017). Une telle évaluation est utile pour les professionnels, les éducateurs qui les forment et les organismes qui contrôlent ou cherchent à améliorer la qualité de leur pratique. En effet, être en mesure d’évaluer les compétences nécessaires au rôle d’AC permet de cibler les besoins des professionnels en vue de mieux les outiller (Miller et al., 2010 ; Schleiff et al., 2020). De surcroît, l’évaluation des compétences aide à valider la progression des apprenants (Albarqouni et al., 2018), à connaître leur processus d’acquisition (Fukada, 2018) et à offrir une rétroaction facilitant leur apprentissage (Bok et al., 2013). L’évaluation des compétences peut être réalisée à la suite de formations continues spécifiques (Cox & Grus, 2019) et ainsi, fournir aux ordres et aux associations professionnelles une certaine assurance quant au niveau de savoir et d’habiletés développés par les professionnels formés (Ethington, 2017).

Une recension des écrits a permis de statuer qu’actuellement, différents outils existent pour mesurer les compétences des professionnels en SSS (Yaqoob Mohammed Al Jabri et al., 2021). Par exemple, des outils ont été développés pour évaluer les compétences liées à la pratique médicale (Tromp et al., 2012), à la pratique infirmière (Cowan et al., 2008 ; Meretoja et al., 2004 ; Wangensteen et al., 2015), à la pratique infirmière avancée (Sastre-Fullana et al., 2017), à la pratique fondée sur les évidences (Shuman et al., 2018), et au professionnalisme (Lombarts et al., 2014). Un questionnaire portant sur l’enseignement de la revendication auprès des personnes, des communautés et des juristes chez les résidents en médecine (Lax et al., 2019) et comportant 18 questions, dont 15 à choix de réponse et trois à développement a aussi été repéré. En revanche, la recension effectuée n’a relevé aucun outil spécifique pour évaluer les compétences essentielles au rôle d’AC chez les professionnels en SSS.

L’objectif de l’étude était donc de développer un questionnaire auto-administré visant à évaluer le développement des compétences à la suite d’une formation portant sur le rôle d’AC offerte aux professionnels en SSS du système public québécois et de le valider. La validation de contenu d’outils de mesure est importante pour s’assurer de la définition opérationnelle d’un construit (Polit et al., 2007). Ainsi, l’objectif de cet article est de rapporter la démarche de validation de ce questionnaire au moyen de la méthode Delphi.

Méthodologie

Le devis

Pour développer et valider le questionnaire, l’équipe a utilisé la méthode consensuelle Delphi, reconnue en sciences de la santé (Hasson et al., 2000 ; Trevelyan et Robinson, 2015). Ce choix s’explique par le processus itératif, structuré et limitant les influences d’autrui qu’offre la méthode Delphi. Sans être en contact, les experts s’entendent sur les éléments de convergence d’un sujet donné (Hasson et al., 2000), ici, les compétences nécessaires au rôle d’AC. Le développement et la validation du questionnaire s’inscrivaient dans une étude plus large visant à évaluer les effets d’une formation sur mesure pour développer les compétences en agentivité des professionnels en SSS (Savaria et al., 2022), approuvée par le comité d’éthique de la recherche du Centre intégré universitaire de SSS de l’Estrie – Centre hospitalier universitaire de Sherbrooke (certificat # MP-31-2021-3804). Pour atteindre un équilibre entre la possibilité de perte de précision (deux tours) et l’attrition d’experts (quatre tours) (Trevelyan & Robinson, 2015), l’équipe a opté pour une consultation à trois tours, telle qu’expérimentée par Ab Latif et al. (2017) dans la validation d’un questionnaire à choix multiples. Les experts n’ont reçu aucune compensation financière et ne connaissaient pas l’identité des autres experts.

L’équipe de recherche

L’équipe de recherche responsable de la méthode Delphi était constituée d’une chercheure, d’un professionnel de recherche et d’un assistant qui faisait la collecte et l’analyse des données, sous la supervision de la chercheure. Ensuite, la chercheure et le professionnel déterminaient si les énoncés obtenaient le consensus établi pour être acceptés. Enfin, l’équipe de recherche procédait aux modifications des énoncés pour lesquels le consensus n’était pas atteint.

Le développement du questionnaire

L’équipe a modifié le questionnaire de Lax et al. (2019) en adaptant les questions existantes pour les professionnels en SSS et pour les compétences de l’AC. Pour cette dernière raison, l’équipe a aussi ajouté des questions. Pour adapter le questionnaire, elle a procédé de manière préliminaire à la mise à jour d’une étude de portée sur la conceptualisation du rôle d’AC (Carrier & Beaudoin, 2020).

Le questionnaire comportait quatre sections : 1) les caractéristiques sociodémographiques des participants, 2) la perception de leurs compétences avant la formation, 3) leur perception immédiatement après la formation et 4) leur perception six mois après la formation. Afin de mesurer les effets à court (immédiatement après) et à moyen (après six mois) termes de la formation sur un même élément de compétence, les sections 2, 3 et 4 comportaient des items (questions ou énoncés) correspondants. L’équipe de l’étude plus large, à savoir trois chercheures en santé, un chercheur en pédagogie et une professionnelle sur le terrain, a commenté le questionnaire avant la validation des experts. Le questionnaire soumis aux experts comportait 125 questions, soit 123 à choix de réponse et deux à court développement, réparties de la façon suivante dans chaque section : 1) 15 questions, 2) 31 questions, 3) 39 questions et 4) 40 questions. Les questions abordaient quatre grandes catégories : a) les caractéristiques sociodémographiques (section 1 seulement), b) le sentiment de compétence global à agir comme AC, c) la perception de la maîtrise de compétences spécifiques (connaissances et habiletés), notamment des compétences relatives à la revendication, à la collaboration, à la communication, à la navigation du système, à la promotion, au travail auprès de clientèles en situation de vulnérabilité et d) leurs actions d’AC, prévues ou vécues (incluant les personnes visées par ces actions).

L’équipe de recherche a assemblé le questionnaire selon la proximité sémantique des items, c’est-à-dire en regroupant les questions portant sur un même sujet, plutôt qu’en fonction de la catégorie d’attache, et ce, pour obtenir une meilleure fluidité et une meilleure compréhension de la part des répondants. Lors de la construction du questionnaire, l’équipe a opté pour des choix de réponse ipsatifs (forcés) pour les questions portant sur le sentiment de compétence global à agir comme AC, sur la maîtrise de compétences spécifiques et sur les actions d’AC prévues ou vécues. Ces choix obtiennent généralement une bonne validité et contribuent à contrôler les biais dans les réponses données par les participants (Bartram, 2007), notamment celui de désirabilité sociale (Christiansen et al., 2005).

Les experts

Tel que préconisé par Trevelyan et Robinson (2015), un échantillon de huit à 12 experts était initialement recherché. À partir de son réseau de contacts, l’équipe de recherche a constitué un échantillon par convenance. Les experts recherchés devaient avoir des connaissances ou des expériences relatives au rôle d’AC en SSS ou à la pédagogie associée à l’acquisition des rôles professionnels et être disponibles pour la période de la collecte (voir plus bas). Puisque le questionnaire porte sur le développement des compétences d’AC, l’équipe souhaitait une proportion égale de chacune des expertises. L’équipe a contacté les experts potentiels par courriel.

Le déroulement de la collecte et de l’analyse

La validation concernait l’ensemble du questionnaire et, spécifiquement, la clarté, la pertinence et l’exhaustivité des questions en fonction des connaissances les plus récentes sur le sujet (Streiner et al., 2015). De décembre 2020 à janvier 2021, la collecte des données s’est réalisée par courriel en trois tours successifs, comme le montre la figure 1.

Figure 1

***Étapes de validation du questionnaire à l’aide de la méthode DELPHI***

Les experts disposaient d’une période de dix jours pour compléter chaque tour. Un rappel était fait 24 heures avant l’échéance de la période. Entre chaque tour, l’équipe de recherche disposait de sept jours pour analyser les résultats et intégrer les modifications au questionnaire.

Durant les trois tours et pour chaque section, les experts ont relu et commenté : a) les énoncés introductifs, b) les questions et c) les éléments manquants. Pour a) et b), à chacun des tours, les experts fournissaient une réponse quant à la pertinence, à l’aide d’une échelle de Likert à quatre niveaux : 1) l’item est pertinent, 2) l’item est pertinent mais nécessite des modifications mineures, 3) l’item est pertinent mais nécessite des modifications majeures et 4) l’item est non-pertinent. S’ils répondaient 2) ou 3), les experts devaient suggérer des modifications. S’ils répondaient 4), l’item pouvait être supprimé. Pour c), ils devaient d’abord statuer si le thème était suffisamment couvert (exhaustivité) à l’aide d’une question dichotomique (oui ou non). S’ils répondaient par la négative, les experts détaillaient l’amélioration suggérée.

Pour être accepté, chaque item devait obtenir minimalement un consensus modéré, à savoir 60 % des réponses au niveau 1 de l’échelle de Likert (item pertinent) (Booto Ekionea et al., 2011). Si ce consensus modéré n’était pas atteint, l’item était modifié selon les commentaires et soumis au tour suivant. Si un item obtenait le consensus, mais qu’un autre ayant des composantes similaires recevait des commentaires impliquant une modification, l’item consensuel était modifié et accepté. Par exemple, les experts ont recommandé de modifier l’échelle de réponse des questions portant sur le niveau de compétence perçu. Comme les autres items avaient la même échelle, l’équipe a uniformisé la modification.

L’équipe a refusé les propositions ne cadrant pas avec le format attendu du questionnaire et/ou avec les objectifs de recherche, soit l’ajout de questions à développement (p. ex., l’exploration qualitative des expériences personnelles et professionnelles d’AC) et relatives au revenu annuel. Puisque certains items se répétaient quasi-intégralement d’une section à l’autre (p. ex., seul le temps de verbe changeait de la section 2 à la section 3) et par souci d’efficience, la validation n’a porté que sur leur première occurrence. Ainsi, 60 des 125 questions ont fait l’objet d’une validation directe au premier tour (voir la section Résultats pour plus de détails).

À la fin de la consultation, l’équipe de recherche a mesuré la validité de contenu du questionnaire à l’aide de l’index de validité du contenu (IVC), pour chaque item individuel (IVC-I) au dernier tour où il a été soumis, puis, pour l’échelle complète (IVC-E). Spécifiquement, pour chaque question, la dernière réponse donnée était dichotomisée : les réponses 1 ou 2 à l’échelle de Likert obtenaient un score de 1 et les réponses 3 ou 4, un score de 0. Les scores de chaque question étaient ensuite additionnés et divisés par le nombre d’experts s’étant prononcé. Le résultat correspondait à l’IVC-I. La validité est considérée acceptable lorsque l’IVC-I de chaque item est égal ou supérieur à 0,80 (Lynn, 1986). Il est recommandé qu’un item obtenant un IVC-I inférieur à 0,80 soit retiré. L’équipe a ensuite calculé l’IVC-E, soit l’IVC de la moyenne des IVC-I. Un score de 1,00 est attendu pour cinq experts et 0,83 pour six experts et plus (Lynn, 1986).

Résultats

Nous présenterons d’abord les caractéristiques des experts. Ensuite, nous aborderons les résultats de la validation du questionnaire : l’évolution des énoncés explicatifs de chaque section du questionnaire, le nombre de questions validées et l’évolution de ce nombre, ainsi que les scores IVC-I et IVC-E. L’évolution des questions de chaque section sera aussi présentée.

Les caractéristiques des experts

L’équipe a invité neuf experts à participer à l’étude. Parmi eux, 33,3 % (n = 3) n’ont pas répondu au courriel d’invitation ou ont refusé de prendre part à l’étude par manque de temps. Six experts ont donc accepté, soit quatre femmes et deux hommes. Cet échantillon a permis de respecter les expertises recherchées (n = 4 en agentivité ou rôle d’AC des professionnels en SSS et n = 2 en pédagogie). Cinq experts ont complété les trois tours, avec une attrition à la suite du premier tour. Ainsi, pour obtenir le consensus minimal, quatre experts sur six au premier tour (66,7 %) et trois sur cinq au deuxième et au troisième tours (60,0 %) étaient requis.

L’évolution des énoncés explicatifs des quatre sections du questionnaire

Initialement, le questionnaire était constitué de trois énoncés explicatifs : un pour les sections 1 et 2 (remplies avant la formation), un pour la section 3 (remplie immédiatement après la formation) et un pour la section 4 (remplie six mois après). Au premier tour, les experts ont accepté les énoncés explicatifs des sections 3 et 4. Cependant, ils ont suggéré de différencier clairement les énoncés explicatifs des sections 1 (caractéristiques sociodémographiques) et 2 (sentiment de compétence global à agir comme AC, perception de la maîtrise de compétences spécifiques et actions d’AC vécues avant la formation) en raison de leur nature et de leurs objectifs différents.

Spécifiquement, les experts ont aidé à clarifier et à expliciter les énoncés des sections 2 à 4, étant donné la présence de concepts complexes. En premier lieu, les experts ont défini certains concepts abstraits. Par exemple, ils ont clarifié la définition du rôle d’AC social au deuxième tour par l’ajout suivant : « L’agent de changement social peut, par exemple, défendre les intérêts d’un groupe vulnérable en tentant d’instaurer de nouveaux services et en présentant ses arguments auprès des décideurs ». En second lieu, les experts ont simplifié les explications données dans le questionnaire. Par exemple, ils ont modifié l’énoncé introductif de la section 1 au deuxième tour en supprimant cette partie jugée répétitive : « Pour vous soutenir dans l’acquisition et l’opérationnalisation du rôle d’agent.e de changement, une formation a été mise sur pied et vous sera offerte ».

Le nombre de questions validées, l’évolution du nombre de questions et les scores IVC-I et IVC-E

Au total, les experts ont évalué 66 questions et n’en ont jugé aucune non-pertinente (aucun retrait). Tel que mentionné, le premier tour comprenait 60 questions, le second, 35, et enfin, le dernier, 7, comme le montre le tableau 1. Au premier tour, les experts ont accepté 51,7 % des questions. Au second tour, le taux d’acceptation a grimpé à 82,9 %. Au troisième tour, les experts ont accepté la totalité des questions.

Tableau 1

***Questions évaluées et acceptées à chacun des trois tours***

Tableau 2

***Évolution du nombre de questions par catégorie et par section lors des tours***

L’équipe de recherche a ainsi soumis certaines questions à plus d’un tour. Après le premier tour, six des neuf nouvelles questions ajoutées au questionnaire ont fait l’objet d’une validation, trois étant dupliquées de la section 2 aux sections 3 et/ou 4. De ces neuf questions, trois se situaient dans la section 1 et portaient sur des caractéristiques sociodémographiques, trois se situaient dans la section 2, une dans la section 3 et deux dans la section 4, tel que l’indique le tableau 2.

De ces six questions, deux concernaient le sentiment de compétence global à agir comme AC et quatre, les actions d’AC prévues ou vécues. À la fin du troisième tour et à la suite des recommandations des experts, l’équipe a accepté toutes les questions. Les scores IVC-I varient de 0,67 à 1,00 et le score IVC-E est de 0,96, comme l’illustre le tableau 3.

Tableau 3

***Évaluation de la pertinence des questions selon les experts-participants en fonction des catégories de question***

L’évolution des questions des quatre sections du questionnaire

Les experts ont suggéré plusieurs modifications. Ces suggestions concernaient l’ajout de questions, l’ordonnancement et la numérotation des questions, la syntaxe et la formulation, la bonification d’énoncés, ainsi que la nature et/ou le nombre de choix de réponse aux questions, comme nous pouvons le voir au tableau 4.

L’ajout de questions

Les experts ont suggéré l’ajout de questions dans les catégories des caractéristiques sociodémographiques des participants (n = 3 questions suggérés et acceptées), du sentiment de compétence global à agir comme AC (n = 2 questions suggérées et acceptées) et des actions d’AC prévues ou vécues, incluant les personnes visées (n = 4 questions suggérées et acceptées).

Dans la catégorie des caractéristiques sociodémographiques, les suggestions acceptées portaient sur les rôles occupés dans le cadre de leurs fonctions professionnelles actuelles (question 4), sur le type d’agglomération où les participants exercent leur travail (question 7), ainsi que sur le diplôme nécessaire pour l’emploi actuel des répondants (question 8). Dans la catégorie du sentiment global de compétence, l’équipe a retenu la proposition d’une question sur le fait de se considérer comme un modèle dans le rôle d’AC au travail (question 32 à la section 2 et question 40 à la section 4). Dans la catégorie des actions d’AC prévues ou vécues, les questions suggérées et acceptées traitaient des explications justifiant le fait de ne pas utiliser certaines modalités de revendication auprès de supérieurs pour l’intérêt d’un patient (question 8 dans la section 2) et la fréquence de revendications auprès de collègues dans l’intérêt d’un patient (question 12 à la section 2, question 11 à la section 3 et question 15 à la section 4).

Tableau 4

***Nombre de questions selon le type de modifications, le tour de rétroaction, la section du questionnaire et la catégorie d’appartenance***

L’ordonnancement et la numérotation des questions

L’ajout de questions a mené à une modification de l’ordonnancement et de la numérotation des questions. La proximité conceptuelle de cinq questions a aussi mené au déplacement d’une question commune aux sections 2 (la question 27 est devenue la question 10), 3 (la question 27 est devenue la question 9) et 4 (la question 31 est devenue la question 13).

La syntaxe et la formulation des énoncés

Pour chacune des catégories, les experts ont suggéré de modifier la syntaxe et la formulation de plusieurs énoncés dans les trois tours (voir le tableau 4). Par exemple, après le deuxième tour, dans la section 1 sur les caractéristiques sociodémographiques, la question 11 « À quel endroit avez-vous complété votre formation ? » est devenue « Où avez-vous complété votre formation ? ».

La bonification des énoncés

Les experts ont aussi suggéré de bonifier certains énoncés par l’ajout d’un exemple ou par la temporalisation de la question. Par exemple, la question 28 de la section 2 et les questions homologues des sections 3 (question 27) et 4 (question 31) s’énonçaient initialement ainsi : « Je suis attentif.ve aux préoccupations des personnes avec lesquelles je travaille dans un projet de changement », pour devenir, après le premier tour : « Je suis attentif.ve aux préoccupations (p. ex., rassurer un partenaire sur les craintes qu’il entretient à propos du projet) des personnes avec lesquelles je travaille dans un projet de changement ».

La nature et le nombre des choix de réponse aux questions

Pour chacune des sections, les experts ont suggéré l’ajout de choix de réponse dans les tours 1 et 2 (voir le tableau 4) pour les questions relatives aux caractéristiques sociodémographiques, aux compétences spécifiques évaluées et aux actions d’AC prévues ou vécues. Par exemple, après le deuxième tour, ils ont ajouté la réponse « D’un.e bailleur de fond » aux choix de la question 33 (section 2) et, conséquemment, des questions 31 (section 3) et 41 (section 4) : « Avez-vous déjà eu à agir à titre d’agent.e de changement dans votre profession auprès… (vous pouvez cocher plus d’une réponse) ? » Enfin, dans les catégories Sentiment de compétence global à agir comme AC et Perception de maîtrise des compétences spécifiques, les experts ont suggéré de modifier certaines échelles de choix de réponse, notamment en s’appuyant sur la littérature existante (p. ex., le modèle de Dreyfus, 2004). Par exemple, après le deuxième tour, l’échelle de la question 3 (dans les sections 2, 3 et 4, appartenant à la catégorie des compétences spécifiques) est passé de quatre niveaux à six : « a. Pas du tout compétent.e ; b. Peu compétent.e ; c. Assez compétent.e ; d. Raisonnablement compétent.e ; e. En grande partie compétent.e ; f. Tout à fait compétent.e ».

Discussion

Cette étude mobilisant la méthode Delphi a permis de déterminer et de valider le contenu d’un questionnaire auto-administré ayant trait au développement des compétences d’AC des professionnels en SSS. Ce processus et les résultats obtenus nous amènent à discuter de trois points saillants : la quantité de tours utilisés pour en arriver à une validation, le type de modifications suggérées par les experts et la quantité de modifications apportées au questionnaire relativement aux concepts centraux.

Tout d’abord, les experts ont accepté une majorité de questions après les deux premiers tours. Au tour 1, ils ont apporté des modifications majeures à plusieurs questions (phase de modifications), alors que le second tour a notamment servi à ajuster les changements initiés au tour 1 (phase d’ajustements). Au troisième tour, les experts ont accepté la minorité restante de questions (phase de consolidation). Ils ont donc obtenu un consensus pour l’entièreté des questions en trois tours. Ces résultats sont concordants avec les écrits de Trevelyan et Robinson (2015) et de Ab Latif et al. (2017), où trois tours ont aussi été suffisants pour obtenir un consensus pour la totalité des questions. Deux actions ont pu favoriser l’obtention de ce consensus en trois tours. Premièrement, les concepts centraux de l’outil étaient issus d’une étude de la portée des écrits scientifiques réalisée antérieurement et mise à jour. Deuxièmement, l’équipe de la recherche plus large avait commenté une première version de l’outil avant qu’il soit soumis aux experts. Ces deux actions peuvent avoir contribué à un construit conceptuellement plus solide et donc, plus pertinent. D’ailleurs, le score obtenu à l’IVC-E (avec et sans la section des caractéristiques sociodémographiques) est de 0,96, ce qui tend à appuyer une validité de contenu acceptable. En effet, un score de 1,00 est attendu pour cinq experts et de 0,83 pour six et plus (Lynn, 1986). Or, notre étude a débuté avec six experts pour se terminer à cinq. Il est donc raisonnable de penser que le seuil valide se situe entre ces deux proportions.

En ce qui a trait aux modifications suggérées par les experts, à tous les tours, leurs suggestions ont porté sur les choix de réponse, dont spécifiquement l’utilisation d’une échelle à six choix de réponse, plutôt qu’à quatre tel qu’initialement prévu, pour mesurer le niveau de compétence perçu des répondants. Ces propositions sont cohérentes avec la littérature (Joshi et al., 2015). En effet, dans le contexte où les choix sont présentés de façon écrite et où les répondants n’ont pas à les retenir, plus de choix de réponse peut contribuer à augmenter la validité des résultats. De surcroît, l’utilisation de choix ipsatifs a été conservé pour ces questions, considérant ses avantages (Christiansen et al., 2005).

Par ailleurs, au premier tour, les suggestions des experts étaient diversifiées et comprenaient l’ajout de questions, leur ordonnancement différent et leur bonification. Cette diversité est cohérente avec les résultats habituellement générés par l’utilisation de la méthode Delphi qui permet d’améliorer la clarté, la pertinence et l’exhaustivité des questions (Streiner et al., 2015). Notamment, les experts ont fréquemment suggéré de bonifier les questions par l’ajout d’exemples, et ce, afin de s’assurer que les répondants comprennent les questions. Ces suggestions fréquentes sont possiblement attribuables au fait que la thématique du rôle d’AC et son vocabulaire restent ambigus pour les professionnels en SSS (Tucker et al., 2015). Ainsi, les exemples concrets facilitent la compréhension en fournissant des images simples issues de la pratique professionnelle pour illustrer des concepts plus complexes ou abstraits (Beatty et al., 2006).

Outre ces suggestions de bonification, les experts ont donné peu de rétroaction quant aux concepts présents dans les questions. Les concepts réfèrent, par exemple, aux différentes compétences du rôle d’AC et aux actions qu’un AC réalise. Ce résultat diffère de ceux d’autres études, comme celle de Phoi et al. (2021) portant sur la nutrition, dans lesquelles les concepts font l’objet de rétroaction, voire de débats. Cette différence pourrait s’expliquer par la conception des questions issues d’une recension antérieure des écrits relative à la conceptualisation du rôle d’AC. En effet, l’adhésion aux questions a pu être forte parce que celles-ci reposent sur des compétences d’AC tirées de la littérature et des référentiels de compétences des professions en SSS et que, par conséquent, elles sont fortement véhiculées et reconnues. Cette adhésion pourrait toutefois aussi s’expliquer par l’échantillon des experts consultés. En effet, il est possible que l’hétérogénéité du groupe n’ait pas été suffisante. Cependant, malgré leur nombre restreint, les experts provenaient de milieux différents avec des expériences complémentaires. Il est donc permis d’avancer que le processus a contribué à améliorer la validité de construit du questionnaire.

Les forces et les limites

La présente étude de type Delphi a permis de déterminer et de valider le contenu d’un nouvel outil (Fernández-Domínguez et al., 2016). Avec un score IVC-E de 0,96, l’outil se situe à un niveau acceptable de validité de contenu si on le compare aux référents de Lynn (1986). L’équipe de recherche a eu de la difficulté à recruter des experts et n’a pas été épargnée par l’attrition d’un participant. Ceci peut s’expliquer par le fait que le recrutement et la collecte ont eu lieu en contexte de pandémie mondiale et pendant la période des Fêtes. Aussi, la compilation et l’analyse des données recueillies auraient été facilitées par un regroupement par catégories plutôt que par proximité sémantique. Néanmoins, la collecte et l’analyse se sont déroulées efficacement et selon l’échéancier prévu. Les instructions initiales aux experts auraient pu être plus claires. Par exemple, l’équipe de recherche aurait pu être plus explicite sur la nature du questionnaire (Likert, choix de réponse) pour éviter les suggestions d’ajout de questions ouvertes, ce qui a retardé l’acceptation de certaines questions. Bien que perfectible, cette étude constitue un premier effort de mesure des effets d’une formation continue sur le rôle d’AC qui est important, mais encore peu occupé par les professionnels en SSS.

Conclusion

Cet article a mis en lumière le processus de développement et de validation d’un questionnaire portant sur l’évaluation des compétences reliées au rôle d’AC des professionnels en SSS, à l’aide de la méthode Delphi. Comme il s’agissait d’un questionnaire basé sur un sujet peu étudié auparavant, l’opinion d’experts était essentielle, notamment pour s’assurer de la clarté, de la pertinence et de l’exhaustivité des questions et, ainsi, offrir aux répondants un outil représentatif du sujet étudié. Il serait intéressant de poursuivre la validation de ce questionnaire de façon à documenter sa cohérence interne. De même, il serait intéressant de conduire des mesures de fidélité et de voir s’il est possible d’utiliser l’outil auprès d’autres populations que les professionnels en SSS québécois. Notamment, les éducateurs des programmes en SSS pourraient l’utiliser avec leurs étudiants universitaires. Enfin, considérant la complexité du rôle d’AC (Carrier & Beaudoin, 2020), il serait pertinent de créer un outil similaire pour évaluer le niveau de compétence et d’aisance des éducateurs à l’enseigner, en formation tant universitaire que continue. Outre le regard évaluatif qu’il offrirait, un tel outil soutiendrait la détermination de cibles de formation pour les éducateurs eux-mêmes.

La présente démarche visait le développement et la validation d’un questionnaire complet (couvrant l’entièreté des concepts reliés au rôle d’AC), fluide (regroupant des questions ayant une proximité sémantique), clair (vulgarisant des concepts plutôt complexes, utilisant une terminologie précise et des exemples) et sensible (permettant aux participants de répondre selon la gradation de l’échelle de Likert présentée). L’équipe de recherche utilisera ce questionnaire auprès de professionnels en SSS ayant pris part à une formation continue sur le rôle d’AC pour évaluer ses effets immédiats et à moyen terme sur le sentiment de compétence, sur l’acquisition de compétences nécessaires et sur le déploiement anticipé et avéré des habiletés en contexte réel. Il sera intéressant de voir si la formation aura eu les effets escomptés sur la population visée, à savoir si les participants auront mobilisé leurs connaissances et leurs habiletés d’AC dans leurs pratiques respectives, après l’avoir suivie.

Note des auteurs

Conflits d’intérêts

Résumé

Abstract

Resumo

Introduction et recension des écrits