Le processus de validation d’un outil d’autoévaluation portant sur les pratiques d’enseignement en ligne pour un dispositif d’autoformation dédié aux enseignants des cycles supérieurs

Proust-Androwkha, Sonia; Lison, Christelle; Meyer, Florian

doi:https://doi.org/10.7202/1113333ar

Introduction

Le numérique irrigue désormais toutes les sphères de la société. Depuis ces dernières années, il suscite un intérêt croissant dans le champ de l’éducation et de la formation en raison des nouvelles possibilités qu’il offre pour soutenir l’apprentissage, notamment en ce qui concerne l’accès au savoir, la collaboration ou la communication. Dans ce contexte, prendre appui sur l’intégration des technologies numériques comme valeur ajoutée dans les pratiques d’enseignement et d’apprentissage exige de l’enseignant des compétences nouvelles (Burton et al., 2011; Papi, 2016; Roy et al., 2020).

De nombreuses activités de recherche et de pratique s’appuient sur le cadre conceptuel TPaCK (Technological Pedagogical and Content Knowledge ou, en français, Technologie, Pédagogie et Contenu disciplinaire), proposé par Mishra et Koehler (2006), pour décrire et comprendre les conditions d’intégration des technologies numériques dans l’enseignement ou pour guider la formation et l’accompagnement des enseignants dans le développement de leurs pratiques éducatives (Voogt et al., 2013). Selon le cadre du TPaCK, le succès de l’intégration des technologies numériques en formation dépend de la capacité des enseignants à combiner les connaissances liées à la technologie, celles qui sont liées à la pédagogie et celles qui sont liées aux contenus disciplinaires à enseigner. Bien que très populaire, le TPaCK se voit parfois reprocher son caractère trop généraliste (Graham, 2011; Kimmons, 2015). Ce point d’achoppement a conduit à l’émergence d’extensions du cadre conceptuel original. Parmi celles-ci, le modèle de Bachy (2014), soit le modèle théorique du savoir technopédagogique disciplinaire (STPD) est, à notre connaissance, le seul qui intègre la dimension de l’épistémologie personnelle, c’est-à-dire les croyances et les perceptions entretenues par l’enseignant à l’égard du savoir. Selon Berthiaume (2007), l’épistémologie personnelle d’un enseignant influe sur ses pratiques d’enseignement dans la mesure où elle oriente ses choix en ce qui concerne les savoirs à enseigner, les méthodes à mettre en oeuvre ou encore les modèles pédagogiques à partir desquels organiser l’enseignement. Cette influence est peut-être encore plus importante chez les enseignants des cycles supérieurs dont la formation initiale ne prépare pas à l’enseignement, mais se concentre sur l’acquisition de connaissances disciplinaires et scientifiques (St-Pierre & Lison, 2009). D’après Bachy et Berthiaume (2017), les enseignants des cycles supérieurs ont en effet tendance à reproduire ce qu’ils ont eux-mêmes connu au cours de leur scolarité. Pour accomplir leurs tâches d’enseignement, ils puisent dans les méthodes et dans les stratégies pédagogiques qui ont soutenu leur apprentissage, guidés par leur épistémologie personnelle.

Cette recherche s’inscrit dans le projet de développement d’un dispositif d’autoformation dynamique pour l’innovation (DADI) qui vise à permettre aux enseignants des cycles supérieurs qui enseignent en ligne de se situer du point de vue de leurs pratiques. Ce projet cherche également à orienter ces professionnels vers des ressources éducatives adaptées à leurs besoins de diversification ou d’évolution de leurs activités d’enseignement. En outre, les personnes qui soutiennent la formation, l’encadrement ou l’accompagnement des enseignants, par exemple les conseillers pédagogiques, pourront aussi s’approprier cet outil (Proust-Androwkha & Meyer, à paraître). Dans ce contexte, nous nous inscrivons dans une démarche d’autoévaluation. Selon le dictionnaire des concepts de la professionnalisation, l’autoévaluation signifie une implication personnelle du sujet dans l’évaluation de ses actions (Paquay, 2014). En ce sens, elle consiste à produire soi-même un jugement de valeur de qualité ou d’acceptabilité, par exemple, sur son activité ou sur ses résultats.

L’objectif de l’étude était de valider un outil d’autoévaluation intégré au dispositif DADI qui prend appui sur le modèle de Bachy (2014).

Dans un premier temps, nous posons un éclairage sur le modèle théorique du savoir technopédagogique disciplinaire. Dans un deuxième temps, nous présentons la méthodologie mise en place pour concevoir et adapter l’outil d’autoévaluation DADI à partir du modèle-outil STPD en fonction de nos objectifs de recherche. Nous exposons, dans un troisième temps, les phases de validation qualitative, puis quantitative. Enfin, nous présentons les principaux résultats issus d’analyses factorielles et discutons de ces résultats.

Le modèle du savoir technopédagogique disciplinaire dérivé du cadre conceptuel du TPaCK et du modèle SPD

Le modèle théorique du savoir technopédagogique disciplinaire (STPD) porte sur les connaissances que doivent développer les enseignants en vue d’une intégration pédagogique efficace du numérique dans leurs pratiques, et ce, dans la perspective de favoriser les apprentissages des personnes apprenantes (Alexandre et al., 2022). Développé par Bachy (2014), il s’appuie sur deux modèles théoriques, soit le TPaCK et le modèle du savoir pédagogique disciplinaire (SPD). Le premier modèle, le TPaCK (Mishra & Koehler, 2006), est lui-même une extension du cadre Pedagogical Content Knowledge[1] (PCK) proposé par Shulman (1986) qui combine les connaissances de contenu (discipline à enseigner) et les connaissances pédagogiques (pratiques, processus, stratégies, méthodes d’enseignement et d’apprentissage). Le TPaCK ajoute la dimension technologique; il décrit l’ensemble des connaissances pédagogiques, technologiques, disciplinaires que l’enseignant devrait activer pour développer une pratique pédagogique efficace avec le numérique. Le TPaCK vise à s’assurer de la cohérence entre des choix didactiques, pédagogiques et technologiques ainsi que de celle de leurs articulations. Le second modèle sur lequel repose le STPD est le modèle du SPD de Berthiaume (2007) qui ajoute la dimension de l’épistémologie personnelle au modèle PCK de Shulman (1986). L’épistémologie personnelle, entendue au sens de l’auteur, se définit par les convictions, implicites ou non, qu’un enseignant a sur le savoir et sur l’acte de savoir, sur la construction du savoir et sur l’évaluation de ce dernier. Ces convictions sont des croyances auxquelles l’enseignant est attaché, bien qu’il ne les ait pas nécessairement testées ou validées dans le cadre de sa pratique. Rege Colet et Berthiaume (2009) soulignent qu’elles sont susceptibles de nuire à l’enseignement :

la vision qu’entretient un enseignant universitaire à l’égard du savoir en général et de son développement peut parfois agir à titre d’agent de médiation entre les processus de pensée à l’égard de l’enseignement et les caractéristiques spécifiques affectant l’enseignement dans sa discipline tel qu’il les perçoit
p. 148

Autrement dit, en l’absence de connaissances, ce serait à ses convictions que l’enseignant se référerait pour enseigner.

Le modèle du STPD élaboré par Bachy (2014), représenté à la figure 1, qui repose à la fois sur le modèle du TPaCK et sur la dimension de l’épistémologie personnelle, comporte quatre composantes fondamentales. Ces composantes sont interreliées et se structurent selon trois niveaux, mettant ainsi en avant le caractère complexe, multiforme et situé de l’enseignement supérieur.

Figure 1

***Modèle théorique du savoir technopédagogique disciplinaire (d’après Bachy, 2014)***

Au premier niveau, le STPD met en évidence quatre domaines de connaissances primaires : 1) la culture disciplinaire (D), 2) les connaissances pédagogiques (P), 3) les connaissances technologiques (T) et 4) l’épistémologie personnelle (E). À leurs intersections se forme un deuxième niveau hybride avec six relations logiques : 1) les connaissances pédagogiques reliées aux connaissances disciplinaires (PD), 2) les connaissances technologiques reliées aux connaissances disciplinaires (TD), 3) les connaissances technologiques reliées à l’épistémologie personnelle (TE), 4) les connaissances pédagogiques reliées à l’épistémologie personnelle (PE), 5) les connaissances disciplinaires reliées à l’épistémologie personnelle (DE) et 6) les connaissances technologiques reliées aux connaissances pédagogiques (TP). Le troisième niveau est formé par le chevauchement des six relations précédentes donnant lieu à l’émergence de quatre interrelations : PDE, TDE, TPD et TPE. Au total, le modèle du STPD repose donc sur une combinaison de 14 dimensions, comme l’illustre le tableau 1.

Tableau 1

***Les 14 formes de connaissances du modèle STPD (Bachy, 2014)***

Le modèle théorique du STPD s’accompagne d’un outil d’autopositionnement (Bachy, 2014) qui permet de tester ces formes de savoirs par l’évaluation de la perception qu’a l’enseignant de sa capacité à agir dans sa pratique au sein d’un environnement en ligne. Dans une étude de 2014, l’auteure indique avoir procédé à la validation de 10 des 14 dimensions du STPD avec 28 items. Pour ce faire, nous avons mené une analyse de validité avec un groupe pilote (N = 4), suivie d’une analyse de corrélation des items par dimension (N = 55).

Méthodologie

Afin de concevoir, puis de valider l’outil d’autoévaluation intégré au dispositif DADI, il a fallu suivre une démarche en quatre étapes, permettant d’abord son élaboration, ensuite une évaluation qualitative de son contenu et enfin une évaluation statistique de sa validité. Ces quatre étapes sont : 1) l’élaboration des items, 2) la validation qualitative des items en deux temps (jugement d’experts et prétest), 3) la validation de la structure de l’outil par analyse factorielle exploratoire, puis 4) la validation de la structure de l’outil par analyse factorielle semi-confirmatoire. La figure 2 présente le plan de la démarche méthodologique.

Figure 2

***Plan de la démarche méthodologique***

L’élaboration des énoncés de l’outil d’autoévaluation DADI

La première étape a consisté à élaborer l’outil d’autoévaluation DADI. Calqué sur les trois niveaux du modèle-outil du STPD de Bachy (2014), l’outil se compose de trois volets. Pour concevoir les deux premiers, nous avons transposé les 28 énoncés de l’outil d’autopositionnement du STPD, qui évalue la perception qu’a l’enseignant de sa capacité à agir dans sa pratique (je suis capable de faire), en nous attachant aux pratiques en matière de réussite de réalisation (je parviens à faire). D’autres énoncés pour les 10 dimensions relevant des niveaux 1 et 2 du modèle STPD ont été ajoutés afin de cibler plus précisément les pratiques.

Concernant les quatre dimensions du niveau 3 du modèle théorique STPD, il n’a pas été possible de nous appuyer sur l’outil d’autopositionnement proposé par Bachy (20114) puisque cet outil ne couvre pas les trois niveaux du modèle théorique[2], mais uniquement les deux premiers. Afin de compléter le troisième volet de l’outil DADI, nous nous sommes appuyés à la fois sur une recension de la littérature et sur une enquête de terrain, qui ont été menées en amont de cette recherche, dans le but de cibler les principaux enjeux et défis liés à la formation à distance et aux besoins de formation des enseignants qui en découlent (Desrochers et al., 2022). L’élaboration des énoncés pour ce troisième niveau reposent ainsi sur les préoccupations et sur les besoins qui n’avaient pas été ciblés dans les énoncés de l’outil STPD au sein des niveaux 1 et 2.

La version initiale de l’outil d’autoévaluation DADI comporte, comme le montre le tableau 2, trois volets au sein desquels se répartissent 74 items.

Chaque dimension fournit plusieurs énoncés : chacun d’eux représente un aspect spécifique du type de connaissances impliqué par la dimension. L’un des énoncés est donné dans l’exemple suivant :

Dimension technologique (T1) : Je parviens à assurer le bon déroulement technique de mes rencontres synchrones (en direct) avec les étudiant·e·s. Ex. Gestion de ma connexion, mise en place d›une procédure d›urgence (plan B) en cas de panne...

Tableau 2

***Portrait de l’outil d’autoévaluation DADI***

Les énoncés étaient présentés sous la forme d’une échelle de type Likert à quatre modalités qui permettait au répondant d’exprimer son degré de désaccord ou d’accord (pas du tout d’accord, peu d’accord, plutôt d’accord, tout à fait d’accord). Une option de réponse « Ne s’applique pas » était également disponible. Nous avons retenu un nombre pair dans le choix de réponses afin d’éviter la tendance aux réponses médianes (sans opinion). Ce choix, qui oblige à prendre position, nous a paru approprié au regard des objectifs de l’outil d’autoévaluation DADI.

L’évaluation qualitative de l’outil d’autoévaluation DADI

Une fois les 74 items élaborés, nous avons mené une évaluation interne qualitative, puis une évaluation externe qualitative.

Dans un premier temps, nous avons invité des experts chercheurs du domaine des sciences de l’éducation (N = 7) à évaluer l’outil préliminaire et à donner une appréciation suivant plusieurs critères tels que la cohérence des énoncés par rapport à l’objectif initial, leur intelligibilité, la non ambiguïté du vocabulaire, l’utilité des énoncés (non-redondance), les choix de réponses, le nombre de réponses, etc. (Bouletreau et al., 1999). En tenant compte des commentaires de ces experts, nous avons apporté plusieurs modifications à l’outil, procédé à des reformulations et modifié les options de réponses aux énoncés.

Dans un second temps, nous avons procédé à une validation externe qualitative de contenu. Ainsi, nous avons sollicité un nombre restreint d’enseignants des cycles supérieurs, de disciplines volontairement variées et hors du domaine des sciences de l’éducation afin de prétester l’outil (N = 5). L’objectif était de nous assurer de la compréhension des consignes et des items pour un public non spécialiste des sciences de l’éducation. Parmi les remarques émises, soulignons une attente de simplification du vocabulaire, l’ajout d’exemples pour certains énoncés afin d’en faciliter la compréhension et de distinguer, notamment, ce qui relève des domaines de la pédagogie et des contenus disciplinaires. Nous avons pris ces suggestions en compte pour réviser l’outil en conséquence. À l’issue de la validation qualitative, nous avons conservé 72 énoncés sur 74.

L’évaluation quantitative de l’outil d’autoévaluation DADI par analyse factorielle

À la suite de la phase d’évaluation qualitative, un échantillon constitué d’enseignants et de chargés de cours universitaires francophones de la province du Québec a réalisé une évaluation quantitative de l’outil d’autoévaluation DADI. Le public cible a reçu un courriel d’invitation à remplir un questionnaire en ligne sur l’application de sondage LimeSurvey, par l’intermédiaire des directions facultaires ou de départements des 13 établissements universitaires du Québec[3] au printemps 2022. De plus, les comités d’éthique de la recherche des universités correspondantes ont donné leur approbation au projet de recherche. Pour participer à l’enquête, les répondants devaient enseigner au moins un cours en modalité à distance ou hybride. La passation du questionnaire s’est réalisée en autoadministration et de manière volontaire. Le questionnaire comportait deux parties : la première avait pour but de recueillir des données sociodémographiques des répondants et la seconde concernait l’outil d’autoévaluation DADI en tant que tel.

La validation quantitative d’un outil de mesure se fait généralement au moyen d’analyses factorielles. Avec la technique de l’analyse factorielle exploratoire, notre objectif était d’identifier les facteurs latents exprimés au travers des corrélations observées entre les items de notre outil de mesure (Achim, 2020; Bourque et al., 2006; Fabrigar et al., 1999) et, ce faisant, de déterminer dans quelle mesure ces facteurs se rapportent aux 14 dimensions du STPD. Nous avons ensuite procédé à l’analyse factorielle semi-confirmatoire pour tester les structures retenues lors de l’analyse factorielle exploratoire. Dans le cadre de cette étude, nous avons utilisé le logiciel statistique XLSTAT pour Excel, version 2022.3.1 (Addinsoft, France) et le logiciel open-source JASP, version 0.16.4.0 (Department of Psychological Methods, University of Amsterdam, Pays-Bas) pour mener les différentes opérations statistiques. Nous les décrivons ci-après.

La vérification préliminaire des données en vue d’une analyse factorielle

Afin de conduire une analyse factorielle exploratoire, il convient de s’assurer que les données constituent un ensemble suffisamment cohérent pour qu’il soit raisonnable d’y chercher des dimensions communes (Evrard et al., 2003). Ainsi, quatre opérations ont servi à vérifier la validité des données : 1) une vérification de l’homogénéité de l’échantillon, 2) une analyse de corrélation interitems, 3) une vérification de la qualité d’échantillonnage de la matrice à l’aide du coefficient de Kaiser-Meyer-Olkin (KMO) et enfin 4) un test de sphéricité de Bartlett.

L’homogénéité de l’échantillon

Pour répondre aux exigences de l’analyse factorielle, il a fallu vérifier l’homogénéité de l’échantillon. Cette étape consistait à relever, puis à écarter des distributions inattendues de réponses, ce qui est par exemple le cas lorsqu’un répondant a sélectionné systématiquement le même choix de réponse sur l’ensemble du questionnaire. De même, ont été exclus de l’analyse les questionnaires qui présentaient un pourcentage de réponse « Ne s’applique pas » ou un pourcentage de données manquantes supérieur à 10 % (Bennet, 2001).

L’analyse de corrélation interitems

Une matrice de corrélation polychorique interitems a ensuite été produite afin de vérifier que les items rattachés aux dimensions étaient minimalement corrélés entre eux. Bien que l’analyse de corrélation de Pearson soit la plus couramment utilisée, ce n’est pas l’analyse qui a été privilégiée pour les données recueillies. En effet, la nature ordinale des scores des items a justifié l’expression d’une matrice polychorique (Olson et al., 1982).

Un barème d’interprétation spécifique au coefficient de corrélation polychorique n’étant, à notre connaissance, pas disponible dans la littérature, nous avons réalisé l’interprétation des coefficients de corrélation obtenus à partir du barème proposé par Cohen (1988), où une relation est considérée élevée si le coefficient de corrélation est supérieur ou égal à 0,50; modérée, si supérieur ou égal à 0,30 et inférieur à 0,50; faible, si supérieur ou égal à 0,10 et inférieur à 0,30.

La qualité d’échantillonnage de la matrice de corrélation

Nous avons relevé la mesure de l’adéquation de l’échantillonnage de KMO afin de nous assurer que les caractéristiques de l’ensemble des données convenaient à une analyse factorielle exploratoire. La valeur de l’indice KMO est comprise entre 0 et 1. Pour être conservée dans l’analyse, une variable doit obtenir un indice minimal de 0,50 (Kaiser & Rice, 1974). Pour juger de l’indice de KMO, Kaiser (1974) a établi la règle d’interprétation suivante : inacceptable en dessous de 0,50, négligeable entre 0,50 et 0,59, médiocre entre 0,60 et 0,69, moyen entre 0,70 et 0,79, méritoire entre 0,80 et 0,89 et merveilleux au-delà de 0,90.

Le test de sphéricité de Bartlett

Nous avons réalisé un test de sphéricité de Bartlett afin de tester l’hypothèse nulle selon laquelle la matrice des corrélations est déterminée à partir d’un échantillon doté d’une matrice d’identité. Selon plusieurs auteurs (Field et al., 2012; Hair et al., 2022), la matrice d’identité doit contenir des valeurs de corrélation faibles (p < 0,05) pour qu’une analyse factorielle soit faisable.

L’analyse factorielle exploratoire

L’analyse factorielle exploratoire est l’une des méthodes quantitatives par lesquelles une compréhension des items d’outil de mesure en ce qui a trait aux dimensions plus abstraites (facteurs) est recherchée à partir des données observées (Achim, 2020). Ce type d’analyse permet de déterminer le nombre de facteurs latents qui peut être déduit des données observées. Les facteurs latents ne peuvent être mesurés au moyen d’une seule variable (item); ils se manifestent plutôt à travers les relations qu’ils suscitent dans un ensemble de variables observées. Pour estimer le nombre de facteurs à retenir, le pourcentage de variance expliquée, le test de l’éboulis de Cattell (1966), la règle de Kaiser (1960) ainsi que l’analyse parallèle (Humphreys & Montanelli, 1975) ont pu être mobilisés. Dans cette étude, la méthode d’extraction par facteurs communs a utilisé la factorisation en axe principal (principal axis factoring); l’extraction factorielle a été complétée par une rotation oblique Oblimin pour le calcul des saturations factorielles de chaque item à partir de la matrice des corrélations polychoriques (Pett et al., 2003). La valeur des corrélations entre items (r ≥ 0,30) a été définie comme seuil minimal d’acceptabilité pour une saturation factorielle recevable.

L’analyse factorielle semi-confirmatoire

Afin de vérifier l’ajustement aux données de l’échantillon des structures factorielles établies lors des analyses factorielles exploratoires, nous avons mené des analyses factorielles semi-confirmatoires (modelage exploratoire par équations structurelles) pour chacun des trois volets (Bourque et al., 2006). Pour ce faire, nous avons utilisé quatre indices : 1) l’indice d’ajustement comparatif (Comparative Fit Index (CFI)), 2) l’indice de Tucker-Lewis (Tucker-Lewis index (TLI)), 3) la racine carrée de l’erreur quadratique moyenne d’approximation (Root mean square error of approximation (RMSEA)) et 4) la valeur moyenne quadratique pondérée (Standardised root mean square residual (SRMR)). Les recommandations générales suggèrent que les valeurs du CFI et du TLI doivent être supérieures à 0,90 pour statuer sur un bon ajustement du modèle (Bentler, 1990). Les valeurs du RMSEA et du SRMR, se situant respectivement entre 0,05 et 0,08, indiquent un ajustement satisfaisant du modèle aux données (Byrne, 1998; Diamantopoulos & Siguaw, 2000, Hu & Bentler, 1999; Steiger, 1989). Enfin, le coefficient oméga (ω) de McDonald a servi pour estimer la fidélité des modèles factoriels selon les recommandations de Bourque et al. (2019). Le coefficient de consistance interne (ω) tient compte de la force de l’association entre les items et un construit, d’une part, et entre les items et l’erreur de mesure, d’autre part. Plus ce coefficient est élevé, plus le score est dit consistant, c’est-à-dire moins il contient d’erreurs. Une valeur égale ou supérieure à 0,70 témoigne d’une fidélité satisfaisante.

Résultats

Dans cette partie, nous décrivons l’échantillon, les résultats des opérations préliminaires effectuées pour vérifier que les données satisfont aux exigences des analyses factorielles, d’abord exploratoires, puis semi-confirmatoires.

La description de l’échantillon

Comme indiqué précédemment, nous avons effectué l’évaluation statistique de l’outil d’autoévaluation DADI auprès d’un échantillon formé d’enseignants et de chargés de cours universitaires qui enseignent au moins un cours à distance ou en mode hybride. Au total, 241 personnes ont participé à l’étude mais seuls 173 questionnaires ont été retenus dans les analyses (voir le paragraphe intitulé L’homogénéité de l’échantillon). Le tableau 3 présente les caractéristiques sociodémographiques des 173 personnes dont les réponses ont été retenues.

Les résultats des analyses factorielles

En considérant les réponses analysées à partir de l’échantillon global (N = 241), rappelons que nous avons retenu 173 questionnaires intégralement remplis et répondant aux exigences de l’analyse factorielle pour les analyses quantitatives.

Les coefficients de corrélation polychorique entre les items rattachés à une même dimension ont montré des corrélations significatives qui varient de r = 0,261 à r = 0,871. Seule une paire d’items de la dimension liant la pédagogie, la discipline et l’épistémologie personnelle (PDE) présentait une faible corrélation (PDE4/PDE2 où r = 0,171). Les items d’une même dimension étaient en revanche plus diversement corrélés avec les items relevant des autres dimensions mais ces corrélations n’étaient jamais nulles.

Tableau 3

***Résumé des données sociodémographiques (N = 173)***

Les indices du coefficient KMO de chaque groupe d’items ont été relevés pour chacun des trois volets de l’outil, tel que l’illustre le tableau 4. Les indices obtenus sont jugés excellents, se situant entre 0,710 et 0,879, et indiquent que les corrélations entre les items de chaque dimension sont de bonne qualité. La qualité de l’échantillonnage, quant à elle, est moyenne ou excellente.

Tableau 4

***Récapitulatif des mesures de l’adéquation de l’échantillonnage KMO***

Enfin, les tests de sphéricité de Bartlett se sont tous révélés significatifs (p < 0,0005), ce qui a permis de rejeter l’hypothèse nulle selon laquelle les matrices de corrélation correspondaient à des matrices d’identité.

Les analyses préalables ont permis de conclure que les données satisfaisaient aux critères psychométriques d’une solution factorielle et donc que des analyses factorielles exploratoires pouvaient être réalisées sur les données.

Les analyses factorielles exploratoires

Nous avons conduit une analyse factorielle exploratoire sur plusieurs structures hypothétiques pour chacun des trois volets de l’outil DADI. Nous avons d’abord procédé à des analyses pour le volet 1, à partir des 22 items relatifs aux dimensions D, P, T et E. Puis, nous avons mené des analyses pour le volet 2 à partir des 30 items que composent les dimensions DE, DP, DT, PE, TE, PT, ET. Enfin, nous avons réalisé des analyses pour le volet 3 avec 20 items pour les dimensions TPE, TPD, TDE, PDE. Comme le construit du STPD suggère une corrélation entre ses différentes dimensions (Bachy, 2014), une rotation oblique Oblimin a été appliquée.

Les résultats issus des analyses factorielles pour le niveau 1

Une analyse factorielle conduite avec la méthode d’extraction en axes principaux (rotation Oblimin 0.2) a d’abord fourni un regroupement des 22 items en cinq facteurs (avec un total de variance expliquée de 61,81 %[4]). Toutefois, nous avons rapidement écarté le modèle à cinq facteurs puisque l’un des facteurs ne comportait qu’un seul item (D6). La solution finalement retenue repose sur une analyse à quatre facteurs, fournissant un résultat pour une variance totale expliquée de 58,97 %. Nous avons également supprimé deux items (D5 et E5), compte tenu de trois critères : une saturation inférieure à 0,40 sur l’un des facteurs, une saturation croisée sur plusieurs facteurs et/ou une part trop importante de variance spécifique[5] de chaque item.

Le tableau 5 présente les 19 items retenus pour le volet 1 de l’outil DADI. Ces items sont répartis en quatre facteurs qui renvoient aux quatre dimensions du niveau primaire décrites dans le modèle théorique du STPD.

Les résultats de l’analyse factorielle pour le volet 2

Plusieurs analyses factorielles exploratoires ont été menées à partir des 30 items du volet 2 de l’outil DADI en conservant les mêmes paramètres que pour le volet 1 (méthode d’extraction en axes principaux, rotation Oblimin). La solution à trois facteurs est apparue comme la plus plausible avec une variance totale expliquée de 61,47 % et une allocation par facteur d’au moins trois items. Comme l’illustre le tableau 6, les items relatifs aux dimensions TP et TD se placent sous un même facteur F1. Les items correspondant aux dimensions DE, PE et PD se situent sous le facteur F2 tandis que les items relatifs à TE se répartissent sous un seul facteur F3. Compte tenu de ces résultats, nous avons retenu 25 items. Les items TP5, TE1, DE2, DE5, PE2 et PD3 ont été écartés, soit parce que la saturation calculée pour ces items n’atteignait pas le seuil d’acceptabilité, soit parce que cette saturation ne permettait pas une allocation univoque sous un seul facteur, soit à cause d’une part trop importante de variance spécifique de l’item (unicité).

Tableau 5

***Structure factorielle du volet 1 en quatre facteurs après rotation Oblimin***

Les résultats de l’analyse factorielle pour le volet 3

Nous avons testé plusieurs structures factorielles pour le volet 3 (rotation Oblimin 0.2). La solution factorielle finalement retenue se compose de quatre facteurs avec une variance totale expliquée de 61,66 %. Comme l’illustre le tableau 7, la plupart des items présentent une répartition sous les quatre facteurs qui correspond à la description du troisième niveau du modèle théorique du STPD. Comme pour les analyses des volets 1 et 2, les items qui ne se plaçaient pas de manière univoque sous un seul facteur, qui ne satisfaisaient pas au seuil minimal d’acceptabilité recommandé (Comrey & Lee, 2013) ou qui avaient un indice d’unicité trop fort avec les facteurs ont été écartés. Finalement, nous avons retenu 17 items sur 20 pour le volet 3.

Tableau 6

***Structure factorielle du volet 2 retenue après rotation***

Tableau 7

***Structure factorielle du volet 3 en quatre facteurs après rotation Oblimin***

L’interprétation des résultats du volet 2

À partir des items retenus pour le volet 2 à l’issue des analyses factorielles exploratoires, nous avons produit une matrice de corrélation polychorique en regroupant ces items en six dimensions conformément au modèle STPD, afin de déceler des causes possibles de toute disparité observée et de faciliter l’interprétation des résultats. La matrice figure dans le tableau 8.

Tableau 8

***Matrice de corrélation polychorique***

D’abord, les analyses factorielles pour le volet 2 de l’outil d’autoévaluation DADI rapportent une structure factorielle où les connaissances technopédagogiques (TP) et technodisciplinaires (TD) sont regroupées au sein d’un même facteur. À l’instar des études menées par Bachy (2014) et dans celle d’Archambault et Crippen (2009) basée sur le TPaCK, c’est entre les dimensions TD et TP que la corrélation relevée est la plus forte (r = 0,818). Dans son article, Bachy (2014) soulignait déjà que des tests psychométriques complémentaires gagneraient à être menés pour évaluer la redondance de la dimension technologique dans l’association TD et TP. Les résultats de notre étude suggèrent que, dans l’association TD et TP, c’est la part prise par les connaissances technologiques qui domine : si l’enseignant parvient à utiliser le numérique pour élaborer ses contenus (TD), il parvient également à l’utiliser au service de la transmission de contenus (TP). D’un autre point de vue, nous pourrions également considérer que lorsqu’un enseignant combine le numérique avec la discipline (TD), cela influence fortement ses choix pédagonumériques (TP) et/ou inversement.

Ensuite, des résultats des analyses factorielles conduites à partir de notre échantillon[6], nous retenons que la dimension TE est la seule du volet 2 à ne pas être regroupée avec une ou plusieurs autres dimensions. Dans la matrice de corrélation, elle est toutefois corrélée aux dimensions TP (r = 0,619) et TD (r = 0,601). Quand l’enseignant dit faire des choix technologiques en fonction de son épistémologie personnelle (TE), cela influence fortement ses choix technopédagogiques (TP) et technodisciplinaires (TD).

Par ailleurs, les résultats issus des analyses factorielles rassemblent les dimensions DE, PE et PD au sein d’un même facteur. Sur ce point encore, nos résultats diffèrent du modèle du STPD qui stipule que ces dimensions, bien que corrélées, ne forment pas une seule et même dimension. La forte corrélation établie entre DE et PE (r = 0,686) ainsi que celles reliant DE à PD (r = 0,697) et PD à PE (r = 0,710) montrent que ces trois dimensions cultivent effectivement une étroite relation entre elles. Nous pourrions avancer l’idée que les connaissances pédagogiques et les connaissances disciplinaires sont finalement intrinsèquement liées par l’épistémologie personnelle et non pas séparées d’elle.

Enfin, la dimension E est fortement corrélée aux dimensions DE (r = 0,699), PE (r = 0,653) et PD (r = 0,538). Cependant, lorsque les dimensions D, P ou E sont liées à la technologie (TD, TP et TE), les corrélations avec E, bien que significatives, sont beaucoup moins fortes. Ainsi, nous pourrions convenir que l’accomplissement d’actions liées aux connaissances pédagogiques ou disciplinaires est influencé par l’épistémologie personnelle de l’enseignant mais que, lorsqu’il faut utiliser les technologies, l’épistémologie personnelle est moins présente. Autrement dit, lorsque l’enseignant doit mettre en rapport les technologies avec les contenus disciplinaires ou la transmission de ceux-ci, il serait davantage guidé par ses connaissances technologiques (Dabove-Foueko & Becerril Ortega, 2020) que par son épistémologie personnelle. Ce n’est pas surprenant dans la mesure où certaines études (Birisci & Kul, 2019; Keser et al., 2015) mettent en lumière le fait que les enseignants ont une perception plutôt élevée de leur sentiment d’efficacité personnelle à intégrer les technologies. Notons à cet égard que notre étude a été menée en contexte postpandémique, période qui a amené les enseignants à entendre parler et à mettre en pratique plus fréquemment la formation hybride ou à distance. Ceci peut avoir eu un effet amplificateur sur les réponses des participants en ce qui concerne leurs connaissances technologiques.

Les résultats issus des analyses factorielles semi-confirmatoires

Pour compléter les analyses factorielles exploratoires, nous avons réalisé des analyses factorielles semi-confirmatoires pour les trois volets de l’outil DADI. La figure 3[7] présente les trois modèles qui s’ajustent le mieux aux données observées (N = 173). Les paramètres estimés sont des coefficients standardisés. Les chiffres sur les flèches unidirectionnelles, allant du facteur à l’item, correspondent à la saturation des items sur les facteurs. Les saturations observées oscillant entre 0,50 et 0,91 dans les trois modèles permettent de qualifier la saturation de bonne à excellente.

Par ailleurs, les résultats des tests d’ajustement, résumés dans le tableau 9 pour les trois volets, rapportent un bon ajustement des modèles.

Tableau 9

Indice d'ajustement comparatif (CFI), indice de Tucker-Lewis (TLI), racine carrée de l’erreur quadratique moyenne d'approximation (RMSEA) et valeur moyenne quadratique pondérée (SRMR)

Enfin, la consistance interne des facteurs et de leurs dimensions a été évaluée à l’aide du coefficient omega de McDonald (ω). Compte tenu des résultats présentés dans le tableau 10, tous les indices sont significatifs et démontrent une excellente consistance interne pour les 11 facteurs, soit une bonne fiabilité des items (Nunnally, 1978).

Figure 3

***Structures factorielles pour les trois volets***

Tableau 10

***Indices de consistance interne***

Conclusion

Cette étude portait sur le développement et la validation d’un outil d’autoévaluation pour les enseignants francophones qui enseignent à distance ou en mode hybride dans les cycles supérieurs, outil basé sur le modèle-outil du savoir technopédagogique disciplinaire (Bachy, 2014).

La méthodologie mise en oeuvre nous a permis d’aboutir à des résultats qui témoignent de qualités psychométriques satisfaisantes pour les trois volets de l’outil. Les analyses factorielles semi-confirmatoires valident une version à 60 items[8] répartis dans 11 facteurs. Les résultats sont proches du modèle théorique du STPD pour les volets 1 et 3 de l’outil d’autoévaluation DADI. En revanche, les résultats pour le volet 2 sont plus contrastés : tandis que le modèle théorique compte six dimensions, (TP), (TD), (TE), (DE), (PE) et (PD), les résultats factoriels retenus à l’issue de nos analyses ne présentent que trois facteurs TP-TD, TE et DE-PE-PD avec une qualité des indices d’ajustement et de fiabilité qui conviennent aux données de l’échantillon.

Dans cette étude, la difficulté de mesurer de manière distincte chacun des construits du niveau 2 du modèle STPD est significative. Malgré les efforts déployés au moment de la validation qualitative de notre outil, efforts marqués notamment par l’ajout d’exemples aux énoncés pour souligner les spécificités de certaines connaissances[9], ces domaines ne semblent pas se distinguer dans la pratique. Bien que le modèle STPD puisse être pertinent pour décrire les caractéristiques des pratiques enseignantes et l’intégration de l’usage du numérique dans ce cadre, les résultats de notre étude invitent à réfléchir à la pertinence de cloisonner certains domaines de connaissances dans la pratique effective.

Il est souhaitable de relever les limites de l’étude, limites qui ouvrent la voie à de futures recherches. L’une d’entre elles réside dans la taille de l’échantillon. Bien que les indices statistiques répondent favorablement à un bon ajustement des structures factorielles, il aurait été préférable de bénéficier d’un nombre plus important de données pour obtenir des résultats plus robustes (Hair et al., 2022). De plus, les données recueillies proviennent de répondants qui enseignent majoritairement en sciences humaines et sociales (65,31 %). En disposant de taux de réponses plus équilibrés entre les domaines académiques (sciences de la santé, sciences humaines et sociales, sciences pures et appliquées), nous aurions pu tester l’influence du domaine enseigné sur la stabilité des résultats. Enfin, la méthode de collecte de données par questionnaire, qui repose sur la déclaration autonome de pratiques, pourrait avoir introduit un biais. En effet, même si elles ne sont pas en accord avec les énoncés, les personnes soumises à une mesure d’autoévaluation ont tendance à répondre de manière positive aux items désirables socialement et à délaisser ou à nier les composantes peu acceptables qui s’y rattachent. Bien qu’il ait été explicité aux répondants que leur participation était anonyme et que la recherche visait à évaluer les qualités psychométriques de l’outil, et non pas leurs pratiques en tant que telles, il n’a pas été possible d’estimer ce biais de désirabilité sociale dans les réponses rapportées. Nous pouvons toutefois penser qu’il puisse être amoindri par le fait que les énoncés proposés soient formulés en ce qui concerne la réussite de réalisation et non la perception de capacité.

Au-delà de l’objectif de validation de l’outil d’autoévaluation DADI, le projet global dans lequel s’inscrit cette recherche vise la mise en place d’un dispositif d’autoformation au service de la formation continue de l’enseignant des cycles supérieurs. Si le questionnaire constitue une méthode de recueil de données pertinente dans le cadre d’une autoévaluation, il ne saurait toutefois constituer à lui seul une ressource suffisante, ne serait-ce que parce qu’une personne tend à avoir des perceptions d’elle-même qui ne reflètent pas fidèlement la réalité (Kaddouri, 2008). Un décalage entre les croyances pédagogiques et les pratiques pédagogiques effectives peut également être relevé (Lawless & Pellegrino, 2007). Le fait d’avoir recours à d’autres types de données (observations, entretiens, évaluations pédagogiques) permettrait de diversifier les méthodes de recueil de données (Pires, 1997), de croiser des analyses de données plus variées (données déclarées et exposées) afin de mieux cibler les besoins de formation de l’enseignant. Nous envisageons que l’outil d’autoévaluation DADI puisse servir de levier pour favoriser le développement professionnel pédagogique des enseignants.

En leur permettant d’analyser leurs pratiques pédagonumériques et en les dirigeant vers des ressources éducatives adaptées à leurs besoins de formation, DADI se profile comme une occasion de construire des connaissances qui soutiennent un développement professionnel à la fois contextualisé et personnalisé.

Toutefois, bien qu’un tel dispositif d’autoformation puisse stimuler une réflexion sur les méthodes pédagogiques, l’application effective de ces nouvelles connaissances dans la pratique n’est pas garantie. Comme le soulignent Tardif et Meirieu (1996), un ancrage de ces apprentissages dans la pratique constitue une part importante de la capacité d’adaptation et du développement professionnel de l’enseignant. Il nécessite des approches multiples plutôt qu’isolées. En tirant parti de dispositifs comme DADI, et grâce à des formations continues, à des accompagnements et à d’autres services qui renforcent leur autonomie, les enseignants pourraient bénéficier d’un meilleur soutien pour améliorer leurs pratiques. Par ailleurs, il est essentiel que les enseignants s’engagent dans des activités de formation continue, mais cela nécessite une reconnaissance institutionnelle à la hauteur de leur implication.

À l›instar de Poumay (2011), nous pensons qu’il est important que les établissements renforcent leur soutien, par des mesures concrètes, pour mieux valoriser ces efforts. Parmi les actions à retenir, nous pouvons citer la décharge de tâches administratives, la reconnaissance des activités de conception pédagogique et d’innovations numériques ou encore, la valorisation des projets pédagogiques collaboratifs et pluridisciplinaires. Bien que certains établissements aient déjà mis en place ce type d’initiatives, une approche systématique permettrait d’encourager plus largement les enseignants à relever le défi majeur de leur développement professionnel continu.

Note de l’auteur

Résumé

Abstract

Resumo

Introduction

Le modèle du savoir technopédagogique disciplinaire dérivé du cadre conceptuel du TPaCK et du modèle SPD

Méthodologie

L’élaboration des énoncés de l’outil d’autoévaluation DADI

L’évaluation qualitative de l’outil d’autoévaluation DADI