
Mesure et évaluation en éducation
Volume 47, numéro 2, 2024
Sommaire (6 articles)
-
La validité de l’examen pratique sous le regard des experts en formation professionnelle initiale dans la branche du commerce de détail en Suisse
David Jan
p. 1–38
RésuméFR :
En Suisse, en formation professionnelle initiale dans la branche du commerce de détail, la diplomation passe par l’examen pratique dans l’entreprise formatrice de l’apprenti. Cet examen, certificatif et éliminatoire, dure entre une heure et une heure et demie, selon le type de formation. Il est conduit par deux professionnels du domaine nommés experts. Les buts de cette étude sont, d’une part, de comprendre la validité attribuée par les experts à l’examen pratique et, d’autre part, de définir les raisons de cette évaluation. Pour y parvenir, un échantillon de 189 experts a répondu à un questionnaire sur la validité de cet examen. Les données ont été traitées par des analyses factorielles exploratoires. Nous avons ensuite extrait trois profils d’experts par classes latentes. Les résultats de cette étude ont permis de mettre en évidence, parmi les experts, une hétérogénéité de profils. Ils se différencient selon leur expérience en tant qu’expert et selon leur langue.
EN :
In Switzerland, at the end of their initial vocational education, retail apprentices take a practical examination at the company where they are being trained. This examination, which is both certifying and eliminating, lasts between one and one and a half hours, depending on the type of training. It is conducted by two professionals in the field known as examiners. The objectives of this study are, firstly, to understand the validity attributed to the practical examination by the examiners and, secondly, to define the reasons for this assessment. To achieve this, a sample of 189 examiners answered a questionnaire on the validity of this examination. The data were processed by exploratory factor analysis, and three expert profiles were extracted by latent classes. The results of this study highlighted the heterogeneity of the examiners profiles. They differ according to their experience as examiners and their language.
PT :
Na Suíça, na formação profissional inicial no setor do comércio a retalho, a atribuição de diplomas é feita através de um exame prático realizado na empresa formadora do aprendiz. Este exame, de caráter certificativo e eliminatório, tem uma duração de uma hora a uma hora e meia, dependendo do tipo de formação. É conduzido por dois profissionais da área, designados como peritos. Os objetivos deste estudo são, por um lado, compreender a validade atribuída pelos peritos ao exame prático e, por outro, identificar as razões dessa avaliação. Para tal, foi utilizado um questionário sobre a validade do exame, respondido por uma amostra de 189 peritos. Os dados foram analisados por meio de análises fatoriais exploratórias, a partir das quais foram extraídos três perfis de peritos através de classes latentes. Os resultados deste estudo evidenciaram uma heterogeneidade de perfis entre os peritos, diferenciando-se pela sua experiência enquanto peritos e pela sua língua.
-
Le développement d’une échelle de mesure de la littératie de l’intelligence artificielle chez les enseignants et les enseignantes du postsecondaire
Alexandre Lepage et Normand Roy
p. 39–69
RésuméFR :
Le personnel enseignant des cégeps et des universités est de plus en plus confronté à des outils d’intelligence artificielle (IA), notamment des outils proposés par leurs établissements ou utilisés par les étudiants et les étudiantes. Or, l’utilisation pédagogique de ces outils exige une certaine compréhension de leur fonctionnement, surtout lorsqu’il est question d’en identifier les limites ou les risques éthiques. À l’heure actuelle, il n’existe aucune mesure précise du niveau de littératie de l’IA du personnel enseignant du postsecondaire. Cette étude propose un questionnaire de 25 items pour mesurer ce niveau de littératie, à partir d’une version initiale de 29 items. Un échantillon de 395 enseignants et enseignantes a été recruté via des listes institutionnelles dans des cégeps et des universités. Des analyses factorielles (exploratoire et confirmatoire) ont été réalisées et ont permis de détecter trois facteurs, soit les connaissances techniques liées à l’IA, la capacité à utiliser des outils d’IA en contexte pédagogique et le niveau de sensibilité aux enjeux éthiques.
EN :
Teaching staff in colleges and universities deal with the growing presence of artificial intelligence (AI) tools, for instance offered by their institution or used by their students. However, the pedagogical use of these tools requires some knowledge about how they work, especially when it comes to address their limitations and recognize the ethical risks they carry. As of today, there is no precise way to measure the level of AI literacy of higher education teachers. This study proposes a questionnaire with 25 items to address this issue, based on a first draft of 29 items. A sample of 395 teachers was recruited through mailing lists of colleges and universities. Exploratory and confirmatory factorial analyses were conducted and allowed the detection of three latent variables: technical knowledge related to AI, level of sensitivity to ethical concerns, and capacity to use AI tools in a pedagogical setting.
PT :
O corpo docente dos cégeps (Colégios de Ensino Geral Profissional) e das universidades confronta-se, cada vez mais, com ferramentas de inteligência artificial (IA), seja por meio de ferramentas propostas pelas suas instituições ou utilizadas pelos próprios estudantes. No entanto, a utilização pedagógica dessas ferramentas exige uma certa compreensão do seu funcionamento, sobretudo para identificar as suas limitações ou os riscos éticos associados. Atualmente, não existe nenhuma medida precisa do nível de literacia em IA dos docentes do ensino pós-secundário. Este estudo propõe um questionário de 25 itens para medir esse nível de literacia, a partir de uma versão inicial de 29 itens. Uma amostra de 395 docentes foi recrutada por meio de listas institucionais em colégios e universidades. Foram realizadas análises fatoriais (exploratória e confirmatória), que permitiram identificar três fatores: conhecimentos técnicos relacionados à IA, nível de sensibilização para questões éticas e capacidade de utilizar ferramentas de IA em contexto pedagógico.
-
L’évaluation-régulation des apprentissages et le geste didactique de régulation de l’enseignement : deux notions reliées à l’échelle d’une séquence sur le récit d’énigme L’Indien de la tour Eiffel
Francisco Andrés Seguel Tapia
p. 70–120
RésuméFR :
Cette recherche étudie l’évaluation-régulation des apprentissages et le geste didactique fondamental de régulation de l’enseignement dans une séquence d’enseignement sur L’Indien de la tour Eiffel. Composée de cinq leçons, elle a été mise en oeuvre dans une classe genevoise de primaire. Pendant les interactions entre l’enseignant et ses élèves, nous interrogeons le geste didactique de régulation et les quatre gestes spécifiques qui le constituent à la lumière de la fonction formative de l’évaluation. Dans nos résultats, nous présentons différentes modalités de ces gestes. Ces modalités comportent certaines opérations enseignantes de régulation nous permettant d’établir des liens théoriques avec l’évaluation-régulation des apprentissages. Celle-ci cherche, entre autres, à soutenir la construction progressive du sens textuel des élèves et s’intègre aux pratiques d’enseignement et d’apprentissage. Par ailleurs et du point de vue situé, les contributions de la classe entretiendraient des relations de coajustement et de codéveloppement avec les régulations étudiées dans la séquence.
EN :
This doctoral research examines the regulation-assessment for learning and the fundamental didactic gesture of teaching regulation in a sequence on L’Indien de la tour Eiffel. Composed of five lessons, it was implemented in a primary school class in Geneva. During the interactions between teacher and students, we question the didactic gesture of regulation and the four specific gestures that constitute it – in the light of the formative function of assessment. In our results, we present different modalities of these four specific gestures. These modalities include certain regulatory teaching operations that allow us to establish theoretical links with the regulation-assessment of learning. The later seeks, among other things, to support students’ progressive construction of textual meaning and is integrated, without temporal interruption, into teaching and learning practices. Moreover, from a situated point of view, the contributions of the class maintain co-adjustment and co-development relationships with the regulations studied in the sequence.
PT :
Esta investigação estuda a avaliação-regulação das aprendizagens e o gesto didático fundamental de regulação do ensino numa sequência didática sobre o conto enigmático e o livro infantil L’Indien de la tour Eiffel. Como parte de uma investigação mais ampla, a referida sequência, composta por cinco aulas, foi implementada numa turma do ensino primário em Genebra. Durante as interações entre o professor e os alunos, analisamos o gesto didático fundamental da regulação do ensino e os quatro gestos específicos que o compõem, à luz da função formativa da avaliação. Os resultados apresentam diferentes modalidades dos quatro gestos específicos, que incluem algumas operações de regulação realizadas pelo professor, permitindo estabelecer conexões teóricas com a avaliação-regulação da aprendizagem. Este processo visa a construção progressiva do sentido textual pelos alunos integrado nas práticas de ensino e aprendizagem. As contribuições da turma mostram uma relação de coajustamento e codesenvolvimento com as regulações observadas na sequência.
-
L’entrevue cognitive : les apports et les limites dans la validation d’un questionnaire
Eliane Dulude, Carole Fleuret, Ludivine Bodar, Marie-Pier Bastien et Marie-Hélène Ayotte
p. 121–151
RésuméFR :
Les politiques d’imputabilité liées aux résultats des tests influencent les pratiques des intervenants scolaires du secondaire, soit les enseignants et les conseillers pédagogiques. Un questionnaire a été adapté afin de mesurer les facteurs sociocognitifs influençant leurs changements pédagogiques en Ontario et au Québec. Afin de l’adapter de façon transculturelle et de le valider, des entrevues cognitives ont été menées auprès de neuf participants par quatre intervieweurs. Une grille d’observation a été créée selon deux types de protocoles utilisés : le protocole à voix haute et les relances. Cette étude se base, d’une part, sur des données quantitatives telles que la durée des entrevues, le nombre et le type de relances et, d’autre part, sur des données qualitatives telles que la qualité et la variété des relances. Nos résultats soulignent ainsi qu’il existe une variation à l’intérieur de ces protocoles qui peuvent s’inscrire sur un continuum en catégorisant les intervieweurs selon trois rôles : passif, modéré et actif.
EN :
Accountability policies linked to test scores influence secondary intervenors’ practices (e.g. teachers and educational consultants). A questionnaire was adapted to measure socio-cognitive factors influencing pedagogical change among secondary school intervenors in Ontario and Quebec. To adapt the questionnaire transculturally and validate it, cognitive interviews were conducted with nine participants by four interviewers. An observation grid was created based on two types of protocols: the think-aloud protocol and the prompting protocol. This study first relies on quantitative data such as interview duration, the number and type of probes. The study, then, uses qualitative data to investigate the quality and variety of their probes. Our results show that there is variation within these protocols, which can be categorized on a continuum into three interviewer roles: passive, moderate and active.
PT :
As políticas de responsabilização ligadas aos resultados dos testes influenciam as práticas dos intervenientes escolares do ensino secundário, nomeadamente professores e consultores pedagógicos. Um questionário foi adaptado para medir os fatores sociocognitivos que influenciam as mudanças pedagógicas destes profissionais em Ontário e Québec. Para garantir uma adaptação transcultural e validar o instrumento, foram realizadas entrevistas cognitivas com nove participantes por quatro entrevistadores. Foi criada uma grelha de observação com base em dois tipos de protocolos utilizados: o protocolo de pensar em voz alta e os estímulos verbais. Este estudo baseia-se, por um lado, em dados quantitativos, como a duração das entrevistas e o número e o tipo de estímulos verbais, e, por outro lado, em dados qualitativos, como a qualidade e a variedade desses estímulos. Os resultados destacam variações dentro desses protocolos, que podem ser categorizadas num continuum com três papéis distintos dos entrevistadores: passivo, moderado e ativo.
-
L’adaptation d’une échelle composite d’évaluation des comportements de promotion de la santé pour les adolescents et les jeunes adultes
Gustave Soh, André Wamba et Mei-Yen Chen
p. 152–193
RésuméFR :
Les outils d’évaluation des comportements de promotion de la santé abondent en anglais alors qu’ils sont rares, voire quasi-inexistants en français. Cet article vise à valider un questionnaire composite d’identification des comportements pro-santé ou à risque. Les dix étapes de l’adaptation des tests/échelles de mesure psychologique de Gana et al. (2021) ont été appliquées aux données collectées auprès de 343 adolescents et jeunes adultes de 15-25 ans (moyenne = 17,6 ± 1,76) ayant rempli un questionnaire de 51 items issus de trois échelles préexistantes. Les analyses factorielles exploratoires et confirmatoires supportent la structure à huit dimensions avec 27 items expliquant 56,69 % des variances : santé spirituelle, relation interpersonnelle, exercice physique, gestion du stress, appréciation de la vie, hygiène du sommeil, responsabilité en santé et soutien social. Le questionnaire composite d’évaluation des comportements de promotion de santé (AHPB-27) est donc valide pour identifier des comportements de promotion de la santé des adolescents et des jeunes adultes en francophonie.
EN :
Introduction. Health promoting behaviour tools abound in English, while they are scarce or almost non-existent in French. This article aimed to validate a composite questionnaire to identify health promoting or risky behaviours. Method. The ten steps of adapting psychological tests/scales provide by Gana et al. (2021) were applied to data collected from 343 adolescents and young adults aged 15-25 (mean = 17.6 ± 1.76) who completed a questionnaire of 51 items derive from three pre-existing scales. Results. Exploratory and confirmatory analyses support the eight dimensions structure with 27 items explaining 56.69% of variances: spiritual health; interpersonal relationship; physical exercise; stress management; appreciation of life; sleep hygiene; responsibility in health; and social support. Conclusion. The Composite Health Promotion Behaviour Assessment Questionnaire (AHPB-27) is valid for identifying health promoting behaviours among adolescents and young adults in the francophonie.
PT :
As ferramentas de avaliação dos comportamentos de promoção da saúde estão amplamente disponíveis em inglês, mas raras ou praticamente inexistentes em francês. Este artigo tem como objetivo validar um questionário compósito para identificar comportamentos pró-saúde ou de risco. Foram aplicadas as 10 etapas de adaptação de testes/escalas de medição psicológica propostas por Gana et al. (2021) aos dados recolhidos junto de 343 adolescentes e jovens adultos, com idades entre 15 e 25 anos, que responderam a um questionário de 51 itens provenientes de três escalas preexistentes. As análises fatoriais exploratória e confirmatória sustentam uma estrutura com oito dimensões e 27 itens, explicando 56,69% das variâncias: saúde espiritual, relacionamento interpessoal, exercício físico, gestão do stress, apreciação da vida, higiene do sono, responsabilidade pela saúde e apoio social. Assim, o questionário (AHPB-27) é validado para a identificação destes comportamentos entre adolescentes e jovens adultos francófonos.
-
Une analyse des propriétés de l’échelle de mesure des manifestations du bien-être psychologique auprès d’étudiants français inscrits en première année d’études de santé et en odontologie
Pauline Mourlon, Lise Blanchard, Tanguy Guenneugues, Philippine Loustaunau, Fabienne Jordana, Benedicte Enkel et Gilles Guihard
p. 194–234
RésuméFR :
L’évaluation du bien-être des étudiants fait l’objet de nombreuses recherches de la part des universités. Toutefois, il existe peu de données concernant la mesure du bien-être chez des étudiants inscrits en formation de santé en France. Ici, les propriétés de l’échelle de mesure de la manifestation du bien-être psychologique (EMMBEP) ont été réanalysées dans trois échantillons d’étudiants inscrits en formation de santé. Les résultats ont montré que 23 items contribuaient à la mesure du bien-être. Ces items reflétaient une structure à trois facteurs. L’échelle et ses facteurs présentaient une très bonne cohérence interne et était invariante selon le sexe ou la formation académique. En conclusion, ce travail fournit de bons arguments pour considérer l’EMMBEP23 comme un instrument de mesure fidèle et satisfaisant plusieurs critères de validité de construit. Par ailleurs, il suggère que la structure du bien-être a évolué ; les causes de ce changement sont discutées.
EN :
The evaluation of well-being is currently the focus of academic attention. However, little research has been done on measuring well-being among students enrolled in healthcare training in France. Moreover, the properties of the instruments used to measure well-being were determined by interviewing individuals born before 1980. Here, the properties of the scale for measuring the manifestation of psychological well-being (EMMBEP) were reanalyzed in 3 samples of students recently enrolled in health training. The results show that 23 items contributed to the measurement of well-being. These items reflected 3 factors including ‘self-confidence and self-control’, ‘social skills’ and ‘a balanced and attractive life’. The scale exhibits a very good internal consistency and the structure was invariant regarding cis-gender and academic background. In conclusion, this work provides good arguments for considering the EMMBEP23 as a reliable measurement instrument that satisfies several construct validity criteria. It also suggests that the structure of well-being has evolved, and the causes of this change are discussed.
PT :
A avaliação do bem-estar dos estudantes tem atraído a atenção das universidades, mas poucas investigações analisaram a medição do bem-estar em estudantes matriculados em cursos da área da saúde em França, sobretudo com pessoas nascidas depois de 1980. Neste estudo, as propriedades da Escala de Medição da Manifestação do Bem-Estar Psicológico (EMMBEP) foram reanalisadas em três amostras de estudantes recém-matriculados em cursos da área da saúde. Os resultados indicaram que 23 itens contribuíam para a medição do bem-estar. Após análises fatoriais exploratória e confirmatória, foi proposta uma estrutura com três fatores: autoconfiança e autocontrolo, competências sociais e uma vida equilibrada e atraente. Esta estrutura apresentou excelente consistência interna e foi invariante em relação ao sexo e à formação académica, fornecendo fortes evidências para considerar a EMMBEP-23 confiável e válida. Além disso, sugere que a estrutura do bem-estar tem evoluído, e as razões para essa mudança são discutidas.