Mesure et évaluation en éducation
Volume 46, numéro 2, 2023
Sommaire (5 articles)
-
La validation de contenu d’un outil d’observation des fonctions exécutives selon la méthode Delphi
Stéphanie Duval, Jennifer Couttet et Noémie Montminy
p. 1–40
RésuméFR :
Peu de mesures permettent d’examiner globalement les fonctions exécutives (FE) chez l’enfant d’âge préscolaire en contextes éducatifs. Elles constituent pourtant un prédicteur de réussite éducative. Les composantes des FE (p. ex. l’inhibition) sont habituellement mesurées par des tâches standardisées et des mesures rapportées, amenant une divergence entre les résultats. On observe aussi une prédominance de l’utilisation de tâches mesurant une seule composante des FE. Ainsi, la création d’un instrument d’observation systématique semble nécessaire, de même que la validation du contenu de celui-ci, pour pouvoir brosser un portrait représentatif et global des FE de l’enfant en classe. Dans cette étude, le contenu d’une grille d’observation nouvellement élaborée sur les FE a été validé auprès d’un panel d’experts à l’aide de la méthode Delphi. Cet article, qui présente notamment l’application de la procédure de validation et les résultats qui en découlent, discute des retombées et des limites de la méthode Delphi, qui est de plus en plus exploitée dans les études en éducation.
EN :
There are few measures to globally examine the executive functions (EFs) of preschool children in educational contexts, which nevertheless constitute a predictor of their educational success. Indeed, the components of EFs (e.g., inhibition) are usually measured by standardized tasks and reported measures, leading to a discrepancy between the results. We also observe a predominance for the use of tasks measuring a single component of EFs. Thus, the creation of a systematic observation instrument seems necessary, as well as the validation of its content, in order to have a representative and global portrait of the child’s EF in the classroom. In this study, the content of a newly developed observation grid on EFs was validated with a panel of experts using the Delphi method. This article, which presents the application of the validation procedure and the resulting outcomes, discusses the effects and limits of the Delphi method, which is increasingly used in educational studies.
PT :
Poucas medidas permitem examinar globalmente as funções executivas (FE) em crianças em idade pré-escolar em contextos educativos, embora sejam um preditor de sucesso educacional. As componentes das FE (por exemplo, a inibição) são normalmente medidas por tarefas padronizadas e medidas reportadas, levando a uma divergência entre os resultados. Observa-se também uma predominância do uso de tarefas que medem uma única componente das FE. Assim, a criação de uma ferramenta de observação sistemática parece necessária, bem como a validação do conteúdo desta, para poder traçar um retrato representativo e global das FE da criança em sala de aula. Neste estudo, o conteúdo de uma grelha de observação recém-elaborada sobre as FE foi validado junto a um painel de especialistas usando o método Delphi. Este artigo, que apresenta especialmente a aplicação do procedimento de validação e os resultados decorrentes, discute os impactos e os limites do método Delphi, que é cada vez mais utilizado em estudos na área da educação.
-
Récit de pratique sur l’adaptation et sur l’utilisation d’un dispositif de formation au jugement évaluatif basé sur la concordance
Marie-France Deschênes, Eric Dionne et Michelle Dorion
p. 41–63
RésuméFR :
Les futurs enseignants ont rarement l’occasion de tester leurs interprétations de questions complexes, incertaines ou ambiguës en évaluation des apprentissages et d’obtenir une rétroaction formative sur ces questions. Dans cet article, nous présentons un récit de pratique sur l’adaptation et sur l’utilisation d’un dispositif de formation au jugement évaluatif de futurs enseignants basé sur la concordance de jugement. Les assises théoriques du dispositif, les principes de sa conception ainsi que les facteurs contextuels ayant influencé son adaptation sont abordés. Un tel exercice nous permet de cerner quelques avantages de l’utilisation du dispositif pour favoriser le développement du jugement évaluatif en éducation.
EN :
There remains a scarcity of opportunities for future educators to test their interpretations of complex, uncertain, or ambiguous questions in learning assessment and to obtain formative feedback on these questions. This article proposes a pedagogical practice based on the adaptation and the use of a Concordance-of-Judgment educational device to exercise future educators’ evaluative judgment. The theoretical foundations of the educational device, the principles of its design as well as the contextual factors that have influenced its adaptation in an educational context are discussed. Such exercise allows us to identify some of the benefits of using the device to promote the development of educators’ evaluative judgment.
PT :
Os futuros professores raramente têm a oportunidade de testar as suas interpretações de questões complexas, incertas ou ambíguas em avaliação das aprendizagens e de receber feedback formativo sobre estas questões. Neste artigo, apresentamos uma narrativa de prática sobre a adaptação e o uso de um dispositivo de formação no juízo avaliativo de futuros professores baseado na concordância de juízo. Discutimos as bases teóricas do dispositivo, os princípios da sua conceção, bem como os fatores contextuais que influenciaram sua adaptação. Tal exercício permite identificar algumas vantagens do uso do dispositivo para promover o desenvolvimento do juízo avaliativo em educação.
-
Analyse des émotions et des compétences émotionnelles d’étudiants universitaires dans le traitement d’un feedback formatif à distance
Matthieu Hausman, Laurent Leduc, Laura Malay, Sophie Delvaux et Pascal Detroz
p. 64–100
RésuméFR :
Dans cette étude, nous avons entrepris de mesurer les compétences émotionnelles des étudiants et d’analyser leur mobilisation dans le traitement d’un feedback formatif à l’université. Nous avons pour cela réalisé un questionnaire mesurant les compétences émotionnelles des étudiants, l’intensité des émotions associées au traitement d’un feedback formatif à distance, plusieurs composantes des croyances motivationnelles et la perception d’utilité du feedback ciblé. Cet article présente les résultats obtenus à partir des réponses de 52 étudiants. Nos analyses attestent notamment du bon niveau des compétences émotionnelles des étudiants et de la pluralité des émotions vécues dans le cadre du traitement d’un feedback. Nous n’avons pas pu établir de liens significatifs entre les variables mesurées et la perception d’utilité du feedback en évidence. Cependant, certaines d’entre elles sont liées aux émotions vécues par les étudiants et à leur intensité, comme le score obtenu et, dans une moindre mesure, certaines croyances motivationnelles.
EN :
The aim of this study is to better understand the emotions that emerge in university students when processing feedback and the role they play in this, as well as the role played by emotional competencies and motivational beliefs. To this end, we developed a questionnaire measuring students’ emotional competencies, intensity of emotions associated with processing distance formative feedback, several components of motivational beliefs and perceived usefulness of targeted feedback. This paper presents the results obtained from 52 students. Our analyses show that the students’ emotional competencies are well developed, and that they experience a wide range of emotions when processing feedback. We were unable to identify any significant links between the variables measured and the perceived usefulness of feedback. However, some of them are linked to the emotions experienced by students and their intensity, such as the score obtained and, to a lesser extent, some motivational beliefs.
PT :
Neste estudo, procuramos medir as competências emocionais dos estudantes e analisar a sua mobilização no tratamento de um feedback formativo na universidade. Para isso, realizamos um questionário para medir as competências emocionais dos estudantes, a intensidade das emoções associadas ao tratamento de um feedback formativo à distância, várias componentes das crenças motivacionais e a perceção de utilidade do feedback direcionado. Este artigo apresenta os resultados obtidos considerando as respostas de 52 estudantes. As nossas análises atestam especialmente o bom nível das competências emocionais dos estudantes e a pluralidade das emoções vividas no contexto do tratamento de um feedback. Não conseguimos estabelecer ligações significativas entre as variáveis medidas e a percepção de utilidade do feedback evidenciado. Contudo, algumas delas estão relacionadas às emoções vividas pelos estudantes e à sua intensidade, como a pontuação obtida e, em menor medida, algumas crenças motivacionais.
-
L’évaluation des compétences d’agent de changement des professionnels de la santé et des services sociaux : développement d’un questionnaire auto-administré à l’aide de la méthode Delphi
Étienne Lavoie-Trudeau, Michael Beaudoin et Annie Carrier
p. 101–127
RésuméFR :
L’agentivité des professionnels en services sociaux et de santé (SSS), ou leur rôle d’agent de changement (AC), demeure sous-investie, notamment en raison d’un faible sentiment de compétence. Il importe donc d’évaluer les effets de formations à ce rôle sur le sentiment de compétence et sur les compétences. Cette étude visait à développer et à valider un questionnaire auto-administré évaluant ces effets. L’équipe de recherche a utilisé la méthode Delphi en trois rondes avec des experts connaissant le rôle d’AC ou la pédagogie auprès des professionnels en SSS. Le groupe d’experts regroupait quatre femmes et deux hommes, majoritairement des professeurs universitaires. Après consultation, les experts ont obtenu un consensus sur toutes les questions, amenant des modifications comme l’ajout de questions, leur ordonnancement, leur bonification, leur syntaxe, leur formulation et leurs choix de réponse. Pour conclure, la méthode Delphi a soutenu la conception d’un outil pour appuyer les professionnels en SSS dans leur développement professionnel.
EN :
The agency of health and social services (HSS) professionals, or their role as change agents (CA), remains under-invested, notably due to a low sense of competence. It is therefore important to evaluate the effects of training in this role on sense of competence and competencies. The aim of this study was to develop and validate a self-administered questionnaire evaluating these effects. The research team conducted three rounds of Delphi interviews with experts knowledgeable about the CA role or pedagogy with HSS professionals. The group of experts comprised four women and two men, mostly university professors. After consultation, the experts reached consensus on all the questions, making modifications such as adding, ordering and bonifying questions, improving syntax and wording and choice of answers. To conclude, the Delphi method supported the design of a tool to support HSS professionals in their professional development.
PT :
A agência dos profissionais em serviços sociais e de saúde (SSS), ou seu papel como agentes de mudança (AM), permanece subinvestida, especialmente devido a um baixo sentimento de competência. Para avaliar os efeitos da formação neste papel sobre o sentimento de competência e sobre as competências, o presente estudo procurou desenvolver e validar um questionário autoadministrado. A equipa de investigação utilizou o método Delphi em três rondas com especialistas familiarizados com o papel de AM ou a pedagogia para profissionais em SSS. O grupo de especialistas incluía quatro mulheres e dois homens, a maioria professores universitários. Após consulta, os especialistas chegaram a um consenso sobre todas as questões, resultando em modificações como a adição de perguntas, reordenação, aprimoramento, sintaxe, formulação e opções de resposta. Para concluir, o método Delphi apoiou a conceção de uma ferramenta para auxiliar os profissionais em SSS no seu desenvolvimento profissional.
-
Portrait des écarts d’anxiété mathématique selon le genre et du lien anxiété mathématique/performances en mathématiques chez les élèves québécois francophones de 15 ans ayant participé au PISA de 2003 et de 2012
Patricia Vohl et Nathalie Loye
p. 128–170
RésuméFR :
Cet article brosse le portrait des écarts d’anxiété mathématique selon le genre et du lien anxiété mathématique/performances en mathématiques chez les élèves québécois francophones de 15 ans ayant participé au PISA de 2003 et de 2012. Après avoir vérifié l’invariance métrique et scalaire de la mesure d’anxiété mathématique du PISA, entre les garçons et les filles, les résultats de cet article révèlent qu’en moyenne, les filles francophones de 15 ans du Québec font état d’un niveau d’anxiété mathématique statistiquement plus élevé que les garçons. En outre, les résultats de 2003 et de 2012 montrent que le lien négatif anxiété mathématique/performances en mathématiques est équivalent chez les garçons et chez les filles et donc, qu’il ne semble pas y avoir d’effet de modération de ce lien, par le genre. De là, l’article se penche sur les stratégies d’intervention qui pourraient permettre de réduire l’importance du lien négatif anxiété mathématique/performances en mathématiques, chez les personnes qui se disent anxieuses à l’égard des mathématiques.
EN :
This article paints a portrait of the differences in mathematical anxiety according to gender and the link between mathematical anxiety and mathematical performance, among 15-year-old French-speaking Quebec students who participated in PISA in 2003 and 2012. After verifying the metric and scalar invariance of the PISA mathematical anxiety measure, between boys and girls, the results of this article reveal that, on average, 15-year-old French-speaking girls in Quebec report a statistically higher level of mathematical anxiety than boys. In addition, the results of 2003 and 2012 show that the negative link between mathematical anxiety and mathematical performance is equivalent in boys and girls and, therefore, there does not seem to be any moderating effect on this link, by gender. From there, the article focuses on the intervention strategies that could reduce the importance of the negative link between mathematical anxiety and mathematical performance, in individuals who claim to be anxious about mathematics.
PT :
Este artigo descreve as disparidades de ansiedade matemática por género e a relação entre ansiedade matemática e desempenho em matemática entre alunos francófonos do Quebec de 15 anos que participaram do PISA em 2003 e 2012. Após verificar a invariância métrica e escalar da medida de ansiedade matemática do PISA, entre os rapazes e as raparigas, os resultados deste artigo revelam que, em média, as raparigas francófonas de 15 anos do Quebec relatam um nível de ansiedade matemática estatisticamente mais alto do que os rapazes. Além disso, os resultados de 2003 e 2012 mostram que a relação negativa entre ansiedade matemática/desempenho em matemática é equivalente entre os rapazes e as raparigas, sugerindo, portanto, que não parece haver um efeito moderador do género nessa relação. A partir daí, o artigo investiga estratégias de intervenção que poderiam ajudar a reduzir a importância da relação negativa entre ansiedade matemática/desempenho em matemática entre indivíduos que expressam ansiedade em relação à matemática.