FR:

Les travaux sur l’évaluation dans ses différents aspects sont nombreux et les entrées sont diverses (docimologie, évaluations internationales, évaluation formative, effets sur la motivation, liens avec l’orientation des élèves, etc.). Nous nous centrons sur les liens entre évaluations et apprentissages dans le cadre de l’enseignement primaire ou secondaire en prenant le point de vue de la didactique des mathématiques. Plus précisément, nous cherchons à montrer qu’une entrée par la didactique des mathématiques avec ses cadres théoriques, ses outils et ses méthodes peut éclairer d’un jour nouveau les résultats produits dans le cadre des recherches sur l’évaluation, mais aussi que des recherches sur l’évaluation peuvent être développées en didactique des mathématiques et ainsi renouveler certains questionnements didactiques.

EN:

The research on assessment in its various aspects is numerous, and the entries are varied (docimology, international assessments, formative assessment, effects on motivation, links with the orientation of the students, etc.). We focus on the links between assessment and learning in the context of primary or secondary education taking the point of view of mathematics didactics. More precisely, we try to determine how an entry by the mathematics didactics with its theoretical frameworks, its tools and its methods can clarify in a new way the results produced in the research on assessment. We also try to show that research on assessment can be developed in the field of mathematics didactics and thus can renew some didactical questions.

PT:

Os trabalhos sobre avaliação nos seus vários aspectos são numerosos e as entradas são diversas (docimologia, avaliações internacionais, avaliação formativa, efeitos na motivação, ligações com a orientação dos alunos, etc.). Neste artigo pretendemos focar as ligações entre as avaliações e as aprendizagens na educação primária ou secundária, segundo o ponto de vista da didática das matemáticas. Mais especificamente, procuramos mostrar que uma entrada pela didática matemática com os seus quadros teóricos, os seus instrumentos e os seus métodos pode lançar uma nova luz sobre os resultados produzidos no contexto das investigações sobre avaliação, mas também que investigações sobre avaliação podem ser desenvolvidas na didática das matemáticas e, assim, renovar algumas questões didáticas.

EN:

Digital assessment of mathematics is becoming widespread, but still comes with limitations and constraints. A central question is how to design digital tests that assess mathematical knowledge in a valid way. Based on literature on validity and on assessment with and through technology, we identify arguments for and opportunities of digital assessment of mathematics, as well as its main issues. Through three case descriptions, different ways to design digital tests are explored. As a conclusion, we make a plea for assessment environments which offer rich opportunities for students to “do” mathematics and for test designers to design rich items; automated scoring also needs further development, with respect to the scoring of intermediate steps in problem-solving strategies.

FR:

Si l’évaluation des mathématiques en format numérique est de plus en plus répandue, elle n’est pas sans limites ni contraintes. Une question importante à ce sujet concerne les manières de concevoir des tests numériques qui évaluent les connaissances en mathématiques de façon valide. En nous appuyant sur la littérature sur la validité et sur l’évaluation par l’entremise de la technologie, nous présentons des arguments en faveur de l’évaluation numérique en mathématiques, et nous discutons des occasions de l’employer et des problèmes principaux de ce type d’évaluation. Par l’entremise de trois descriptions de cas, nous explorons différentes façons de concevoir des tests numériques. Pour conclure, nous encourageons les environnements d’évaluation qui offrent aux élèves des occasions de « faire » des mathématiques et aux concepteurs de concevoir des items riches. Nous avançons aussi que la correction automatique nécessite de l’amélioration, notamment en ce qui a trait aux points accordés pour les étapes intermédiaires des stratégies de résolution de problèmes.

PT:

A avaliação das matemáticas em formato digital está cada vez mais difundida, mas, não obstante, apresenta limites e constrangimentos. Uma questão importante a este respeito tem a ver com os modos de conceber os testes digitais que avaliam o conhecimento em matemáticas de modo válido. A partir da literatura sobre a validade e a avaliação por meio da tecnologia, apresentamos argumentos a favor de uma avaliação digital em matemáticas e discutimos as oportunidades de usá-la e os principais problemas deste tipo de avaliação. Através de três descrições de casos, exploramos diferentes maneiras de conceber testes digitais. Para concluir, incentivamos os ambientes de avaliação que oferecem aos alunos oportunidades de “fazer”matemática e aos conceptores de conceber itens ricos. Sugerimos também que a correção automática requer melhorias, especialmente no que diz respeito aos pontos acordados para as etapas intermédias das estratégias de resolução de problemas.

FR:

Deux études internationales évaluant les connaissances des élèves en mathématiques occupent une place importante dans le paysage éducatif mondial : celles du Programme international pour le suivi des acquis des élèves (PISA) et de la Trends in International Mathematics and Science Study (TIMSS). Si ces études sont accompagnées d’une littérature abondante décrivant leurs cadres, et si de nombreuses recherches en édumétrie, en sociologie ou encore en sciences de l’éducation ont régulièrement été menées, quel regard la didactique des mathématiques peut-elle porter sur ces études ? Après avoir présenté succinctement les cadres de ces deux évaluations, nous exploitons deux approches didactiques distinctes, basées sur l’analyse a priori des tâches pour analyser le contenu de l’évaluation et pour réinterpréter les résultats des élèves. Couplée à une analyse statistique implicative, la première, didactique et cognitive, apporte un regard neuf sur les résultats du PISA et permet de mener des comparaisons entre pays. La seconde approche, située dans le cadre de la théorie anthropologique du didactique, s’intéresse davantage au contenu de la TIMSS et à la répartition des questions au regard d’une organisation mathématique de référence.

EN:

Two international studies that aim to assess students’ knowledge and skills in mathematics have won a prominent place in the global educational world: Programme for International Student Assessment (PISA) and Trends in International Mathematics and Science Study (TIMSS). While these studies come with numerous works describing their frameworks, and while a lot of research in edumetrics, sociology and educational sciences have been published, what light the mathematics didactics can place on them? After a short outline of their frameworks, we will make use of two different approaches, both being based on a priori analysis of the tasks for analysing the content of the assessments and for reinterpreting the results. The first approach, labelled didactical and cognitive, is associated with the implicative statistical analysis and allows a new look on the PISA results as well as on comparisons between countries. The second, nested in the didactical anthropological theory, addresses mainly TIMSS content and the distribution of its assessment items in relation to a given mathematical syllabus.

PT:

Dois estudos internacionais que avaliam os conhecimentos dos alunos em matemática ocupam um lugar importante no panorama educativo mundial: os do Programa Internacional de Avaliação de Estudantes (PISA) e os do Trends in International Mathematics and Science Study (TIMSS). Sendo estes estudos acompanhados por uma abundante literatura descrevendo os seus quadros, e que muitas investigações em edumetria, sociologia ou mesmo nas ciências da educação são realizadas regularmente, que olhar a didática das matemáticas pode apresentar sobre estes estudos? Após apresentar sucintamente os quadros dessas duas avaliações, exploramos duas abordagens didáticas distintas, baseadas na análise a priori das tarefas para analisar o conteúdo da avaliação e para reinterpretar os resultados dos alunos. Juntamente com uma análise estatística implicativa, a primeira, didática e cognitiva, traz um novo olhar para os resultados do PISA e permite comparações entre países. A segunda abordagem, situada no quadro da teoria antropológica da didática, concentra-se mais no conteúdo do TIMSS e na distribuição de questões em termos de uma organização matemática de referência.

FR:

En éducation, de nombreuses études portent sur la validation d’instruments de mesure, tels que des questionnaires ou des instruments d’évaluation. La revue Mesure et évaluation en éducation en publie d’ailleurs chaque année. Ces études peuvent être globalement classées en deux catégories : d’une part, celles dans lesquelles les procédures psychométriques, comme une analyse factorielle ou l’application d’un modèle de la théorie de réponses aux items (p. ex., le modèle de Rasch), constituent en elles-mêmes la démarche de validation ; d’autre part, celles dans lesquelles le recours à un panel d’experts pour concevoir l’instrument semble suffire à garantir sa validité. Cet article tente de montrer qu’il est nécessaire de faire reposer une démarche de validation sur un argumentaire basé sur des preuves de natures quantitative et qualitative, en proposant deux modèles qui, combinés, sont propres à guider la formulation des arguments pour soutenir la validation d’un instrument d’évaluation. L’idée est de contrer le fait que si l’on ne comprend pas ce qu’on essaie de montrer, le risque d’avoir des arguments peu utiles est grand.

EN:

Many studies in the field of education focus on the validation of testing instruments, such as questionnaires or assessment instruments. Indeed, such studies are published each year in the journal Mesure et évaluation en éducation. These studies can be classified in two broad categories: on the one hand, those in which psychometric procedures (e.g. factor analysis or Item Response Theory model like the Rasch model) constitute, in and of themselves, the validation process; and on the other hand, those in which relying on an expert panel to develop the instrument is seemingly enough to ensure validity. This article aims to show the necessity of using an argument-based validation process with quantitative and qualitative evidence by proposing two models which can be combined to help formulate arguments supporting the assessment instrument validation. The idea is to address the fact that if we do not understand what we are trying to demonstrate, the arguments are likely to be of little use.

PT:

Em educação, muitos estudos abordam a validação de instrumentos de medição, como questionários ou instrumentos de avaliação, que, de resto, a revista Mesure et évaluation en éducation tem publicado todos os anos. Estes estudos podem ser globalmente classificados em duas categorias: por um lado, aqueles em que os procedimentos psicométricos, como a análise fatorial ou a aplicação de um modelo de teoria da resposta ao item (por exemplo, o modelo de Rasch), constituem em si o processo de validação; por outro lado, aqueles em que o recurso a um painel de especialistas para conceber o instrumento parece ser suficiente para garantir a sua validade. Este artigo tenta mostrar que é necessário basear um processo de validação sobre um argumentário sustentado em evidências de natureza quantitativa e qualitativa, propondo dois modelos que, combinados, são capazes de guiar a formulação de argumentos para apoiar a validação de um instrumento de avaliação. A ideia é contrariar o facto de que, se alguém não entende o que está a tentar mostrar, o risco de ter argumentos pouco úteis é grande.

FR:

L’étude empirique présentée dans cet article examine le jugement évaluatif d’enseignants de l’école primaire genevoise lorsqu’ils attribuent des notes certificatives, plus particulièrement dans des contrôles écrits proposant des exercices de résolution de problèmes additifs. Les questions de recherche portent, d’une part, sur les caractéristiques des contrôles écrits élaborés par les enseignants. Elles portent, d’autre part, sur le jugement des enseignants quand ils verbalisent leur pensée en cours d’évaluation. À partir de l’analyse d’incidents critiques observés pendant la correction des travaux des élèves, les résultats de recherche donnent à voir la préoccupation des enseignants à comprendre le raisonnement mathématique des élèves, les amenant à devoir faire face à des réponses imprévues et singulières qui nécessitent une spécification de leurs référents. Les analyses entreprises débouchent sur la conceptualisation de différents cas de figure entre des jugements analytiques et holistiques, dont la mise en tension constructive peut être vue comme un enjeu majeur de développement pour l’évaluation d’apprentissages complexes, dont la résolution de problèmes de mathématiques.

EN:

This empirical study examines the assessment judgment of Geneva primary school teachers when they are required to grade students’ tests, specially for additive problem-solving exercises. The research questions relate, on the one hand, to the characteristics of the written tests drawn up by the teachers. On the other hand, they refer to the teachers’ judgment as they verbalize their thoughts during assessment. Through the analysis of critical incidents observed during the grading of students’ tests, research findings reveal a concern for teachers to understand students’ mathematical reasoning, specially to handle unexpected and singular responses leading to a specification of the assessment criteria. The analyzes undertaken lead to the conceptualization of different cases between analytical and holistic judgments whose constructive tension can be seen as a major development challenge for the assessment of complex learning activities, such as solving mathematical problems.

PT:

O estudo empírico apresentado neste artigo examina o juízo avaliativo dos professores da escola primária genebrina quando atribuem as notas certificativas, mais particularmente nos testes escritos que propõem exercícios de resolução de problemas aditivos. As questões de investigação dizem respeito, por um lado, às características dos testes escritos elaborados pelos professores e, por outro lado, ao juízo dos professores quando verbalizam o seu pensamento durante a avaliação. A partir da análise de incidentes críticos observados durante a correção dos trabalhos dos alunos, os resultados da investigação revelam a preocupação dos professores em compreender o raciocínio matemático dos alunos, levando-os a enfrentar respostas imprevistas e singulares que exigem uma especificação dos seus referentes. As análises realizadas levam à conceptualização de diferentes casos entre juízos analíticos e holísticos, cuja tensão construtiva pode ser vista como um grande desafio para o desenvolvimento da avaliação das aprendizagens complexas, incluindo a resolução de problemas matemáticos.