FR:

À partir d’une analyse du concept de diagnostic, cet article tente de cerner l’intérêt qu’il y a à pratiquer une évaluation « diagnostique » des compétences scolaires. L’analyse fait apparaître que le diagnostic peut être envisagé soit comme un constat, soit, en analogie avec le modèle médical, comme une démarche qui remonte de la performance de l’élève à sa compétence. Seul le second sens permet un usage pédagogique et didactique de l’évaluation diagnostique. Cependant, dans ce second cas, la notion de diagnostic implique une saisie de l’élève comme objet à analyser, qui semble incompatible avec la volonté éducative de l’instituer en sujet.

EN:

Based on an analysis of the concept of diagnosis, this paper tries to determine the interest of a «diagnostic» assessment of school competencies. Diagnosis can be regarded either as a report of facts or as an inference deducing the competency of pupil from his performance, like the illness can be deduced from the symptoms in medical diagnosis. The second way is the only one to be useful for a didactical purpose of diagnostic assessment. However, it means that the pupil is seen as an object to be analysed and it would not likely match with the educational intention to characterize him as a human subject.

PT:

A partir de uma análise do conceito de diagnóstico, este artigo tenta identificar o interesse de praticar uma avaliação «diagnóstica» das competências escolares. A análise revela que o diagnóstico pode ser considerado como uma constatação ou, em analogia com o modelo clínico, como uma inferência da competência do aluno a partir do seu desempenho. Apenas o segundo sentido permite uma utilização pedagógica e didática de avaliação diagnóstica. No entanto, neste segundo caso, a noção de diagnóstico implica uma apreensão do aluno como um objeto a ser analisado, o que parece incompatível com a vontade educativa de o instituir como sujeito.

FR:

Le contexte de la formation professionnelle est caractérisé par des élèves hétérogènes dont certains présentent des difficultés importantes relatives aux apprentissages de base en mathématique, tels que les opérations ou l’usage des fractions. Cet article documente en détail les trois phases qui ont permis d’assembler une épreuve en mathématique ayant le potentiel de faire un diagnostic précis de ces difficultés en produisant des données compatibles avec l’application d’un modèle psychométrique de classification diagnostique.

EN:

The context of vocational training is characterized by heterogeneous students some of which have significant difficulties with basic math learning such as operations or use of fractions. This article documents in detail the three phases that helped assemble a math test with the potential to make an accurate diagnosis of these difficulties by producing data compatible with a psychometric diagnostic classification model.

PT:

O contexto da formação profissional é caracterizado pela heterogeneidade dos alunos, alguns dos quais têm dificuldades significativas relativas às aprendizagens básicas em matemática, como as operações ou a utilização de frações. Este artigo documenta em detalhe as três fases que ajudaram a elaborar um teste de matemática com o potencial de fazer um diagnóstico preciso dessas dificuldades, produzindo dados compatíveis com a aplicação de um modelo psicométrico de classificação diagnóstica.

FR:

Les évaluateurs constituent un maillon essentiel des dispositifs d’évaluation des compétences langagières et doivent bénéficier d’un accompagnement continu pour maintenir la qualité des évaluations à un niveau satisfaisant. Cet article compare deux méthodes pour la détermination des profils de sévérité d’évaluateurs d’une épreuve d’expression écrite en français langue étrangère, à partir de leurs données de production. La première méthode s’inscrit dans le cadre de la théorie classique des tests et la seconde s’appuie sur la théorie de réponse aux items, par la mise en oeuvre d’un modèle multifacettes de Rasch. Les résultats concordants des deux méthodes montrent l’utilité de tenir compte de la sévérité des correcteurs aux différents points de césure pour améliorer la fidélité du test, même si cette dernière n’explique qu’une part limitée de la variance d’erreur. Ces informations permettent également de dresser des profils d’évaluation individuels des correcteurs, qui peuvent être exploités dans le cadre de leur suivi pour la mise en oeuvre d’actions de remédiation ciblées.

EN:

Raters are a key element of language proficiency assessment systems. They ought to be monitored closely to keep the quality of assessments at a high level. This article compares two methods in order to determine the raters’ severity profiles using real rating data, for a writing test of French as a foreign language. The first method makes use of the Classical Test Theory while the second is based on the Item Response Theory using the multifaceted Rasch Model (MFRM). The concurring results of both methods show that in order to improve the reliability of a test, it is important to take into account a rater’s severity at each cut-off score, even if this consideration only explains a moderate portion of the error variance. This information also allows for drawing up the raters’ individual evaluation profiles, which could prove useful for more focused training activities.

PT:

Os avaliadores são um elemento chave dos dispositivos de avaliação de competências linguísticas e devem receber apoio contínuo para manter a qualidade das avaliações a um nível satisfatório. Este artigo compara dois métodos para a determinação de perfis de avaliadores de um teste de expressão escrita em francês como língua estrangeira, a partir dos seus dados de produção. O primeiro método inscreve-se no quadro da teoria clássica dos testes e o segundo apoia-se na teoria de resposta aos itens para a implementação de um modelo multifacetado de Rasch. Os resultados concordantes dos dois métodos mostram a utilidade de considerar a severidade dos corretores em cada nota mínima para melhorar a fiabilidade do teste, mesmo se esta última explique apenas uma pequena parte da variância do erro. Estas informações também ajudam a desenvolver os perfis de avaliação individuais dos corretores, que podem ser úteis para atividades de formação mais focadas.