The criterion-based rubric: Always a good assessment method? A comparison of different methods for evaluating paraverbal elements in the oral productions of 11–12-year-old students La grille critériée : toujours une bonne méthode d’évaluation ? Comparaison de différentes méthodes d’évaluation des éléments paraverbaux dans les productions orales d’élèves de 11-12 ans A grade criterial: sempre um bom método de avaliação? Comparação de diferentes métodos de avaliação dos elementos paraverbais nas produções orais de alunos de 11 a 12 anos

Abstract

This article compares three methods for assessing paraverbal aspects in oral productions: the holistic absolute method (overall score), the analytical absolute method (criterion-based rubric), and the holistic comparative method (Comproved software). The study addresses three key questions: 1) What is the inter-rater reliability of each evaluation method ? 2) What is the correlation between these methods ? 3) What differences in scoring can be observed among these methods ? Each method was used to evaluate oral productions based on paraverbal criteria such as intonation, volume, and pauses. The results reveal that, contrary to expectations, the holistic absolute method demonstrated the highest inter-rater reliability. Although significant correlations were found between the methods, notable discrepancies remained in the grading of the same productions. These findings question the systematic use of criterion-based rubrics and emphasize the need to adapt evaluation methods to specific objectives, particularly for assessing paraverbal aspects of oral productions.

Keywords:

• oral assessment,
• comparison of methods,
• paraverbal aspects,
• criterion-based rubric,
• inter-rater reliability

Résumé

Cet article compare trois méthodes d’évaluation des aspects paraverbaux dans les productions orales : la méthode holistique absolue (note globale), la méthode analytique absolue (grille critériée) et la méthode holistique comparative (logiciel Comproved). Trois questions principales guident l’étude : 1) Quelle est la fiabilité inter-évaluateurs de chaque méthode ? 2) Quelle est la corrélation entre ces méthodes ? et 3) Quels écarts de notation observe-t-on entre elles ? Chaque méthode a été utilisée pour évaluer des productions orales sur des critères paraverbaux tels que l’intonation, le volume et les pauses. Les résultats révèlent que, contrairement aux attentes, la méthode holistique absolue présente la meilleure fiabilité interévaluateurs. Bien que des corrélations significatives existent entre les méthodes, des écarts de notation importants subsistent. Ces résultats remettent en question l’utilisation systématique des grilles critériées et montrent qu’il est crucial d’adapter les méthodes d’évaluation aux objectifs spécifiques, notamment pour les aspects paraverbaux des productions orales.

Mots-clés :

• évaluation orale,
• comparaison des méthodes,
• aspects paraverbaux,
• fiabilité inter-évaluateurs,
• grille critériée

Resumo

Este artigo compara três métodos de avaliação dos aspetos paraverbais nas produções orais: o método holístico absoluto (nota global), o método analítico absoluto (rubrica) e o método holístico comparativo (software Comproved). Três questões principais orientam o estudo: 1) Qual é a fiabilidade inter-avaliadores de cada método? 2) Qual é a correlação entre esses métodos? 3) Que discrepâncias de pontuação se observam entre eles? Cada método foi utilizado para avaliar produções orais com base em critérios paraverbais como a entoação, o volume e as pausas. Os resultados revelam que, contrariamente às expectativas, o método holístico absoluto apresenta a melhor fiabilidade entre avaliadores. Embora existam correlações significativas entre os métodos, subsistem discrepâncias importantes nas pontuações. Estes resultados colocam em causa o uso sistemático de rubricas e mostram que é crucial adaptar os métodos de avaliação aos objetivos específicos, especialmente no que diz respeito aos aspetos paraverbais das produções orais.

Palavras chaves:

• aspectos paraverbais,
• avaliação oral,
• comparação de métodos,
• fiabilidade entre avaliadores,
• rubrica