Évaluation d’un test de lecture en anglais par deux méthodes de détection du fonctionnement différentiel d’items Evaluation of an English reading test based on two methods for detecting differential item functioning Evaluación de una prueba de lectura en inglés mediante dos métodos de detección del funcionamiento diferencial de los ítems

Résumé

Cette étude vise à examiner la présence de fonctionnement différentiel d’items selon le sexe des répondants dans un test de compréhension en lecture en anglais administré à 171 universitaires francophones. Deux méthodes non paramétriques sont utilisées : le test Mantel-Haenszel et le modèle de régression logistique. Sur un total de 64 items, deux présentent un fonctionnement différentiel selon le test Mantel-Haenszel, alors que cinq items supplémentaires ressortent par la régression logistique. Ce faible nombre d’items suggère une bonne équité du test, mais les différences observées soulignent la nécessité d’analyses additionnelles pour clarifier le statut de ces items.

Mots-clés :

• fonctionnement différentiel d’items,
• test de vérification de phrases,
• biais lié au sexe,
• test Mantel-Haenszel,
• modèle de régression logistique

Abstract

This study examines the presence of gender-based differential item functioning on a reading comprehension test in English administered to 171 French-speaking university students. Two non-parametric methods are used : the Mantel-Haenszel test and the logistic regression model. On a total of 64 items, two items are identified by the Mantel-Haenszel test, whereas five additional items are identified by logistic regression. This low number of items suggests reasonable fairness for the test, but the discrepancies observed stress the need for further analyses to clarify the status of those items.

Keywords:

• Differential item functioning,
• sentence verification technique,
• gender bias,
• Mantel-Haenszel test,
• logistic regression model

Resumen

El presente estudio se propone examinar la presencia de funcionamiento diferencial de los ítems según el género de los informantes en una prueba de comprensión de lectura en inglés administrada a 171 universitarios francófonos. Se utilizan dos métodos no paramétricos: la prueba de Mantel-Haenszel y el modelo de regresión logística. En un total de 64 ítems, dos presentan un funcionamiento diferencial según la prueba de Mantel-Haenszel, mientras cinco ítems más se destacan por la regresión logística. Este bajo número de ítems sugiere una buena equidad de la prueba, pero las diferencias observadas muestran la necesidad de análisis adicionales para aclarar el estatuto de estos ítems.

Palabras clave:

• funcionamiento diferencial de los ítems,
• prueba de verificación de frases,
• sesgo de género,
• prueba de Mantel-Haenszel,
• modelo de regresión logística