Un processus itératif pour réduire l’impact de réponses aberrantes sur l’identification de patrons de réponses inappropriés

Résumé

La présence de réponses aberrantes est habituellement détectée par l’utilisation d’indices d’ajustement permettant de déterminer si le patron de réponses est inapproprié par rapport aux caractéristiques du test. Cette approche nécessite cependant une préestimation des paramètres d’items qui est souvent réalisée sur le même ensemble de données. La présence de réponses aberrantes pourrait donc influencer le processus de calibration et la détection de patrons inappropriés. Cet article présente un processus itératif pour réduire le risque d’une calibration biaisée causée par la présence de réponses aberrantes. La démarche consiste à retirer successivement les patrons identifiés comme inappropriés du processus de calibration des items. Ce processus est illustré en analysant les données d’un test de classement en anglais langue seconde (TCaLS-II) au Québec. L’application du processus itératif aux données met en évidence une augmentation du nombre de patrons de réponses détectés comme inappropriés, présentant un impact relativement faible sur les paramètres d’items estimés et un nombre restreint d’itérations nécessaires pour obtenir une convergence du processus itératif.

Mots-clés :

• théorie de la réponse aux items,
• calibration des items,
• réponses aberrantes,
• patrons inappropriés,
• indice l_z,
• purification

Abstract

The presence of response disturbances or aberrant response patterns is often assessed by the computation of person fit indexes. These indicate whether a pattern, as a whole, can be considered as abnormal with respect to the test characteristics. However, most often they require item parameters to be pre-calibrated and this calibration is performed upon the same data set. The presence of response disturbances might therefore impact the item calibration process and subsequently, the identification of person misfit. This paper presents a straightforward iterative process to reduce the risk of unfair item calibration due to the presence of response disturbances. The idea consists in iteratively removing the patterns flagged as aberrant from the item calibration process, and re-computing the person fit indexes with newly calibrated parameters. The process is illustrated by analyzing the data from an English skill assessment questionnaire in Quebec. applying the process to these data reveals: an increase in the number of response patterns flagged as aberrant, a somewhat weak impact on estimated item parameters, with a limited number of iterations required to reach convergence of the iterative process.

Keywords:

• item response theory,
• item calibration,
• aberrant responses,
• person fit,
• l_z index,
• purification

Resumo

A presença de respostas aberrantes é habitualmente detetada pela utilização de índices de ajustamento que permitem determinar se o padrão de respostas é inapropriado em relação às características do teste. no entanto, esta abordagem necessita de uma pré-estimativa dos parâmetros de itens que é realizada sobre o mesmo conjunto de dados. a presença de respostas aberrantes poderia, assim, influenciar o processo de calibração e a deteção de padrões inapropriados. Este artigo apresenta um processo iterativo para reduzir o risco de uma calibração enviesada devido à presença de respostas aberrantes. O procedimento consiste em retirar sucessivamente os padrões identificados como inapropriados do processo de calibração dos itens. Este processo é ilustrado pela análise dos dados de um teste de avaliação de competências de Inglês como segunda língua (TCaLSII) no Quebeque. a aplicação do processo iterativo aos dados coloca em evidência um aumento do número de padrões de respostas detetadas como inapropriadas, apresentando um impacto relativamente fraco sobre os parâmetros dos itens estimados e um número restrito de iterações necessárias para obter uma convergência do processo iterativo.

Palavras chaves:

• teoria de resposta ao item,
• calibração do item,
• respostas aberrantes,
• padrões inapropriados,
• índice l_z,
• purificação