Abstracts
Résumé
Les politiques d’imputabilité liées aux résultats des tests influencent les pratiques des intervenants scolaires du secondaire, soit les enseignants et les conseillers pédagogiques. Un questionnaire a été adapté afin de mesurer les facteurs sociocognitifs influençant leurs changements pédagogiques en Ontario et au Québec. Afin de l’adapter de façon transculturelle et de le valider, des entrevues cognitives ont été menées auprès de neuf participants par quatre intervieweurs. Une grille d’observation a été créée selon deux types de protocoles utilisés : le protocole à voix haute et les relances. Cette étude se base, d’une part, sur des données quantitatives telles que la durée des entrevues, le nombre et le type de relances et, d’autre part, sur des données qualitatives telles que la qualité et la variété des relances. Nos résultats soulignent ainsi qu’il existe une variation à l’intérieur de ces protocoles qui peuvent s’inscrire sur un continuum en catégorisant les intervieweurs selon trois rôles : passif, modéré et actif.
Mots-clés :
- adaptation transculturelle,
- enseignement secondaire,
- entrevue cognitive,
- rôle des intervieweurs,
- validation
Abstract
Accountability policies linked to test scores influence secondary intervenors’ practices (e.g. teachers and educational consultants). A questionnaire was adapted to measure socio-cognitive factors influencing pedagogical change among secondary school intervenors in Ontario and Quebec. To adapt the questionnaire transculturally and validate it, cognitive interviews were conducted with nine participants by four interviewers. An observation grid was created based on two types of protocols: the think-aloud protocol and the prompting protocol. This study first relies on quantitative data such as interview duration, the number and type of probes. The study, then, uses qualitative data to investigate the quality and variety of their probes. Our results show that there is variation within these protocols, which can be categorized on a continuum into three interviewer roles: passive, moderate and active.
Keywords:
- adaptation,
- cognitive interview,
- high school teachers,
- interviewers’ role,
- validation
Resumo
As políticas de responsabilização ligadas aos resultados dos testes influenciam as práticas dos intervenientes escolares do ensino secundário, nomeadamente professores e consultores pedagógicos. Um questionário foi adaptado para medir os fatores sociocognitivos que influenciam as mudanças pedagógicas destes profissionais em Ontário e Québec. Para garantir uma adaptação transcultural e validar o instrumento, foram realizadas entrevistas cognitivas com nove participantes por quatro entrevistadores. Foi criada uma grelha de observação com base em dois tipos de protocolos utilizados: o protocolo de pensar em voz alta e os estímulos verbais. Este estudo baseia-se, por um lado, em dados quantitativos, como a duração das entrevistas e o número e o tipo de estímulos verbais, e, por outro lado, em dados qualitativos, como a qualidade e a variedade desses estímulos. Os resultados destacam variações dentro desses protocolos, que podem ser categorizadas num continuum com três papéis distintos dos entrevistadores: passivo, moderado e ativo.
Palavras chaves:
- adaptação transcultural,
- ensino secundário,
- entrevista cognitiva,
- papel dos entrevistadores,
- validação
Appendices
Liste des références
- Ajar, D., Dassa, C. & Gougeon, H. (1983). L’échantillonnage et le problème de la validité externe de la recherche en éducation. Revue des sciences de l’éducation, 9(1), 3-21. https://doi.org/10.7202/900396ar
- Anderson, S. E. & Ben Jaafar, S. (2003). Policy trends in Ontario education. ICEC Working, Paper#1
- Beatty, P. C. & Willis, G. B. (2007). Research synthesis: the practice of cognitive interviewing. Public Opinion Quarterly, 71(2), 287‑311. https://doi.org/10.1093/poq/nfm006
- Benítez, I., Padilla, J. L., van de Vijver, F. &Cuevas, A. (2018). What Cognitive Interviews Tell Us about Bias in Cross-cultural Research: An Illustration Using Quality-of-life Items. Field Methods, 30(4), 277-294.
- Bouchard, S. (2000). Mesurer les variables : quantifier ce qui nous intéresse avec le moins d’erreurs possible. Dans S. Bouchard et C. Cyr (dir.), Recherche psychosociale : Pour harmoniser recherche et pratique (p. 231-262). Presses de l’Université du Québec
- Castillo-Díaz, M. et Padilla, J. L. (2013). How cognitive interviewing can provide validity evidence of the response processes to scale items. Social Indicators Research, 114, 963-975. https://doi.org/10.1007/s11205-012-0184-8
- Copp, D. T. (2016). The impact of teacher attitudes and beliefs about large-scale assessment on the use of provincial data for instructional change. Education Policy Analysis Archives, 24,109. https://doi.org/10.14507/epaa.24.2522
- Copp, D. T. (2017). Policy incentives in Canadian large-scale assessment: How policy levers influence teacher decisions about instructional change. Education Policy Analysis Archives, 25, 115. https://doi.org/10.14507/epaa.25.3299
- Copp, D. T. (2018) Teaching to the test: a mixed methods study of instructional change from large-scale testing in Canadian schools. Assessment in Education: Principles, Policy & Practice, 25(5), 468-487. https://eric.ed.gov/ ?id=EJ1195192
- Corbière, M. & Fraccaroli, F. (2020). La conception, la validation, la traduction et l’adaptation transculturelle d’outils de mesure : des exemples en santé mentale et travail. Des exemples en santé mentale et travail. Dans M. Corbière et N. Larivière (dir.), Méthodes qualitatives, quantitatives et mixtes, 2e édition : Dans la recherche en sciences humaines, sociales et de la santé (p. 703-752). Presses de l’Université du Québec. https://doi.org/10.2307/j.ctv1c29qz7.32
- Desimone, L. M. & Le Floch, K. C. (2004). Are we asking the right questions ? Using cognitive interviews to improve surveys in education research. Educational Evaluation and Policy Analysis, 26(1), 1‑22. https://doi.org/10.3102/01623737026001001
- Drennan, J. (2003). Cognitive interviewing: verbal data in the design and pretesting of questionnaires. Journal of Advanced Nursing, 42(1), 57-63. https://doi.org/10.1046/j.1365-2648.2003.02579.x
- Dunn, R., Jaafar, S. B., Earl, L. & Katz, S. (2013). Towards data-informed decisions: from ministry policy to school practice. Data-based Decision Making in Education: Challenges and Opportunities, 155-175. https://link.springer.com/chapter/10.1007/978-94-007-4816-3_9
- Fullan, M. (2000). The return of large-scale educational reform. Journal of Educational Change, 1(1), 5-28.
- Gagnon, M. P., Attieh, R., Dunn, S., Grandes, G., Bully, P., Estabrooks, C. A. & Ouimet, M. (2018). Development and content validation of a transcultural instrument to assess organizational readiness for knowledge translation in healthcare organizations: the OR4KT. International Journal of Health Policy and Management, 7(9), 791. https://doi.org/10.15171/ijhpm.2018.17
- Gana, K., Boudouda, N. E., Ben Youssef, S., Calcagni, N. & Broc, G. (2021). Adaptation transculturelle de tests et échelles de mesure psychologiques : Guide pratique basé sur les Recommandations de la Commission Internationale des Tests et les Standards de pratique du testing de l’APA. Pratiques psychologiques, 27(3), 223240. https://doi.org/10.1016/j.prps.2021.02.001
- García, A. A. (2011). Cognitive Interviews to Test and Refine Questionnaires. Public Health Nursing, 28(5), 444‑450. https://doi.org/10.1111/j.1525-1446.2010.00938.x
- Grondin, J., Dionne, É., Fleuret, C. & Boiteau, N. (2015). Sources d’invalidité et d’erreur dans la traduction ou l’adaptation de tests: un état de la question. Revue de l’Université de Moncton, 46(1-2), 291-323. https://doi.org/10.7202/1039041ar
- Gudmundsson, E. (2009). Guidelines for translating and adapting psychological instruments. Nordic Psychology, 61(2), 29-45. https://doi.org/10.1027/1901-2276.61.2.29
- Lauzier, M., Côté, K., Annabi, D. & Melançon, S. (2021). La validation transculturelle d’instruments de mesure en psychologie : Un portrait des pratiques utilisées dans les travaux publiés entre 1989 et 2019. [Cross-cultural validation of measuring instruments in psychology: A portrait of the practices used in the works published between 1989 and 2019.]. Canadian Psychology/Psychologie canadienne, 117. https://doi.org/10.1037/cap0000302
- Lee, J. (2014). Conducting cognitive interviews in cross-national settings. Assessment, 21(2), 227-240.
- Loye, N. (2018). Et si la validation était plus qu’une suite de procédures techniques ? Mesure et Évaluation en Éducation, 41(1), 97-123. https://doi.org/10.7202/1055898ar
- Maroy, C., Mathou, C. & Vaillancourt, S. (2017). Les enseignants québécois à l’épreuve de la « gestion axée sur les résultats ». Une étude qualitative dans quatre établissements secondaires. Dans, RASE – Revista de la Asociacion de Sociologia de la Educacion, 10(3), 539-557. http://dx.doi.org/10.7203/RASE.10.3.9906
- Ministère de l’Éducation de l’Ontario (2022). Écoles de langue française. https://www.ontario.ca/fr/page/leducation-en-langue-francaise
- Ministère de l’Éducation et de l’Enseignement supérieur. (2015). Statistiques de l’éducation Éducation préscolaire, enseignement primaire et secondaire. https://www.education.gouv.qc.ca/fileadmin/site_web/documents/PSG/statistiques_info_decisionnelle/15-00503_statistiques_2015_edition_v25oct.pdf
- Mohorko, A. & Hlebec, V. (2016). Degree of cognitive interviewer involvement in questionnaire pretesting on trending survey modes. Computers in Human Behavior, 62, 79-89.
- Priede, C. & Farrall, S. (2011). Comparing results from different styles of cognitive interviewing: ‘verbal probing’ vs. ‘thinking aloud’. International Journal of Social Research Methodology, 14(4), 271-287.
- Priede, C., Jokinen, A., Ruuskanen, E. & Farrall, S. (2014). Which probes are most useful when undertaking cognitive interviews ? International Journal of Social Research Methodology, 17(5), 559–568. https://doi.org/10.1080/13645579.2013.799795
- Ridolfo, H. & Schoua-Glusberg, A. (2011). Analyzing cognitive interview data using the constant comparative method of analysis to understand cross-cultural patterns in survey data. Field Methods, 23(4), 420-438.
- Rozenwajn, E. & Dumay, X. (2016). Les évaluations externes à faibles enjeux : les enseignants confrontés à eux-mêmes ? Revue française de pédagogie, (194), 71-90. https://doi.org/10.4000/rfp.4977
- Sabourin, S., Valois, P. & Lussier, Y. (2000). L’utilisation des questionnaires en recherche : une solution pratique qui nécessite une démarche rigoureuse. Dans S. Bouchard et C. Cyr (dir.), Recherche psychosociale : pour harmoniser recherche et pratique (p. 263-304), Presses de l’Université du Québec.
- Sopromadze, N. & Moorosi, P. (2017). Do we see through their eyes ? Testing a bilingual questionnaire in education research using cognitive interviews. International Journal of Research & Method in Education, 40(5), 524-540.
- Willis, G. B. (2015). The practice of cross-cultural cognitive interviewing. Public Opinion Quarterly, 79(S1), 359-395.
- Willis, G. B., & Miller, K. (2011). Cross-cultural cognitive interviewing: Seeking comparability and enhancing understanding. Field methods, 23(4), 331-341.
- Winton, S. & Milani, M. (2017). Policy advocacy, inequity, and school fees and fundraising in Ontario, Canada. Education Policy Analysis Archives, 25, 40-40. https://doi.org/10.14507/epaa.25.2679
- Yerly, G. (2017). Les raisons du faible usage des résultats d’évaluation externe par les enseignants. Étude croisée dans trois contextes éducatifs. Contextes et didactiques, (9), 60-71. https://doi.org/10.4000/ced.745