Abstracts
Résumé
L’évaluation dépasse la reddition de compte dans le milieu associatif. Plusieurs auteurs rapportent qu’impliquer les parties prenantes dans le processus d’évaluation est une pratique novatrice. Cette étude s’interroge sur la présence de biais générés par cette pratique. Elle pose la question suivante : dans quelle mesure cette implication peut-elle rivaliser avec l’amélioration du programme, voire la production de savoirs empiriques ? Pour y répondre, le cas de l’évaluation d’un programme de prévention de la conduite avec facultés affaiblies chez les jeunes de 10e année dans quatre provinces du Canada atlantique est présenté. À l’aide des données produites par cette étude de cas et de données secondaires, on compare les caractéristiques de trois groupes de jeunes illustrant différentes modalités d’implication des parties prenantes. Les résultats suscitent une discussion relative à la qualité et à la scientificité des données découlant de l’évaluation.
Mots-clés :
- Biais de sélection,
- évaluation de programme,
- conduite avec facultés affaiblies par le cannabis,
- prévention chez les jeunes,
- risque perçu pour la santé,
- consommation autorévélée,
- implication des parties prenantes,
- validité interne
Appendices
Bibliographie
- Bouchard, S. et Cyr, C. (2005). Recherche psychosociale : Pour harmoniser recherche et pratique (2e éd.). Presses de l’Université du Québec. http://ebookcentral.proquest.com/lib/umontreal-ebooks/detail.action?docID=599920
- Bourque, J. (2016). Manuel d’introduction à la statistique appliquée aux sciences sociales. Presses de l’Université Laval.
- Brandon, P. R. (1998). Stakeholder participation for the purpose of helping ensure evaluation validity : Bridging the gap between collaborative and non-collaborative evaluations. American Journal of Evaluation, 19(3), 325‑337. https://doi.org/10.1177/109821409801900305
- Brandon, P. R. et Fukunaga, L. L. (2014). The state of the empirical research literature on stakeholder involvement in program evaluation. American Journal of Evaluation, 35(1), 26‑44. https://doi.org/10.1177/1098214013503699
- Braverman, M. T. (2013). Negotiating measurement : Methodological and interpersonal considerations in the choice and interpretation of instruments. American Journal of Evaluation, 34(1), 99‑114. https://doi.org/10.1177/1098214012460565
- Brisolara, S. (1998). The history of participatory evaluation and current debates in the field. New Directions for Evaluation, 1998(80), 25‑41. https://doi.org/10.1002/ev.1115
- Brisson, D. (2007). Collaborative evaluation in a community change initiative : Dilemmas of control over technical decision making. The Canadian Journal of Program Evaluation, 22(2), 21‑39.
- Burkhalter, R., Thompson-Haile, A., Rynard, V. et Manske, S. (2017) Guide de l’utilisateur des microdonnées de l’Enquête canadienne sur le tabac, l’alcool et les drogues chez les élèves de 2016-2017. Waterloo, Ontario : Centre pour l’avancement de la santé des populations Propel, Université de Waterloo, 1-59.
- Campbell, D. T. et Stanley, J. C. (1963). Experimental and quasi-experimental designs for research. Chicago: Rand McNally College Publishing.
- Cousins, J. B. (2003). Utilization effects of participatory evaluation. Dans T. Kellaghan et D. L. Stufflebeam (dir.), International Handbook of Educational Evaluation (p. 245‑265). Springer Netherlands. https://doi.org/10.1007/978-94-010-0309-4_16
- Cousins, J. B., Donohue, J. J. et Bloom, G. A. (1996). Collaborative evaluation in North America : Evaluators’ self-reported opinions, practices and consequences. Evaluation Practice, 17(3), 207‑226. https://doi.org/10.1016/S0886-1633(96)90002-1
- Cousins, J. B. et Whitmore, E. (1998). Framing participatory evaluation. New Directions for Evaluation, 1998(80), 5‑23. https://doi.org/10.1002/ev.1114
- Crishna, B. (2006). Participatory evaluation (II) – translating concepts of reliability and validity in fieldwork. Child: Care, Health and Development, 33(3), 224‑229. https://doi.org/10.1111/j.1365-2214.2006.00658.x
- Cusson, M., Tremblay, P., L.-Biron, L., Ouimet, M. et Grandmaison, R. (1994). La prévention du crime. Guide de planification d’évaluation (p. 116). École de criminologie de l’université de Montréal.
- Eck, J. E. (2006). When is a bologna sandwich better than sex? A defense of small-n case study evaluations. Journal of Experimental Criminology, 2(3), 345‑362. https://doi.org/10.1007/s11292-006-9014-9
- Ekblom, P. et Pease, K. (1995). Evaluating crime prevention. Crime and Justice, 19, 585‑662. https://doi.org/10.1086/449238
- Farrington, D. P. (2006). Methodological quality and the evaluation of anti-crime programs. Journal of Experimental Criminology, 2(3), 329‑337. https://doi.org/10.1007/s11292-006-9012-y
- Fetterman, D. M., Rodríguez-Campos, L., Zukoski, A. P. et Contributors. (2017). Collaborative, participatory, and empowerment evaluation : Stakeholder involvement approaches (1st edition). The Guilford Press.
- Fetterman, D., Rodríguez-Campos, L., Wandersman, A. et O’Sullivan, R. G. (2014). Collaborative, participatory, and empowerment evaluation : Building a strong conceptual foundation for stakeholder involvement approaches to evaluation (A response to Cousins, Whitmore, and Shulha, 2013). American Journal of Evaluation, 35(1), 144‑148. https://doi.org/10.1177/1098214013509875
- Field, A., Miles, J. et Field, Z. (2012). Discovering statistics using R. Sage publications.
- Fukunaga, L. (2015). The theory of planned behavior and stakeholder involvement in program evaluation : Evaluator decisions about diversity, depth, and control [Thesis, [Honolulu] : [University of Hawaii at Manoa], [May 2015]]. http://scholarspace.manoa.hawaii.edu/handle/10125/50975
- Gallegos, M. I., Zaring-Hinkle, B., Wang, N. et Bray, J. H. (2021). Detachment, peer pressure, and age of first substance use as gateways to later substance use. Drug and Alcohol Dependence, 218, 108352. https://doi.org/10.1016/j.drugalcdep.2020.108352
- JASP Team. (2021). JASP (Version 0.16)[Computer software]. https://jasp-stats.org/
- King, J. A. et Ehlert, J. C. (2008). What we learned from three evaluations that involved stakeholders. Studies in Educational Evaluation, 34(4), 194‑200. https://doi.org/10.1016/j.stueduc.2008.10.003
- Lavoie, J. et Panet-Raymond, J. (2020). La pratique de l’action communautaire (4e éd.). Presses de l’Université du Québec.
- Lemay, J.-F., Leclerc, L., Bélanger, S. et Messikh, D. (2013). Les particularités de l’évaluation pour les groupes communautaires : Réflexions et enjeux. Bulletins de la Société québécoise d’évaluation de programme, 25(1), 8‑10.
- McDavid, J. C., Huse, I. et Hawthorn, L. R. L. (2018). Program evaluation and performance measurement : An introduction to practice. SAGE Publications.
- Mertens, D. M. et Wilson, A. T. (2018). Program evaluation theory and practice, Second Edition : A comprehensive guide. Guilford Publications. http://ebookcentral.proquest.com/lib/umontreal-ebooks/detail.action?docID=5601866
- Midy, F., Vanier, C. et Grant, M. (1998). Guide d’évaluation participative et de négociation.
- Morris, M. (2003). Ethical considerations in evaluation. Dans T. Kellaghan et D. L. Stufflebeam (dir.), International Handbook of Educational Evaluation (p. 303‑327). Springer Netherlands. https://doi.org/10.1007/978-94-010-0309-4_19
- Panizza, F., Vostroknutov, A. et Coricelli, G. (2021). How conformity can lead to polarised social behaviour. PLoS Computational Biology, 17(10). https://doi.org/10.1371/journal.pcbi.1009530
- Patton, M. Q. et LaBossière, F. (2012). L’évaluation axée sur l’utilisation. Dans V. Ridde et C. Dagenais (dir), Approches et pratiques en évaluation de programmes (Les Presses de l’Université de Montréal, p. 145‑160).
- R Core Team. (2016). R: A language and environment for statistical computing. Dans R Foundation for Statistical Computing.
- Rodríguez-Campos, L. et Rincones-Gómez, R. (2012). Collaborative Evaluations : Step-by-Step, Second Edition (2 edition). Stanford Business Books.
- Rossi, P. H. et Freeman, H. E. (1993). Evaluation : A systematic approach. Newbury Park, CA: Sage.
- Scriven, M. (2003). Evaluation theory and metatheory. Dans T. Kellaghan et D. L. Stufflebeam (dir.), International Handbook of Educational Evaluation (p. 15‑30). Springer Netherlands. https://doi.org/10.1007/978-94-010-0309-4_3
- Senanayake, S., Abell, B., Novick, M., Exley, H., Dolejs, W., Hutchinson, K., McPhail, S. et Kularatna, S. (2021). Impact and outcome evaluation of HealthPathways : A scoping review of published methodologies. Journal of Primary Health Care, 13(3), 260‑273. https://doi.org/10.1071/HC21067
- Serafini, E. J., Lake, J. B. et Long, M. H. (2015). Needs analysis for specialized learner populations : Essential methodological improvements. English for Specific Purposes, 40, 11‑26. https://doi.org/10.1016/j.esp.2015.05.002
- Spilka, S., Philippon, A., Le Nézet, O., Janssen, E., Eroukmanoff, V. et Godeau, E. (2021). Usages d’alcool, de tabac et de cannabis chez les élèves de 3e en 2021. Tendances, 1(148), 1‑4.
- Stufflebeam, D. L. et Coryn, C. L. S. (2014). Evaluation theory, models, and applications (2nd edition). Jossey-Bass.
- Tabachnick, B. G. et Fidell, L. S. (2014). Using multivariate statistics (Pearson new international edition, sixth edition). Pearson.
- Taut, S. (2008). What have we learned about stakeholder involvement in program evaluation? Studies in Educational Evaluation, 7.
- Thayer, C. et Fine, A. (2001). Evaluation and outcome measurement in the non-profit sector : Stakeholder participation. Evaluation and Program Planning, 24, 103‑108. https://doi.org/10.1016/S0149-7189(00)00051-3
- Torres, R. T. et Preskill, H. (1999). Ethical dimensions of stakeholder participation and evaluation use. New Directions for Evaluation, 1999(82), 57‑66. https://doi.org/10.1002/ev.1137
- Torres-Cuello, M. A., Pinzón-Salcedo, L. et Midgley, G. (2018). Developing a systemic program evaluation methodology : A critical systems perspective. Systems Research and Behavioral Science, 35(5), 538‑547. https://doi.org/10.1002/sres.2561
- Tougas, A.-M., Bérubé, A. et Kishchuk, N. (2021). Évaluation de programme : De la réflexion à l’action. Presses de l’Université du Québec.
- Weaver, L. et Cousins, J. B. (2004). Unpacking the participatory process. Journal of MultiDisciplinary Evaluation, 1(1), 19‑40.
- Weiss, C. H. (1998). Evaluation : Methods for studying programs and policies (2nd ed.). Prentice Hall.
- White, H. (2017). Effective targeting of social programmes : An overview of issues. Journal of Development Effectiveness, 9(2), 145‑161. https://doi.org/10.1080/19439342.2017.1317282
- Yarbrough, D. B., Shulha, L. M., Hopson, R. K. et Caruthers, F. A. (2010). The program evaluation standards : A guide for evaluators and evaluation users (Third edition). SAGE Publications.