Résumés
Résumé
Les évaluations de l’effet des formations sont peu pratiquées, notamment parce que les évaluateurs manquent d’instruments méthodologiques facilitant leur mise en oeuvre. Les auteurs présentent une recherche-développement (R-D) qui a abouti à une méthode d’évaluation des retours sur attentes (ROE) en formation qu’ils ont intitulée cycle de Construction et de gestion qualité des évaluations de l’impact des formations (cycle CGQEIF). Ce cycle a été mis à l’essai dans deux contextes de formation continue : une première fois, dans le secteur de la santé avec une formation d’assistants techniques spécialisés en salle d’opération (ATSSO) et ensuite, dans le cadre d’un module de formation de directeurs d’institutions de formation (FORDIF) en éducation. Les résultats des deux mises à l’essai nous ont permis d’améliorer la méthode et d’en renforcer la pertinence. Les leçons que nous en tirons seront exploitées lors d’une troisième mise à l’essai dans le contexte de l’enseignement supérieur.
Mots-clés :
- évaluation de l’impact des formations,
- évaluation du retour sur les attentes,
- modèle de Kirkpatrick-Phillips,
- recherche et développement
Abstract
Evaluations of the impact of training are not widely practiced, partly because evaluators lack the methodological tools to facilitate their implementation. The authors present a research and development (R&D) project that has resulted in a method for evaluating return on expectations (ROE) in training, which they have entitled the cycle de Construction et de gestion qualité des évaluations de l’impact des formations (cycle CGQEIF). This cycle was tested in two continuing training contexts: firstly, in the health sector, with a training course for specialized technical assistants in operating rooms (ATSSO), and secondly, as part of a module for training directors of training institutions (FORDIF) in education. The results of both trials enabled us to improve the method and reinforce its relevance. The lessons we have learned will be applied to a third trial in the context of higher education.
Keywords:
- evaluation of return on expectations,
- evaluation of training impact,
- Kirkpatrick-Phillips model,
- research and development
Resumo
As avaliações do efeito das formações são pouco praticadas, principalmente porque os avaliadores carecem de instrumentos metodológicos que facilitem sua implementação. Os autores apresentam uma investigação-desenvolvimento (I&D) que resultou numa metodologia de avaliação dos retornos sobre as expectativas (ROE) em formação, a qual denominaram ciclo de Construção e de Gestão da Qualidade das Avaliações do Efeito das Formações (ciclo CGQAEF). Este ciclo foi testado em dois contextos de formação contínua: inicialmente no setor da saúde, com uma formação de assistentes técnicos especializados em salas de operação (ATESO), e, posteriormente, no âmbito de um módulo de formação de diretores de instituições de formação (FORDIF), na área da educação. Os resultados dos dois testes permitiram melhorar a metodologia e reforçar sua pertinência. As lições extraídas dessas experiências serão aproveitadas numa terceira fase de testes, desta vez no contexto do ensino superior.
Palavras chaves:
- avaliação de efeito,
- avaliação dos retornos sobre as expectativas,
- modelo de Kirkpatrick-Phillips,
- investigação e desenvolvimento
Parties annexes
Bibliographie
- AERA-APA-ACME (1999). Standards for International and Psychological Testing. Washington: American International Research Association.
- AERA APA NCME (2014). Standards for International and Psychological Testing. Washington: American International Research Association.
- Alliger, G. M. & Janak, E. A. (1989). Kirkpatrick’s levels of training criteria: thirty years later. Personnel Psychology, 42(2), 331
- Alsalamah, A. & Callinan, C. (2022). The Kirkpatrick model for training evaluation: bibliometric analysis after 60 years (1959-2020). Industrial and Commercial Training, 54(1), p. 36-63.
- Ammons, D. N. & Niedzielski-Eichner, P. A. (1985). Evaluating Supervisory Training in Local Government: Moving Beyond Concept to a Practical Framework. Public Personnel Management, 14(3), 211-30.
- Best, M. & Neuhauser, D. (2006). Walter A Shewhart, 1924, and the Hawthorne factory. BMJ quality & safety, 15(2), 142-143.
- Boutillier, C., Jeanrenaud, L., Gilles, J.-L., Bouche, L. & Quillet Cotting, J. (2020). Healthcare Students on Placements: a Cyclical Quality Method for Satisfaction Assessments. Medical Science Educator, 30, 1427-1435. http://hdl.handle.net/20.500.12162/4096
- Chochard, Y. (2012). Les variables influençant le rendement des formations managériales. [Thèse de doctorat en Sciences économiques et sociales, Université de Fribourg].
- Chochard, Y., De Souza, G. & Gilles, J.-L. (2017). Évaluation du transfert des acquis de formation en milieu de travail : une nouvelle méthode. Bulletin de l’Observatoire compétences-emploi - OCE, 7, 1-6. http://hdl.handle.net/20.500.12162/127
- Chochard, Y. & Gilles, J.-L. (2016). Optimiser l’impact de la formation continue universitaire : développement d’un nouvel instrument d’évaluation du transfert des acquis sur le terrain professionnel. Dans O. Adigüzel (dir.), Teaching and Training Today for Tomorrow. Eskisehir, Turquie : Anadolu University. http://hdl.handle.net/20.500.12162/697
- Deming, E. (1986). Out of the Crisis. MIT, Center for Advanced Engineering Study.
- Dos Santos Paulo, M. (2023). Mise en Place et Amélioration du Cycle de Construction et de Gestion Qualité d’Évaluations de l’Impact de Formations (cycle CGQEIF) à la Formation en Direction d’Institutions de Formation (FORDIF) [Mémoire de maîtrise inédit, Haute école pédagogique de Lausanne].
- Dunberry, A. & Péchard, C. (2007). L’évaluation de la formation dans l’entreprise : état de la question et perspectives. CIRDEP-UQAM.
- Espace Compétences (2025). https://espace-competences.ch/
- FORDIF. (2023). Le pilotage d’un établissement de formation à l’ère du numérique. https://www.fordif.ch/formation/pilotage-numerique/
- Gascon, H. & Germain, M. P. (2017). La recherche-développement, une méthode centrée sur l’élaboration d’un produit. Dans P. Beaupré, R. Laroui & M.-H. Hébert (dir.), Le chercheur face aux défis méthodologiques de la recherche. Freins et leviers (p. 121- 134). Presses de l’Université du Québec.
- Gérard, F. M. (2003). L’évaluation de l’efficacité d’une formation. Gestion 2000.
- Gilles, J.-L. (2002). Qualité spectrale des tests standardisés universitaires - Mise au point d’indices édumétriques d’analyse de la qualité spectrale des évaluations des acquis des étudiants universitaires et application aux épreuves MOHICAN check up ’99 [Thèse de doctorat, Université de Liège]. https://orbi.uliege.be/handle/2268/2217
- Gilles, J.-L. (2023). Ingénierie des évaluations en formation. Cycle N4 CAS IEF. Support de cours non publié, Haute école pédagogique, Vaud.
- Gilles, J.-L. & Charlier, B. (2020). Dispositifs d’évaluation à distance à correction automatisée versus non automatisée : analyse comparative de deux formes emblématiques. Évaluer : journal international de recherche en éducation et formation - e-JIREF, Numéro Hors-série (1), 143-154. http://hdl.handle.net/20.500.12162/3865
- Gilles, J.-L. & Chochard, Y. (2022). Construction Cycle and Quality Controls for Training Transfer Evaluations in Lifelong Learning Programs in Quebec and Switzerland. Creative Education, 13, 3533-3558. http://hdl.handle.net/20.500.12162/5920
- Gilles, J.-L., Chochard, Y., Berset, T., Bieri, S., El Guermai, J., Graveline, A., ... Rupp-Nantel, K. (2017). Cycle de construction et de gestion qualité d’évaluation du transfert (CGQET). Université du Québec à Montréal. http://hdl.handle.net/20.500.12162/122
- Gilles, J.-L. & Leclercq, D. (1995). Procédures d’évaluation adaptées à des grands groupes d’étudiants universitaires - Enjeux et solutions pratiquées à la FAPSE-ULG. Communication présentée à Symposium International sur la Rénovation Didactique en Biologie, Tunis, Tunisie. http://hdl.handle.net/20.500.12162/2709
- Gilles, J.-L. & Rigo, J.-M. (2022). Conception et mise en oeuvre d’un cycle de Construction et de gestion qualité d’évaluation de l’impact de formations (cycle CGQEIF). Communication présentée au Congrès ACFAS 2022, Symposium 526 - Formation professionnelle en milieu de travail : qualité des dispositifs offerts et effets pour les travailleurs formés, les formateurs et les employeurs, Montréal, Canada.
- Goldwasser, D. (2001). Beyond ROI. Training, 38(1).
- Harvey, S. & Loiselle, J. (2009). Proposition d’un modèle de recherche développement. Recherches qualitatives, 28(2), 95-117. https://doi.org/10.7202/1085274ar
- Hyatt, M. (2020). Achieving together: The full focus system for teams. https://michaelhyatt.com/wp-content/uploads/dlm_uploads/2020/12/Achieving Together_Interactive_Workbook.pdf
- Juran, J. M. (2003). Juran on leadership for quality. Simon and Schuster.
- Kaeser Boutillier, C., Jeanrenaud, L., Gilles, J.-L., Bouche, L., & Quillet Cotting, J. (2022). Évaluer et réguler la formation pratique en milieu hospitalier à l’aide d’un cycle de Construction et de gestion qualité des évaluations de satisfaction (cycle CGQES): enjeu et impact d’une expérience pilote au CHUV de Lausanne. Dans P. Detroz, L. Mottier Lopez et E. Issaieva (dir.), Livret des résumés. http://hdl.handle.net/20.500.12162/5916
- Kirkpatrick, D. (1959). Techniques for evaluating training programs. Journal of the American Society of Training Directors, 13(11), 3-26.
- Kirkpatrick, D. L. (1978). Evaluating In-House Training Programs. Training and Development Journal, 32(9), 6-9.
- Kirkpatrick, D. (1996). Great Ideas Revisited. Techniques for Evaluating Training Programs, Revisiting Kirkpatrick’s Four-Level Model. Training & Development. 50(1), p. 54-59.
- Kirkpatrick, D. & Kirkpatrick, J. (2006). Evaluating Training Programs: The Four Levels. Berrett-Koehler Publishers.
- Loiselle, J. (2001). La recherche développement en éducation : sa nature et ses caractéristiques. Dans M. Anadón (dir.), Nouvelles dynamiques de recherche en éducation (p. 77-98). Presses Université de Laval.
- Loiselle, J. & Harvey, S. (2007). La recherche développement en éducation : fondements, apports et limites. Recherches qualitatives, 27(1), 40-59.
- Meignant (2014). Manager la formation (9e éd.). Éditions Liaisons.
- Monnot, A. (2014). Les pratiques d’évaluation de la formation professionnelle et leurs déterminants dans les entreprises du SBF 120. Management & Avenir, 68, 92-111. https://doi.org/10.3917/mav.068.0092
- Peters, T. J. & Waterman Jr, R. H. (1982). In Search of. Of Excellence. Harper and Row.
- Phillips, J. J. (1997). Handbook of training evaluation and measurement methods (3e éd.). Gulf Publishing Company
- Phillips & Stone (2002). How to measure Training Results, tracking 6 key indicators. McGraw-Hill.
- Plan d’études et moyens d’enseignement romand (PER) (2023). Plan d’études romand. https://portail.ciip.ch/per/domains.
- Pottiez, (2019). Nouveau modèle de Kirkpatrick : quels apports pour la fonction formation ? Le blog de C-Campus. https://www.blog-formation-entreprise.fr/nouveau-modele-kirkpatrick-apports-fonction-formation/
- Pottiez, J. (2021). L’évaluation de la formation : Pilotez et maximisez l’efficacité de vos formations. Dunod.
- Rigo, J.-M., Ef Jaafari, S., El Kamoun, N. & Gilles, J.-L. (2022, mai). De CORETEV à GIRIEF : un réseau international de recherches et d’expertises en ingénierie des évaluations. Communication présentée à Séminaire international de recherche CORETEV 2022 (SIR CORETEV 2022), Lausanne, Suisse. http://hdl.handle.net/20.500.12162/5893
- Saunders, M. (2000). Beginning an evaluation with RUFDATA: theorizing a practical approach to evaluation planning. Evaluation, 6(1), 7-21.
- Shewhart, W. A. (1931). Statistical method from an engineering viewpoint. Journal of the American Statistical Association, 26(175), 262-269.
- Shewhart, W. A. (1958). Nature and origin of standards of quality. The Bell System Technical Journal, 37(1), 1-22.
- Suarez, J. G. (1992). Three Experts on Quality Management: Philip B. Crosby, W. Edwards Deming, Joseph M. Juran (Vol. 11). Department of the Navy TQL Office.
- Sugrue, B. & Kim, K. (2004). The 2004 ASTD state of the industry report.
- Twitchell, S., Holton, E. F. & Trott Jr, J. W. (2000). Technical training evaluation practices in the United States. Performance Improvement Quarterly, 13(3), 84-109.
- Van Buren, M. E. & Erskine, W. (2002). The 2002 ASTD state of the industry report. American Society of Training and Development.
- Van der Maren, J.-M. (2014). La recherche appliquée pour les professionnels - Éducation, (para)médical, travail social. Éditions de Boeck.
- Wang, G. G., Dou, Z. & Li, N. (2002). A system approach to measuring return on investment for HRD interventions. Human Resource Development Quarterly, 13(2), 203-224.
- Warner, M. H. (2020). Project lessons learned, or: Asking the team to “KISS”. The Project Management Blueprint. https://www.theprojectmanagementblueprint.com/blog/project-overview/project-lessons-learned-via-kiss-method.
10.7202/1085274ar