Abstracts
Résumé
Cet article examine l’utilisation et la perception d’un chatbot par des étudiants de première année dans l’enseignement supérieur en Belgique. Avec la massification de l’éducation, des adaptations pédagogiques deviennent nécessaires dans l’université moderne. Les chatbots, en tant qu’outils numériques, offrent une opportunité pour diversifier l’accès aux contenus éducatifs, face au défi de fournir un enseignement de qualité à tous. L’étude aborde deux questions de recherche : Quelle est la perception des étudiants (N = 89) quant à l’usage du chatbot en tant que tuteur de cours?; Quel est son rôle selon la typologie de Bernatchez (2003)? Les résultats, en concordance avec d’autres études, indiquent une évaluation positive en termes d’efficacité, d’utilisabilité, d’acceptabilité et d’expérience utilisateur, bien que des scores inférieurs soient observés en motivation et en comportement. L’analyse démontre une préférence des étudiants pour un soutien pédagogico-cognitif par le chatbot, plutôt que technique. Ces résultats sont en accord avec d’autres recherches, soulignant l’utilisation efficace des chatbots dans l’éducation, avec peu d’interactions non pertinentes. En conclusion, l’étude souligne l’efficacité et l’acceptabilité des chatbots en tant que tuteurs et propose des perspectives pour leur intégration comme parcours d’apprentissage personnalisé.
Mots-clés :
- chatbot,
- tuteur,
- perceptions,
- usages,
- robot conversationnel
Abstract
This article examines first-year students’ use and perception of a chatbot in higher education in Belgium. With education now being accessible to most people, pedagogical adaptations are becoming necessary in modern universities. As digital tools, chatbots offer an opportunity to diversify access to educational content, offering a possible solution to the challenge of providing quality education for all. The study addresses two research questions. How do students (N=89) perceive the use of chatbots as course tutors? What is its role according to Bernatchez’s typology (2003)? The results, in line with other studies, reveal a positive evaluation in terms of effectiveness, usability, acceptability and user experience, although lower scores were observed for motivation and behaviour. The analysis shows the students’ preference for pedagogical-cognitive support from the chatbot rather than technical support. These results are in line with other studies, highlighting the effective use of chatbots in education, with few irrelevant interactions. In conclusion, the study highlights the effectiveness and acceptability of chatbots as tutors and suggests ways in which they can be integrated into personalised learning paths.
Keywords:
- chatbot,
- tutor,
- perceptions,
- uses
Resumen
Este artículo examina el uso y la percepción de un chatbot por parte de estudiantes de primer año de enseñanza superior en Bélgica. Con la masificación de la educación, las adaptaciones pedagógicas se hacen necesarias en la universidad moderna. Como herramientas digitales, los chatbots ofrecen una oportunidad para diversificar el acceso a los contenidos educativos, ante el desafío de proporcionar una educación de calidad para todos. El estudio aborda dos preguntas de investigación. ¿Cómo perciben los estudiantes (N=89) el uso de chatbots como tutores del curso? ¿Cuál es su papel según la tipología de Bernatchez (2003)? Los resultados, en línea con otros estudios, indican una valoración positiva en términos de eficacia, usabilidad, aceptabilidad y experiencia de usuario, aunque se observan puntuaciones más bajas en motivación y comportamiento. El análisis muestra una preferencia de los estudiantes por el apoyo pedagógico-cognitivo del chatbot, más que por el apoyo técnico. Estos resultados están en línea con otras investigaciones, destacando el uso eficaz de los chatbots en la educación, con pocas interacciones irrelevantes. En conclusión, el estudio destaca la eficacia y aceptabilidad de los chatbots como tutores y sugiere perspectivas para su integración en itinerarios de aprendizaje personalizados.
Palabras clave:
- chatbot,
- tutor,
- percepciones,
- usos
Resumo
Este artigo examina o uso e a percepção de um chatbot de estudantes do primeiro ano no ensino superior na Bélgica. Com a massificação da educação, as adaptações pedagógicas estão se tornando necessárias na universidade moderna. Como ferramentas digitais, os chatbots oferecem uma oportunidade para diversificar o acesso ao conteúdo educacional, diante do desafio de fornecer educação de qualidade para todos. O estudo aborda duas questões de pesquisa. Como os alunos (n = 89) percebem o uso de chatbots como tutores do curso? Qual é o seu papel de acordo com a tipologia de Bernatchez (2003)? Os resultados, de acordo com outros estudos, indicam uma avaliação positiva em termos de eficácia, usabilidade, aceitabilidade e experiência do usuário, embora escores mais baixos tenham sido observados para motivação e comportamento. A análise mostra uma preferência por parte dos alunos para o apoio pedagógico-cognitivo do chatbot, em vez de suporte técnico. Esses resultados estão alinhados com outras pesquisas, destacando o uso efetivo de chatbots na educação, com poucas interações irrelevantes. Em conclusão, o estudo destaca a eficácia e a aceitabilidade dos chatbots como tutores e sugere maneiras pelas quais eles podem ser integrados a caminhos de aprendizagem personalizados.
Palavras chaves:
- chatbot,
- tutor,
- perceções,
- utilizações
Download the article in PDF to read it.
Download
Appendices
Bibliographie
- Ade-Ibijola, A. et Okonkwo, C. W. (2020). Python-Bot: A chatbot for teaching python programming. Engineering Letters, 29(1). https://www.engineeringletters.com/issues_v29/issue_1/EL_29_1_03.pdf
- Albero, B., Armatte, M. Linard, M., et Robin, J. Y. (2008). Petite fabrique de l’innovation à l’université : quatre parcours de pionniers. Harmattan.
- Arnoldi, A. (2022). Comment évaluer un chatbot comme assistant de cours utilisé en formation à distance? [Mémoire, Université de Genève]. https://tecfa.unige.ch/tecfa/maltt/memoire/Arnoldi2022.pdf
- Baah, P. K. Essel, H. B., Johnson, E. E., Tachie-Menson, A., et Vlachopoulos, D. (2022). The impact of a virtual teaching assistant (chatbot) on students’ learning in Ghanaian higher education. International Journal of Educational Technology in Higher Education, 19(1), 1-19. https://educationaltechnologyjournal.springeropen.com/articles/10.1186/s41239-022-00362-6
- Barr, R.B., et Tagg, J. (1995). From teaching to learning: A new paradigm for undergraduate education. Change, 27(6), 13 25. https://doi.org/10.1080/00091383.1995.10544672
- Bédard, D., et Béchard, J. P. (2009). L’innovation pédagogique dans le supérieur : un vaste chantier. Innover dans l’enseignement supérieur. Presses universitaires de France.
- Ben Youssef, A., et Rallet, A. (2009). Présentation. Usage des T.I.C. dans l’enseignement supérieur [numéro thématique]. Réseaux, 155, 9-20. https://doi.org/10.3917/res.155.0009
- Bernatchez, P. A. (2003). Vers une nouvelle typologie des activités d’encadrement et du rôle des tuteurs. DistanceS, 6(1), 5-25.
- Bertrand, C., et Bonnafous, S. (2014). Soutenir la transformation pédagogique dans l’enseignement supérieur. Rapport à Madame Simone Bonnafous, directrice générale pour l’enseignement supérieur et l’insertion professionnelle. République Française : Ministère de l’Enseignement supérieur et de la recherche. https://www.stephanekinoo.fr/wordpress4/wp-content/uploads/2012/10/rapport-CB.pdf
- Brémaud, L., et Boisclair, M. (2012). Pédagogie universitaire et partenariat université-entreprise : enjeux, écueils, perspectives. Revue internationale de pédagogie de l’enseignement supérieur, 28(1). https://doi.org/10.4000/ripes.577
- Bru, M. (2006). Les méthodes en pédagogie. Presses universitaires de France.
- Chang, C. Y., Hwang, G. J., et Gau, M. L. (2021). Promoting students’ learning achievement and self-efficacy: A mobile chatbot approach for nursing training. British Journal of Educational Technology. https://doi.org/10.1111/bjet.13158
- Collin, S., et Marceau, E. (2022). Enjeux éthiques et critiques de l’intelligence artificielle en enseignement supérieur. Éthique publique. Revue internationale d’éthique sociétale et gouvernementale, 24(2). https://doi.org/10.4000/ethiquepublique.7619
- Davis, F. D. (1989). Technology acceptance model: TAM. Al-Suqri, MN, Al-Aufi, AS: Information Seeking Behavior and Technology Adoption, 205, 219.
- Dahmani, M., et Ragni, L. (2009). L’impact des technologies de l’information et de la communication sur les performances des étudiants. Réseaux, 155, 81-110. https://doi.org/10.3917/res.155.0081
- Delaherche, E., et Glafkides, J. P. (2022, mai). Conception collective d’un tuteur virtuel pour l’apprentissage individualisé des étudiants. In Association Internationale de Pédagogie Universitaire 2022. https://hal.science/hal-04441968/
- Deveci Topal, A., Dilek Eren, C., et Kolburan Geçer, A. (2021). Chatbot application in a 5th grade science course. Education and Information Technologies, 26(5), 6241-6265. https://doi.org/10.1007/s10639-021-10627-8
- Diouf, F. M., et Marone, R. M. N. (2024). Conception d’un « chatbot » pour soutenir les services d’information dans les bibliothèques universitaires. JIS-Journal of Information Sciences, 22(2), 1-25. https://hal.science/hal-04427709/
- Djebara, A., et Dubrac, D. (2015). La pédagogie numérique : un défi pour l’enseignement supérieur : avis du Conseil économique, social et environnemental. Les éditions des journaux officiels.
- Dsouza, R., Kalbande, D. R., Patil, R., et Sahu, S. (2019). Chat with bots intelligently: A critical review et analysis. 2019 International Conference on Advances in Computing, Communication and Control (ICAC3), 1-6. https://doi.org/10.1109/ICAC347590.2019.9036844
- Dubois, C., Salotti, J., Seminel, D., et Simonazzi, N. (2019). Le chatbot : un outil de la relation aux clients. Hermès, La Revue, 84, 95-97. https://doi.org/10.3917/herm.084.0095
- Duguet, A., et Morlaix, S. (2018). Le numérique à l’université : facteur explicatif des méthodes pédagogiques? Revue internationale de pédagogie de l’enseignement supérieur, 34(3). https://doi.org/10.4000/ripes.1682
- Duplaa, E., Galisson, A., et Choplin, H. (2003). Le tutorat à distance existe-t-il? Propositions pour du tutorat proactif à partir de deux expérimentations de FOAD. Environnements Informatiques pour l’Apprentissage Humain 2003, 477-484. https://edutice.archives-ouvertes.fr/edutice-00000169/
- Fryer, L. K., Nakao, K., et Thompson, A. (2019). chatbot learning partners: Connecting learning experiences, interest and competence. Computers in human Behavior, 93, 279-289. https://doi.org/10.1016/j.chb.2018.12.023
- Garcia-Brustenga, G., Fuertes-Alpiste, M., et Molas Castells, N. (2018). Briefing Paper: chatbots in Education. Universitat Oberta de Catalunya (UOC). https://doi.org/10.7238/elc.chatbots.2018
- Gonda, D. E., Luo, J., Wong, Y. L., et Lei, C. U. (2018, December). Evaluation of developing educational chatbots based on the seven principles for good teaching. Dans 2018 IEEE International Conference on Teaching, Assessment, and Learning for Engineering (TALE) (p. 446-453). IEEE.
- Graesser, A. C., VanLehn, K., Rose, C. P., Jordan, P. W., et Harter, D. (2001). Intelligent tutoring systems with conversational dialogue. AI magazine, 22(4), 39. https://doi.org/10.1609/aimag.v22i4.1591
- Groccia, J. E. (2012). Building Teaching Capacities in Higher Education: A Comprehensive International Model. Stylus Publishing.
- Hew, K. F., Huang, W., Du, J., et Jia, C. (2023). Using chatbots to support student goal setting and social presence in fully online activities: learner engagement and perceptions. Journal of Computing in Higher Education, 35(1), 40-68. https://link.springer.com/article/10.1007/s12528-022-09338-x
- Hiremath, G., Hajare, A., Bhosale, P., Nanaware, R., et Wagh, K. S. (2018). Chatbot for education system. International Journal of Advance Research, Ideas and Innovations in Technology, 4(3), 37-43.
- Huang, W., Hew, K. F., et Fryer, L. K. (2022). Chatbots for language learning—Are they really useful? A systematic review of chatbot‐supported language learning. Journal of Computer Assisted Learning, 38(1), 237-257. https://doi.org/10.1111/jcal.12610
- Huu Binh, N. (2014). Fiabilité et validité du Modèle d’acceptation de la technologie (TAM) dans le contexte d’apprenants vietnamiens du français comme langue étrangère face aux TIC. Revue internationale des technologies en pédagogie universitaire/International Journal of Technologies in Higher Education, 11(3), 38-50.
- Jutras, F, et Lison, C. (2014). Innover à l’université : penser les situations d’enseignement pour soutenir l’apprentissage. Revue internationale de pédagogie de l’enseignement supérieur, 30(1). https://doi.org/10.4000/ripes.769
- Kamanzi, P. C., Goastellec, G., et Picard, F. (2017). L’envers du décor : massification de l’enseignement supérieur et justice sociale. PUQ.
- Kirakowski, J., O’Donnell, P., et Yiu, A. (2009). Establishing the Hallmarks of a Convincing chatbot-Human Dialogue. Dans I. Maurtua (Eds.), Human-Computer Interaction (p. 145-154). Rijeka, Croatie : BoD – Books on Demand. http://doi.org/10.5772/7741
- Knoerr, H. (2005). TIC et motivation en apprentissage/enseignement des langues. Une perspective canadienne : recherche et pratiques pédagogiques en langues de spécialité. Cahiers de l’APLIUT, 24(2), 53-73. https://doi.org/10.4000/apliut.2889
- Lameul, G., et Loisy, C. (2014). La pédagogie universitaire à l’heure du numérique. De Boeck Supérieur.
- Lallemand, C., Kœnig, V., Gronier, G., et Martin, R. (2015). Création et validation d’une version française du questionnaire AttrakDiff pour l’évaluation de l’expérience utilisateur des systèmes interactifs. European Review of Applied Psychology, 65(5), 239-252. https://doi.org/10.1016/j.erap.2015.08.002
- Lemieux-Vermette, V. (2023). L’impact de l’empathie perçue sur les préoccupations pour la vie privée en ligne, le sentiment de malaise et la confiance d’un utilisateur dans un contexte chatbot [Mémoire, Université du Québec]. Archipel. https://archipel.uqam.ca/16633/1/M17923.pdf
- Llorca, M.-C. (2020). Pédagogie et numérique. Médecine des Maladies Métaboliques, 14(3), 218-229. https://doi.org/10.1016/j.mmm.2020.03.004
- Lund, A. M. (2001). Measuring usability with the use questionnaire12. Usability interface, 8(2), 3-6. https://tinyurl.com/2t8x46j5
- Malik, R., Shrama, A., Trivedi, S. et Mishra, R. (2021). Adoption des chatbots pour l’apprentissage chez les étudiants universitaires : rôle de la commodité perçue et de l’amélioration des performances. Revue internationale des technologies émergentes dans l’apprentissage, 16(18), 200-212. https://online-journals.org/index.php/i- jet/article/view/24315
- Mandeville, L. (2009). Une expérience d’apprentissage significatif pour l’étudiant. Dans D. Bédard et J.- P. Béchard (dir.), Innover dans l’enseignement supérieur (p. 125-138). Presses Universitaires de France.
- Mendoza, S., Hernández-León, M., Sánchez-Adame, L.M., Rodríguez, J., Decouchant, D., et Meneses Viveros, A. (2020). Supporting Student-Teacher Interaction Through a chatbot. Learning and Collaboration Technologies. Human and Technology Ecosystems, 93-107. https://doi.org/10.1007/978-3-030-50506-6_8
- Mikic-Fonte, F. A., Llamas-Nistal, M., et Caeiro-Rodríguez, M. (2018). Using a chatterbot as a FAQ assistant in a course about computers architecture. IEEE frontiers in education conference (FIE). https://doi.org/10.1109/FIE.2018.8659174
- Monfort, E., Quillion-dupre, L. Jouanneaux, N. et Deschaintre, M. (2018). USE-Age Traduction et validation d’un questionnaire d’évaluation de l’acceptation de l’informatique par les personnes âgées. (EA4145), 21-26. https://tinyurl.com/mx5ndszs
- Nadarzynski, T., Miles, O., Cowie, A., et Ridge, D. (2019). Acceptability of artificial intelligence (AI)-led chatbot services in healthcare: A mixed-methods study. Digital health, 5. https://doi.org/10.1177/2055207619871808
- Nguyen, Q. N., Sidorova, A., et Torres, R. (2022). User interactions with chatbot interfaces vs. Menu-based interfaces: An empirical study. Computers in Human Behavior, 128, 107093. https://doi.org/10.1016/j.chb.2021.107093
- Nieves, B. (2018). IA Conversacional: definición y conceptos básicos. Planeta chatbot. https://planetachatbot.com/ia-conversacional-conceptos-basicos-y-definicion/
- Ologeanu, R. (2002). Visioconférence dans l’enseignement supérieur : le processus d’innovation, des expérimentations aux usages [Thèse de doctorat, Université Stendhal-Grenoble III]. HAL. https://theses.hal.science/edutice-00000312/
- Ondáš, S., Pleva,M., et Hládek, D. (2019). How chatbots can be involved in the education process. 17th international conference on emerging elearning technologies and applications (ICETA), 575-580. https://doi.org/10.1109/ICETA48886.2019.9040095
- Pham, X. L., Pham, T., Nguyen, Q. M., Nguyen, T. H., et Cao, T. T. H. (2018). Chatbot as an intelligent personal assistant for mobile language learning. Proceedings of the 2018 2nd International Conference on Education and E-Learning, 16-21. https://doi.org/10.1145/3291078.3291115
- Quintin, J. J. (2008). Accompagnement d’une formation asynchrone en groupe restreint : modalités d’intervention et modèles de tutorat. Sciences et Technologies de l’Information et de la Communication pour l’Éducation et la Formation (STICEF), 15, 1-23. https://hal.science/hal-00696373/
- Schreiberova, P., et Smutny, P. (2020). Chatbots for learning: A review of educational chatbots for the Facebook Messenger. Computers et Education, 151. https://doi.org/10.1016/j.compedu.2020.103862
- Schrepp, M., et Thomaschewski, J. (2019). Design and validation of a framework for the creation of user experience questionnaires. International Journal of Interactive Multimedia and Artificial Intelligence, 5(7), 88-95. http://doi.org/10.9781/ijimai.2019.06.006
- Sinha, S., Basak, S., Dey, Y., et Mondal, A. (2020). An educational chatbot for answering queries. Dans J. K. Mandal et D. Bhattacharya (dir.), Advances in intelligent systems and computing (p. 55-60). Springer.
- Temperman, G. (2013). Visualisation du processus collaboratif et assignation de rôles de régulation dans un environnement d’apprentissage à distance [Thèse de doctorat, Université de Mons]. https://theses.hal.science/tel-01005304
- Vallerand, R. J., Blais, M. R., Brière, N. M., et Pelletier, L. G. (1989). Construction et validation de l’échelle de motivation en éducation (EME). Canadian Journal of Behavioural Science/Revue canadienne des sciences du comportement, 21(3), 323. https://doi.org/10.1037/h0079855
- Verchier, Y. et Lison, C. (2020). Repenser l’expérience d’enseignement et d’apprentissage en situation de confinement pédagogique. Revue internationale des technologies en pédagogie universitaire / International Journal of Technologies in Higher Education, 17(2), 127-135. https://doi.org/10.18162/ritpu-2020-v17n2-13
- Venkatesh, V., Morris, M. G., Davis, G. B., et Davis, F. D. (2003). User acceptance of information technology: Toward a unified view. MIS quarterly, 27(3), 425-478. https://doi.org/10.2307/30036540
- Wakefield, J., et Frawley, J. K. (2020). How does students’ general academic achievement moderate the implications of social networking on specific levels of learning performance? Computers et Education, 144. https://doi.org/10.1016/j.compedu.2019.103694
- Wu, R., et Yu, Z. (2024). Do AI chatbots improve students learning outcomes? Evidence from a meta-analysis. British Journal of Educational Technology, 55, 10-33. https://doi.org/10.1111/bjet.13334
- Xu, A., Liu, Z., Guo, Y., Sinha, V., et Akkiraju, R. (2017, mai). A New chatbot for Customer Service on social media [document de conference]. Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems, 3506‐3510. https://doi.org/10.1145/3025453.3025496
- Yin, J., Goh, T. T., Yang, B., et Xiaobin, Y. (2021). Conversation technology with micro- learning: The impact of chatbot-based learning on students’ learning motivation and performance. Journal of Educational Computing Research, 59(1), 154-177. https://doi.org/10.1177/0735633120952067
- Zhang, S., Shan, C., Lee, J. S. Y., Che, S., et Kim, J. H. (2023). Effect of chatbot-assisted language learning: A meta-analysis. Education and Information Technologies, 1-21. https://doi.org/10.1007/s10639-023-11805-6