Conception et évaluation d’un agent conversationnel enrichi par la génération augmentée par récupération : effet sur l’acquisition des connaissances des personnes apprenantes, l’utilisabilité perçue et l’expérience d’iteraction Design and Evaluation of a Conversational Agent Enriched by Retrieval-Augmented Generation: Effect on Learners’ Knowledge Acquisition, Perceived Usability and Interaction Experience

Résumé

L’intelligence artificielle (IA) a considérablement évolué ces dernières années, notamment avec l’apparition des grands modèles de langage (LLM), tels que les modèles de la famille des transformeurs génératifs préentraînés (generative pre-trained transformer [GPT]). Ces modèles, capables de générer du texte fluide et contextuel, montrent un potentiel prometteur pour transformer divers secteurs, y compris l’éducation. Cependant, leur application en contexte éducatif présente certaines limites, notamment les « hallucinations », ou génération d’informations incorrectes, qui peuvent nuire à l’expérience d’apprentissage des personnes apprenantes. Pour atténuer ces limitations, la génération augmentée par récupération (RAG) a été intégrée aux modèles de langage. Cette approche associe les capacités des LLM à une récupération d’informations issues d’une base de connaissances préconstruite, alimentée par des documents appropriés, afin d’améliorer la précision, la pertinence et la fiabilité des réponses générées. Toutefois, l’application des modèles de langage enrichis par la RAG dans des contextes éducatifs, notamment les MOOC, demeure peu étudiée, en particulier quant à leur influence sur l’acquisition des connaissances et l’expérience d’interaction des personnes apprenantes.

Nous avons conçu et développé un agent conversationnel, alimenté par GPT-4 et enrichi par la RAG, offrant un soutien en temps réel et contextuellement pertinent aux personnes apprenantes dans le cadre d’un MOOC. Cet agent est capable d’accompagner les personnes apprenantes dans la clarification de concepts complexes tout en les guidant tout au long de leur parcours d’apprentissage. Notre agent conversationnel a été évalué auprès de 25 personnes apprenantes inscrites à un MOOC. L’analyse des résultats a révélé une amélioration significative de l’acquisition des connaissances dans le groupe expérimental par rapport au groupe contrôle. De plus, l’agent conversationnel a obtenu un score élevé sur l’échelle d’utilisabilité du système (SUS), indiquant une perception positive de son utilisabilité. Les entretiens semi-structurés ont mis en évidence une expérience d’interaction globalement favorable avec l’agent. Ces résultats soulignent le potentiel des agents conversationnels dotés d’IA générative et enrichis par la RAG pour améliorer l’apprentissage dans les environnements d’apprentissage en ligne, y compris les MOOC. Ils ouvrent également la voie à des recherches futures sur leur rôle en tant que compagnons d’apprentissage.

Mots-clés :

• Agent conversationnel,
• IA générative,
• génération augmentée par récupération (RAG),
• cours en ligne ouvert à tous (MOOC),
• intelligence artificielle dans l’éducation

Abstract

Artificial intelligence (AI) has significantly evolved in recent years, particularly with the emergence of large language models (LLMs) such as the generative pre-trained transformer (GPT) family. These models, capable of generating fluent and contextually relevant text, show promising potential for transforming various sectors, including education. However, their application in educational contexts presents certain limitations, notably hallucinations, or the generation of incorrect information, which can negatively impact learners’ learning experience.

To mitigate these limitations, Retrieval-Augmented Generation (RAG) has been integrated into the language models. This approach enhances the accuracy, relevance and reliability of generated responses by combining LLM capabilities with information retrieval from a pre-constructed knowledge base enriched with relevant documents. However, the application of RAG-enhanced language models in educational settings, particularly in MOOCs, remains underexplored, especially regarding their impact on knowledge acquisition and learners’ interaction experience.

In this study, we designed and developed a GPT-4-powered, RAG-enhanced conversational agent to provide real-time, contextually relevant support to learners in a MOOC. This agent helps learners to clarify complex concepts while guiding them throughout their learning process. Our conversational agent was evaluated with 25 learners enrolled in a MOOC. An analysis of the results revealed that knowledge acquisition was significantly improved in the experimental group compared to the control group. Additionally, the conversational agent received a high score on the System Usability Scale (SUS), indicating a positive perception of its usability. Semi‑structured interviews further highlighted a generally favorable interaction experience with the agent.

These findings underscore the potential of generative AI‑powered conversational agents enriched with RAG to enhance learning in online learning environments, including MOOCs. They also pave the way for future research on the role of such agents as intelligent learning companions, capable of adapting their support to learners’ specific needs.

Keywords:

• Conversational Agent,
• Generative AI,
• Retrieval-Augmented Generation (RAG),
• Massive Open Online Course (MOOC),
• artificial intelligence in education