L’évaluation de la postédition « retour » en contexte d’apprentissage : priorité à la détection des problèmes de traduction

Résumé

Si le processus de postédition (PE) s’effectue en plusieurs étapes, il commence invariablement par la détection d’un problème, comme en attestent les modèles de compétence en PE. Dans un contexte didactique, si l’enseignement de la PE met l’accent sur cette phase du processus, faut-il en tenir compte lors de l’évaluation, quel que soit le produit fini ? Le cas échéant, comment reconnaître des détections qui n’ont pas conduit à une modification visible dans le produit fini (dénommées « simples détections ») et surtout, quel serait l’impact d’une telle méthode d’évaluation sur l’étudiant et sur la charge de travail de l’évaluateur ? Pour répondre à ces questions, nous avons mené une étude quasi expérimentale avec 15 étudiants effectuant une tâche de PE « retour » (du néerlandais, langue maternelle, au français, langue étrangère) tout en enregistrant leur processus avec un logiciel de saisie de frappes. Nos résultats montrent que les scores tenant compte de ces simples détections sont significativement plus élevés que les scores ne tenant compte que du produit fini. La différence est non seulement significative, mais elle permet aussi, selon le contexte, de passer de l’échec à la réussite. Par conséquent, pour l’étudiant, cette approche a une grande importance, tout comme pour l’évaluateur qui a désormais accès à un pan de compétence resté invisible jusqu’à présent. Par ailleurs, la méthode de travail s’avère relativement simple sans être trop chronophage, selon le temps disponible et le nombre d’étudiants à évaluer.

Mots-clés :

• évaluation didactique,
• compétence en postédition,
• analyse de processus,
• logiciel de saisie de frappes,
• indicateurs de compétence

Abstract

The post-editing (PE) process takes place in several stages, but invariably begins with the detection of a problem, as models of PE competence attest. In a didactic context, if this phase of the process is focused on, should it be considered during assessment, regardless of the finished product? If so, how can the evaluator identify detections that have not led to any visible change in the finished product (what we will call ‘simple detections’) and, above all, what impact would such an assessment method have on the student and the evaluator’s workload? To answer these questions, we carried out a quasi-experimental study with 15 students performing a post-editing task into their L2 (Dutch mother tongue into French L2) while recording their process using a keystroke logging software. Our results show that scores taking into account these simple detections are significantly higher than scores based on the finished product only. Not only is the difference significant, but it also allows to move from a fail to a pass, depending on the context. Consequently, for the student, this approach has a significant impact, as well as on the assessor, who now has access to a previously invisible area of competence. Besides, for the assessor, our study shows that the working method is relatively straightforward without being too time-consuming, depending on the time available and the number of students to be assessed.

Keywords:

• didactic evaluation,
• post-editing competence,
• process analysis,
• keystroke logging,
• competence indicators

Resumen

Aunque el proceso de posedición (PE) se desarrolla en varias etapas, empieza siempre por la detección de un problema, como demuestran los modelos de competencia en PE. En un contexto didáctico, si la enseñanza de la posedición se centra en esta fase del proceso, ¿debe tenerla en cuenta durante la evaluación, cualquiera que sea el producto final? En caso afirmativo, ¿cómo identificar las detecciones que no han provocado ningún cambio visible en el producto final (denominadas “detecciones simples”) y, sobre todo, cuál sería el impacto de un método de evaluación de este tipo para el estudiante y para la carga de trabajo del evaluador? Para responder a estas preguntas, llevamos a cabo un estudio cuasi-experimental con 15 estudiantes que realizaron una tarea de posedición al idioma extranjero (del neerlandés como lengua materna al francés como lengua extranjera) mientras grababan su proceso con un registrador de teclas. Nuestro análisis muestra que los resultados que tienen en cuenta estas simples detecciones son significativamente más altos que los resultados que sólo tienen en cuenta el producto final. La diferencia no sólo es significativa, sino que permite pasar del fracaso al éxito en función del contexto. Por lo tanto, para el alumno, este enfoque tiene un impacto importante, así como para el evaluador, que ahora tiene acceso a un área de competencia previamente invisible. Además, para el evaluador, el método de trabajo es relativamente sencillo, y no exige demasiado tiempo, en función del tiempo disponible y del número de alumnos por evaluar.

Palabras clave:

• evaluación didáctica,
• competencia en posedición,
• análisis del proceso,
• registrador de teclas,
• indicadores de competencia

Access to this article is restricted to subscribing institutions and individuals; only the abstract or an excerpt is displayed.

Please view our access options for more information.

Access options