The impact of nonverbal information on subtitle translators’ cognitive effort: An eye-tracking and key-logging study

Abstract

This study investigates the impact of nonverbal information on the cognitive effort of translators in audiovisual translation (AVT), specifically in subtitling. While the importance of nonverbal elements in AVT is widely recognised, understanding how the amount of nonverbal information directly affects translators’ cognitive effort remains a challenge. To address this, methods from Translation Process Research (TPR) are employed, including eye-tracking, keystroke-logging and subjective reflection. Based on the multimodal transcription method, texts are differentiated according to their level of nonverbal information by analysing key features such as kinesics, camera content and acoustic diegesis. Through the experiment, the cognitive processes and perceived effort of translators are examined throughout the subtitle translation process, including video watching. Results show that an increase in the amount of nonverbal information does not lead to increased cognitive effort among subtitle translators, as evidenced by reduced fixations, keystroke operations and pauses. The perceived effort by translators aligns with this finding. Additionally, the distribution of attention exhibits a consistent pattern, with only minor differences due to varying levels of nonverbal information. Thus, this study highlights the potential to examine the role of nonverbal information in shaping translators’ cognitive processes and confirms the viability of incorporating TPR methods into AVT process research.

Keywords:

• nonverbal information,
• subtitling,
• audiovisual translation,
• eye-tracking,
• process studies

Résumé

Cette étude examine l’impact des informations non verbales sur l’effort cognitif des traducteurs dans la traduction audiovisuelle (TAV), en particulier dans le sous-titrage. Bien que l’importance des éléments non verbaux dans la TAV soit largement reconnue, on peine encore à comprendre dans quelle mesure la quantité d’informations non verbales affecte directement l’effort cognitif des traducteurs. Pour y remédier, on applique ici les méthodes de la Recherche sur le Processus de Traduction (RPT) incluant le suivi oculaire, l’enregistrement des frappes au clavier et la réflexion subjective. Suivant la méthode de transcription multimodale, on classe les textes selon leur niveau d’informations non verbales en analysant des caractéristiques clés telles que la kinésie, le contenu vidéo et la diégèse acoustique. À travers l’expérience, on analyse les processus cognitifs et l’effort perçu par les traducteurs tout au long du processus de traduction des sous-titres, y compris le visionnage de vidéos. Les résultats montrent que l’augmentation de la quantité d’information non verbale n’entraîne pas une augmentation de l’effort cognitif chez les traducteurs de sous-titres (les indicateurs étant : les fixations réduites, les frappes au clavier et les pauses). L’effort perçu par les traducteurs correspond à cette constatation. De plus, on observe une tendance constante dans la répartition de l’attention, avec seulement de légères différences dues aux niveaux variables d’information non verbales. Ainsi, cette étude met en évidence l’importance d’examiner le rôle des informations non verbales dans la configuration des processus cognitifs des traducteurs et confirme la pertinence d’intégrer la méthodologie RPT dans l’étude du processus de TAV.

Mots-clés :

• information non verbale,
• sous-titrage,
• traduction audiovisuelle,
• suivi oculaire,
• études de processus

Resumen

Este estudio investiga el impacto de la información no verbal en el esfuerzo cognitivo de los traductores en la traducción audiovisual (TAV), específicamente en el subtitulado. Si bien se reconoce ampliamente la importancia de los elementos no verbales en la TAV, entender cómo la cantidad de información no verbal afecta directamente el esfuerzo cognitivo de los traductores sigue siendo un desafío. Para abordar esto, se emplean métodos de Investigación del Proceso de Traducción (IPT), que incluyen el seguimiento ocular, el registro de pulsaciones de teclas y la reflexión subjetiva. Basándose en el método de transcripción multimodal, los textos se diferencian según su nivel de información no verbal analizando características clave como la cinética, el contenido de la cámara y la diégesis acústica. A través del experimento, se examinan los procesos cognitivos y el esfuerzo percibido de los traductores durante todo el proceso de traducción de los subtítulos, incluida la visualización de videos. Los resultados muestran que un aumento en la cantidad de información no verbal no conduce a un mayor esfuerzo cognitivo entre los traductores de subtítulos, como lo demuestran las reducciones en las fijaciones, las operaciones de pulsación de teclas y las pausas. El esfuerzo percibido por los traductores se alinea con este hallazgo. Además, la distribución de la atención exhibe un patrón consistente, con solo pequeñas diferencias debido a los diferentes niveles de información no verbal. Por lo tanto, este estudio destaca el potencial de examinar el papel de la información no verbal en la configuración de los procesos cognitivos de los traductores y confirma la viabilidad de incorporar métodos IPT en la investigación del proceso de TAV.

Palabras clave:

• información no verbal,
• subtitulación,
• traducción audiovisual,
• seguimiento ocular,
• estudios de proceso

Access to this article is restricted to subscribing institutions and individuals; only the abstract or an excerpt is displayed.

Please view our access options for more information.

Access options