How are prosodic features processed cognitively? A case study of the multimodal cognitive dynamics in simultaneous interpreting with text

Abstract

This paper examines the effect of prosodic features on trainee interpreters’ cognitive effort, cognitive coordination and interpreting output in simultaneous interpreting with text. Sixteen trainee interpreters were recruited and randomly divided into two conditions to simultaneously interpret 27 sentences from English (L2) to Chinese (L1), with controlled prosodic features. Their interpreting output and eye-movements were recorded with the Eyelink 1000 Plus eye-tracking system. Various eye-metrics and temporal measures (i.e., ear-voice span, eye-voice span and ear-eye span) were analysed. The Simplified Chinese LIWC2015 Dictionary was employed to analyse the impact of prosodic features on the interpreting output. The findings indicate that prosodic features mitigate cognitive effort and facilitate the integration of auditory and visual inputs, as evidenced by the eye-tracking measures. While some prosodic features function as a predictive cue for content shifts, enhancing cognitive coordination and information processing efficiency, others hinder the coordination process due to their signalling of uncertainty or emphasis. This study reveals the role of prosodic features in enabling interpreters to produce linguistically and thematically rich outputs, indicating that interpreters interpret not only the linguistic meaning but also the underlying sense.

Keywords:

• simultaneous interpreting with text,
• multimodal information processing,
• prosodic features,
• cognitive effort,
• interpreting output

Résumé

Cet article examine l’effet des caractéristiques prosodiques sur l’effort cognitif, la coordination cognitive et la production d’interprétation chez les interprètes en formation dans le cadre de l’interprétation simultanée avec texte. Seize interprètes en formation ont été recrutés et répartis aléatoirement en deux groupes pour interpréter simultanément 27 phrases de l’anglais (L2) vers le chinois (L1), avec des caractéristiques prosodiques contrôlées. Leurs productions d’interprétation ainsi que leurs mouvements oculaires ont été enregistrés à l’aide du système de suivi oculaire Eyelink 1000 Plus. Diverses métriques oculaires et mesures temporelles (à savoir les décalages oreille-voix, oeil-voix et oreille-oeil) ont été analysées. Le dictionnaire Simplified Chinese LIWC2015 a été utilisé pour analyser l’impact des caractéristiques prosodiques sur la production d’interprétation. Les résultats indiquent que les caractéristiques prosodiques réduisent l’effort cognitif et facilitent l’intégration des entrées auditives et visuelles, comme le montrent les mesures de suivi oculaire. Certaines caractéristiques prosodiques fonctionnent comme des indices prédictifs des changements de contenu, améliorant ainsi la coordination cognitive et l’efficacité du traitement de l’information. En revanche, d’autres, signalant l’incertitude ou en insistant sur certains éléments, entravent le processus de coordination. Cette étude révèle le rôle des caractéristiques prosodiques dans la capacité des interprètes à produire des interprétations riches sur le plan linguistique et thématique, suggérant que les interprètes ne traduisent pas seulement le signifié linguistique, mais également le sens sous-jacent.

Mots-clés :

• interprétation simultanée avec texte,
• traitement de l’information multimodale,
• caractéristiques prosodiques,
• effort cognitif,
• production de l’interprétation

Resumen

Este artículo examina el efecto de las características prosódicas en el esfuerzo cognitivo, la coordinación cognitiva y el rendimiento interpretativo de los intérpretes en formación durante la interpretación simultánea con texto. Se reclutaron a dieciséis intérpretes en formación, quienes fueron divididos aleatoriamente en dos grupos para interpretar simultáneamente 27 frases del inglés (L2) al chino (L1), con características prosódicas controladas. Se registraron sus resultados de interpretación y movimientos oculares utilizando el sistema de seguimiento ocular Eyelink 1000 Plus. Se analizaron varias métricas oculares y medidas temporales (como el intervalo oído-voz, el intervalo ojo-voz y el intervalo oído-ojo). Además, se empleó el Diccionario simplificado de LIWC2015 en chino para evaluar el impacto de las características prosódicas en el rendimiento interpretativo. Los hallazgos indican que las características prosódicas mitigan el esfuerzo cognitivo y facilitan la integración de entradas auditivas y visuales, como lo demuestran las mediciones de seguimiento ocular. Mientras que algunas características prosódicas actúan como señales predictivas de cambios de contenido, mejorando la coordinación cognitiva y la eficiencia del procesamiento de la información, otras pueden obstaculizar el proceso de coordinación al indicar incertidumbre o énfasis. Este estudio revela el papel de las características prosódicas en permitir que los intérpretes produzcan interpretaciones lingüística y temáticamente ricas, lo que sugiere que los intérpretes no solo traducen el significado lingüístico, sino también el sentido subyacente.

Palabras clave:

• interpretación simultánea con texto,
• procesamiento de información multimodal,
• características prosódicas,
• esfuerzo cognitivo,
• rendimiento interpretativo

Access to this article is restricted to subscribing institutions and individuals; only the abstract or an excerpt is displayed.

Please view our access options for more information.

Access options