Accessing communication: An analysis of the quality of RTVE’s automatic live subtitles

Abstract

Nowadays, deaf and hard-of-hearing viewers should have equal access to audiovisual media and, likewise, the promotion of Galician as a minoritised language should be key for public broadcasters. Therefore, both of them should be compatible, allowing viewers with and without hearing impairments to have access to audiovisual contents in Galician. This paper presents the results of the assessment of the quality of the automatic subtitles being tested in the territorial news programs broadcast by RTVE Spanish TV channel in Galicia and considers the harmonisation of accessibility and standardisation in Galician subtitling. The analysis consisted of 10 five-minute samples in Galician and it was carried out by applying the NER model (Romero-Fresco 2011). The results provide, on the one hand, data on the accuracy of the subtitles and, on the other hand, information on the correction of errors by the speech recognition software used in an attempt to reconcile accessibility and standardisation in Galician subtitling (Romero-Fresco 2021). Finally, the paper concludes with some suggestions for possible improvements to be made to the speech recognition machine in order to accomplish the acceptable threshold of quality and, therefore, provide equal access for deaf and hard-of-hearing viewers.

Keywords:

• automatic live subtitling,
• NER model,
• accuracy,
• media accessibility,
• subtitling for the deaf and hard-of-hearing

Résumé

De nos jours, il est essentiel que les personnes sourdes et malentendantes aient un accès égal aux médias audiovisuels. De même, la promotion du galicien en tant que langue minoritaire devrait constituer une priorité pour les radiodiffuseurs publics. Ces deux éléments devraient par conséquent être compatibles, permettant aux téléspectateurs et téléspectatrices, qu’elles soient ou non en situation de handicap auditif, d’accéder aux contenus audiovisuels en galicien. Cet article présente les résultats de l’évaluation de la qualité des sous-titres automatiques en direct testés dans les journaux télévisés territoriaux diffusés par la chaîne de télévision espagnole RTVE en Galice, dans une perspective d’harmonisation des mesures d’accessibilité et de normalisation du sous-titrage en galicien. L’analyse a porté sur 10 échantillons de cinq minutes chacun et a été réalisée en appliquant le modèle NER (Romero-Fresco 2011). L’étude fournit des données, d’une part, sur la précision des sous-titres et, d’autre part, sur la correction des erreurs par le logiciel de reconnaissance vocale utilisé dans le but de concilier les objectifs d’accessibilité et de normalisation du sous-titrage en galicien (Romero-Fresco 2021). L’article se conclut par quelques recommandations quant aux améliorations à apporter au système de reconnaissance vocale afin d’atteindre un seuil de qualité acceptable et de fournir ainsi un accès équitable aux personnes sourdes et malentendantes.

Mots-clés :

• sous-titrage automatique en direct,
• modèle NER,
• qualité,
• accesibilité,
• sous-titrage pour sourds et malentendants

Resumen

Hoy en día, las personas sordas y con discapacidad auditiva deben tener un acceso igualitario a los medios audiovisuales. Asimismo, la promoción del gallego como lengua minorizada debe ser clave para las cadenas públicas. Por tanto, ambos compromisos deben ser compatibles, de manera que se permita a los espectadores con y sin dificultades auditivas acceder a los contenidos audiovisuales en gallego. Este artículo presenta los resultados obtenidos en la evaluación de la calidad de los subtítulos en directo automáticos que se están probando en los telediarios territoriales emitidos por RTVE en Galicia y contempla la armonización de la accesibilidad y la normalización en el subtitulado en gallego. El análisis consistió en 10 muestras de cinco minutos cada una y se llevó a cabo empleando el modelo NER (Romero-Fresco 2011). Los resultados proporcionan, por un lado, datos sobre la precisión de los subtítulos y, por otro lado, información sobre la corrección de errores por parte del software de reconocimiento de voz para intentar conciliar la accesibilidad y la normalización en los subtítulos en gallego (Romero-Fresco 2021). El trabajo finaliza con unas recomendaciones sobre posibles mejoras del reconocedor de voz para conseguir el umbral de calidad aceptable y, así, poder proporcionar acceso igualitario a las personas sordas y con dificultades auditivas.

Palabras clave:

• subtitulación automática en directo,
• modelo NER,
• calidad,
• accesibilidad,
• subtitulación para personas sordas y con dificultades auditivas

L’accès à cet article est réservé aux institutions et personnes abonnées, seul le résumé ou un extrait est affiché.

Consultez nos options d’accès pour obtenir plus d’informations.

Options d’accès