Abstracts
Abstract
Are assessment tools for machine-generated translations applicable to human translations? To address this question, the present study compares two assessments used in translation tests: the first is the error-analysis-based method applied by most schools and institutions, the other a scale-based method proposed by Liu, Chang et al. (2005). They have adapted Carroll’s scales developed for quality assessment of machine-generated translations. In the present study, twelve graders were invited to re-grade the test papers in Liu, Chang et al. (2005)’s experiment by different methods. Based on the results and graders’ feedback, a number of modifications of the measuring procedure as well as the scales were provided. The study showed that the scale method mostly used to assess machine-generated translations is also a reliable and valid tool to assess human translations. The measurement was accepted by the Ministry of Education in Taiwan and applied in the 2007 public translation proficiency test.
Keywords:
- translation test,
- error-analysis,
- assessment scales,
- translation evaluation,
- evaluation criteria
Résumé
Les outils d’évaluation des traductions automatiques sont-ils applicables à la traduction humaine ? Pour répondre à cette question, la présente étude compare deux modalités d’évaluation : la première est la méthode d’analyse des erreurs utilisée par la plupart des écoles et des institutions, la seconde fait appel à une échelle basée sur la méthode proposée par Liu, Chang, et al. (2005). Ces auteurs ont adapté les échelles d’évaluation de la qualité des traductions de Caroll. Dans la présente étude, douze évaluateurs ont été invités à ré-évaluer les textes utilisés dans les travaux de Liu, Chang, et al. (2005) par différentes méthodes. Sur la base des résultats obtenus et des commentaires des évaluateurs, un certain nombre de modifications ont été apportées à la méthode de mesure ainsi qu’aux échelles. L’étude a montré que la méthode fondée sur l’échelle principalement utilisée pour évaluer les traductions automatiques constitue un outil fiable pour évaluer les traductions humaines. Cette méthode a été acceptée par le ministère de l’Éducation de Taïwan et appliquée en 2007 pour les tests du certificat de traduction.
Mots-clés :
- tests de traduction,
- analyse des erreurs,
- échelles d’évaluation,
- qualité des traductions,
- critères d’évaluation
Appendices
Bibliography
- Carroll, John (1966): An experiment in evaluating the quality of translations. In: John Pierce, ed. Language and Machines: computers in Translation and Linguistics. Report by the Automatic Language Processing Advisory Committee (ALPAC). Publication 1416. Washington: National Academy of Sciences / National Research Council, 67-75.
- Liu, Minhua, Chang, Wuchang, Lin, Shihhua, et al. (2005): Jianli guojia zhongyingwen fanyi nengli jianding kaoshi pingfen yu mingti jizhi [A Study on the Establishment of National Assessment Criteria of Translators and Interpreters]. Taipei: National Institute of Compilation and Translation.
- McAlester, Gerard (2000): Translation into a Foreign Language. In: Christina Schäffner and Beverly Adab, eds. Developing Translation Competence. Amsterdam: John Benjamins, 229-241.
- Mu, Lei (2006): Fanyi ceshi ji qi pingfen wenti [Translation testing and grading]. Waiyu jiaoxuei ji yenjiu [Foreign Language Teaching and Research]. 38(6):466-480.
- Rothe-Neves, Rui (2002): Translation Quality Assessment for Research Purposes: An Empirical Approach. Cadernos de Tradução. 2(10):113-131.
- Secară, Alina (2005): Translation Evaluation – a State of the Art Survey. Proceeding of the eCoLoRe/MeLLANGE Workshop. Leeds: 39-44.
- Stansfield, Charles, Scott, Mary and Kenyon, Dorry (1992): The Measurement of Translation Ability. The Modern Language Journal. 76(4):455-467.
- Waddington, Christopher (2001): Different Methods of Evaluating Student Translations: The Question of Validity. Meta. 46(2):311-325.
- Williams, Malcolm (1989): Creating Credibility out of Chaos: The Assessment of Translation Quality. Traduction, Terminologie, Rédaction. 2(2):13-33.
- Williams, Malcolm (2001): The Application of Argumentation Theory to Translation Quality Assessment. Meta. 46(2):326-344.
- Williams, Malcolm (2004): Translation Quality Assessment: An Argumentation-Centred Approach. Ottawa: University of Ottawa Press.
10.7202/004583ar