Paris 2011

Session 5 - Assessing Quality in MT / Mesure de la qualité en TA

Bookmark and Share
Version imprimable
Rudy Loock, Michaël Mariaule et Corinne Oster

Traductologie de corpus et qualité : étude de cas

Voir la video

Résumé

L’objectif de cet article est de proposer une réflexion sur le rôle que pourraient jouer les études menées dans le cadre des corpus-based translation studies (e.g. travaux de Johansson, Baker, Laviosa, Olohan, Xiao), que l’on pourrait traduire par traductologie de corpus [Loock, R. (2012a)], dans l’évaluation de la qualité des traductions, en particulier dans le monde universitaire. En effet, depuis les années 1990, et sous l’influence de Mona Baker, de nombreuses études ont montré qu’il existait des différences importantes entre langue originale et langue traduite, faisant ainsi écho aux notions d’interlangue [Selinker, L. (1972)] ou de troisième code [Frawley, W. (1984)]. Si l’interprétation dominante dans la littérature est une interprétation en termes d’universaux de traductions tels que définis dans les travaux de Baker, d’autres en revanche voient en ces différences un résidu de l’activité traduisante (translationese) qu’il conviendrait de réduire au maximum afin de respecter une contrainte dite d’usage [Loock, R. (2010)]. En nous appuyant d’une part sur des résultats obtenus par ailleurs au moyen de l’exploitation de corpus électroniques comparables sur des différences inter-/intra-langagières spécifiques pour l’anglais et le français, et d’autre part sur des travaux de traduction réalisés par des étudiants, nous essaierons de mettre au jour l’existence d’un lien entre la sur-/sous-représentation de phénomènes linguistiques donnés en langue traduite par rapport à la « norme » attendue en langue originale et la qualité globale des traductions analysées et évaluées de façon indépendante par d’autres évaluateurs. L’étude de cas que nous proposons ici concerne les adverbes dérivés à partir d’adjectifs (adverbes en –ly vs. adverbes en –ment). Il s’agit de voir dans quelle mesure il serait possible d’exploiter de façon pédagogique les résultats obtenus dans le cadre de travaux de recherche, tout en proposant des critères objectifs d’évaluation de la qualité des traductions, sujet extrêmement complexe et difficile à définir du fait de la subjectivité et de l’hétérogénéité des pratiques, en dépit du développement de la recherche dans ce domaine (e.g. travaux de House).

Full text/Texte intégral

Introduction : la traductologie de corpus

1Depuis une vingtaine d’années maintenant, dans la foulée de la révolution informatique de la fin du XXe siècle, s’est développé un champ de recherche issu de la rencontre de la traduction descriptive et de la linguistique de corpus [Laviosa, S. (2002)] : les corpus-based translation studies que nous traduisons par traductologie de corpus, par opposition à la traductologie sur corpus (voir [Loock, R. (2012a)] pour une définition en français de ces termes). Armés des outils de la linguistique de corpus, des chercheurs se sont intéressés à la façon dont il était possible de mettre au jour, en les quantifiant, les différences entre langue originale et langue traduite. Il s’est agi de confirmer de façon scientifique et rigoureuse ce que d’autres chercheurs avaient déjà mis en évidence, à savoir l’existence d’un « troisième code » [Frawley, W. (1984)] ou encore d’une « interlangue » [Selinker, L. (1972)]. Cette révolution méthodologique, qui a permis de donner à la langue traduite un statut d’observable indépendamment des textes originaux, a ouvert tout un champ de possibilités nouvelles : il s’est agi pour les chercheurs, à partir de corpus comparables, de comparer langues originales et langues traduites pour toute une série de phénomènes, afin de mettre au jour des différences intra-langagières au-delà des différences inter-langagières existantes. Ainsi, et pour ne citer que quelques exemples représentatifs, [Baker, M. et Olohan, M. (2000)] ont montré que l’anglais traduit témoignait d’une fréquence de la présence de that après les verbes de dire (e.g. say, tell, report) qui était plus élevée qu’en anglais original ; [Olohan, M. (2003)] a montré que les contractions y étaient en revanche moins fréquentes. [Laviosa, S. (1996, 1997, 1998, 2002)] pour l’anglais et [Xiao, R. (2010)] pour le chinois ont montré que la variété lexicale (différence de ratio type/token) mais aussi la densité lexicale étaient moins importantes en langue traduite qu’en langue originale. Suivant le même type d’approche, [Jiménez-Crespo, M. (2010)] a montré que le sujet syntaxique était davantage exprimé en espagnol traduit qu’en espagnol non-traduit et [De Sutter, G. & Van de Velde, M. (2011)] ont montré que l’extraposition du syntagme prépositionnel était moins fréquente en allemand et en néerlandais traduits qu’en allemand et en néerlandais non-traduits. Nous avons nous-même montré que les structures existentielles, qui sont plus fréquentes en anglais qu’en français, témoignaient de différences intra-langagières importantes, puisque les structures du type there is/are sont moins fréquentes en anglais traduit qu’en anglais original tandis que les structures du type il y a sont plus fréquentes en français traduit qu’en français original, le tout de façon statistiquement significative [Cappelle, B. & Loock, R. (2013)] ; [Loock, R. (à paraître)].

2Toutes les études menées dans ce cadre vont dans le même sens : la langue traduite est bien différente de la langue originale. Au-delà des enjeux méthodologiques [De Sutter, G. et al. (2012)], [Loock, R. (2012a)], c’est au niveau de l’interprétation que se situe la véritable question. Tandis que certains chercheurs expliqueront ces différences par l’existence des universaux de traduction auxquels le traducteur ne peut pas et ne doit pas chercher à échapper, d’autres en revanche considèrent que les différences observées représentent un « résidu » de l’activité traduisante qu’il convient de minimiser car ils contreviennent à la norme attendue en langue-cible en violant une contrainte d’usage du fait de l’interférence de la langue-source. Selon la première interprétation, le comportement des traducteurs serait soumis à des tendances générales, indépendantes du type de texte, des langues de départ et d’arrivée, et du sens de la traduction, des tendances générales qui ont été formalisées par [Baker, M. (1993, 1995, 1996)] notamment. Ces universaux de traduction, ces « features which typically occur in translated text rather than original utterances and which are not the result of interference from specific linguistic systems » [Baker, M. (1993: 243)] seraient au nombre de quatre (i) l’explicitation (“overall tendency to spell things out rather than leave them implicit”), (ii) la simplification (“tendency to simplify the language used in translation”), (iii) la normalisation ou le conservatisme (“tendency to exaggerate features of the target language and to conform to its typical patterns”), et (iv) le nivellement (“tendency of translated text to gravitate towards the centre of a continuum”). A ces universaux ont été ajoutés l’hypothèse des items uniques (Unique Items Hypothesis, [Tirkkonen-Condit, S. (2002)], à savoir l’hypothèse qu’un phénomène linguistique typique de la langue-cible mais n’ayant pas d’équivalent dans la langue-source, est systématiquement sous-représenté en langue traduite, mais aussi l’évitement de la répétition ou encore la désambiguisation (cf. [House, J. (2008)] pour un rappel critique). Les défenseurs de la seconde interprétation, en revanche, parlent de translationese, qui, en dépit de définitions fluctuantes et parfois contradictoires, correspond à l’interférence de la langue-source. Le phénomène n’est donc pas indépendant des langues considérées mais spécifique et variable selon la langue de départ et la langue d’arrivée, et pour certains chercheurs il s’agit bien là d’un résidu de l’activité traduisante, qui ne prend pas suffisamment en compte l’usage de la langue d’arrivée [Loock, R. (2010), (2012b)], [Rabadán, R. et al. (2009)]. Selon cette approche, la langue traduite ne doit pas être considérée comme un type de variation acceptable mais doit en fait témoigner de caractéristiques linguistiques qui soient homogènes avec la langue originale.

3Dans le cadre de notre étude, c’est la seconde interprétation que nous retenons : au-delà du fait que les universaux de traduction ont été remis en cause ces dernières années (e.g. [House, J. (2008)] ; [Corpas Pastor, G. et al. (2008)] ; [Mauranen, A. & Kujamäki, P. (2004)] ; [Baumgarten, N. et al. (2008)], nous considèrerons, même si cela reste à démontrer – et l’objectif de cet article est justement de participer au débat – qu’une sur- ou une sous-représentation d’un phénomène linguistique donné peut correspondre à une violation de la contrainte d’usage telle que définie dans [Loock, R. (2010)] et qu’une bonne traduction se doit de tendre vers une homogénéisation entre la langue originale et la langue traduite. Ce faisant, nous établissons nécessairement un lien entre homogénéisation et qualité des traductions, ce qui naturellement ne fait pas consensus (cf. universaux de traduction) et demande à être démontré.

4Afin d’essayer de mettre en évidence ce lien, nous proposons ici, après avoir abordé la question de façon théorique dans [Loock (2012b)], une étude sur des travaux produits par des étudiants, novices et avancés, le phénomène linguistique retenu étant les adverbes en –ly par opposition aux adverbes en –ment en français. Les productions d’étudiants retenues et réunies en corpus d’apprenants (learner corpora) sont (i) la traduction de deux courts textes littéraires contemporains de l’anglais vers le français, l’un par des étudiants en première année d’études d’anglais LLCE, l’autre par des étudiants inscrits en Master Enseignement en vue de la préparation du concours d’enseignement et (ii) la traduction de textes plus longs (nouvelles et chapitres de romans), toujours de l’anglais vers le français, par des étudiants inscrits en Master Professionnel de traduction. Ce double corpus d’apprenants permet en effet de fournir une analyse ponctuelle de la façon dont les adverbes en –ly sont traduits par les étudiants, ainsi qu’une analyse quantitative plus globale sur la fréquence des adverbes en –ment dans leurs productions.

5Le reste de l’article est organisé de la façon suivante. Dans la section 2, nous expliquons la façon dont la corrélation entre traductologie de corpus et qualité des traductions peut être envisagée. Nous exposons ensuite dans la section 3 l’étude sur la traduction des adverbes en –ly en définissant l’objet d’étude, le double corpus d’apprenants utilisé, ainsi que les résultats obtenus dans le cadre de notre tentative d’établir un lien entre choix de traduction pour les adverbes en –ly et performance globale. Enfin, dans la section 4, nous discutons les résultats obtenus avant de conclure sur les prolongements qu’appelle cette première étude.

Traductologie de corpus et qualité

Traduction et qualité : à la recherche du Saint Graal

6En matière de traduction, la question de la qualité est une question incontournable, présente en filigrane chez tous les traductologues. Il n’en reste pas moins que le concept de qualité en traduction peine à être défini, même si un champ de recherche spécifique, à savoir la TQA (Translation Quality Assessment), lui est désormais dédié. Définir ce qu’est une bonne traduction pose problème et la question semble représenter une sorte de Saint Graal par définition introuvable, comme l’ont souligné de très nombreux chercheurs. Cette difficulté à définir ce qu’est une bonne traduction vient du fait que la qualité est un concept très complexe dès qu’il s’agit de l’appliquer à la traduction. En essayant d’évaluer la qualité d’une traduction, on adopte en effet nécessairement une position théorique spécifique, puisque la question du lien entre un texte original et sa traduction se situe au cœur de n’importe quelle théorie de traduction.

7Ce qu’est une bonne traduction a en effet varié avec le temps, même si, dès l’antiquité, on voit apparaître la nécessité de différencier « le mot pour le mot » et « le ton et la valeur des expressions » (Cicéron) ou « l’idée pour l’idée » (St Jérôme). Les deux approches sourcières et ciblistes cohabitent ainsi depuis longtemps et divers courants s’imposent tour à tour selon l’idéologie dominante (Belles Infidèles au XVIIIe siècle, courant sourcier chez les romantiques allemands au XIXe, ou bien tendance sourcière chez les traducteurs de textes religieux qui se doivent de rapporter le plus fidèlement la parole divine, qui s’oppose à la traduction-acclimatation des œuvres littéraires antiques en France).

8Au XXe siècle, Nida a formalisé les notions d’équivalence formelle et dynamique [Nida, E. (1964)], optant pour la dernière, selon laquelle le texte traduit doit déclencher la même réaction chez le lecteur-cible que celle ressentie par le lecteur-source. Cette approche behaviouriste, plus scientifique que l’approche mentaliste qui s’appuie sur le jugement intuitif, se base donc sur l’équivalence des réactions [House, J. (2008)].

9Depuis les années 1980 en linguistique, c’est une équivalence en termes fonctionnalistes qui est recherchée : un texte traduit doit remplir la même fonction, c’est-à-dire servir le même projet communicationnel [Depraetere, I. (2011 : 2)]. Les travaux de House en particulier définissent la traduction comme la recontextualisation d’un texte en L1 par un texte en L2 qui soit équivalent d’un point de vue sémantique et pragmatique [House, J. (2001 : 247)].  

10La notion de qualité varie également selon le public concerné : les approches théoriques, professionnelles et pédagogiques n’envisagent pas la qualité des textes traduits de la même manière [Secară , A. (2005)]. Dans le monde professionnel, divers systèmes d’évaluation de la qualité ont été proposés (e.g. Sical system, ATA system, SAE-J-2450 system, Blackjack tool (cf. [Secară, A. (2005)]. Dans le monde universitaire aussi, où il s’agit à la fois d’évaluer et d’apporter aux étudiants des commentaires constructifs (feedback) afin qu’ils puissent améliorer la qualité de leurs traductions, des expériences sont menées afin de mieux évaluer la qualité des traductions : Translation Assignment Feedback Sheet (Université de Leeds), Trans-Check-2 (Université de Montréal), projet MeLLANGE (Universités Paris-Diderot/Jussieu), ou encore l’échelle de notation Master TSM de l’UFR Langues Étrangères Appliquées de l’Université de Lille 3, où des enseignants-chercheurs ont mis au point une grille d’évaluation novatrice, différente du système bien connu en France des points-fautes [Delizée, A. (2011)] ; [Depraetere, I. & Vackier, T. (2011)]. L’approche professionnelle et l’approche académique n’ayant pas les mêmes objectifs, la question de l’évaluation de la qualité d’une traduction ne sera pas abordée de la même manière et les systèmes d’évaluation ne seront pas superposables [El Zawawy, A. (2011)]. La qualité ne sera pas non plus définie de la même manière en fonction des besoins de l’évaluateur, surtout quand celui-ci se confond avec le donneur d’ordre. [Vanderschelden, I. (2000)] relate ainsi que dans le cas de la traduction littéraire en France, la définition d’une bonne traduction selon un éditeur est tout simplement une traduction écrite en « bon français » ; la question de la fidélité au texte de départ n’est que rarement un critère, ce qui peut aboutir à des traductions ethnocentristes, par excès de naturalisation. De même, les critiques littéraires, lorsqu’ils commentent seulement le fait que le roman analysé a fait l’objet d’une traduction, se contentent bien souvent de remarques liées à la qualité de langue d’arrivée lorsque celle-ci prend certaines libertés avec la norme, indépendamment du texte-source [Vanderschelden, I. (2000)]. Dans le monde de l’édition et de la critique, un bon traducteur serait donc un traducteur invisible.

Le rôle des outils de la traductologie de corpus

11La qualité d’une traduction semble donc être un concept très subjectif. Le point commun des différentes approches mentionnées supra reste néanmoins la recherche de critères objectifs d’évaluation. La question à laquelle nous nous intéressons concerne la possibilité d’exploiter les outils de la traductologie de corpus afin de pallier, ou tout au moins d’alléger, cette subjectivité. En d’autres termes, est-il possible d’exploiter les études menées sur les différences inter- et intra-langagières afin de permettre une amélioration de la qualité des traductions ? Si la mise au jour de différences inter-langagières peut permettre de définir au plus près des contraintes d’usage à prendre en compte par le traducteur (cf. [Loock, R. (2010), (2012b)], la mesure de différences intra-langagières pourrait-elle permettre de mesurer l’écart entre la norme attendue en langue-cible et les caractéristiques du texte traduit dont on souhaite évaluer la qualité (voir [Loock, R. 2012b] pour un exposé détaillé de la façon dont différences inter- et intra-langagières peuvent être exploitées dans le cadre de l’évaluation de la qualité d’une traduction, ainsi que pour des objections).

12La prise en compte de différences intra-langagières afin d’évaluer la qualité d’une traduction n’est pas une idée nouvelle. Ainsi, [Rabadán, R. et al. (2009)] proposent que les outils de la traductologie de corpus puissent représenter des outils d’évaluation fiables et que plus il y a homogénéisation entre langue traduite et langue originale, meilleure est la traduction :

« Corpus-based research can offer evaluators objective data on which to build reliable and usable evaluation methods. » [Rabadán, R. et al. (2009: 304)]
« The smaller the disparity between native and translated usage in the use of particular grammatical structures associated with specific meanings, the higher the translation rates for quality. » [Rabadán, R. et al. (2009 : 323)]

13Ceci rejoint alors la position plus globale – certes non consensuelle – qu’une bonne traduction se doit de passer inaperçue :

« The utopian goal is to make it virtually impossible to tell the translation from an original text in that language. » [Teubert, W. (1996 : 241)]

14Si ce qui est affirmé supra nous paraît être une position particulièrement pertinente pour l’étude qui nous concerne ici – position qui va naturellement à l’encontre de l’existence des universaux de traduction, ce que l’on constate, c’est que le lien entre homogénéisation et qualité est affirmé, mais pas démontré. L’objectif de cet article est justement de tenter de mettre au jour l’existence d’une telle corrélation, si elle existe, au travers de l’analyse de productions d’étudiants, analyse que nous présentons maintenant.

Étude de cas : les adverbes en –ly en anglais vs. les adverbes en –ment en français

Définitions

15L’étude de cas que nous avons retenue concerne les adverbes dérivés par suffixation, en anglais (adverbes en –ly) et en français (adverbes en –ment). Ceci se justifie par le fait qu’il s’agit là d’un cas d’équivalence traductionnelle, à l’exception des contraintes morphologiques (trous lexicaux comme *têtument par opposition à stubbornly) ou encore des contraintes sémantiques (faux-amis notamment, comme actuellement/durement par opposition à actually/hardly) (cf. [Bertrand, C. (1986)]. En dehors de ces cas, les adverbes en –ly peuvent avoir un équivalent en –ment en langue française. Néanmoins, il existe une contrainte d’usage stylistique qui fait que toutes choses étant égales par ailleurs, il est faux de dire que tout adverbe en –ly pourra être traduit par un adverbe en –ment. Ceci s’explique par le fait que l’on évite en français ces adverbes dérivés, souvent longs et par conséquent maladroits d’un point de vue stylistique. La traduction de l’adverbe en –ly par un adverbe en –ment ne doit donc pas être systématisée, même lorsqu’elle est possible (cf. par exemple [Chuquet, H. & Paillard, M. (1987 : 154-155)]). Il s’agit là par conséquent d’un phénomène linguistique intéressant à observer dans les productions d’étudiants, puisque susceptible de donner lieu à du translationese (translationese-prone phenomenon), afin de voir la façon dont est traitée la traduction des adverbes en –ly par les apprenants.

16Avant de nous pencher sur les productions d’étudiants, il convient néanmoins de confirmer qu’il existe bien des différences inter-langagières entre l’anglais et le français, en d’autres termes de légitimer notre choix. Nous nous intéressons également aux différences intra-langagières entre langues originales et langues traduites afin de mettre au jour le comportement de traducteurs professionnels.

Différences inter- et intra-langagières

17Selon les méthodes classiques en traductologie de corpus, nous avons exploité différents corpus afin d’évaluer les différences entre l’anglais original et le français original d’une part, et entre l’anglais/le français original et l’anglais/le français traduit d’autre part. Les résultats obtenus sont résumés par les Figures 1, 2a et 2b. Ce que l’on constate, c’est qu’il existe bien une différence extrêmement significative entre la fréquence d’adverbes en –ly en anglais et celle d’adverbes en –ment en français. Par ailleurs, on constate que les textes traduits anglais font état d’une fréquence d’adverbes en –ly inférieure à celle de textes originaux, tandis que les textes traduits français font état d’une fréquence d’adverbes en –ment supérieure à celle des textes originaux, le tout de façon extrêmement significative, ce qui conduit vers une interprétation en termes d’interférence de la langue source.

image

Figure 1. Différence inter-langagière anglais-français

imageimage

Figure 2a/b. Différences intra-langagières anglais original-anglais traduit, français original-français traduit

18Les différences inter-langagières, mais aussi les différences intra-langagières qu’il convient de ne pas négliger (nous y reviendrons dans la section 4), étant établies, nous exposons maintenant notre analyse sur les productions d’étudiants afin de tenter de mettre au jour l’existence d’une corrélation entre caractéristiques linguistiques des textes traduits et qualité des traductions.

Corpus et méthodologie

19Dans le cadre de cette étude exploratoire, nous avons compilé deux corpus de travaux d’apprenants pour deux analyses distinctes et complémentaires.

20Dans un premier temps, nous avons analysé deux devoirs de traduction dans le sens anglais-français, réalisés sans documents et sous surveillance au printemps 2012 par des étudiants novices (59 étudiants de première année au département d’anglais de l’Université de Lille 3) et par des étudiants avancés (32 étudiants inscrits en Master Métiers de l’Enseignement (M1) toujours au département d’anglais de l’Université de Lille 3). Ces deux traductions ont concerné des textes courts (243 et 282 mots respectivement) et ont été évaluées de façon complètement indépendante de la question qui nous intéresse ici (devoirs évalués par Michaël Mariaule), évaluation qui a pris la forme d’une note chiffrée sur 20. Chacun des deux textes contenait 3 adverbes dérivés en –ly (cf. (1) et (2)). L’objectif de l’analyse pour ce premier corpus était de déterminer s’il pouvait exister un lien entre la traduction retenue par l’étudiant pour la traduction d’un adverbe en –ly spécifique d’une part et la performance globale pour l’ensemble du travail d’autre part. L’analyse est donc ici ponctuelle et vise à vérifier si le choix de l’étudiant pour un microphénomène peut être symptomatique de sa performance globale.

(1) Texte 1: L1, 143 mots

a. Surely the whole household couldn’t have packed up and gone away, without Madeline even telling me about it.

b. I rang the bell again, long and insistently.

c. When you are in the country, and a dog barks in the middle of the night, it merely punctuates and emphasizes the silence. (Jonathan Coe, The Dwarves of Death, 1990)

(2) Texte 2 : M1, 282 mots

a. The first few times I saw her after the conversation under the eaves, I was ready for at least a bit of huffiness, but no, she was completely civil, if a little flat.

b. The trouble was, because none of this had actually been talked about in the open, I couldn’t find a way of bringing it all up with her.

c. As far as I remember, this suggestion wasn’t taken up; maybe hardly anyone heard it, because a lot of us were talking all at once. (Kazuo Ishiguro, Never Let Me Go, 2005)

21Dans un second temps, nous nous sommes penchés sur des travaux de traduction plus longs, à savoir des traductions effectuées dans le cadre du Master de Traduction MéLexTra (Métiers du Lexique et de la Traduction) de l’Université de Lille 3 par des étudiants de M1 chargés de traduire une nouvelle ou un chapitre de roman contemporain (XXe - XXIe siècles). Ce second corpus d’apprenants contient 17 mémoires de traduction, évalués indépendamment aux printemps 2010 et 2012. Ces traductions ont été classées en trois groupes : (A) bonne traduction, (B) traduction correcte, (C) traduction pouvant être améliorée (classification opérée par Corinne Oster, indépendamment de la question qui nous concerne ici). L’objectif de cette seconde analyse était de comparer la fréquence des adverbes en –ment dans les traductions, en prenant en compte la fréquence des adverbes en –ly dans le texte de départ. Il s’agit alors de voir, dans le cadre de cette analyse chiffrée plus globale, si une corrélation peut exister entre la fréquence des adverbes en –ment dans les textes d’arrivée et la performance globale de l’étudiant.

22D’un point de vue méthodologique, nous avons soumis les traductions et les textes originaux en format électronique (format préexistant ou textes scannés traités avec un logiciel de reconnaissance orthographique) à un concordancier (en l’occurrence KWIC Concordance, cf. http://www.chs.nihon-u.ac.jp/eng_dpt/tukamoto/kwic_e.html) afin de comptabiliser le nombre de mots et le nombre de tokens (adverbes en –ly pour les textes originaux, adverbes en –ment pour les textes traduits) de façon automatique (modulo un tri manuel afin d’éliminer des faux positifs comme family, fly, early 1920s en anglais et ils aiment, argument, ricanement en français). Les résultats ont ensuite été normalisés pour une fréquence d’1 million de mots afin de permettre des comparaisons pertinentes, comparaisons globales et individuelles. Les tableaux 1 et 2 résument la constitution du corpus.

Tableau 1. Nombre de mots du corpus des mémoires de Master Traduction

Anglais original

Français traduit

Minimum

7.448

8.458

Maximum

19.639

22.613

Moyenne

11.155

12.801

TOTAL

189.642

217.618

Tableau 2. Répartition des mémoires de Master Traduction en fonction de la performance globale de l’étudiant

A

(bonne traduction)

B

(traduction correcte)

C

(traduction pouvant être améliorée)

4

9

4

Résultats

Analyse ponctuelle

23Dans le cadre de l’analyse des traductions de textes courts par des étudiants novices et avancés, nous nous sommes notamment intéressés à la façon dont les adverbes surely et completely avaient été traduits. Ces deux adverbes nous ont paru particulièrement intéressants dans la mesure où tous deux ont une traduction littérale possible par un adverbe en –ment, mais une traduction qui est néanmoins très maladroite, voire inacceptable dans les co-textes concernés :

(1a’) Sûrement toute la maisonnée n’avait pu faire ses bagages et partir, sans que Madeline ne vienne même m’en parler.
(2a’) Lorsque nous nous revîmes les premières fois après la conversation sous l’auvent, je m’étais préparée pour le moins à un minimum de mauvaise humeur, mais en fait ce ne fut pas le cas, elle se montra complètement courtoise, quoiqu’un peu froide.

24Ce que l’on constate, comme le montre le Tableau 3, c’est que les étudiants ayant eu recours à une traduction de surely et de completely par un adverbe en –ment (que la racine soit conservée ou non) sont ceux qui obtiennent en moyenne un résultat moins bon pour leur travail dans son ensemble, tandis que les étudiants ayant eu recours à d’autres stratégies (recours à une locution adverbiale, à une structure impersonnelle par exemple) sont également ceux dont la performance globale est meilleure. Ce résultat va donc dans le sens de l’existence d’une corrélation entre choix ponctuel pour la traduction d’un adverbe en –ly et performance globale.

Tableau 3. Traductions des adverbes surely et completely

SURELY

COMPLETELY

Traduction retenue

Nombre de copies

Moyenne de ces copies (/20)

Traduction retenue

Nombre de copies

Moyenne de ces copies (/20)

Adverbe en –ment (e.g. sûrement, certainement)

25

8.62

Adverbe en –ment (e.g. complètement, totalement, parfaitement)

17

9.05

Structure impersonnelle (e.g. il était certain que…)

13

9.23

Locution adverbiale (e.g. tout à fait)

9

10.33

Locution adverbiale (e.g. bien sûr)

4

10.62

Adjectif (e.g. irréprochable, exemplaire)

3

11.33

Structure personnelle (e.g. j’étais certain que)

3

13.16

25S’agissant des autres adverbes, les résultats sont bien plus contrastés, comme le montre le Tableau 4. Du fait des contraintes morphologiques et sémantiques, la traduction par un adverbe en –ment n’est jamais le choix majoritaire, même pour actually ou merely, qui ont bien des équivalents directs en –ment d’ailleurs utilisés par une partie des étudiants. Ce que l’on constate néanmoins, à l’exception notable de l’adverbe actually, c’est que la performance globale des étudiants ayant opté pour l’adverbe en –ment est moins bonne que celle d’étudiants ayant eu recours à une autre traduction, même si la différence est cette fois peu importante et le résultat obtenu pas nécessairement celui associé à la moins bonne performance. Il semble donc difficile de tirer des conclusions claires de l’analyse des traductions pour ces quatre adverbes.

Agrandir image

Tableau 4. Traduction des adverbes insistently, merely, actually et hardly.

Traduction d’un texte long

Résultats globaux et individuels

26Si l’on considère le corpus constitué des mémoires de traduction dans son ensemble, on constate une fréquence des adverbes en –ment dans les traductions des étudiants bien inférieure à celle des adverbes en –ly dans les textes originaux (cf. Figure 3a), soit des résultats qui correspondent à ceux obtenus dans le cadre de l’analyse chiffrée des différences inter-/intra-langagières (section 3.1). En ce sens, les travaux des étudiants semblent respecter la contrainte d’usage selon laquelle les adverbes dérivés en –ment sont moins fréquents en anglais qu’en français. Néanmoins, ces résultats globaux dissimulent une forte variation, aussi bien pour les textes originaux en anglais que pour les textes traduits en français, comme le montre la Figure 3b, qui indique les valeurs minimales, maximales et moyennes.

imageimage

Figure 3a. Comparaison globale textes originaux-textes traduit pour les mémoires de traduction (fréquence par million de mots) (p<.0002)

27Figure 3b. Comparaison globale textes originaux-textes traduit pour les mémoires de traduction prenant en compte la variation (fréquence par million de mots)

28Si l’on considère maintenant les résultats de façon individuelle, on constate qu’à une exception près, le nombre d’adverbes en –ment dans le texte traduit est systématiquement inférieur au nombre d’adverbes en –ly dans le texte original. La Figure 4 illustre ces résultats individuels. De façon intéressante, la seule traduction faisant état d’un nombre d’adverbes en –ment dans le texte traduit supérieur au nombre d’adverbes en –ly dans le texte original (mémoire 9) a été effectuée par une étudiante non francophone de naissance (il s’agit de la seule de notre échantillon). Sa traduction a donc été retirée de notre corpus afin de ne pas fausser les résultats.

Figure 4. Comparaison individuelle textes originaux-textes traduit pour les mémoires de traduction (fréquence par million de mots)

Agrandir image

Figure 5. Écart constaté (en %) entre le nombre d’adverbes en –ly dans les textes originaux et le nombre d’adverbes en –ment dans les textes traduits pour chaque production

Corrélation avec la performance globale

29Du fait de la variation constatée concernant le nombre d’adverbes en –ly dans les textes de départ, si l’on souhaite à présent s’intéresser à la fréquence des adverbes en –ment dans les textes traduits en lien avec la performance globale de l’étudiant pour la traduction dans son ensemble (classement en 3 groupes : A, B, et C, cf. supra), il convient de considérer les résultats en termes d’écarts et non en termes de valeurs absolues. Nous avons donc évalué pour chaque production la diminution du nombre d’adverbes en –ment par rapport au nombre d’adverbes en –ly en termes de pourcentages (baisses de x % par rapport au nombre d’adverbes en –ly dans les textes originaux). Comme le montre la Figure 5, ce pourcentage varie de -19 % à -56 % (le mémoire 9 est à nouveau omis).

Agrandir image

Figure 6. Écart constaté (en %) entre le nombre d’adverbes en –ly dans les textes originaux et le nombre d’adverbes en –ment dans les textes traduits pour chaque production au sein de chaque catégorie liée à l’évaluation (Groupe A = bonne traduction, Groupe B = traduction correcte, Groupe C = traduction pouvant être améliorée)

30Ce qui est particulièrement intéressant, c’est que si l’on considère les 3 catégories liées à l’évaluation des travaux (A, B, et C), les résultats, illustrés par la Figure 6, semblent montrer l’existence d’un lien entre le taux de diminution et l’évaluation : plus l’étudiant utilise d’adverbes en –ment, moins bonne est la traduction dans son ensemble. Ceci semble indiquer que la fréquence des adverbes dérivés en –ment dans les textes traduits est symptomatique de la qualité de la traduction dans son ensemble.

Agrandir image

Tableau 5. Ecart constaté (en %) entre le nombre d’adverbes en –ly dans les textes originaux et le nombre d’adverbes en –ment dans les textes traduits pour chaque catégorie liée à l’évaluation (Groupe A = bonne traduction, Groupe B = traduction correcte, Groupe C = traduction pouvant être améliorée)

Discussion des résultats

31Les résultats mis au jour dans le cadre de l’exploitation de notre corpus d’apprenants, même s’ils semblent indiquer une forme de corrélation intéressante entre le traitement des adverbes en –ly par les étudiants et la qualité des productions dans leur ensemble, ne sont pas sans poser de nombreux problèmes.

32Premièrement, il serait complètement faux de dire que la traduction d’un adverbe dérivé en –ly peut être révélatrice de la qualité d’une production dans son ensemble. Les adverbes dérivés en –ment existent en français et peuvent être une bonne traduction – voire la seule possible – d’un adverbe en –ly. Egalement, s’agissant de la fréquence des adverbes en –ment dans les textes traduits, on fera la remarque que la seule fréquence des adverbes ne peut pas constituer un indicateur indiscutable de la qualité d’une traduction : ainsi, si l’on considère, au-delà des moyennes fournies par la Figure 6, les résultats individuels pour chaque étudiant, on constate une forte hétérogénéité comme l’indique le Tableau 3 (la dernière ligne indique, pour rappel, la moyenne par catégorie). Ainsi, un des mémoires classés A ne fait état d’une baisse de fréquence de 27.66 % seulement, tandis que l’un des mémoires classés C fait état d’une baisse de 47.05 %, soit un score supérieur à la moyenne des mémoires classés A.

Groupe A

Groupe B

Groupe C

-31,58

-43,09

-24,34

-27,66

-39,54

-19,21

-55,91

-25,21

-36,25

-49,11

-27,29

-47,05

-46,80

-48,18

-47,52

-24,96

-41,07

-37,83

-31,71

33Également, rien ne permet de dire si la corrélation globale établie entre fréquence des adverbes en –ment dans les textes traduits et qualité de la traduction telle qu’évaluée par leur correctrice ne correspond pas en fait à ce que l’on a appelé un « effet cigogne », c’est-à-dire rien ne permet de dire si la corrélation correspond à un lien de causalité, selon une confusion fréquente en science (corrélation ne signifie pas nécessairement causalité, contra le proverbe latin cum hoc ergo propter hoc). En effet, les résultats que nous avons obtenus mettent au jour une forme de corrélation (modulo les réserves déjà exprimées). Mais rien ne permet de dire qu’il s’agisse d’une corrélation directe (Figure 7a) ou tout simplement de deux conséquences distinctes d’un même phénomène général, à savoir de mauvais réflexes de traduction (Figure 7b). Dans ce second cas, une surreprésentation des adverbes en –ment n’entraînerait pas systématiquement une perte de qualité, mais serait une possible manifestation de mauvais réflexes en matière de traduction.

Figures 7a/b. Corrélation vs. causalité

imageimage

34On fera enfin remarquer que l’étude chiffrée contrastive entre textes originaux et textes traduits dont les résultats sont présentés dans la section 3.1 font état de différences intra-langagières extrêmement significatives pour des textes traduits par des traducteurs professionnels. Même si l’on sait que des traductions vendues dans le commerce sont parfois d’une qualité douteuse, peut-on affirmer que, parce qu’elles font état d’une surreprésentation d’adverbes en –ment en français traduit (tout comme une sous-représentation d’adverbes en –ly en anglais traduit), ces traductions souffrent de translationese, d’interférence de la langue-source, et qu’elles peuvent (donc ?) être améliorées ?

Conclusions et recherches futures

35L’objectif de cet article était, au travers d’une étude de cas spécifique sur la traduction des adverbes dérivés en ¬–ly en français, de vérifier s’il était possible d’établir un lien entre la façon dont les apprentis-traducteurs traitent cette question d’une part et la qualité de leur production dans son ensemble d’autre part. Partant du constat que ce phénomène témoignait d’une différence inter-langagière très importante, ce qui en faisait un phénomène propice au translationese (surreprésentation des adverbes en –ment en français par rapport à la langue originale), nous avons fourni deux types d’analyses de productions d’étudiants, novices et avancés : une analyse ponctuelle dans un texte court de la façon dont les adverbes en –ly sont traduits et une analyse plus globale portant sur la fréquence des adverbes en –ment dans les textes traduits. Les résultats de ces deux analyses suggèrent qu’il existe bien une forme de corrélation : les productions courtes qui recourent à des traductions autres que littérales sont celles qui obtiennent globalement les meilleurs résultats ; les productions longues qui font état d’un écart important entre le nombre d’adverbes en –ly dans le texte de départ et le nombre d’adverbes en –ment dans le texte d’arrivée sont aussi celles qui sont considérées comme étant globalement les meilleures.

36Néanmoins, nous avons également montré qu’en aucun cas ces généralités correspondaient à une homogénéité de résultats, ce qui signifie que l’analyse d’un microphénomène de traduction dans les productions d’étudiants ne peut aucunement être un indicateur fiable de la qualité de la traduction dans son ensemble. Également, nous avons souligné le fait que corrélation ne signifiait pas causalité et qu’il fallait donc demeurer prudent vis-à-vis des résultats obtenus.

37Afin d’aller plus loin, il serait intéressant d’étudier un autre microphénomène propice au translationese chez les étudiants. Nous pensons par exemple aux structures existentielles (there is/are vs. il y a), pour lesquelles une forte différence inter-langagière existe entre l’anglais et le français. Il serait alors intéressant de voir si les productions d’étudiants qui témoignent d’une surreprésentation d’adverbes en –ment sont aussi celles qui témoignent d’une surreprésentation de structures du type il y a. Plus globalement, il pourrait être intéressant de réfléchir à l’établissement d’une check-list de phénomènes linguistiques à observer, susceptibles de donner lieu à des phénomènes de translationese chez les étudiants, et qui pourraient permettre d’évaluer la qualité d’une traduction. Ainsi, aux côtés des adverbes dérivés et des structures existentielles, il serait intéressant d’investiguer la traduction des formes en –ing (participes, gérondifs), de la voix passive ou encore des verbes de dire dans les dialogues de fiction. Ces pistes de réflexion seront poursuivies dans de futurs travaux.

Bibliographie

Baker, Mona (1993), “ Corpus Linguistics and Translation Studies: Implications and Applications ”, in M. Baker et alii (eds), Text and Technology, Philadelphia/Amsterdam, John Benjamins, pp. 233-250.

Baker, Mona (1995), “ Corpora in Translation Studies: An Overview and Some Suggestions for Future Research ”, in Target 7(2), pp. 223-243.

Baker, Mona (1996), “ Corpus-based translation studies: The challenges that lie ahead ”, in H. Somers (ed), Terminology, LSP and Translation. Studies in language engineering in honour of Juan C. Sager, Philadelphia/Amsterdam, John Benjamins, pp. 175-186.

Baker, Mona et Olohan, Maeve (2000), “ Reporting that in Translated English: Evidence for Subconscious Processes of Explicitation? ”, in Across Languages and Cultures 1(2), pp. 141-158.

Ballard, Michel (2003/2004), Versus : la version réfléchie, 2 volumes, Paris, Ophrys.

Baumgarten Nicole, Meyer, Bernd. et Ozçetin, Demet (2008), “ Explicitness in translation and interpreting: A critical review and some empirical evidence (of an elusive concept) ”, in Across Languages and Cultures 9 (2), pp. 177–203.

Bertrand, Chantal (1986), « Quelques remarques sur les adverbes français en -ment et leur rapport sur les adverbes anglais en –ly », in Meta : journal des traducteurs 31 (2), pp. 179-203.

Cappelle, Bert et Loock, Rudy (2013), “ Is there interference of usage constraints? A frequency study of existential there is and its French equivalent il y a in translated (fr-en/en-fr) vs. non-translated texts ”, in Target.

Chuquet, Hélène et Paillard, Michel (1987), Approche linguistique des problèmes de traduction anglais-français, Paris, Ophrys.

Corpas Pastor, Gloria, Mitkov, Ruslan, Afzal, Naveed, et Pekar, Viktor (2008), “ Translation universals: do they exist? A corpus-based NLP study of convergence and simplification ”, in Proceedings of the Eighth Conference of the Association for Machine Translation in the Americas (AMTA-08), Waikiki, Hawaii.

De Sutter, Gert et Van de Velde, Mark (2010), “ Do the Mechanisms that Govern Syntactic Choices Differ between Original and Translated language? A Corpus-based Translation Study of PP Extraposition in Dutch and German ”, in Xiao, R. (ed.), Using Corpora in Contrastive and Translation Studies. Newcastle, Cambridge Scholars Publishing, pp. 144-163.

De Sutter, Gert, Delaere, Isabelle and Plevoets, Koen (2012), “ Lexical lectometry in corpus-based translation studies: Combining profile-based correspondence analysis and logistic regression modeling ”, in Michael P. Oakes and Ji Meng, eds. Quantitative Methods in Corpus-based Translation Studies. A practical guide to descriptive translation research. Amsterdam/Philadelphia: John Benjamins, pp. 325-346.

Delizée, Anne (2011), “ A global rating scale for the summative assessment of pragmatic translation at Master’s level: an attempt to combine academic and professional criteria ”, in I. Depraetere (ed), Perspectives on Translation Quality, Berlin/Boston, Walter de Gruyter, pp. 9-24.

Depraetere, Ilse (ed) (2011), Perspectives on Translation Quality, Berlin/Boston, Walter de Gruyter.

Depraetere, Ilse et Vackier, Thomas (2011), “ Comparing formal translation evaluation and meaning-oriented translation evaluation: or how QA tools can(not) help ”, in I. Depraetere (ed), Perspectives on Translation Quality, Berlin/Boston, Walter de Gruyter, p. 25-50.

El Zawawy, Amr M. (2011), “ Between source and target text: academic vs. expert translation ”, in California Linguistic Notes 36(1).

Frawley, William (1984), “ Prolegomenon to a theory of translation ”, in W. Frawley (ed.), Translation: Literary, Linguistic and Philosophical Perspectives, Newark, University of Delaware Press, pp. 159–75. Reproduit dans L. Venuti (ed), 2000, The Translation Studies Reader, London/New York, Routledge, pp. 250-263.

House, Juliane (2001), “ How do we know when a translation is good? ”, in E. Steiner et C. Yallop (eds), Exploring translation and multilingual text production: Beyond content. Berlin/New York, Mouton de Gruyter, pp. 127-160.

House, Juliane (2008), “ Beyond intervention: universals in translation ”, in Trans-kom 1, pp. 6-19.

Jiménez-Crespo, Miguel A. (2010), “ The future of “universal” tendencies: a review of papers using localized websites ”, Communication au colloque international UCCTS 2010, Edge Hill University, Royaume-Uni, 27-29 juillet 2010.

Johansson, Stig et Oksefjell, Signe (eds) (1998), Corpora and Cross-Linguistic Research: Theory, Method and Case Studies. Amsterdam/New York, Rodopi.

Laviosa-Braithwaite, Sara (1996), The English Comparable Corpus (ECC): A Resource and a Methodology for the Empirical Study of Translation, Thèse de doctorat non publiée, Department of Language Engineering, UMIST, Manchester.

Laviosa-Braithwaite, Sara (1997), “Investigating Simplification in an English Comparable Corpus of Newspaper Articles”, in K. Klaudy. et J. Kohn (eds.), Transferre Necesse Est. Proceedings of the 2nd International Conference on Current Trends in Studies of Translation and Interpreting, 5-7 September, 1996, Budapest, Scholastica, pp. 531-540.

Laviosa, Sara (1998), “Core Patterns of Lexical Use in a Comparable Corpus of English Narrative Prose”, Meta: journal des traducteurs / Meta: Translators’ Journal 43(4), pp. 557-570.

Laviosa, Sara (2002), Corpus-based translation studies: theory, findings, applications, Amsterdam, Rodopi.

Loock, Rudy (2010), “Using corpora to define target-language use in translation”, Communication au colloque international UCCTS 2010, Edge Hill University, Royaume-Uni, 27-29 juillet 2010.

Loock, Rudy (2012a), « La traductologie sur corpus : études de cas et enjeux », in N. D’Amélio, (ed.), Au cœur de la démarche traductive : débat entre concepts et sujets, Actes du colloque international « Traduction / Traductologie. Conceptualisations et nœuds de subjectivité en traduction ». Mons, CIPA, pp. 99-116.

Loock, Rudy (2012b), « Doit-il/Peut-il y avoir homogénéisation entre langue originale et langue traduite ? », Communication au colloque « La Cohérence discursive à l’épreuve : traduction et homogénéisation », organisé par le TRACT (Université Paris 3), 12-13 octobre 2012.

Loock, Rudy (à paraître), “Close encounters of the third code : quantitative vs. qualitative analyses in corpus-based translation studies”.

Mauranen, Anna et Kujamäki, Pekka (eds) (2004), Translation Universals. Do they Exist?, Amsterdam/Philadelphia, John Benjamins.

Messerli, Franz H. (2012), “Chocolate consumption, cognitive function, and Nobel laureates”. New England Journal of Medicine. DOI: 10.1056/NEJMon1211064.

Nida, Eugene A. (1964), Toward a Science of Translating, Leiden, EJ. Brill.

Olohan, Maeve (2003), “How frequent are the contractions?”, in Target. 15(1), pp. 59-89.

Rabadán, Rosa, Labrador, Belén. et Ramon, Noelia (2009), “Corpus-based contrastive analysis and translation universals. A tool for translation quality assessment English-Spanish”, in Babel 55(4), pp. 303-328.

Secară, Alina (2005), Translation Evaluation - a State of the Art Survey, in Proceedings of the eCoLoRe-MeLLANGE Workshop, http://www.leeds.ac.uk/cts/research/publications/leeds-cts-2005-03-secara.pdf

Selinker, Larry (1972), “Interlanguage”, in International Review of Applied Linguistics 10, pp. 209-241.

Simon, Sherry (1997), “Translation, Postcolonialism and Cultural Studies”, in Meta: journal des traducteurs / Meta: Translators’ Journal, 42(2), pp. 462-477.

Teubert, Wolfgang (1996), “Comparable or parallel corpora?”, in International Journal of Lexicography 9, pp. 238-264.

Tirkkonen-Condit, Sonja (2002), “Translationese — a myth or an empirical fact? A study into the linguistic identifiability of translated language”, in Target 14(2), pp. 207–220.

Vanderschelden Isabelle (2000), “Quality Assessment and Literary Translation in France”, in The Translator 6(2), Special Issue. Evaluation and Translation, pp. 271-293.

Vieira, Else (1999) “Liberating Calibans: Readings of Antropofagia and Haroldo de Campos’ poetics of transcreation”, in S. Bassnett and H. Trivedi (eds) Post-Colonial Translation: Theory and Practice, London/New York: Routledge, pp. 95–113.

Von Flotow, Louise (1991), “Feminist Translation: Contexts, Practices and Theories”, in TTR: traduction, terminologie, rédaction 4(2), pp. 69-84.

Winters, James R. et Roberts, Seán G. (2012), “Chocolate Consumption, Traffic Accidents and Serial Killers”, Ms., consulté sur l’internet http://replicatedtypo.com/wp-content/uploads/2012/11/ChocolateSerialKillers_WintersRoberts.pdf

Xiao, Richard (2010), “How different is translated Chinese from native Chinese? A corpus-based study of translation universals”, in International Journal of Corpus Linguistics 15(1), pp. 5-35.

To cite this document/Pour citer ce document

Rudy Loock, Michaël Mariaule et Corinne Oster , «Traductologie de corpus et qualité : étude de cas », Tralogy [En ligne], Tralogy II, Session 5 - Assessing Quality in MT / Mesure de la qualité en TA, mis à jour le : 09/03/2016,URL : http://lodel.irevues.inist.fr/tralogy/index.php?id=243

Quelques mots à propos de :  Rudy Loock

Université C. de Gaulle Lille 3, UMR Savoirs, Textes, Langage du CNRS et EA 4074 CECILLE
rudy.loock@univ-lille3.fr

Quelques mots à propos de :  Michaël Mariaule

Université C. de Gaulle Lille 3, UMR Savoirs, Textes, Langage du CNRS et EA 4074 CECILLE
michael.mariaule@univ-lille3.fr

Quelques mots à propos de :  Corinne Oster

Université C. de Gaulle Lille 3, UMR Savoirs, Textes, Langage du CNRS et EA 4074 CECILLE
corinne.oster@univ-lille3.fr