https://atradire.pergola-publications.fr/index.php?id=535 Publications de Auteurs Julián Zapata fr 0 https://atradire.pergola-publications.fr/index.php?id=513 This paper reports on a 2-stage experiment aimed at assessing machines’ ability to “reason” in translation The experiment was built around Jean Delisle’s pedagogy textbook La traduction raisonnée which has been used in English-French translator training for more than 40 years, in Canada and around the world. We put Bing Translator, Google Translate and DeepL – neural machine translation systems – as well as ChatGPT, NotionAI and Gaby-T – generative AI systems – to the test, using a selection of examples taken from the textbook and analyzing the results considering the background information and explanations provided, more specifically in the 30 chapters from where the examples were taken. In this paper, we first explore what inspired Delisle’s work and what he means by “reasoned translation”. Then, we focus on presenting the methodology and the results of our two pilot main experiments. Lastly, we offer some insights into potential future research avenues in translator training and beyond. La traduction raisonnée est le titre que le traductologue Jean Delisle a donné à son célèbre manuel de pédagogie, utilisé depuis 40 ans dans la formation des traducteurs anglais-français au Canada et dans le monde entier. Ce titre résume bien la prémisse du manuel : un traducteur (humain) bien formé a la capacité de raisonner ; une bonne traduction en est une raisonnée. Paru en 1993, le manuel a été réédité tous les dix ans; pour les deuxième et troisième éditions, Delisle a recruté d’autres formateurs et chercheurs en tant que conseillers, co-auteurs ou auteurs uniques de certains objectifs (des chapitres portant sur une difficulté ou un sujet particulier). Aujourd’hui, plus de dix ans après la publication de la troisième et dernière édition, le manuel mérite une relecture à l’ère de la traduction automatique neuronale (TAN) et de l’intelligence artificielle (IA) afin de mettre en perspective la notion de « traduction raisonnée ». Ces dernières années, le domaine du traitement automatique des langues connaît des progrès fulgurants, principalement attribuables à l’émergence de grands modèles de langage tels que les modèles de transformateurs génératifs pré-entraînés, communément appelés « IA générative ». Ces modèles, entraînés sur de vastes quantités de données textuelles, suscitent un certain engouement en raison de leur capacité à générer du texte en quelques secondes sur la base de requêtes de l’utilisateur, en plus de leurs capacités conversationnelles. Cette percée a entraîné une nouvelle vague de recherches en linguistique informatique et dans des domaines connexes, notamment pour explorer les moyens d’affiner ces modèles dans le cadre de tâches spécifiques comme la traduction et l’évaluation des traductions. Cela dit, les programmes de TAN et d’IA générative peuvent-ils passer ce que nous appelons le « test de Delisle » ? En d’autres termes, montrent-ils des signes d’une capacité à raisonner, comme le font d’ailleurs les traducteurs humains adéquatement formés lorsqu’ils traduisent de l’anglais vers le français ? Pour le découvrir, nous avons mis à l’épreuve des programmes de TAN (MS Bing Translator, Google Translate et DeepL) et d’IA générative (ChatGPT, NotionAI et Gaby-T) en utilisant une sélection d’exemples tirés de 30 objectifs de la troisième édition de La traduction raisonnée et en analysant les résultats à la lumière des explications fournies dans le manuel. Ces outils produisent-ils des traductions « raisonnées » ? En quoi cette capacité ou incapacité se répercutera-t-elle sur la pédagogie de la traduction à l’avenir ? Dans son manuel, Delisle suggère qu’apprendre à traduire, c’est apprendre à aborder un texte de manière « raisonnée », c’est-à-dire à découvrir progressivement tous les éléments qui interviennent dans le transfert interlinguistique. Il rappelle également à l’apprenant que le manuel ne doit pas être utilisé comme un livre de recettes. Les exemples ou les modèles de phrases ou de textes traduits de l’anglais au français fournis tout au long de l’ouvrage ne sont pas les seules traductions acceptables : ils servent plutôt à montrer que les solutions à tout problème de traduction sont multiples et dépendent toujours du contexte. Les travaux de doctorat de Delisle, qui ont mené à la première édition de La traduction raisonnée, prônaient l’« analyse du discours comme méthode de traduction » ; ils mettaient l’accent sur la complexité des mécanismes intellectuels impliqués en traduction. L’analyse du discours appliquée à la traduction est particulièrement utile lorsqu’il s’agit de textes complexes qui nécessitent une compréhension nuancée des intentions de l’auteur original. En examinant le discours qui entoure le texte, les traducteurs peuvent repérer les stratégies rhétoriques, les références culturelles et les grands thèmes essentiels à l’interprétation du texte original et à l’objectivation de la traduction. Pour définir l’analyse du discours, Phillips et Hardy expliquent que les discours sont « matérialisés et mis en œuvre dans une variété de textes » (2002 : 4, notre traduction) aux formes diverses (langue écrite ou parlée, images, symboles, artefacts, etc.). Ils ajoutent que les textes ne revêtent aucun sens considérés isolément : le sens émerge plutôt de leur interrelation avec d’autres textes, des différents discours sur lesquels ils reposent et de la nature de leur production, de leur diffusion et de leur consommation. D’après ces auteurs, l’analyse du discours consiste à explorer la manière dont ces processus font émerger le sens des textes et comment cette production de sens contribue à construire la réalité sociale. L’analyse du discours s’intéresse donc aux effets constructifs du discours à travers l’étude structurée et systématique des textes (ibid.). Sans surprise, l’analyse du discours est pratiquée depuis des décennies par des traductologues comme Delisle et d’autres (par exemple, Brisset, 2010 ; Munday et Zhang, 2017 ; Schäffner, 2004 ; Zhang et al., 2015), car la traductologie ne peut que s’enrichir d’une étude structurée et systématique des textes. L’analyse du discours a mis en évidence les facteurs contextuels, les caractéristiques linguistiques, la pragmatique, l’intertextualité, l’idéologie et les relations de pouvoir, ainsi que les communautés discursives comme autant de pistes à suivre pour objectiver le processus de traduction. En appliquant l’analyse du discours à l’acte de traduire, les langagiers peuvent cerner des stratégies pour produire des textes de qualité dans la langue d’arrivée — une capacité que Delisle cherche à inculquer aux traducteurs en formation qui étudient attentivement La traduction raisonnée. Cette méthode de traduction raisonnée vise donc à cultiver chez les traducteurs en herbe un réflexe menant à une approche consciencieuse de la traduction qui privilégie l’analyse du discours et met en garde contre les raccourcis (calques syntaxiques ou lexicaux, choix du premier mot équivalent fourni par un dictionnaire bilingue, etc.). Les traducteurs formés raisonneront pour comprendre le message et le reformuler de manière idiomatique dans la langue d’arrivée (en l’occurrence, le français) tout en utilisant la terminologie appropriée. À terme, ils contribueront à préserver la structure et le style propres à la langue, ainsi que la richesse de son vocabulaire. En bref, La traduction raisonnée encourage les apprenants à raisonner lorsqu’ils traduisent, c’est-à-dire à adopter un état d’esprit attentif qui résiste aux raccourcis et qui mène à des textes réfléchis (Delisle et Fiola, 2013a : 422). Durant la phase initiale de cette étude, nous avons mené deux expériences pilotes. Pour la première, nous avons testé deux outils de différents types, DeepL et ChatGPT, en leur faisant traduire un texte de 230 mots. Pour ChatGPT, nous avons utilisé la requête « Traduisez le texte suivant en français : [texte en anglais] ». Le texte a été tiré de l’Objectif 73 — Réseaux lexicaux de la troisième édition du manuel (Delisle et Fiola, 2013a). Les auteurs ont emprunté l’exemple et l’analyse de cet objectif au linguiste et traducteur Maurice Pergnier, qui explique la notion de champs sémantiques et pourquoi un même mot (soit land dans le cas analysé) répété huit fois en anglais ne peut pas être traduit huit fois par le même mot en français. Delisle et Fiola soutiennent que le traducteur commettrait une erreur méthodologique s’il limitait la traduction de ce mot à un seul équivalent, voire aux équivalents fournis par les dictionnaires bilingues. Ils concluent que les unités linguistiques n’ont pas simplement une valeur de langue, mais plutôt une valeur de discours. Ce n’est que grâce à l’analyse du discours qu’on arrive, dans ce cas, à un mot précis dans la traduction française pour chaque occurrence du mot land. Les deux systèmes ont échoué au « test de Delisle », car ils ont traduit systématiquement les huit occurrences de land par « terre » ou « terres » au lieu d’utiliser d’autres termes plus précis qui conviendraient mieux dans cinq des huit occurrences. La deuxième expérience pilote consistait à rédiger une requête destinée aux programmes d’IA générative. La requête donnait à l’outil des exemples tirés de l’Objectif 30, consacré à la difficulté de traduire le mot available : deux segments en anglais et les exemples de traductions françaises correspondantes du manuel. Dans le cadre de cette expérience, nous voulions converser en français avec l’outil et lui demander d’expliquer, d’après les deux exemples fournis, la stratégie employée par le traducteur et la raison de son choix. Après ce test, nous avons formulé une deuxième requête en utilisant les deux mêmes exemples, mais en demandant cette fois à l’outil de tenir compte des deux exemples fournis pour traduire un troisième segment qui contenait la même difficulté d’ordre lexical, available. Les réponses de l’outil présentaient des signes indicateurs d’un « raisonnement » (ou une bonne imitation de celui-ci) comme le travail d’un traducteur adéquatement formé. Ces premières observations nous ont amenés à la conception d’une expérience formelle. L’expérience principale a été menée en deux étapes, en juin et en décembre 2023. À la première étape, nous avons compilé un corpus composé de segments en anglais extraits de 15 objectifs de la section du manuel consacrée aux difficultés d’ordre syntaxique. Nous avons utilisé des textes plus courts que dans la première expérience pilote. Nous avons extrait au hasard trois segments anglais par objectif, pour un total de 45. Chaque segment a été traduit à l’aide des six outils sélectionnés. Pour chacun des 45 segments en anglais, nous disposions donc de six traductions en français générées de façon automatique; trois produites par la TAN et trois par l’IA générative. Bien entendu, aucune requête n’a été utilisée lors de la traduction à l’aide des outils de TAN. Dans le cas des outils d’IA générative, la requête était simple : « Traduisez le texte suivant en français : [segment en anglais] ». Pour la deuxième étape de l’expérience, nous avons répété l’opération avec 15 autres objectifs du manuel, cette fois tirés de la section consacrée aux difficultés d’ordre lexical. Ainsi, nous avons compilé un total de 90 segments, tous traduits six fois. Ensuite, nous avons formulé 30 « super-requêtes », une par objectif étudié et inclus dans l’expérience, en suivant le modèle de la deuxième expérience pilote. Nous avions déjà extrait trois segments en anglais de chaque objectif. Les deux premiers, ainsi que leur traduction en français fournie dans le manuel, ont servi d’exemples à partir desquels le programme devait « apprendre ». En outre, pour fournir un contexte étoffé à l’IA, nous avons résumé le contenu de l’objectif dans un paragraphe de 100 à 150 mots pour chaque super-requête. Il s’agissait de résumer le « raisonnement » du traducteur, tel qu’expliqué dans le manuel, lors de la traduction des deux segments, de fournir des explications supplémentaires, puis de terminer la requête en demandant au système de traduire une troisième phrase, tout en lui rappelant quoi faire ou ne pas faire, soit la condition à respecter pour produire une traduction « raisonnée ». Dans le corpus, nous avons également inclus les segments traduits à l’aide des « super-requêtes » au cours des deux phases de l’expérience. Au total, nous avions 585 segments à analyser à la deuxième phase. Une fois le corpus compilé, nous sommes passés à l’évaluation des outils de TAN et d’IA générative pour déterminer s’ils avaient réussi le « test de Delisle » en traduisant chaque segment. Lors de l’analyse des données, nous avons indiqué « réussi » lorsque la traduction d’un segment avait l’apparence d’une traduction « raisonnée », c’est-à-dire qu’elle évitait le calque syntaxique ou lexical fréquent chez les traducteurs sans formation adéquate (et critiqué par la méthode de Delisle) avec une proposition semblable à celle d’un traducteur humain bien formé. Soulignons que, dans notre expérience, le fait de « réussir le test » ne signifiait pas nécessairement que la traduction était parfaite. Notre analyse ne portait que sur le mot ou la structure syntaxique traitée dans chacun des objectifs, mais nous avons relevé, y compris dans certains segments ayant passé le test, d’autres types de tournures critiquables selon la méthode de la traduction raisonnée ou qu’un évaluateur humain aurait rejetées. Dans l’ensemble, nous avons observé que les deux types d’outils à l’essai (la TAN et l’IA générative) fournissaient de meilleurs résultats pour les segments tirés des objectifs sur les difficultés d’ordre lexical que pour ceux des difficultés d’ordre syntaxique, en particulier dans les cas d’essai avec la super-requête. Cependant, d’importantes variations émergeaient d’une analyse des totaux généraux : par exemple, dans certains cas, la traduction de tous les segments d’un même objectif réussissait ou non le test selon le type d’outil. L’analyse des données expérimentales nous a menés à une réflexion sur le potentiel de ce que nous proposons d’appeler la « rédactique avancée » (en anglais, advanced prompt engineering), sujet de recherche prometteur en traductique, en pédagogie de la traduction et d’autres domaines. Cette forme de rédactique (prompt engineering) se pencherait sur l’utilisation de requêtes avancées (en faisant appel à des few-shot prompts, c'est-à-dire des requêtes assorties d'exemples et de démonstrations) pour effectuer des tâches langagières, y compris traduire. Notre étude visait en partie à examiner l’incidence des requêtes sur la capacité des machines à « raisonner » en traduction. Nous voulions déterminer s’il est possible, comme on le fait d’ailleurs pour les apprenants humains, de « dire » aux machines quoi faire ou ne pas faire en traduction et de leur expliquer pourquoi à l’aide d’exemples. Des phases exploratoires à l’expérience principale, nous avons constaté une amélioration notable de la performance globale des programmes d’IA générative lorsqu’ils recevaient les super-requêtes, ce qui indique le potentiel de l’expertise humaine appliquée à l’augmentation des capacités de traduction pilotées par l’IA. Ces super-requêtes ont fourni aux modèles d’IA quelques exemples, des indices contextuels et des instructions pour faciliter la production de traductions qui présentaient un raisonnement comparable à celui de traducteurs humains. En revanche, nous devons reconnaître la complexité inhérente à la rédactique, notamment en ce qui concerne la poursuite des objectifs de l’analyse du discours prônés par Delisle et d’autres traductologues. Bien que nos requêtes avancées aient permis d’améliorer la performance des outils à l’essai, leur processus d’élaboration s’est avéré laborieux et chronophage. Malgré certaines améliorations, les traductions générées à l’aide de requêtes avancées dans notre étude ne semblaient pas adhérer pleinement aux principes de la méthode de la traduction raisonnée promue par Delisle, ses collaborateurs et d’autres chercheurs. En effet, même si un segment donné « réussissait le test » grâce à la requête avancée, il contenait parfois d’autres types d’erreurs traitées dans le manuel : des fautes de langue ou de transfert qui auraient été repérées, corrigées, voire complètement évitées par un traducteur adéquatement formé, c’est-à-dire ayant acquis le réflexe de raisonner en traduisant. L’intérêt de recourir aux requêtes avancées mérite d’autres études en traductologie. Si les requêtes semblent prometteuses pour améliorer la performance des outils d’IA générative en traduction, leur efficacité n’a pas été évaluée. Pour l’instant, étant donné les limites manifestes des traductions générées à partir de requêtes dans le but de reproduire les capacités d’analyse et d’interprétation de traducteurs humains bien formés, nous estimons qu’il demeure préférable d’investir en priorité dans la formation des traducteurs humains — et dans celle de leurs formateurs. La recherche pourrait également favoriser la conception de ressources pédagogiques semblables à La traduction raisonnée offertes sur différents supports (livres électroniques, plateformes d’apprentissage numériques, etc.) et adaptées à différentes combinaisons de langues et aux situations réelles de traduction et de communication interculturelle. En conclusion, l’exploration de l’approche de la « traduction raisonnée » dans le contexte des outils de traduction contemporains basés sur l’IA offre de fascinantes perspectives dans le paysage évolutif du traitement automatique des langues. En pédagogie de la traduction, l’œuvre pionnière de Jean Delisle préconise une méthode fondée sur le raisonnement, attribut traditionnellement associé aux traducteurs humains. L’évaluation des capacités des modèles de TAN et d’IA générative sous l’angle de la théorie de Delisle nous confronte à des questions fondamentales sur la nature de la traduction et sur le rôle de l’intelligence humaine dans l’accomplissement de tâches linguistiques (par exemple, l’intelligence requise pour effectuer l’analyse du discours). Notre étude sur les capacités de traduction de divers programmes de TAN et d’IA générative met en évidence les promesses et les limites des technologies de traduction pilotées par l’IA, ainsi que la nécessité de poursuivre les recherches sur la « rédactique avancée ». Elle signale également l’intérêt d’inclure ces technologies et les sujets connexes dans les programmes de formation des traducteurs. Bien que l’IA continue de faire des progrès remarquables, elle ne parvient souvent pas à reproduire la profondeur de raisonnement caractéristique des traducteurs humains ayant reçu une formation adéquate. Tout effort d’intégration de l’IA dans la pratique de la traduction nécessite un examen approfondi de la manière dont on peut enseigner le raisonnement humain à ces outils : comment peuvent-ils dépasser une production linguistique superficielle pour arriver à une compréhension élargie des nuances sémantiques et culturelles? À l’intersection entre tradition et innovation, le concept de « traduction raisonnée » sert de principe directeur pour façonner l’avenir de la pédagogie et des technologies de la traduction, ainsi que pour faire progresser notre compréhension des compétences linguistiques des machines. Malgré le rôle accru des technologies en traduction, il existe toujours une demande pour des traducteurs humains. Dans un avenir proche, la formation universitaire des traducteurs restera essentielle, de même que les autres formes de perfectionnement professionnel continu incitant les apprenants à adopter un état d’esprit attentif qui résiste aux raccourcis, comportement qui mène à un processus de traduction réfléchi et efficace, ainsi qu’à la préservation du caractère idiomatique de la langue d’arrivée. Este artículo presenta un experimento en dos fases diseñado para evaluar la capacidad de «razonamiento» de las máquinas en el contexto de la traducción. El experimento se basó en el libro La traduction raisonnée de Jean Delisle, que se ha utilizado en la enseñanza de la traducción inglés-francés durante más de 40 años, en Canadá y otras partes del mundo. Pusimos a prueba los sistemas de traducción automática neuronal Bing Translator, Google Translate y DeepL, así como los sistemas de IA generativa ChatGPT, NotionAI y Gaby-T, usando segmentos extraídos de 30 de los capítulos del texto y analizando los resultados según las lecciones impartidas en los mismos. Primero analizamos en qué se inspira el libro de Delisle y qué se entiende por «traducción razonada». Luego, presentamos la metodología y los resultados de los experimentos piloto y principal. Por último, sugerimos algunas pistas de investigación, sobre todo en el campo de la didáctica de la traducción. mer., 09 avril 2025 21:52:16 +0200 mer., 30 avril 2025 11:29:15 +0200 https://atradire.pergola-publications.fr/index.php?id=513