Série Réalité : Ep7 - Comprendre la méthodologie de MQM et la qualité de la traduction

Plongez dans les mythes et les réalités de l'estimation et de l'assurance de la qualité des traductions, tels qu'ils sont perçus à travers le prisme de la méthodologie MQM (Multidimensional Quality Metrics). MQM est un système complet conçu pour évaluer et contrôler la qualité des contenus traduits. Le MQM sert de cadre normalisé d'assurance qualité linguistique (AQL) pour évaluer la qualité des traductions dans différentes catégories. L'évaluation des traductions dans le cadre du MQM permet d'identifier les points forts de votre processus de localisation et les possibilités d'amélioration.

Au cours de cette discussion, nous examinerons les erreurs courantes et les meilleures pratiques utilisées pour garantir une qualité linguistique de premier ordre. Découvrez comment la méthodologie MQM peut permettre aux responsables de la localisation et aux linguistes de minimiser les erreurs, d'éliminer la subjectivité et d'améliorer leur production de traductions.

Nos experts pour cette session sont

• Olga Beregovaya, vice-présidente de l'IA et de la traduction automatique
• Valerie Dehant | Directrice principale des services linguistiques
• Alex Yanishevsky - Directeur des déploiements de l'IA et de la traduction automatique

Qualité de la traduction : Comprendre la méthodologie MQM

Le secteur de la traduction, comme tous les autres, se nourrit de la qualité. Mais comment évaluer la qualité des traductions ? Le septième épisode de la "Reality Series" de Smartling a fourni des informations précieuses sur la qualité des traductions. Des aspects essentiels tels que la traduction automatique (TA), la traduction humaine (TH) et le cadre MQM (Multidimensional Quality Metrics) sont utilisés pour éclairer cette question complexe.

Mythe : un locuteur natif peut évaluer la qualité Les intervenants ont commencé par démentir le mythe persistant selon lequel tout locuteur natif peut évaluer la qualité d'une traduction. La mesure de la "qualité de la traduction" est en effet beaucoup plus complexe. En fait, l'évaluation de la qualité est assez subjective et exige une compréhension approfondie du contexte et des nuances de la langue source et de la langue cible.

Cadre MQM Le thème principal de la session était la présentation du cadre MQM (mesures multidimensionnelles de la qualité). Ce modèle s'écarte des évaluations traditionnelles de l'adéquation et de la fluidité, en proposant une méthode plus objective d'évaluation de la qualité des traductions. Il prend en compte des facteurs tels que l'adéquation, la fluidité et la facilité d'action, tout en encourageant l'évaluation en aveugle. Les intervenants ont souligné l'importance de l'évaluation en aveugle dans MQM, où les évaluateurs ne savent pas si la traduction a été effectuée par un humain ou par une machine. Ils ont souligné le rôle essentiel de cette technique dans l'élimination de tout biais dans l'évaluation.

En quoi le MQM diffère-t-il des méthodes conventionnelles ? Olga Beregovaya a déclaré qu'il s'agissait de classer et de quantifier les "erreurs de traduction". Dans le modèle MQM, les erreurs sont classées par catégories et des coefficients de gravité sont attribués pour calculer une note de qualité globale. Cette méthodologie nous permet de quantifier le concept de qualité de la traduction, en le transformant en une valeur numérique qui peut être utilisée pour l'améliorer.

Les intervenants ont abordé d'autres mesures d'évaluation pertinentes pour l'industrie, telles que BLEU, TER et l'estimation de la qualité à l'aide de grands modèles linguistiques (LLM). Ces outils, combinés à l'expérimentation en cours des LLM pour l'estimation de la qualité et l'évaluation sémantique, améliorent considérablement notre compréhension du comportement des moteurs.

Olga Beregovaya a mis en lumière la différence entre la notation textuelle et la notation sémantique. La notation textuelle prend principalement en compte la différence de caractères ou de mots nécessaire pour effectuer un changement, tandis que la notation sémantique étudie les associations entre les mots et les concepts dans les phrases. Elle a également souligné l'importance de l'implication humaine dans l'identification des valeurs statistiques aberrantes et des exceptions.

Alex Yanishevsky a soulevé la question de la qualité des données dans le contexte du déploiement de grands modèles linguistiques (LLM). Il a affirmé que des données de haute qualité sont fondamentales et a souligné la nécessité de saisir les hallucinations lorsque le modèle s'écarte de manière significative de la signification réelle.

Arbitrage et KPIs Valérie Dehant a souligné le rôle de l'arbitrage dans la résolution des désaccords entre linguistes et dans l'obtention d'un étiquetage cohérent des erreurs. Elle a souligné le rôle essentiel de la méthodologie MQM pour faciliter l'arbitrage dans les scénarios où des étiquettes contradictoires de catégories d'erreurs nuisent à l'apprentissage du modèle. La capacité d'arbitrage unique de MQM permet une distinction claire entre les erreurs, ce qui permet un processus de formation de modèle sans faille.

Alex Yanishevsky a fait remarquer que les indicateurs clés de performance (ICP) pour la traduction automatique et la traduction humaine sont spécifiques à l'objectif du contenu. Il a suscité l'intérêt en citant l'engagement émotionnel, la satisfaction des utilisateurs, les conversions et la résolution des tickets d'assistance comme des indicateurs clés de performance potentiels en fonction du type de contenu et de la manière dont il est géré (MT ou HT).

Valérie Dehant a présenté la boîte à outils Smartling qui rationalise la création de schémas, l'enregistrement des erreurs et la promotion de la collaboration entre les évaluateurs grâce à un tableau de bord, équipé de scores MQM, qui fournit des informations détaillées sur les erreurs et les domaines potentiels d'amélioration. Cette analyse granulaire des erreurs facilite l'élaboration de plans d'action pour l'amélioration de la qualité.

Verdict En comprenant la science qui sous-tend la qualité des traductions et en mettant en œuvre le cadre MQM, nous pouvons aborder l'évaluation de la qualité à l'aide d'une méthode normalisée et fiable. En outre, le septième épisode montre que la combinaison de l'automatisation et de l'analyse humaine est essentielle pour améliorer les modèles, identifier les anomalies et faire progresser l'évolutivité du processus d'évaluation. Regardez l'épisode en entier ci-dessus !