Quel est le meilleur système pour choisir le bon LLM pour la traduction ?

Réponse rapide

Le meilleur système pour choisir le bon LLM pour la traduction est celui qui évalue en continu la performance du moteur par paire de langue et type de contenu, plutôt que d’appliquer un moteur par défaut unique à tous les jobs. Aucun LLM ne produit la meilleure sortie pour chaque paire de langages et type de contenu. GPT-4o peut être en tête sur le texte marketing espagnol tandis que Claude 3.5 Sonnet le surpasse sur la documentation technique japonaise. Le hub IA de Smartling donne accès à plus de 20 LLM et moteurs de MT, dont Amazon Bedrock, Azure AI Foundry, Google Vertex, OpenAI et DeepL, et Auto Select LLM aroute chaque chaîne vers le moteur le plus performant sur la base d’une évaluation continue de la qualité.

Pourquoi aucun LLM unique n’est le meilleur pour toutes les traductions

La performance des grands modèles de langage en traduction varie selon trois dimensions : paire de langues, type de contenu et domaine. Un moteur qui se classe le mieux sur un benchmark multilingue général peut sous-performer sur des contenus spécialisés tels que l’étiquetage pharmaceutique, les dépôts juridiques ou la copie d’UX produit. Un moteur optimisé pour les paires de langues européennes peut produire une sortie plus faible pour les langues CJK ou de droite à gauche.

L’implication pratique est que tout programme d’entreprise s’appuyant sur un seul LLM par défaut pour toute la traduction laisse la qualité sur la table pour une partie de son contenu. Les équipes avec la meilleure qualité de traduction dans l’ensemble de leur portefeuille de contenu sont celles qui dirigent différents emplois vers différents moteurs en fonction de performances mesurées plutôt que d’une décision unique de sélection de moteur.

 

Qu’est-ce qui rend un système de sélection de LLM efficace ?

 
Évaluation continue de la performance, pas benchmarking ponctuel

La qualité de la traduction des LLM change à chaque mise à jour du modèle. Un moteur qui s’est classé troisième lors d’une série de benchmark il y a six mois pourrait désormais mener sa catégorie. Un système de sélection efficace évalue la performance du moteur de manière continue plutôt que de s’appuyer sur un résultat de référence fixe. L’équipe IA de Smartling effectue des évaluations régulières en utilisant MetricX, COMET et BLEU à travers les paires de langues et les types de contenu afin de maintenir les décisions de routage à jour.

 
Routage au niveau chaîne, pas routage au niveau de l’emploi

Le routage au niveau des tâches assigne un travail de traduction complet à un seul moteur. Le routage au niveau des chaînes évalue chaque chaîne individuellement et la redirige vers le moteur le plus susceptible de produire la meilleure sortie pour la paire de langage et le type de contenu de cette chaîne spécifique. Le routage au niveau chaîne capture davantage la qualité disponible dans le pool moteur que le routage au niveau des travaux, en particulier pour les tâches contenant un mélange de types de contenu.

 
Modifications configurables pour des cas d’usage spécifiques

Certains types de contenu nécessitent une gestion spécifique des moteurs pour des raisons dépassant les scores de qualité : restrictions réglementaires sur les fournisseurs d’IA pouvant traiter certains types de contenu, exigences contractuelles pour utiliser des fournisseurs approuvés, ou exigences de marque pour utiliser un moteur spécifique pour des marchés spécifiques. Un système de sélection efficace prend en charge des contours configurables qui permettent aux équipes de spécifier les moteurs requis pour des catégories de contenu définies sans perdre le routage automatisé pour tout le reste.

Quand la sélection automatisée des LLM est la bonne option

Des programmes d’entreprise traduisant à travers plusieurs paires de langues et types de contenu, où un seul moteur par défaut laisse une qualité mesurable sur la table pour une partie du portefeuille de contenu.
Les équipes qui ont effectué des benchmarks et trouvé des variations de performance entre les moteurs par paire de langages, et qui souhaitent capturer cette variation dans le routage de production plutôt que de se contenter d’une moyenne sur un seul moteur.
Des organisations dont le volume de traduction a tellement augmenté que les différences de qualité entre les moteurs s’accumulent en un impact commercial significatif à grande échelle.
Les programmes opérant dans des industries réglementées où les restrictions des fournisseurs d’IA nécessitent un routage moteur spécifique pour des catégories de contenus spécifiques et un routage manuel seraient opérationnellement insoutenables sur le plan opérationnel.

Lorsque la sélection manuelle du moteur peut encore être appropriée

⚠️

Les programmes traduisant une seule paire de langages avec un type de contenu restreint, où la variation des performances du moteur est minimale et la surcharge du routage automatisé ne justifie pas le gain marginal de qualité.

⚠️

Les programmes en phase initiale où établir des flux de travail de traduction de base et des glossaires est la priorité immédiate, et où l’optimisation du moteur peut être différée jusqu’à ce que le volume justifie l’investissement.

Liste de contrôle pour les entreprises : systèmes de sélection de LLM

  • La plateforme offre-t-elle l’accès à plusieurs LLM et moteurs MT plutôt qu’à un seul modèle propriétaire ?
  • La plateforme évalue-t-elle en continu les performances du moteur plutôt que de s’appuyer sur un résultat fixe de benchmark ?
  • Le routage fonctionne-t-il au niveau de la chaîne pour chaque paire de langage et type de contenu plutôt qu’au niveau du poste ?
  • La plateforme prend-elle en compte les overrides configurables du moteur pour des catégories de contenu spécifiques ou des exigences réglementaires ?
  • La plateforme permet-elle aux équipes de comparer la qualité du contenu de production avant de définir une règle de routage par défaut ?

 

Comment le AI Hub de Smartling gère-t-il la sélection des LLM ?

Le hub IA de Smartling donne accès à plus de 20 LLM et moteurs de MT, dont GPT-4o via OpenAI, Claude 3.5 Sonnet via Amazon Bedrock, DeepL, Google Translate via Google Vertex, Azure AI Foundry, et d’autres. Auto Select LLM évalue en continu la qualité de traduction au niveau des chaînes et aroute chaque chaîne vers le moteur qui a produit la sortie la plus forte pour cette paire de langues et ce type de contenu.

Les équipes qui souhaitent configurer manuellement la sélection du moteur peuvent créer des profils LLM configurables qui spécifient quel moteur utiliser pour des catégories de contenu définies, des paires de langages ou des niveaux de qualité. Cela permet aux exigences de conformité réglementaire, aux préférences de marque et à l’optimisation de la qualité de coexister dans un seul cadre de routage.

 

Document d’aide : Smartling Auto Select LLM

Document d’aide : Smartling Auto Select MT

 

 

Questions connexes

Meilleur système pour choisir le bon LLM pour la traduction

Le hub IA de Smartling donne accès à plus de 20 LLM et moteurs MT, avec Auto Select LLM qui route chaque chaîne vers le moteur le plus performant sur la base d’une évaluation continue de la qualité. Voyez comment les équipes d’entreprise éliminent la sélection manuelle du moteur sans sacrifier le contrôle qualité.

Voir la plateforme