Modèle de langage Google AI : plus de 300 langues disponibles

Modèle de discours universel de Google (USM) a étendu son support linguistique à plus de 300 langues, une étape impressionnante qui rapproche le géant de la recherche de son objectif ultime de travailler dans 1,000 XNUMX langues. Cette annonce est le résultat de l'engagement de l'entreprise à construire un modèle d'apprentissage automatique qui englobe autant de langues que possible.

L'USM, une architecture encodeur-décodeur standard, utilise un conformateur pour prendre le spectrogramme log-mel des signaux de parole en entrée et effectuer un sous-échantillonnage convolutionnel. Le modèle comporte deux milliards de paramètres et a été formé sur 12 millions d'heures de parole et 28 milliards de phrases de texte. En termes plus simples, GoogleLes chercheurs ont pré-entraîné le modèle sur un grand ensemble de données multilingues non étiquetées et l'ont affiné sur un ensemble plus petit de données étiquetées.

Cette approche est plus efficace que les techniques précédentes, et le modèle est déjà utilisé par YouTube pour générer des sous-titres pour les langues à faibles ressources comme l'amharique, le cebuano, l'assamais et l'azerbaïdjanais, entre autres. L'USM atteint moins de 30 % de taux d'erreur de mots en moyenne dans 73 langues sur YouTube.

En comparaison avec Modèle Whisper d'OpenAIUSM présente un taux d'erreurs de mots relativement faible pour environ 18 langues. Cependant, l'efficacité informatique doit être améliorée pour étendre à la fois la couverture linguistique et la qualité afin d'atteindre l'objectif ambitieux de l'entreprise.

En conclusion

L'USM de Google est une prouesse impressionnante machine learning qui établit la norme en matière de traitement du langage naturel. Grâce à son support linguistique en pleine expansion, le modèle continuera de stimuler l'innovation et de permettre l'accessibilité aux langues sous-financées dans le monde entier.