mC4
Mis à jour le
En bref
mC4 est un jeu de données de textes web multilingues (101 langues) tiré de Common Crawl, créé par Google en 2020 pour entraîner le modèle mT5 et, depuis, d'autres IA multilingues.
📖 Définition
💬 En termes simples
C'est la version « toutes langues » d'une immense bibliothèque du Web déjà triée, que Google a bâtie pour entraîner des IA qui ne parlent pas seulement anglais.
🎯 Exemple concret
En 2020, Google a utilisé mC4 pour entraîner mT5, un modèle capable de traiter 101 langues ; le corpus a ensuite servi de base à des jeux de données plus récents comme CulturaX.
💡 Le saviez-vous ?
mC4 couvre 101 langues, contre une seule (l'anglais) pour le corpus C4 dont il est l'extension : c'est ce saut qui a rendu possible l'entraînement de modèles vraiment multilingues.
📖 Pour aller plus loin
❓ Questions fréquentes
Qui a créé mC4 et quand ?
Quelle différence entre mC4 et C4 ?
Quel lien entre mC4 et CulturaX ?
📚 Sources
- mT5: A Massively Multilingual Pre-trained Text-to-Text Transformer (arXiv:2010.11934) (Xue, Constant, Roberts, Kale, Al-Rfou, Siddhant, Barua, Raffel (Google Research), 2020)
- multilingual-t5 - dépôt officiel (Google Research) (Google Research, 2020)
🔗 Termes liés
🏷️ Catégorie parente