« MiMo » : différence entre les versions
Aucun résumé des modifications |
Aucun résumé des modifications |
||
| Ligne 1 : | Ligne 1 : | ||
== Définition == | == Définition == | ||
'''[[Grand modèle de langues]]''' pour les tâches de raisonnement qui peut être optimisé à la fois lors des étapes de '''[[préentraînement]]''' et de post-entraînement. Mimo-7B-Base est pré-entraîné sur 25 | '''[[Grand modèle de langues]]''' pour les tâches de raisonnement qui peut être optimisé à la fois lors des étapes de '''[[préentraînement]]''' et de post-entraînement. Mimo-7B-Base est pré-entraîné sur 25 trillions de '''[[jeton textuel|jetons textuels (segments)]]''' et intègre la prédiction de jetons multiples en tant qu'objectif d'entraînement supplémentaire, ce qui améliore les performances du modèle et accélère l''''[[inférence]]'''. | ||
Voir aussi '''[[OpenAI]]''' | Voir aussi '''[[OpenAI]]''' | ||
Dernière version du 9 juin 2026 à 14:53
Définition
Grand modèle de langues pour les tâches de raisonnement qui peut être optimisé à la fois lors des étapes de préentraînement et de post-entraînement. Mimo-7B-Base est pré-entraîné sur 25 trillions de jetons textuels (segments) et intègre la prédiction de jetons multiples en tant qu'objectif d'entraînement supplémentaire, ce qui améliore les performances du modèle et accélère l'inférence.
Voir aussi OpenAI
Français
MiMo-7B
Anglais
MiMo-7B
Sources
Contributeurs: Arianne Arel, Claude Coulombe, wiki
