MiMo

Définition

Grand modèle de langues pour les tâches de raisonnement qui peut être optimisé à la fois lors des étapes de préentraînement et de post-entraînement. Mimo-7B-Base est pré-entraîné sur 25 trillions de jetons textuels (segments) et intègre la prédiction de jetons multiples en tant qu'objectif d'entraînement supplémentaire, ce qui améliore les performances du modèle et accélère l'inférence.

Voir aussi OpenAI

Français

MiMo-7B

Anglais

MiMo-7B

Sources

Source : arxiv