Et la course continue.
En marge des annonces retentissantes de Google sur l’intelligence artificielle lors de sa conférence Cloud Next, Mistral AI, une startup basée à Paris lance Mixtral 8x22B, son modèle de Sparse Mixture of Experts (SMoE, une architecture pour l’expansion des grands modèles de langage) le plus avancé à ce jour. Mistral AI a diffusé la nouvelle en publiant un lien torrent sur la plateforme X, permettant ainsi le téléchargement direct et l’expérimentation de leur nouveau modèle. Cela marque la troisième grande sortie d’outil IA en quelques jours seulement, après GPT-4 Turbo et Gemini 1.5 Pro, et juste avant le teasing de Meta pour Llama 3.
Mixtral 8x22B, dont les capacités restent encore voilées de mystère, promet d’être un jalon important pour Mistral, comme l’indiquent les 262 GB répartis en quatre fichiers du téléchargement torrent – un volume conséquent qui défie la capacité de nombreux systèmes personnels. Peu après son apparition sur X, le modèle a également été rendu disponible sur Hugging Face pour entraînement et déploiement supplémentaires, notant l’absence de mécanismes de modération en raison de son état pré-entraîné.
Mistral AI vise à optimiser performances et coûts grâce à une combinaison de modèles spécialisés dans différentes tâches. Le système de routage de Mistral sélectionne deux « experts » par token pour un traitement et une combinaison de sorties, offrant un modèle à la fois puissant et économique. Alors que Mixtral 8x22B entre en scène avec ses 130 milliards de paramètres totaux, dont 38 milliards actifs pour la génération de tokens, la performance réelle du modèle reste à évaluer. Néanmoins, les utilisateurs anticipent que ce modèle surpassera ses prédécesseurs et concurrents sur divers benchmarks, confirmant l’ascension de Mistral AI dans le domaine de l’intelligence artificielle.
