Mixtral-8x7B-Instruct-v0.1 : configuration et poids
Mixtral-8x7B-Instruct-v0.1 déclare MixtralForCausalLM, 8 experts par couche MoE et un vocabulaire de 32 000 entrées. Son index annonce 93 405 585 408 octets de tenseurs. Ces fichiers publics sont déclarés sous Apache-2.0.
Configuration Mixtral-8x7B-Instruct-v0.1 (Apache-2.0)
Données au 2026-10-09.
Les dimensions de cette version
| Champ | Valeur / unité | Source du champ |
|---|---|---|
| Architecture déclarée | MixtralForCausalLM | Configuration Apache-2.0/architecturesLu le 2026-10-09 |
| Type de modèle | mixtral | Configuration Apache-2.0/model_typeLu le 2026-10-09 |
| Contexte configuré (tokens) | 32 768 | Configuration Apache-2.0/max_position_embeddingsLu le 2026-10-09 |
| Vocabulaire (entrées) | 32 000 | Configuration Apache-2.0/vocab_sizeLu le 2026-10-09 |
| Couches textuelles | 32 | Configuration Apache-2.0/num_hidden_layersLu le 2026-10-09 |
| Dimension cachée textuelle | 4 096 | Configuration Apache-2.0/hidden_sizeLu le 2026-10-09 |
| Experts par couche MoE | 8 | Configuration Apache-2.0/num_local_expertsLu le 2026-10-09 |
| Taille des tenseurs dans l’index (octets) | 93 405 585 408 | Index Apache-2.0/metadata/total_sizeLu le 2026-10-09 |
| Entrées de tenseurs dans l’index | 995 | Index Apache-2.0/weight_mapLu le 2026-10-09 |
Paramètres et poids à 16 bits
La notice de plateforme indique 46 702 792 704 paramètres stockés. À 16 bits par paramètre, leur poids théorique est de 86,99 GiB.
Notice de plateforme, complément/safetensors/total
Lu le 2026-10-09
46 702 792 704 × 2 / 1 073 741 824 = 86,99 GiB. Voir le périmètre du calcul
Ce que ces données changent pour déployer
Vérifier la prise en charge des experts
La configuration nomme MixtralForCausalLM et fixe num_local_experts à 8. MoE désigne un mélange d’experts : plusieurs blocs spécialisés sont présents par couche. Vérifiez la prise en charge de cette architecture dans le moteur retenu avant de construire votre intégration.
Utiliser le total stocké pour les poids
Le nom 8x7B ne remplace pas le total documentaire de 46 702 792 704 paramètres. Le calcul à 16 bits utilise ce total une seule fois. Il ne multiplie pas à nouveau par huit et n’ajoute aucun nombre de paramètres actifs. L’index contient 995 entrées de tenseurs.
Préparer le stockage avant le test
L’index déclare 93 405 585 408 octets de données de tenseurs, contre 14 496 047 104 pour Mistral. Le contexte configuré reste de 32 768 tokens dans les deux cas. La longueur de contexte ne suffit donc pas à prévoir la place des poids ; vérifiez les deux dimensions séparément.
Comparer avec les deux autres modèles
Mistral déclare un vocabulaire de 32 768 entrées et l’architecture MistralForCausalLM ; Mixtral en déclare 32 000 et MixtralForCausalLM. Gemma 4 change à la fois de structure de configuration, de contexte et de dimension cachée. Pour un moteur déjà configuré pour Mistral, examinez d’abord la gestion des experts avant d’essayer Mixtral.
| Version | Contexte configuré (tokens) | Vocabulaire (entrées) | Poids théoriques à 16 bits (GiB) |
|---|---|---|---|
| Mistral-7B-Instruct-v0.3 | 32 768 | 32 768 | 13,50 |
| gemma-4-12B-it | 262 144 | 262 144 | 22,28 |
Les configurations et les sources de chaque valeur sont disponibles dans la fiche liée.
Révisions, licences et téléchargement
- Mixtral-8x7B-Instruct-v0.1 : Carte officielle : Apache-2.0, révision
eba92302a2861cdc0098cc54bc9f17cb2c47eb61. Sources collectées le 2026-10-09.
Télécharger les faits et leur provenance (JSON)
La déclaration Apache-2.0 porte sur les fichiers du modèle. Les métadonnées de plateforme ont une licence distincte non renseignée. Les champs de configuration et d’index restent séparés des compléments de plateforme dans l’export.
Préparer votre intégration
Développement IA sur mesure à Paris · Chatbot IA à Paris · Trouver une action pour vos logiciels · Décrire votre projet
Revenir au comparatif des modèles · Lire les unités et la méthode
Comparer les modèles et la taille de leurs poids
Sélectionner deux ou trois modèles, filtrer leur contexte et comparer leurs poids à 16, 8 ou 4 bits