Comparer Mistral, Mixtral et Gemma 4

Trois choix techniques distincts

• Mistral-7B-Instruct-v0.3 : examiner un profil dont l’index documente 14 496 047 104 octets de tenseurs et un vocabulaire de 32 768 entrées.
• Mixtral-8x7B-Instruct-v0.1 : préparer une architecture à 8 experts par couche MoE dont l’index documente 93 405 585 408 octets de tenseurs.
• gemma-4-12B-it : examiner une configuration textuelle imbriquée, avec 262 144 positions de contexte et 48 couches textuelles.

Le contexte configuré et la taille des poids servent à préparer un essai. Comparez ensuite les réponses sur vos documents et mesurez la mémoire et le délai dans votre moteur d’inférence.

Lire les unités et les sources

Le contexte est le champ max_position_embeddings : un nombre de positions en tokens dans la configuration textuelle. Le contexte accepté se règle et se teste dans le moteur d’inférence. Un token est une unité de texte ; le vocabulaire compte les entrées du modèle, pas les mots d’un document.

Pour Gemma 4, les dimensions textuelles se lisent sous text_config. Pour Mistral et Mixtral, elles se lisent à la racine. « Non renseigné » garde un champ inconnu : ce n’est pas zéro expert ou zéro octet.

L’index déclare la taille des données de tenseurs en octets. Le nombre d’entrées est le nombre de clés de weight_map. Cette taille exclut les en-têtes et les autres fichiers du dépôt. Gemma 4 n’a pas d’index répertorié dans la notice consultée ; sa taille d’index reste inconnue.

Comment lire les poids théoriques ?

Le nombre de paramètres provient du champ safetensors.total de la notice de plateforme, en complément des configurations ouvertes. Formule à 16 bits : paramètres × 16 / 8 / 2^30. Une GiB vaut 1 073 741 824 octets. Le calcul inclut tous les paramètres stockés de Mixtral, sans ajouter de paramètres actifs.

Les poids seuls excluent cache KV, activations, buffers et frais de format ; la mémoire de déploiement se mesure séparément.

Chaque fiche reprend les fichiers à une révision précise. Les valeurs des tableaux sont datées et les exports gardent leur chemin JSON, unité et périmètre. Les explications sont propres à ce comparatif ; aucun poids n’est téléchargé pour établir ces chiffres.

Révisions, licences et téléchargement

• Mistral-7B-Instruct-v0.3 : Carte officielle : Apache-2.0, révision c170c708c41dac9275d15a8fff4eca08d52bab71. Sources collectées le 2026-10-09.
• Mixtral-8x7B-Instruct-v0.1 : Carte officielle : Apache-2.0, révision eba92302a2861cdc0098cc54bc9f17cb2c47eb61. Sources collectées le 2026-10-09.
• gemma-4-12B-it : Carte officielle : Apache-2.0, révision 707f0a3b8a3c7ad586ed01e27eafbad8a27dd0f7. Sources collectées le 2026-10-09.

Télécharger les faits et leur provenance (JSON)

La déclaration Apache-2.0 porte sur les fichiers du modèle. Les métadonnées de plateforme ont une licence distincte non renseignée. Les champs de configuration et d’index restent séparés des compléments de plateforme dans l’export.

Préparer votre intégration

Développement IA sur mesure à Paris · Chatbot IA à Paris · Trouver une action pour vos logiciels · Décrire votre projet