gemma-4-12B-it : configuration et poids
gemma-4-12B-it déclare Gemma4UnifiedForConditionalGeneration. Sa configuration textuelle imbriquée fixe 262 144 tokens de contexte, un vocabulaire de 262 144 entrées et 48 couches. Le fichier public est déclaré sous Apache-2.0.
Configuration gemma-4-12B-it (Apache-2.0)
Données au 2026-10-09.
Les dimensions de cette version
| Champ | Valeur / unité | Source du champ |
|---|---|---|
| Architecture déclarée | Gemma4UnifiedForConditionalGeneration | Configuration Apache-2.0/architecturesLu le 2026-10-09 |
| Type de modèle | gemma4_unified | Configuration Apache-2.0/model_typeLu le 2026-10-09 |
| Contexte configuré (tokens) | 262 144 | Configuration Apache-2.0/text_config/max_position_embeddingsLu le 2026-10-09 |
| Vocabulaire (entrées) | 262 144 | Configuration Apache-2.0/text_config/vocab_sizeLu le 2026-10-09 |
| Couches textuelles | 48 | Configuration Apache-2.0/text_config/num_hidden_layersLu le 2026-10-09 |
| Dimension cachée textuelle | 3 840 | Configuration Apache-2.0/text_config/hidden_sizeLu le 2026-10-09 |
| Experts par couche MoE | Non renseigné | Configuration Apache-2.0 Champ absent Lu le 2026-10-09 |
| Taille des tenseurs dans l’index (octets) | Non renseigné | Notice de plateforme, complément/siblingsLu le 2026-10-09 |
| Entrées de tenseurs dans l’index | Non renseigné | Notice de plateforme, complément/siblingsLu le 2026-10-09 |
Paramètres et poids à 16 bits
La notice de plateforme indique 11 959 730 224 paramètres stockés. À 16 bits par paramètre, leur poids théorique est de 22,28 GiB.
Notice de plateforme, complément/safetensors/total
Lu le 2026-10-09
11 959 730 224 × 2 / 1 073 741 824 = 22,28 GiB. Voir le périmètre du calcul
Ce que ces données changent pour déployer
Lire la configuration textuelle au bon endroit
Les dimensions de texte sont sous text_config. Lire uniquement la racine ferait manquer le contexte, le vocabulaire, les 48 couches et la dimension cachée de 3 840. L’architecture globale est Gemma4UnifiedForConditionalGeneration, avec le type gemma4_unified : vérifiez leur prise en charge dans le moteur choisi.
Tester le contexte dans votre application
La configuration fixe 262 144 positions, contre 32 768 pour Mistral et Mixtral. Préparez des documents de plusieurs longueurs pour mesurer l’exécution. La valeur de configuration sert à choisir cet essai ; contrôlez aussi le réglage de contexte du moteur et la place laissée à la réponse.
Distinguer un calcul d’un index publié
La notice consultée ne répertorie pas d’index safetensors. La taille des tenseurs et le nombre d’entrées d’index restent non renseignés. Le total de 11 959 730 224 paramètres vient de la notice de plateforme et permet le calcul des poids à 16 bits. Il reste un complément aux faits de configuration ouverts.
Comparer avec les deux autres modèles
Mistral et Mixtral exposent leurs dimensions textuelles à la racine du fichier. Tous deux déclarent 32 couches et une dimension cachée de 4 096. Gemma 4 expose 48 couches et une dimension de 3 840 sous text_config. Cette différence impose de vérifier le lecteur de configuration ; un contexte plus grand ne constitue pas un classement de qualité.
| Version | Contexte configuré (tokens) | Vocabulaire (entrées) | Poids théoriques à 16 bits (GiB) |
|---|---|---|---|
| Mistral-7B-Instruct-v0.3 | 32 768 | 32 768 | 13,50 |
| Mixtral-8x7B-Instruct-v0.1 | 32 768 | 32 000 | 86,99 |
Les configurations et les sources de chaque valeur sont disponibles dans la fiche liée.
Révisions, licences et téléchargement
- gemma-4-12B-it : Carte officielle : Apache-2.0, révision
707f0a3b8a3c7ad586ed01e27eafbad8a27dd0f7. Sources collectées le 2026-10-09.
Télécharger les faits et leur provenance (JSON)
La déclaration Apache-2.0 porte sur les fichiers du modèle. Les métadonnées de plateforme ont une licence distincte non renseignée. Les champs de configuration et d’index restent séparés des compléments de plateforme dans l’export.
Préparer votre intégration
Développement IA sur mesure à Paris · Chatbot IA à Paris · Trouver une action pour vos logiciels · Décrire votre projet
Revenir au comparatif des modèles · Lire les unités et la méthode
Comparer les modèles et la taille de leurs poids
Sélectionner deux ou trois modèles, filtrer leur contexte et comparer leurs poids à 16, 8 ou 4 bits