un modèle de 4B tient 256K de contexte sur une seule 3080 ti 12go, et retrouve 40 codes sur 40

ce que je voulais savoir

les petits modèles récents annoncent des contextes énormes, et je voulais savoir si un 4B pouvait vraiment exploiter 256K tokens sur une seule carte de 12go, celle que beaucoup de gens ont déjà, et à quelle vitesse il tournait une fois le contexte plein.

le setup

Spark-X2.6-4B dans sa version Q8_0 officielle (4,07 GiB), avec llama.cpp compilé le jour même, la flash attention activée et le cache K/V en q8_0 pour faire tenir les 262K de contexte sur la 3080 Ti. j'ai aussi passé le même bench sur la 3090 pour comparer.

les chiffres

pour les codes cachés, j'ai pris le texte de Guerre et Paix et j'y ai glissé quatre codes à 10, 35, 60 et 85% de profondeur, sur des prompts de 15,8K à ~245K tokens, deux essais par longueur : il a retrouvé les 40 codes. à ~245K, il fallait 131 secondes pour la réponse complète.

ce qui m'a surpris

la 3080 Ti bat la 3090 de 10 à 30% sur ce modèle, mais uniquement parce que j'avais bridé la 3090 à 230 W contre 260 W pour la 3080 Ti, ce qui montre à quel point la limite de puissance pèse.

le cache K/V en q8_0 coûte aussi cher à long contexte : à 128K, le decode tombe à 57 tok/s contre 78 en f16, soit -27%. il ne sert vraiment qu'à dépasser les ~170K tokens sur une carte de 12go.

et même si le modèle n'a que 9 couches d'attention complète sur 36, le decode perd quand même 74% entre un contexte vide et 254K.

ce qui n'a pas marché

télécharger le modèle a été plus long que de le tester : curl plafonnait à 0,8 Mo/s, et le client Hugging Face s'est bloqué à 57% avant de repartir de zéro. aria2c avec 16 connexions a tourné à ~7 Mo/s. et il faut un llama.cpp récent, une version de mai 2026 ne reconnaît pas l'architecture.

ce que je garde

un 4B avec 256K de contexte sur une carte de 12go, ça marche vraiment pour retrouver des infos dans de très longs documents. pour le raisonnement sur long contexte, il faudra un vrai test. pour l'installer chez toi, suis le guide llama.cpp.