qwen 3.8 flash next sur strata : un 125B à plus de 110 tok/s sur une 3090 + une 3080 ti

à quoi sert strata

Strata est un moteur open source fait pour une seule famille de modèles, Qwen 3.8 Flash Next, un MoE de 125 milliards de paramètres. ce genre de modèle tourne normalement sur des serveurs avec des centaines de gigas de mémoire graphique, et Strata s'en sort sur un PC normal grâce à une astuce : dans un MoE, chaque token n'utilise qu'une petite partie des « experts ». le moteur garde en VRAM ceux qui servent le plus pour ta conversation, laisse les autres en RAM, et les échange au fil de l'eau.

il te faut, d'après la doc officielle : au moins 32go de RAM et de VRAM additionnées (plus, c'est mieux), une carte nvidia RTX 20 ou plus récente avec 12go ou plus, et environ 80go de disque libre, idéalement sur un SSD. avec deux cartes, Strata peut les faire travailler ensemble.

1. choisir la taille du modèle

le même modèle existe en plusieurs niveaux de compression. plus il est compressé, plus il est rapide et léger, et un peu moins il est malin. le tableau de la doc officielle se lit en additionnant ta RAM et ta VRAM :

ta mémoire (RAM + VRAM)	taille conseillée
32go	Gyro-S, ou le Coder si tu ne fais que du code
40go	Swift 1.5 IQ2_XS ou Gyro-M
48go	IQ3_XXS (47go)
64go	IQ3_S (54,8go)

chez moi, avec 36go de VRAM et 80go de RAM, j'utilise IQ3_XXS : c'est le bon équilibre entre vitesse, qualité et place pour beaucoup de contexte.

2. installer

la façon la plus simple, sous linux, c'est le terminal officiel. le script vérifie ton PC, télécharge le moteur, contrôle son empreinte sha256 et installe tout dans ton dossier personnel, sans droits administrateur :

curl -fsSL https://github.com/Niko1221/Strata/releases/latest/download/install.sh | sh

si tu préfères lire le script avant de le lancer (c'est une bonne habitude), télécharge-le d'abord avec curl -fsSL <l'adresse> -o install.sh, lis-le, puis lance sh install.sh.

3. le premier lancement

strata launch

il pose les questions une par une : le modèle, la taille du contexte, la lecture d'images, qui a le droit de se connecter. ensuite il télécharge le moteur adapté à ta carte et le modèle (compte une bonne heure pour ~70go, selon ta connexion), puis il sert le modèle sur une adresse locale compatible avec l'API d'OpenAI.

4. utiliser les deux cartes

avec deux cartes, Strata coupe le modèle en deux paquets de couches : la première carte fait les premières couches, la seconde fait la suite, et chacune garde en cache les experts de ses propres couches. deux cartes gardent donc environ deux fois plus d'experts en VRAM qu'une seule, et c'est de là que vient la vitesse. il n'y a pas besoin de NVLink : le passage d'une carte à l'autre est léger.

par défaut, Strata essaie d'abord le modèle sur ta plus grosse carte et ne propose le partage que si ça ne rentre pas confortablement. pour forcer l'utilisation des deux cartes :

strata launch --model iq3_xxs --gpus 0,1 --context 128k --parallel 2 --no-tui

--gpus 0,1 prend les cartes telles que nvidia-smi les numérote (la première est la principale), --parallel 2 ouvre deux places pour servir deux agents en même temps, et --no-tui sert le modèle puis affiche l'adresse sans écran interactif.

5. la vitesse en solo

avec un seul agent ou une seule conversation, c'est là que le modèle impressionne : sur ma box, Qwen 3.8 Flash Next génère à plus de 110 tok/s (109,6 tok/s au bench sur des réponses courtes, et jusqu'à ~140 en vrai usage). pour un modèle de 125 milliards de paramètres sur deux cartes d'occase, c'est la vitesse d'une API.

Strata 0.1.4591,7 tok/s

Strata 0.2.0107,6 tok/s

+ 260 W et calibration109,6 tok/s

deux choses comptent pour y arriver :

1. Strata 0.2.0 ou plus récent : cette version active une table de réglages pour les cartes RTX 30, qui fait passer la génération de 91,7 à 107,6 tok/s sur ma config (les mesures).
2. assez de puissance pour les cartes : à 260 W par carte avec la calibration automatique, j'ai gagné encore quelques tok/s. si tu undervoltes ensuite (je le fais pour le bruit), tu en reperds un peu, tout est dans ce guide.

6. et à deux agents en même temps

c'est le deuxième temps, et c'est plus délicat. avec la config par défaut, deux agents qui travaillent en même temps se gênaient beaucoup : dès que l'un lisait un fichier, l'autre tombait à 2 ou 3 tok/s. en une soirée, je suis passé de 43,8 à 66,4 tok/s par agent, et seules quatre choses ont fait la différence :

1. deux places rapides plutôt que quatre lentes (--parallel 2) : sur ma box, quatre places se partageaient trop peu de mémoire.
2. Strata 0.2.0, comme pour le solo.
3. les cartes à 260 W au lieu de 220, avec la calibration automatique.
4. une PR pas encore fusionnée (#2985), qui laisse la prédiction de tokens d'avance (MTP) tourner dans les places partagées. je la compile moi-même ; si tu ne veux pas t'embêter, saute cette étape, les trois premières font déjà l'essentiel.

le tableau complet, étape par étape, est dans l'expérience deux agents.

7. aller au-delà de 262K de contexte

le modèle accepte nativement 262K tokens. on peut l'étirer deux fois avec YaRN, en ajoutant dans la liste "args" de la config du modèle (un fichier strata-*.json) :

"--max-context", "409600",
"--rope-scaling", "yarn",
"--rope-scale", "2.0",
"--kv", "int8"

--kv int8 divise par deux la place du cache. fais le calcul de RAM avant : chez moi, une session coûte environ 1,16go de cache par tranche de 131K tokens, et j'ai figé toute la machine la première fois en demandant 512K sur quatre places (l'histoire est ici). avec deux places à 400K, mon pic est autour de 70go. si ton serveur tourne sous systemd, mets-lui un plafond mémoire (MemoryMax= dans le service), pour que ce soit le moteur qui s'arrête en cas de dépassement, pas toute la machine.

ce qui peut coincer

• ça rentre pas : Strata bascule tout seul dans un mode « peu de RAM », plus lent. prends une taille plus compressée.
• deux cartes de marques différentes : impossible, Strata ne partage jamais un modèle entre une carte nvidia et une carte AMD.
• le téléchargement s'arrête : relance strata launch, il reprend où il en était.
• mes agents ne finissent pas plus vite malgré plus de tok/s : c'est normal, un agent passe l'essentiel de son temps à lire des prompts, pas à écrire. j'en parle dans l'expérience strata 0.2.0.