# glm 5.3 flash (321B) sur une 3090 + une 3080 ti : de 26 à 31,7 tok/s, et pourquoi je reste quand même sur qwen

deux options de maya font gagner 22% de decode à un modèle de 321B qui déborde largement en ram, mais en vraie tâche d'agent il reste nettement plus lent que qwen 3.8 flash next sur la même box

- date : 2026-10-20
- type : experience (ia locale)
- matériel : 3090 + 3080 Ti, 78go
- source : mesures faites par l'auteur sur son propre matériel
- page html : https://homelaber.dev/labo/glm-53-maya-3090-3080ti/

## ce que je voulais savoir

GLM 5.3 Flash est un très bon modèle, mais avec 321 milliards de paramètres il ne rentre évidemment pas dans 36go de VRAM : même en quant très agressif, ses fichiers font 89go, soit plus que ma ram. Maya arrive quand même à le faire tourner en gardant les experts les plus utilisés en VRAM et en calculant les autres sur le CPU. je voulais voir ce que valaient deux nouvelles options censées l'accélérer, et surtout s'il devenait utilisable pour mes agents.

## les chiffres

**génération moyenne (8K, 32K, 120K)**

| | tok/s |
|---|---:|
| v1.1.11 | 26,1 |
| v1.1.18 | 25,5 |
| + affinité | 30,0 |
| + déport CPU | 26,4 |
| les deux | 31,7 |


decode en tok/s, sur des documents de 8K, 32K et 120K tokens, avec 512 tokens générés à chaque fois :

| variante | decode moyen | experts servis depuis la VRAM | temps CPU par token |
|---|---:|---:|---:|
| v1.1.11 (référence) | 26,1 | 75-78% | 24,4 ms |
| v1.1.18, même config | 25,5 | 74-77% | 26,0 ms |
| + affinité de routage | 30,0 | 78-82% | 19,4 ms |
| + déport CPU | 26,4 | 74-77% | 25,5 ms |
| les deux | 31,7 | 80-83% | 18,4 ms |

la mise à jour seule ne change rien, ce sont les options qui font le gain.

## pourquoi ça accélère

sur cette machine, le goulot c'est le CPU qui calcule les experts absents de la VRAM. l'affinité de routage donne un petit bonus aux experts déjà présents en VRAM, ce qui fait passer leur taux d'utilisation d'environ 76 à 82% et réduit le travail CPU par token d'à peu près 25%. le déport CPU, lui, ne rapporte presque rien tout seul (+1,5%, dans le bruit), et n'ajoute qu'environ 1,7 tok/s une fois combiné à l'affinité.

## le prix

ces deux options modifient les réponses. en comparant les probabilités de sortie avec un run sans option, l'écart est de 60 à 110 fois plus grand que la variation naturelle d'un run à l'autre, et le déport CPU coûte autant d'écart que l'affinité pour un gain bien plus petit, ce qui en fait un mauvais compromis ici. ça ne prouve pas que les réponses sont moins bonnes, seulement qu'elles sont différentes.

## et en vrai, pour un agent ?

j'ai donné la même tâche aux deux modèles, une review en lecture seule d'un vrai repo TypeScript, coupée au bout de 5 minutes. GLM avec les deux options a fait 24 étapes à 12,5 secondes chacune, alors que Qwen 3.8 Flash Next sur Strata en a fait 36 à 8 secondes, sur la même machine.

**étapes d'agent en 5 minutes, même tâche**

| | étapes |
|---|---:|
| GLM 5.3 sur Maya | 24 |
| Qwen 3.8 sur Strata | 36 |

## ce que je garde

GLM 5.3 reste un bon modèle, mais presque personne n'a le matos pour le faire tourner confortablement : ici il plafonne autour de 30 tok/s alors que Qwen dépasse les 100 sur la même box. pour mes agents, je reste sur Qwen. si tu veux quand même essayer, l'installation est dans le [guide maya](/guides/maya-glm-53/).

[mème : Copium]

## Ce que ces mesures ne disent pas

- les deux options changent les réponses du modèle : l'écart mesuré (KL) est réel, mais un écart n'est pas une perte de qualité, et il faudrait un bench de tâches pour trancher
- 1 ou 2 runs par variante seulement ; le test d'agent n'a tourné qu'une fois pour chaque modèle