glm 5.3 flash (321B) sur une 3090 + une 3080 ti : de 26 à 31,7 tok/s, et pourquoi je reste quand même sur qwen

ce que je voulais savoir

GLM 5.3 Flash est un très bon modèle, mais avec 321 milliards de paramètres il ne rentre évidemment pas dans 36go de VRAM : même en quant très agressif, ses fichiers font 89go, soit plus que ma ram. Maya arrive quand même à le faire tourner en gardant les experts les plus utilisés en VRAM et en calculant les autres sur le CPU. je voulais voir ce que valaient deux nouvelles options censées l'accélérer, et surtout s'il devenait utilisable pour mes agents.

les chiffres

decode en tok/s, sur des documents de 8K, 32K et 120K tokens, avec 512 tokens générés à chaque fois :

la mise à jour seule ne change rien, ce sont les options qui font le gain.

pourquoi ça accélère

sur cette machine, le goulot c'est le CPU qui calcule les experts absents de la VRAM. l'affinité de routage donne un petit bonus aux experts déjà présents en VRAM, ce qui fait passer leur taux d'utilisation d'environ 76 à 82% et réduit le travail CPU par token d'à peu près 25%. le déport CPU, lui, ne rapporte presque rien tout seul (+1,5%, dans le bruit), et n'ajoute qu'environ 1,7 tok/s une fois combiné à l'affinité.

le prix

ces deux options modifient les réponses. en comparant les probabilités de sortie avec un run sans option, l'écart est de 60 à 110 fois plus grand que la variation naturelle d'un run à l'autre, et le déport CPU coûte autant d'écart que l'affinité pour un gain bien plus petit, ce qui en fait un mauvais compromis ici. ça ne prouve pas que les réponses sont moins bonnes, seulement qu'elles sont différentes.

et en vrai, pour un agent ?

j'ai donné la même tâche aux deux modèles, une review en lecture seule d'un vrai repo TypeScript, coupée au bout de 5 minutes. GLM avec les deux options a fait 24 étapes à 12,5 secondes chacune, alors que Qwen 3.8 Flash Next sur Strata en a fait 36 à 8 secondes, sur la même machine.

ce que je garde

GLM 5.3 reste un bon modèle, mais presque personne n'a le matos pour le faire tourner confortablement : ici il plafonne autour de 30 tok/s alors que Qwen dépasse les 100 sur la même box. pour mes agents, je reste sur Qwen. si tu veux quand même essayer, l'installation est dans le guide maya.