le labo
chaque page est un test fait chez moi : le setup, les chiffres, ce qui a raté
-
20 oct. 2026ia locale
deux agents de code sur la même box, de 44 à 66 tok/s chacun en une soirée
43,8 → 66,4 tok/s par agent
même machine, même modèle, une nuit de réglages : quand deux agents génèrent en même temps, chacun passe de 43,8 à 66,4 tok/s, et c'est surtout quatre réglages qui ont fait le boulot
-
20 oct. 2026ia locale
glm 5.3 flash (321B) sur une 3090 + une 3080 ti : de 26 à 31,7 tok/s, et pourquoi je reste quand même sur qwen
26,1 → 31,7 tok/s
deux options de maya font gagner 22% de decode à un modèle de 321B qui déborde largement en ram, mais en vraie tâche d'agent il reste nettement plus lent que qwen 3.8 flash next sur la même box
-
20 oct. 2026ia locale
un modèle de 4B tient 256K de contexte sur une seule 3080 ti 12go, et retrouve 40 codes sur 40
136 → 35 tok/s à 254K
spark-x2.6-4b en q8 avec llama.cpp : 136 tok/s à vide, encore 35 tok/s avec 254K tokens de contexte, et une carte de 12go qui bat la 3090 parce que je l'avais moins bridée
-
20 oct. 2026matos & conso
j'ai undervolté ma 3090 et ma 3080 ti sous linux, -94 W pour presque rien
452 W → 358 W
deux agents de code qui bossent en même temps, 452 W → 358 W sur les deux cartes, les ventilos passent de 91% à 48%, et le débit perd 7%
-
19 oct. 2026ia locale
j'ai calé 400K de contexte par agent sur 80go de ram, et il retrouve un code caché à 92% du prompt
3/3 codes à 373 723 tokens
deux slots de 409 600 tokens tiennent sur 80go de ram, et un prompt de 373 723 tokens avec trois codes planqués dedans ressort 3 réponses justes sur 3, lu en 195 secondes
-
19 oct. 2026plantages
j'ai demandé 512K de contexte × 4 slots sur 80go de ram, et toute la machine a figé
~23go de cache en trop
j'ai d'abord cru à une clé wifi morte, mais c'était la ram : le cache des sessions à 512K demandait ~23go de plus qu'un modèle de 40go qui prenait déjà la place, et un simple plafond mémoire aurait tout évité
-
19 oct. 2026ia locale
strata 0.2.0 sur mes cartes rtx 30 : +12 à +17% de decode, mais mes agents ne finissent pas plus vite
91,7 → 107,6 tok/s
une simple mise à jour du moteur fait passer le decode seul de 91,7 à 107,6 tok/s sur une 3090 + 3080 Ti, et pourtant le temps total de mes agents ne bouge pas, parce qu'ils passent leur vie à lire des prompts