des gpu d'occase, de l'ia en local, et pas mal de trucs cassés en route
je teste des trucs chez moi, je note les chiffres, je raconte ce qui marche et ce qui plante
-
22 oct.guide · ia locale
ton premier llm local avec llama.cpp, sur une carte de 12go
compiler llama.cpp pour ta carte nvidia et faire tourner un modèle récent avec 256K de contexte sur 12go, en comprenant ce que fait chaque option
-
22 oct.guide · ia locale
faire tourner glm 5.3 flash (321B) sur deux cartes grand public avec maya
comment installer project maya, choisir la bonne version du modèle quand tes cartes font 24go ou moins, et les deux options qui m'ont fait gagner 22% de vitesse, avec ce qu'elles coûtent
-
22 oct.guide · ia locale
qwen 3.8 flash next sur strata : un 125B à plus de 110 tok/s sur une 3090 + une 3080 ti
comment j'installe strata et je fais tourner qwen 3.8 flash next sur deux cartes grand public à plus de 110 tok/s en solo, puis comment je le partage entre deux agents en même temps
-
22 oct.guide · matos & conso
undervolter une 3090 ou une 3080 ti sous linux, sans perdre de perf
le pas à pas que j'utilise sur ma box : bloquer la fréquence, décaler la courbe tension/fréquence avec NVML, vérifier sous vraie charge, puis rendre ça automatique au démarrage
-
20 oct.ia locale
deux agents de code sur la même box, de 44 à 66 tok/s chacun en une soirée
43,8 → 66,4 tok/s par agent
même machine, même modèle, une nuit de réglages : quand deux agents génèrent en même temps, chacun passe de 43,8 à 66,4 tok/s, et c'est surtout quatre réglages qui ont fait le boulot
-
20 oct.ia locale
glm 5.3 flash (321B) sur une 3090 + une 3080 ti : de 26 à 31,7 tok/s, et pourquoi je reste quand même sur qwen
26,1 → 31,7 tok/s
deux options de maya font gagner 22% de decode à un modèle de 321B qui déborde largement en ram, mais en vraie tâche d'agent il reste nettement plus lent que qwen 3.8 flash next sur la même box
-
20 oct.ia locale
un modèle de 4B tient 256K de contexte sur une seule 3080 ti 12go, et retrouve 40 codes sur 40
136 → 35 tok/s à 254K
spark-x2.6-4b en q8 avec llama.cpp : 136 tok/s à vide, encore 35 tok/s avec 254K tokens de contexte, et une carte de 12go qui bat la 3090 parce que je l'avais moins bridée
-
20 oct.matos & conso
j'ai undervolté ma 3090 et ma 3080 ti sous linux, -94 W pour presque rien
452 W → 358 W
deux agents de code qui bossent en même temps, 452 W → 358 W sur les deux cartes, les ventilos passent de 91% à 48%, et le débit perd 7%
-
19 oct.ia locale
j'ai calé 400K de contexte par agent sur 80go de ram, et il retrouve un code caché à 92% du prompt
3/3 codes à 373 723 tokens
deux slots de 409 600 tokens tiennent sur 80go de ram, et un prompt de 373 723 tokens avec trois codes planqués dedans ressort 3 réponses justes sur 3, lu en 195 secondes
-
19 oct.plantages
j'ai demandé 512K de contexte × 4 slots sur 80go de ram, et toute la machine a figé
~23go de cache en trop
j'ai d'abord cru à une clé wifi morte, mais c'était la ram : le cache des sessions à 512K demandait ~23go de plus qu'un modèle de 40go qui prenait déjà la place, et un simple plafond mémoire aurait tout évité
-
19 oct.ia locale
strata 0.2.0 sur mes cartes rtx 30 : +12 à +17% de decode, mais mes agents ne finissent pas plus vite
91,7 → 107,6 tok/s
une simple mise à jour du moteur fait passer le decode seul de 91,7 à 107,6 tok/s sur une 3090 + 3080 Ti, et pourtant le temps total de mes agents ne bouge pas, parce qu'ils passent leur vie à lire des prompts