ia locale

  1. 22 oct. 2026guide · ia locale

    ton premier llm local avec llama.cpp, sur une carte de 12go

    compiler llama.cpp pour ta carte nvidia et faire tourner un modèle récent avec 256K de contexte sur 12go, en comprenant ce que fait chaque option

  2. 22 oct. 2026guide · ia locale

    faire tourner glm 5.3 flash (321B) sur deux cartes grand public avec maya

    comment installer project maya, choisir la bonne version du modèle quand tes cartes font 24go ou moins, et les deux options qui m'ont fait gagner 22% de vitesse, avec ce qu'elles coûtent

  3. 22 oct. 2026guide · ia locale

    qwen 3.8 flash next sur strata : un 125B à plus de 110 tok/s sur une 3090 + une 3080 ti

    comment j'installe strata et je fais tourner qwen 3.8 flash next sur deux cartes grand public à plus de 110 tok/s en solo, puis comment je le partage entre deux agents en même temps

  4. 20 oct. 2026ia locale

    deux agents de code sur la même box, de 44 à 66 tok/s chacun en une soirée

    43,8 → 66,4 tok/s par agent

    même machine, même modèle, une nuit de réglages : quand deux agents génèrent en même temps, chacun passe de 43,8 à 66,4 tok/s, et c'est surtout quatre réglages qui ont fait le boulot

  5. 20 oct. 2026ia locale

    glm 5.3 flash (321B) sur une 3090 + une 3080 ti : de 26 à 31,7 tok/s, et pourquoi je reste quand même sur qwen

    26,1 → 31,7 tok/s

    deux options de maya font gagner 22% de decode à un modèle de 321B qui déborde largement en ram, mais en vraie tâche d'agent il reste nettement plus lent que qwen 3.8 flash next sur la même box

  6. 20 oct. 2026ia locale

    un modèle de 4B tient 256K de contexte sur une seule 3080 ti 12go, et retrouve 40 codes sur 40

    136 → 35 tok/s à 254K

    spark-x2.6-4b en q8 avec llama.cpp : 136 tok/s à vide, encore 35 tok/s avec 254K tokens de contexte, et une carte de 12go qui bat la 3090 parce que je l'avais moins bridée

  7. 19 oct. 2026ia locale

    j'ai calé 400K de contexte par agent sur 80go de ram, et il retrouve un code caché à 92% du prompt

    3/3 codes à 373 723 tokens

    deux slots de 409 600 tokens tiennent sur 80go de ram, et un prompt de 373 723 tokens avec trois codes planqués dedans ressort 3 réponses justes sur 3, lu en 195 secondes

  8. 19 oct. 2026ia locale

    strata 0.2.0 sur mes cartes rtx 30 : +12 à +17% de decode, mais mes agents ne finissent pas plus vite

    91,7 → 107,6 tok/s

    une simple mise à jour du moteur fait passer le decode seul de 91,7 à 107,6 tok/s sur une 3090 + 3080 Ti, et pourtant le temps total de mes agents ne bouge pas, parce qu'ils passent leur vie à lire des prompts