# faire tourner glm 5.3 flash (321B) sur deux cartes grand public avec maya

comment installer project maya, choisir la bonne version du modèle quand tes cartes font 24go ou moins, et les deux options qui m'ont fait gagner 22% de vitesse, avec ce qu'elles coûtent

- date : 2026-10-22
- type : guide (ia locale)
- matériel : 3090 + 3080 Ti, 78go DDR4
- source : mesures faites par l'auteur sur son propre matériel
- page html : https://homelaber.dev/guides/maya-glm-53/

## à quoi sert maya

GLM 5.3 Flash est un modèle de 321 milliards de paramètres, dont environ 18 milliards travaillent pour chaque token. même très compressé, il pèse dans les 90go, plus que ma RAM. [Project Maya](https://github.com/mw00/project-maya) le fait quand même tourner en rangeant ses experts sur trois étages : ceux que ta conversation utilise le plus en VRAM, les suivants en RAM, et le reste sur le SSD, puis il les déplace au fil de la discussion.

**il te faut**, d'après la doc officielle : une carte nvidia RTX 20 ou plus récente (une seule ou jusqu'à 16), au moins 32go de RAM, un SSD NVMe rapide avec ~100go de libre (surtout pas un disque dur), linux avec le pilote nvidia, CUDA 12, g++ et python 3.10 ou plus.

**sois honnête avec toi-même avant de te lancer** : sur ma machine, il plafonne autour de 30 tok/s, alors que Qwen 3.8 Flash Next sur Strata dépasse les 100 sur la même box. GLM est un très bon modèle, mais presque personne n'a le matos pour le faire tourner confortablement. si tu veux un modèle rapide pour des agents, regarde plutôt le [guide strata](/guides/strata-deux-gpu/).

## 1. installer

```sh
git clone https://github.com/mw00/project-maya.git && cd project-maya
./setup.sh
```

le script vérifie ce qui manque, affiche la commande exacte pour l'installer, et n'installe rien en dehors de son dossier. il te montre chaque téléchargement avant de le lancer, compile tout une fois (20 à 40 minutes, sans compter le téléchargement), puis démarre le modèle. ouvre ensuite `http://127.0.0.1:8080` pour discuter avec.

pour le relancer plus tard, refais simplement `./setup.sh` : il ne retélécharge rien.

## 2. choisir la bonne version du modèle

Maya propose ses propres versions compressées de GLM 5.3 Flash. pour des cartes de 24go ou moins, prends **Maya-S24** : son attention est compressée en 4 bits, ce qui libère environ 1,5go de VRAM pour les experts, et la doc annonce +14% de vitesse par rapport à Maya-S. on peut la choisir sans passer par les questions :

```sh
./setup.sh --model Maya-S24 --gpus 0,1 --context 131072
```

`--gpus 0,1` partage les couches du modèle entre tes deux cartes, et `--context` fixe la longueur de contexte (32K par défaut, jusqu'à 131K pour GLM).

**à savoir** : au démarrage, Maya réserve presque toute la RAM libre (tout sauf ~6go) pour ses experts. pendant qu'il tourne, le reste de la machine a peu de mémoire, donc ne le lance pas à côté d'un autre gros modèle.

## 3. les deux options qui accélèrent (et ce qu'elles coûtent)

sur une machine comme la mienne, le goulot n'est pas la carte graphique : c'est le CPU qui calcule les experts qui ne sont pas en VRAM. deux options, venues d'une contribution récente et pas encore décrites dans la doc officielle, s'attaquent à ça :

- `STRATA_GLM_ROUTE_AFFINITY=0.02` donne un petit bonus aux experts déjà présents en VRAM au moment de choisir lesquels utiliser. chez moi, la part d'experts servis depuis la VRAM passe d'environ 76 à 82%, et le travail CPU par token baisse d'environ 25% ;
- `STRATA_GLM_DEFER_CPU=1` décale une partie du travail CPU. seule, elle ne rapporte presque rien ici, mais elle ajoute un peu une fois combinée à la première.

on les ajoute avec l'option `--env` de l'installateur, qui les garde dans la config :

```sh
./setup.sh --env STRATA_GLM_ROUTE_AFFINITY=0.02 --env STRATA_GLM_DEFER_CPU=1
```

ensemble, elles m'ont fait passer de 26,1 à 31,7 tok/s en moyenne. **mais elles changent les réponses du modèle** : il ne choisit plus tout à fait les mêmes experts, donc plus tout à fait les mêmes mots. j'ai mesuré l'écart avec une sortie de référence, il est réel ; ça ne prouve pas que les réponses sont moins bonnes, seulement qu'elles sont différentes. si tu veux garder le modèle tel quel, n'active rien. et si tu n'en gardes qu'une, garde l'affinité : le décalage CPU coûte autant d'écart pour beaucoup moins de vitesse.

le détail des mesures est dans [l'expérience glm 5.3](/labo/glm-53-maya-3090-3080ti/).

## 4. mesurer ta propre machine

Maya a un bench intégré, le même que celui des chiffres de sa page d'accueil :

```sh
./maya.sh --bench
```

compare ton résultat à leur tableau de machines réelles, ça te dira si ta config est dans les clous. pour référence, la doc cite 53 tok/s sur deux 3090 bridées à 225 W avec 128go de RAM et un Threadripper : la RAM et le CPU comptent beaucoup sur ce modèle.

## ce qui peut coincer

- **le démarrage prend plusieurs minutes** : normal, il réserve et remplit la RAM.
- **les autres programmes rament** : Maya a pris presque toute la RAM libre, c'est voulu.
- **la vitesse est basse au début** : les caches se remplissent avec ce que tu utilises, ça monte au fil de la conversation.
- **mise à jour** : `git pull` puis `./setup.sh`, le modèle n'est pas retéléchargé. chez moi, la mise à jour de la v1.1.11 à la v1.1.18 seule n'a rien changé à la vitesse.