j'ai calé 400K de contexte par agent sur 80go de ram, et il retrouve un code caché à 92% du prompt

ce que je voulais savoir

le modèle que j'utilise accepte nativement 262K tokens de contexte, et on peut l'étirer deux fois avec YaRN. la question, c'était de savoir si deux agents pouvaient chacun avoir 400K de contexte sur une machine avec 80go de ram, et surtout si le modèle arrivait encore à retrouver une info enfouie tout au fond d'un prompt aussi long.

le setup

deux slots de 409 600 tokens, le cache K/V en int8, les 32K derniers tokens de chaque conversation gardés en VRAM et tout le reste en ram. le service tourne avec un plafond mémoire de 72go, une leçon que j'avais apprise à la dure la veille.

le test

j'ai pris un prompt de 373 723 tokens et j'y ai planqué trois codes, à 5%, 50% et 92% de profondeur, avant de demander au modèle de les ressortir. il a donné les trois codes justes, après avoir lu le prompt en 195 secondes (1 914 tok/s), puis il a répondu à 69 tok/s.

ce que ça coûte en ram

avec deux slots, il y a en pratique trois sessions en mémoire, donc environ 10,6go de cache à 400K, contre 7go à 262K. en vraie charge avec deux agents, le pic de ram est monté autour de 70go, juste sous le plafond.

ce que je garde

400K par agent, ça passe sur 80go si on fait le calcul avant de lancer. mais je ne m'en sers pas comme d'une preuve que le modèle raisonne bien sur 400K : ça prouve qu'il retrouve une info, ce qui est une autre histoire.