Tag · saga
# saga
Tous les posts taggés "saga".
-
Lucebox sur Olares One — Épisode 9 : la PR qui annonçait +57 % et qui livre +0,2 %
Hier soir, Lucebox passait à 88,5 t/s sur Olares One et devenait le nouveau champion. Ce matin la PR #94 annonce +57 % sur RTX 4090. Si ça scale, on tape 120 t/s. Spoiler : 88,7 t/s. Sweep DDTree complet, trois hypothèses, la leçon honnête sur les benchs upstream qui ne se reproduisent pas.
Lire → -
Lucebox sur Olares One — Épisode 8 : sept jours d'attente, une lib swappée à la main, 88,5 t/s
Sept jours après ma PR #188 chez HAMi-core, toujours pas de review. La saga avait son cliffhanger — j'attendais quelqu'un d'autre. Et puis une idée stupide : compiler ma lib patchée et la swap moi-même. Trois bugs nouveaux, une nuit, et au bout du chemin Lucebox tape 88,5 t/s. Premier path llama.cpp à passer devant vLLM Turbo sur ce hardware.
Lire → -
Lucebox sur Olares One — Épisode 7 : six hooks HAMi corrigés upstream d'un coup
Le bug est identifié : 6 hooks dans HAMi-core ignorent le return de cuCtxGetDevice. Le fix tient en 50 lignes. Mais pour qu'il bénéficie à toute la communauté HAMi, il faut le pousser upstream. Voilà comment ça s'est passé.
Lire → -
Lucebox sur Olares One — Épisode 6 : On lit le code source de HAMi-core et on trouve 6 bugs
NO_VMM ne fix rien. Le bug `Illegal device id` revient à chaque run. Il faut lire le code de HAMi-core. Et ce qu'on trouve, c'est pas un bug — c'est un pattern systémique présent dans 6 hooks différents.
Lire → -
Lucebox sur Olares One — Épisode 5 : Le runtime nous claque la porte avec un device id négatif
Image push, pod déployé, modèles téléchargés. Tout est prêt. Et puis HAMi vGPU me balance `Illegal device id: -644371744` à chaque boot, avec un nombre random qui change à chaque run. Ça pue l'uninitialized stack à plein nez.
Lire → -
Lucebox sur Olares One — Épisode 4 : Le sous-module llama-server vous remet ça 1h plus tard
test_dflash compile, super. Mais pour servir en HTTP il me faut llama-server, qui se compile depuis le sous-module. Et le sous-module a sa propre invocation cmake — où j'ai oublié de remettre le -rpath-link. Et boom, rebelote 1h plus tard.
Lire →