Tag · cuda
# cuda
Tous les posts taggés "cuda".
-
Gemma 4 12B passe à 170 t/s — le merge upstream donne +67% speed gratuit
Avant-hier j'ai shippé Gemma 4 12B QAT à 102 t/s sur Olares One. Aujourd'hui je ship 170 t/s. Même hardware. Même fichier modèle. Même drafter. Même context. Le delta : am17an's PR #23398 (Gemma 4 MTP support) qui a mergé dans llama.cpp upstream à 12h50 UTC. Mon image custom — qui était un snapshot de sa branche WIP au commit dd97604 — manquait 10+ commits de polish que ggerganov a forcés en review. +67% de speed sur le même setup, juste en rebasant. Bonus : insight critique sur le driver NVIDIA d'Olares One qui cap CUDA à 13.1 et coince tout l'écosystème upstream.
Lire → -
Lucebox sur Olares One — Épisode 6 : On lit le code source de HAMi-core et on trouve 6 bugs
NO_VMM ne fix rien. Le bug `Illegal device id` revient à chaque run. Il faut lire le code de HAMi-core. Et ce qu'on trouve, c'est pas un bug — c'est un pattern systémique présent dans 6 hooks différents.
Lire → -
Lucebox sur Olares One — Épisode 5 : Le runtime nous claque la porte avec un device id négatif
Image push, pod déployé, modèles téléchargés. Tout est prêt. Et puis HAMi vGPU me balance `Illegal device id: -644371744` à chaque boot, avec un nombre random qui change à chaque run. Ça pue l'uninitialized stack à plein nez.
Lire → -
Lucebox sur Olares One — Épisode 4 : Le sous-module llama-server vous remet ça 1h plus tard
test_dflash compile, super. Mais pour servir en HTTP il me faut llama-server, qui se compile depuis le sous-module. Et le sous-module a sa propre invocation cmake — où j'ai oublié de remettre le -rpath-link. Et boom, rebelote 1h plus tard.
Lire → -
Lucebox sur Olares One — Épisode 3 : LIBRARY_PATH n'est pas ce que vous croyez
On a ajouté LIBRARY_PATH et un symlink libcuda.so.1, on relance 2h de compile, et ld nous balance la même erreur. Pourquoi ? Parce que LIBRARY_PATH ne résout pas les indirect dependencies. Vous avez besoin de -Wl,-rpath-link.
Lire → -
Lucebox sur Olares One — Épisode 2 : 2h de compile CUDA pour 11 undefined references
Premier build Docker. 2h13 de compile CUDA pour sm_120, et au moment du link, ld vous balance 11 undefined references vers cuMemCreate, cuMemMap, cuMemAddressReserve. Pourquoi ? Parce que libcuda.so.1 n'est pas là où il devrait être.
Lire →