Tag · llama.cpp
# llama.cpp
Tous les posts taggés "llama.cpp".
-
Lucebox sur Olares One — Épisode 4 : Le sous-module llama-server vous remet ça 1h plus tard
test_dflash compile, super. Mais pour servir en HTTP il me faut llama-server, qui se compile depuis le sous-module. Et le sous-module a sa propre invocation cmake — où j'ai oublié de remettre le -rpath-link. Et boom, rebelote 1h plus tard.
Lire → -
Lucebox sur Olares One — Épisode 1 : 134 t/s sur RTX 3090, et chez moi ?
Vous traînez sur r/LocalLLaMA et vous tombez sur un post qui annonce 134 t/s sur Qwen3.6-27B en RTX 3090 grâce à Lucebox. Évidemment, vous voulez tester sur votre Olares One. Spoiler : ça va prendre 12h de compile et 6 builds Docker. Premier épisode.
Lire →