Tag · llama-cpp
# llama-cpp
Tous les posts taggés "llama-cpp".
-
Qwen3.6-27B MTP via llama.cpp PR #22673 sur Blackwell consumer — 78 t/s sans aucun fork ni patch
MTP arrive enfin dans llama.cpp upstream (PR #22673 par am17an, 4 mai). Bench sur Olares One RTX 5090M sm_120 : 78 t/s avec un GGUF MTP-enabled, +123% vs baseline. Pas de Lucebox, pas de Genesis, pas de fork custom permanent.
Lire → -
DFlash débloqué sur 24 Go consumer Blackwell — 80 t/s, 3 jours après le post « impossible »
Il y a 3 jours, j'écrivais que le path stock DFlash sur 24 Go consumer ne tenait pas. Spoiler : ça marche maintenant via buun-llama-cpp + drafter Q8_0 GGUF spiritbuun. 80 t/s avg sur Olares One sm_120 Blackwell mobile.
Lire →