Modell
Qwen 3.8 27B · NVFP4
Dasselbe Modell in beiden Läufen; kein Cloud-Endpoint, beides lokal auf einer RTX 5090 (32 GB VRAM).
engine-bench
Ein Modell,
zwei Engines.
Dasselbe 27-Billionen-Parameter-Modell, NVFP4-quantisiert, auf derselben RTX 5090 — einmal getrieben von der NInfer-Engine, einmal von LM Studio. Vier Benchmarks, je 200 Fragen, eine saubere Decode-Lane pro Lauf. Die Frage: Was bleibt, wenn Modell und Hardware fix sind? Antwort vorweg: die Engine macht den Unterschied — in der Geschwindigkeit deutlich, in der Qualität messbar, aber klein.
Das Setup
Dasselbe Modell, dieselbe Hardware — nur die Engine wechselt. Genau dadurch zeigt sich, was jede Umgebung aus dem 27B herausholt.
Engine A — NInfer
C++/CUDA · KV-Cache nvfp4
Eigenbau-Inferenz-Engine mit QUASAR-NVFP4-Gewichten und nvfp4-KV-Cache. Bewusst `max-concurrency 1`: ein Request nach dem anderen, keine parallele Decode-Lane, keine Störprozesse.
Engine B — LM Studio
Standard-Server
Klassische lokale Inference-Umgebung mit OpenAI-kompatiblem Server (Standard-Konfiguration), ebenfalls max. 1 paralleler Request.
Umfang
4 Benchmarks · je 200 Fragen
Ein Lauf pro Konfiguration — ein Indikator, kein statistischer Paper-Claim: eine einzelne Stichprobe kann eine Zelle dominieren.
Die Messungen in Kurzform
Vier Zahlen, die das Ergebnis zusammenfassen — gemessen über alle vier Benchmarks.
2,7×
Decode-Speedup (Ø)
203,5–218,0 tok/s statt 72,3–83,2 tok/s
4,5×
TTFT (Ø-Schneller)
65–77 ms statt 296–359 ms
91,1 %
Ø-Genauigkeit NInfer
vs. 90,5 % LM Studio (+0,6 pp)
2,6×
Gesamtdauer gesamt
4.238,8 s statt 11.086,4 s für 800 Fragen
Die Diagramme
Vier Ansichten auf denselben Lauf: Geschwindigkeit, Genauigkeit, Reaktionszeit und Gesamtdauer — je ein Lauf pro Engine.
Ergebnis im Detail
Pro Benchmark die Kennzahlen nebeneinander — jeweils NInfer / LM Studio. Der bessere Wert je Zelle ist hervorgehoben.
| Metrik | GSM8K | ARC-Challenge | MMLU | GPQA |
|---|---|---|---|---|
| Genauigkeit | 97,0 % 96,5 % | 94,5 % 94,5 % | 96,0 % 93,5 % | 77,0 % 77,5 % |
| Decode (tok/s) | 218,0 83,2 | 205,0 72,3 | 203,5 76,1 | 206,1 76,5 |
| TTFT (ms) | 70 296 | 65 298 | 68 306 | 77 359 |
| Output-Tokens | 98.234 95.247 | 39.028 43.417 | 127.251 112.618 | 605.540 587.792 |
| Gesamtdauer (s) | 456,3 s 1.195,9 s | 201,3 s 635,3 s | 620,7 s 1.520,4 s | 2.960,5 s 7.734,8 s |
hervorgehoben = der bessere der beiden Werte (Output-Tokens: kein Besser/Schlechter — nur Umfang)
Output-Tokens gesamt: NInfer 870.053 · LM Studio 839.074
Was die Zahlen bedeuten — und was nicht
Decode: der Faktor 3 ist die Geschichte
NInfer hält 203–228 Token/s, LM Studio 72–83 Token/s — unabhängig vom Benchmark. Das ist der eigentliche Unterschied: Wer lokal Antworttexte streamt, spürt diesen Faktor in jeder Antwort, bei jedem Chat, bei jedem Agent-Loop.
TTFT: das eigentliche Ausrufezeichen
Der erste Token kommt bei NInfer in 64–77 ms, bei LM Studio in 296–359 ms — bis zu 5,2-fach schneller. Prefill, Scheduling und KV-Handling laufen in der eigenen Engine spürbar effizienter als im Standard-Setup.
Genauigkeit: eng, und NInfer vorn
NInfer führt bei GSM8K (97,0 statt 96,5) und MMLU (96,0 statt 93,5), ARC-Challenge ist ein Gleichstand (94,5), GPQA steht 77,0 zu 77,5 — praktisch auf Augenhöhe. Wichtig: Quantisierung und Engine sind hier verknüpft (NVFP4 + nvfp4-KV vs. Standard-Quant); isoliert lässt sich der Effekt in diesem Design nicht trennen.
Gesamtdauer: 75 statt 185 Minuten
Der komplette Vierer-Satz lief bei NInfer in 74,8 Minuten, bei LM Studio in 184,9 — bei 2,48 Mio. respektive 0,84 Mio. Output-Tokens. GPQA mit seinen langen Reasoning-Ketten (Median 3.375 Output-Token pro Frage) macht den Unterschied dramatisch: 49,3 statt 128,9 Minuten.
Grenzen der Messung
- Ein Lauf mit je 200 Fragen pro Benchmark — kein Konfidenzintervall, keine Mehrfachwiederholung.
- Die Engines nutzen unterschiedliche Quantisierungen (NVFP4 + nvfp4-KV-Cache vs. Standard-Quant); der Engine-Effekt ist damit nicht vollständig vom Quantisierungs-Effekt zu trennen.
- GPQA erzeugt lange Reasoning-Antworten (Median 3.375 Token) — hier ist die Lauf-zu-Lauf-Varianz am größten.
- Beide Runs stammen vom selben Rechner am selben Tag; es ist eine Momentaufnahme, keine kontinuierliche Messreihe.