Modell & Gewichte
Qwen 3.8 27B · QUASAR NVFP4
Dasselbe Modell und dieselben QUASAR-NVFP4-Gewichte mit nvfp4-KV-Cache in beiden Läufen. Kein Engine- oder Quantisierungs-Unterschied — isoliert bleibt nur die Dekodier-Strategie.
spec-bench
Ein Modell,
zwei Dekodier-Strategien.
Dasselbe 27-Billionen-Parameter-Modell, NVFP4-quantisiert, dieselbe NInfer-Engine auf einer RTX 5090, derselbe 256K-Kontext — nur die Strategie, mit der das Modell seine Antwort baut, wechselt. MTP lässt das Modell selbst bis zu fünf Token pro Schritt prognostizieren; DFlash2 spekuliert in einem 5-Lagen-Draft-Modell parallel sieben Kandidaten. Die Frage: Was kostet die Geschwindigkeit? Antwort vorweg: DFlash2 spart im Dekodieren rund ein Fünftel der Zeit — und verliert dabei eine Nadel im Lang-Kontext und etwas an Genauigkeit. Wer schneller streamen will, zahlt einen messbaren, aber kleinen Präzisionspreis.
Das Setup
Dasselbe Modell, dieselbe Engine, derselbe Kontext — nur die Dekodier-Strategie wechselt. Genau dadurch zeigt sich, was jede Strategie aus dem 27B herausholt.
Strategie A — MTP
Multi-Token-Prediction · 3 Draft
Das Modell prognostiziert selbst die nächsten Token (natives MTP-Modul), der Target-Verifizierer bestätigt oder verwirft. `--spec mtp --draft-tokens 3`: maximal drei speculative Positionen pro Runde.
Strategie B — DFlash2 v2
masked-block Drafting · K=7
Ein separates 5-Lagen-Draft-Modell (z-lab/Qwen3.8-27B-DFlash2) erzeugt in einem Forward-Pass parallel sieben Kandidaten, ein Selector pickt die Pfad-Kandidaten, der Target verifiziert. `--spec dflash2 --draft-tokens 7`.
Umfang
4 × 200 Fragen + 2 × 12 Long-Context
Ein Lauf pro Strategie — ein Indikator, kein statistischer Paper-Claim: eine einzelne Stichprobe kann eine Zelle dominieren. Long-Context (RULER, MRCR) als eigener Abschnitt mit 12 Fragen je Benchmark, beide bei 256K Kontext.
Die Messungen in Kurzform
Vier Zahlen, die das Ergebnis zusammenfassen — gemessen über alle vier Benchmarks.
1,5×
Decode-Speedup DFlash2 (Ø)
203,5–218,0 tok/s statt 280,6–363,3 tok/s
1,1×
TTFT (Ø-Schneller)
65–77 ms statt 61–73 ms
90,3 %
Ø-Genauigkeit DFlash2
vs. 91,1 % MTP (-0,9 pp)
1,3×
Gesamtdauer gesamt
3.254,2 s statt 4.238,8 s für 800 Fragen
Die Diagramme
Vier Ansichten auf denselben Lauf: Geschwindigkeit, Genauigkeit, Reaktionszeit und Gesamtdauer — je ein Lauf pro Strategie.
Ergebnis im Detail
Pro Benchmark die Kennzahlen nebeneinander — jeweils MTP / DFlash2. Der bessere Wert je Zelle ist hervorgehoben.
| Metrik | GSM8K | ARC-Challenge | MMLU | GPQA |
|---|---|---|---|---|
| Genauigkeit | 97,0 % 95,5 % | 94,5 % 92,0 % | 96,0 % 89,5 % | 77,0 % 84,0 % |
| Decode (tok/s) | 218,0 363,3 | 205,0 321,4 | 203,5 311,8 | 206,1 280,6 |
| TTFT (ms) | 70 68 | 65 63 | 68 61 | 77 73 |
| Output-Tokens | 98.234 106.028 | 39.028 37.592 | 127.251 140.040 | 605.540 612.577 |
| Gesamtdauer (s) | 456,3 s 351,3 s | 201,3 s 144,9 s | 620,7 s 486,4 s | 2.960,5 s 2.271,6 s |
hervorgehoben = der bessere der beiden Werte (Output-Tokens: kein Besser/Schlechter — nur Umfang)
Output-Tokens gesamt: MTP 870.053 · DFlash2 896.237
Long-Context: beide 256K — hier trennt sich die Strategie
Zweite Messrunde: RULER und MRCR prüfen, ob das Modell verstreute Schlüssel-Wert-Paare in einem sehr langen Kontext exakt wiedergibt — diesmal bei beiden Strategien mit 256K Kontext. MTP verliert keine Nadel (12/12 + 12/12); DFlash2 bleibt bei RULER voll, verliert aber eine MRCR-Nadel (11/12).
12/12
RULER · MTP (256K)
100 % — alle Nadeln wiedergegeben, keine fremden Keys
12/12
MRCR · MTP (256K)
100 % — 2/4/8-Nadel-Records unter Ablenk-Einträgen
12/12 · 11/12
RULER / MRCR · DFlash2 (256K)
RULER voll, eine MRCR-Nadel verloren
1,6×
Decode-Speedup (Ø, Long-Context)
184,2–204,1 tok/s statt 317,2–318,8 tok/s
| Long-Context-Metrik | MTP (256K) | DFlash2 (256K) |
|---|---|---|
| RULER · Genauigkeit | 100,0 % (12/12) | 100,0 % (12/12) |
| MRCR · Genauigkeit | 100,0 % (12/12) | 91,7 % (11/12) |
| RULER · Decode (tok/s) | 184,2 | 317,2 |
| MRCR · Decode (tok/s) | 204,1 | 318,8 |
| RULER · TTFT (s) | 57,5 | 57,2 |
| MRCR · TTFT (s) | 57,2 | 57,4 |
| RULER · Gesamtdauer (s) | 733,0 s | 694,6 s |
| MRCR · Gesamtdauer (s) | 771,6 s | 699,8 s |
hervorgehoben = der bessere der beiden Werte (Genauigkeit: hier trennt sich die Strategie — MTP 12/12, DFlash2 11/12 bei MRCR. Decode: höher ist besser. TTFT & Gesamtdauer bleiben neutral, weil beide Kontextlänge und Engine teilen)
Was die Zahlen bedeuten — und was nicht
Decode: DFlash2 läuft rund 1,5× schneller
DFlash2 hält 280–363 Token/s, MTP 203–218 Token/s — der Speedup reicht von 1,36× (GPQA) bis 1,72× (RULER). Grund: das Draft-Modell spekuliert sieben Kandidaten parallel, statt dass das Haupt-Modell selbst Token für Token prognostiziert. Für jeden lokal gestreamten Text bedeutet das: merklich kürzere Antwortzeiten, bei jedem Chat und jedem Agent-Loop.
TTFT: praktisch egal
Der erste Token kommt bei DFlash2 in 60,5–73 ms, bei MTP in 64,5–77 ms — kein messbarer Unterschied. Das ist sinnvoll: die Strategie greift erst im Dekodieren, nicht im Prefill. Wer vor allem auf die Zeit bis zur ersten sichtbaren Antwort schaut, spürt den Unterschied der beiden Strategien kaum.
Genauigkeit: DFlash2 kostet 0,9 pp, verteilt ungleich
Im Schnitt über die vier Standard-Benchmarks liegt DFlash2 bei 90,25 %, MTP bei 91,12 % — ein Abstand von 0,9 Prozentpunkten. Er verteilt sich aber ungleich: bei GSM8K (95,5 statt 97,0) und MMLU (89,5 statt 96,0) ist DFlash2 spürbar schlechter, bei GPQA sogar besser (84,0 statt 77,0). Das Muster zeigt, dass der Präzisionsverlust kein Rauschen ist, sondern an der Art der Aufgabe hängt — MMLU mit seinen kurzen Wissensantworten leidet mehr als GPQA mit seinen langen Reasoning-Ketten.
Gesamtdauer: 54 statt 71 Minuten
Der komplette Vierer-Satz lief bei DFlash2 in 54,2 Minuten, bei MTP in 70,6 — bei 896.237 respektive 870.053 Output-Tokens. GPQA mit seinen langen Reasoning-Ketten (Median rund 3.000 Output-Token pro Frage) macht den Unterschied sichtbar: 37,9 statt 49,3 Minuten. Der Geschwindigkeitsvorteil skaliert mit der Antwortlänge.
Long-Context: DFlash2 verliert eine Nadel, MTP nicht
RULER (verstreute Schlüssel-Wert-Paare) liegt bei beiden bei 12 von 12 — DFlash2 bleibt bei 256K Kontext frei von „Lost in the middle“. MRCR (2/4/8 Nadeln unter Ablenk-Einträgen) trennt sich: MTP 12/12, DFlash2 11/12. Eine der zwölf MRCR-Fragen geht bei DFlash2 verloren. Das ist der konkrete Preis der aggressiveren Spekulation: mehr parallel vorgeschlagene Token erhöhen die Chance, dass der Verifizierer einen Fehler durchlässt oder eine Nadel verliert.
Long-Context-Geschwindigkeit: DFlash2 fast doppelt so schnell im Decode
Beim Dekodieren im Lang-Kontext bleibt der Vorsprung: DFlash2 317–319 Token/s, MTP 184–204 Token/s. Der TTFT (Prefill der 256K) ist bei beiden rund 57 s — die Kontextlänge dominiert, die Strategie nicht. Hier ist der Vergleich apples-to-apples: gleiche Kontextlänge, gleiche Engine, gleiche Gewichte.
Grenzen der Messung
- Ein Lauf mit je 200 Fragen pro Standard-Benchmark — kein Konfidenzintervall, keine Mehrfachwiederholung.
- Long-Context (RULER, MRCR): je 12 Fragen — die einzelne verlorene MRCR-Nadel (11/12) ist statistisch schwach belastbar, aber konsistent mit dem erwarteten Spekulations-Verhalten.
- MTP (3 Draft) und DFlash2 (K=7) nutzen unterschiedliche speculative Tiefen; der genaue Split zwischen „Strategie-Art“ und „Draft-Anzahl“ lässt sich in diesem Design nicht trennen.
- GPQA erzeugt lange Reasoning-Antworten (Median rund 3.000 Token) — hier ist die Lauf-zu-Lauf-Varianz am größten; der GPQA-Vorteil von DFlash2 könnte teilweise Varianz sein.
- Die MTP-Messung stammt vom 04.09., die DFlash2-v2-Messung vom 08.09. 2026; es ist eine Momentaufnahme, keine gleichzeitige Gegenüberstellung unter identischen Systembedingungen.