# Jev Decision Index 0.3: der lokale Public-Score

> Der fork-bench hatte den Jev-Modus in Aussicht gestellt. Jetzt die Auszahlung: die komplette Jev Decision Index 0.3 — 42 Benchmarks, 140.620 Fragen — gelaufen gegen den lokalen Infernix-Endpoint. Public Index 48,63, Board-Rang 8 von 12.

_Kicker: jev-index · Datum: 2026-10-13 · Lesezeit: 8 min_

Beim fork-bench war der Jev-Modus noch Ausblick: POST /v1/decide, Wire-Shape POST /v1/systemone — ein 27B, das typisierte Entscheidungen aus der Next-Token-Verteilung liest, statt Text zu generieren. Jetzt liegt das Ergebnis vor: die Jev Decision Index 0.3, eine Public-Suite mit 42 Benchmarks, gelaufen gegen genau diesen lokalen Infernix-Endpoint. 140.620 Fragen, 100 % beantwortet, null Fehler. Public Index: 48,63. Das ist Rang 8 von 12 auf dem Board, 16,5 Punkte unter dem Spitzenwert — aber klar vor allen Sub-10B-Decidern und auf Spezialisten-Niveau bei Tools und Retrieval.

## Setup

### Modell

**swift-1.5-qwen3.8-27b-orcarouter · NVFP4**

Dasselbe 27B-Modell, das beim fork-bench auf Infernix lief — NVFP4-quantisiert auf der RTX 5090. Der Jev-Modus liest die Next-Token-Verteilung aus und antwortet typisiert, ohne Text zu generieren.

### Engine — Jev-Modus

**Infernix serve · http · 127.0.0.1:8080**

Der lokale Infernix-Endpoint im Jev-Wire-Shape (/v1/systemone). Infernix-Commit fa76998a — der Fix, der strukturierte Criteria-Values akzeptiert (12.000 Choice-Fragen ohne HTTP 400).

### Suite

**Jev Decision Index 0.3 · Public · 42 Benchmarks**

Die Public-Komponente der Jev Decision Index. Gelaufen mit dem offenen decision-index-Repro-Kit (apolinario/decision-index @ f8552a13, MIT) — Parity gegen 67 publizierte Entrants getestet.

### Umfang & Laufzeit

**140.620 Fragen · 11 h 17 min**

124.971 Selected + 30.419 Added + 2.638 GSM8K, minus 442 Excluded. Sequenziell (ein httpx-Client), token-bound. Kein Cloud-Upload — lokal bleibt lokal.

## Headline

- **Public Index (balanced_skill):** 48.63
- balanced_raw: 61.28
- breadth_skill: 47.19
- Referenz d3: 65.5
- Board-Top: 65.1

## Provenance

- Modell: swift-1.5-qwen3.8-27b-orcarouter (27B, NVFP4)
- Engine: Infernix serve (http, 127.0.0.1:8080/v1/systemone)
- Infernix-Commit: fa76998a
- Kit: apolinario/decision-index @ f8552a13 (v0.3, MIT, Repro-Kit)
- Edition: 0.3 (panel decision-index-0.3)
- Requests: 140620 beantwortet / 140178 scoreable / 442 excluded
- Coverage: 100 % · Fehler 0 · unsupported 0
- Laufzeit: 11 h 17 min (40.614 s), sequenziell
- Zeitstempel: 2026-10-13 12:33 CEST
- Upload: kein

## Board-Rang (Public)

| Rang | Entrant | Public |
|---|---|---|
| 1 | Torchcast Decision 27B | 65.1 |
| 2 | Perplexity Decider v1.1 (27B) | 62.25 |
| 3 | Cloudflare clef | 61.71 |
| 4 | Quyet-1.0-Large | 60.79 |
| 5 | Fastino GLiDE no-thinking (28B) | 59.06 |
| 6 | Jev | 57.96 |
| 7 | Kev 27B | 56.69 |
| 8 | Infernix 27B NVFP4 (lokal) | 48.63 |
| 9 | JPT-9B | 46.96 |
| 10 | JPT-0.8B | 19.37 |
| 11 | Lavoir | 8.85 |
| 12 | Verdict | 1.86 |

## Areas (skill / raw)

| Area | Skill | Raw | Benchmarks |
|---|---|---|---|
| Tools & Automation | 0.6903 | 0.7225 | 5 |
| Retrieval & Classification | 0.5321 | 0.6468 | 6 |
| Language Understanding | 0.5198 | 0.6616 | 9 |
| Arts & Human Taste | 0.3628 | 0.5577 | 6 |
| Knowledge & Reasoning | 0.3207 | 0.4816 | 11 |

## Benchmarks (absteigend nach Score)

| Benchmark | Score | Requests | Median ms |
|---|---|---|---|
| ARC-Easy | 0.987 | 2376 | 66 |
| BFCL | 0.9734 | 1694 | 286 |
| ARC-Challenge | 0.9667 | 1172 | 70 |
| BPoMP | 0.9434 | 5000 | 81 |
| HellaSwag | 0.929 | 10042 | 92 |
| MMLU | 0.8027 | 14033 | 74 |
| RouterBench | 0.7997 | 10000 | 517 |
| NLI4CT | 0.7912 | 5500 | 104 |
| WinoGrande | 0.7908 | 1267 | 38 |
| API-Bank | 0.7795 | 508 | 1041 |
| FinEntity | 0.7786 | 979 | 157 |
| CLINC150+OOS | 0.7729 | 5500 | 273 |
| PhishNChips | 0.753 | 2000 | 464 |
| ContractNLI | 0.7143 | 123 | 1445 |
| RAGTruth | 0.713 | 2700 | 214 |
| When2Call MCQ | 0.7076 | 3652 | 176 |
| HoVer | 0.6983 | 4000 | 110 |
| BBH fixed-option | 0.6967 | 5507 | 93 |
| BANKING77 | 0.6788 | 3080 | 193 |
| New Yorker caption | 0.6705 | 528 | 90 |
| VAST | 0.6664 | 3006 | 85 |
| MuSR | 0.6184 | 752 | 217 |
| CFColor | 0.615 | 5000 | 68 |
| ToolRet | 0.6131 | 685 | 3055 |
| CLadder | 0.6126 | 5000 | 80 |
| Humicroedit | 0.6092 | 2628 | 51 |
| ANLI | 0.6085 | 3200 | 81 |
| CRUXEval | 0.5965 | 570 | 90 |
| Amazon ESCI | 0.5635 | 5000 | 128 |
| MMLU-Pro | 0.5596 | 12032 | 108 |
| SGD/SGD-X | 0.5163 | 2500 | 234 |
| Home appliance sim | 0.4773 | 88 | 984 |
| Habermas Machine | 0.4326 | 1676 | 201 |
| GPQA Diamond | 0.4286 | 196 | 88 |
| BRIGHT | 0.4265 | 220 | 3856 |
| GSM8K | 0.3514 | 2638 | 103 |
| SATA-Bench | 0.3091 | 1650 | 542 |
| ACOS | 0.203 | 1565 | 4685 |
| ChessBench | 0.1642 | 5000 | 216 |
| HLE | 0.1297 | 501 | 96 |
| SimpleBench | 0.1 | 10 | 91 |
| POP909-CL | 0.069 | 2000 | 992 |

## Findings

### Rang 8 von 12 — 16,5 Punkte unter dem Top

Infernix landet mit 48,63 auf Platz 8. Dahinter: JPT-9B (46,96), JPT-0.8B (19,37), Lavoir (8,85), Verdict (1,86). Der 27B-Allrounder schlägt damit alle Sub-10B-Decider trotz fehlendem Spezial-Feintuning. Vor ihm: die Decision-Spezialisten — Torchcast (65,10), Perplexity Decider (62,25), Cloudflare clef (61,71), Quyet (60,79), Fastino (59,06), Jev (57,96), Kev 27B (56,69). Der Abstand zum Top (16,47) und zum nächsten Open-Weight-Peer Kev 27B (8,06) kommt fast vollständig von den feinkörnigen Human-Taste- und Frontier-Benchmarks.

### Tools & Retrieval: auf Spezialisten-Niveau

Die stärkste Area ist Tools & Automation (0,69 Skill, 0,72 Raw) — dort ist Infernix auf dem Niveau der Decision-Spezialisten. Retrieval & Classification folgt mit 0,53/0,65. Die Einzel-Benchmarks bestätigen das: BFCL 0,97, RouterBench 0,80, CLINC150 0,77, BANKING77 0,68, Amazon ESCI 0,56. Wer typisierte Entscheidungen über Tools, APIs und Classification braucht, bekommt hier einen Allrounder, der mit den Spezialisten mithalten kann.

### Knowledge & Human Taste: der Abstand zum Top

Die schwächste Area ist Knowledge & Reasoning (0,32 Skill, 0,48 Raw) — 11 Benchmarks. Darunter die feinkörnigen Frontier-Tests: POP909-CL 0,07, HLE 0,13, ChessBench 0,16, GSM8K 0,35, ACOS 0,20. Das ist der Bereich, in dem die Decision-Spezialisten den Allrounder deutlich distanzieren. Arts & Human Taste (0,36/0,56) zeigt dasselbe Muster: griffiges Human-Taste (New Yorker caption 0,67, Humicroedit 0,61) geht besser als die extrem feinkörnigen Tests.

### Coverage 1,0 — keine Refusals, null Fehler

Alle 140.620 Fragen wurden beantwortet, null Fehler, null unsupported. Der 262k-Kontext reicht für alle States — selbst ToolRet mit seinen ~44k-Token-Prompts und die Lang-Latenz-Tests (ACOS 4.685 ms, BRIGHT 3.856 ms Median) laufen durch. Der structured-criteria-Fix (Infernix-Commit fa76998a) war die Voraussetzung: ohne ihn wären die 12.000 Choice-Fragen mit strukturierten Criteria-Values (CFColor-Paletten, ChessBench-Züge, POP909-Chords) mit HTTP 400 abgelehnt worden (6 % Fehlerrate im Smoke-Test).

### Vergleichbarkeit: nur die Public-Komponente

Der Public Index ist die 20 %-Public-Komponente des Board-Full-Scores. Der Vergleich läuft nur mit der public-Spalte (d3: 65,5), nicht mit Full-Scores. Das Repro-Kit ist unabhängig vom offiziellen TypeSafe-Kit; Parity gegen 67 publizierte Entrants getestet, Mikro-Abweichungen in der Score-Aggregation möglich. Der sequenzielle Run (11 h) ist ein Running-Artefakt, kein Modell-Unterschied — Concurrency hätte ~2–4 h gespart.

## Grenzen

- Ein sequenzieller Voll-Run (ein httpx-Client) — die Laufzeit ist ein Engineering-Artefakt, kein Modell-Merkmal.
- Public Index = nur die 20 %-Public-Komponente; ein 1:1-Vergleich mit Full-Scores ist nicht möglich.
- Repro-Kit (apolinario/decision-index) ist unabhängig vom offiziellen TypeSafe-Kit — Mikro-Abweichungen in der Score-Aggregation sind möglich.
- 442 Fragen sind excluded (nicht scoreable) — der Score-Index basiert auf 140.178 scoreable Fragen.
- Keine Cloud-Validierung: der Score ist lokal gemessen, nicht durch einen Jev-Server bestätigt.

## Quellen

- [decision-index Repro-Kit (apolinario/decision-index, v0.3, MIT)](https://github.com/apolinario/decision-index)
- [Infernix (Fork, Wallawalla47/Infernix) — Jev-Modus /v1/systemone](https://github.com/Wallawalla47/Infernix)
- [Vorläufer: fork-bench (Jev-Modus-Ausblick)](https://richard.koehls.de/fork-benchmark/)