GNAI-009 v0.9: IFEval- und MATH500-Serien abgeschlossen - differenziertes Bild (10.2/10.3)

IFEval (100 Samples, xhigh): Swift 1.0 gewinnt mit 0.76 vor Swift 1.5
(0.70) und Unsloth (0.63), mit niedrigster Token-Summe. MATH500 (math_verify,
da exact_match ein Format-Artefakt der Reasoning-Trennung ist): Swift 1.0
0.32, Unsloth 0.28, Swift 1.5 0.27. Damit gewinnt Swift 1.5 nur AIME;
die breite Thinking-Ersparnis des Herstellers reproduziert sich nicht.
Die Profilentscheidung verschiebt sich auf BFCL und die Praxissuite.

Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
This commit is contained in:
2026-11-03 11:08:07 +01:00
parent 0c6e302e7b
commit b723e0ee01
@@ -26,6 +26,7 @@
| 2026-11-02 | 0.6 | spektr / Mistral Vibe | AB3-Serie (AIME24, beide xhigh, je 30 Aufgaben) durchgeführt und als datierter Ausführungsstand dokumentiert (Abschnitt 10): Swift 1.5 punktet mit 0,767 gegen 0,667 bei praktisch identischem Token-Aufwand je Aufgabe – die Herstellerzusage (58,5 % weniger Thinking-Tokens) reproduziert sich auf AIME nicht, konsistent mit der bekannten AIME-Schwachstelle der Swift-Familie und der BF16/vLLM-Vergleichsbasis. Methodikbefund: Gesamt-Token je Request exakt aus dem Engine-Journal (`predicted_n`), da lm-eval nur `message.content` speichert; künftig sauber über Usage-Logging-Proxy. |
| 2026-11-02 | 0.7 | spektr / Mistral Vibe | Unsloth-Referenzlauf (AIME24, xhigh, 30 Aufgaben) abgeschlossen und in Abschnitt 10 aufgenommen: Score 0,500 bei höchstem Token-Aufwand – Swift 1.5 gewinnt das Dreierduell auf AIME mit bestem Score und niedrigster Token-Summe. Ablaufnotiz: ein transienter SSH-Abbruch zur Laufzeit tötete nur die lokale Ansible-Sitzung; der serverseitige lm-eval-Lauf lief vollständig durch (30/30 Samples), nur die Ergebnisabholung musste manuell nachgeholt werden. |
| 2026-11-03 | 0.8 | spektr / Mistral Vibe | Betreiberentscheidung: GPQA Diamond ersetzt (Abschnitt 5.1) – der Benchmark ist im Frontier-Bereich gesättigt (>90 % bei allen Anbietern) und für die A/B-Trennung lokal nicht mehr trennscharf. Ersatz: Berkeley Function Calling Leaderboard (BFCL, `bfcl-eval` 2026.3.23) als etablierter Tool-Use-Benchmark mit mechanischer Bewertung (AST, ausführbare Calls, Irrelevance-Detection), direkt gegen die OpenAI-kompatible Engine-API lauffähig. Agentic-Benchmarks (τ2-bench, Terminal-Bench) bleiben der späteren Stufe mit der Experimental-Umgebung vorbehalten. |
| 2026-11-03 | 0.9 | spektr / Mistral Vibe | IFEval- und MATH500-Serie über alle drei Profile abgeschlossen (Abschnitte 10.2/10.3): Swift 1.0 gewinnt beide (IFEval 0,76 vs. 0,70/0,63; MATH500 math_verify 0,32 vs. 0,27/0,28) – Swift 1.5 bleibt nur auf AIME vorn. Das Bild ist damit differenziert: 1.5 für harte Reasoning-/Agentenaufgaben, 1.0 für Instruction-Following und Mathematik. Methodikbefunde: minerva exact_match ist bei allen Profilen 0 (Format-Artefakt der Reasoning-Trennung), math_verify ist die gültige Metrik; die Score-Extraktion des eigenen Effizienzskripts ist je Task-Schema zu korrigieren (aggregate Scores aus results.json sind autoritativ). |
---
@@ -529,3 +530,62 @@ nachgeholt. Eine lm-eval-interne Wiederholung (31. Slot-Freigabe bei
Rohdaten: `results/unsloth-qwen3.8-27b-ud-q6k-2026-11-02-1849/` auf dem
Host inklusive `efficiency-summary.json`.
### 10.2 IFEval-Serie über alle drei Profile (03.11.2026)
`leaderboard_ifeval`, je 100 Samples, `xhigh`, identische Laufzeitparameter
wie AIME. Score als `prompt_level_strict_acc` aus lm-eval `results.json`;
Gesamt-Token (Reasoning plus Antwort) per Journal-Korrelation (99–100
Requests je Lauf, keine Cap-Treffer):
| Kennzahl | Swift 1.0 Q6_K | Swift 1.5 Q6_K | Unsloth UD-Q6_K |
| --- | ---: | ---: | ---: |
| Score (prompt-level, strict) | **0,76** | 0,70 | 0,63 |
| Score (inst-level, strict) | **0,73** | 0,68 | 0,60 |
| Gesamt-Token Summe | **68.421** | 73.633 | 83.342 |
| Gesamt-Token Median je Aufgabe | 589 | 639 | 895 |
| Cap-Treffer | 0 | 0 | 0 |
### 10.3 MATH500-Serie über alle drei Profile (03.11.2026)
`minerva_math500`, je 100 Samples, `xhigh`. Befund zur Metrik:
`exact_match` (die \boxed{}-Extraktion) liefert bei allen Profilen 0 – ein
Format-Artefakt der getrennten Reasoning-Antworten, kein Qualitätssignal.
Die gültige Metrik ist `math_verify` (verifiziert den mathematischen
Gehalt der Antwort):
| Kennzahl | Swift 1.0 Q6_K | Swift 1.5 Q6_K | Unsloth UD-Q6_K |
| --- | ---: | ---: | ---: |
| Score (math_verify) | **0,32** | 0,27 | 0,28 |
| Score (exact_match, Artefakt) | 0,0 | 0,0 | 0,0 |
| Gesamt-Token Summe | **13.671** | 13.779 | 14.524 |
| Gesamt-Token Median je Aufgabe | 144 | 146 | 170 |
| Cap-Treffer | 0 | 0 | 0 |
**Interpretation der Benchmarkserie (AIME, IFEval, MATH500):**
- **Swift 1.0 gewinnt IFEval und MATH500**, Swift 1.5 gewinnt AIME.
Das Bild ist damit bewusst differenziert zu halten: Swift 1.5 ist der
bessere Denker auf harten mehrschrittigen Aufgaben (AIME +9 Punkte
auf 1.0), während Swift 1.0 bei Instruction-Following (IFEval +6
Punkte) und mathematischer Verifikation (MATH500 +5 Punkte) vorn
liegt. Unsloth liegt auf allen drei Benchmarks hinten.
- Die Herstellerzusage einer breiten Thinking-Ersparnis reproduziert
sich nicht: auf IFEval verbraucht Swift 1.0 sogar ~7 % weniger
Tokens als 1.5 bei besserem Score; auf MATH500 sind beide praktisch
gleichauf (Differenz 0,8 %).
- Für die Profilentscheidung fehlen jetzt noch der Tool-Use-Benchmark
(BFCL, Abschnitt 5.1) und die eigene Praxisaufgabensuite
(Abschnitt 5.3). AIME allein hätte Swift 1.5 präferiert; IFEval und
MATH500 sprechen für Swift 1.0 – BFCL entscheidet möglicherweise.
Methodikvermerke: Die Score-Extraktion des eigenen
`eval-efficiency`-Skripts muss je Task-Schema korrigiert werden
(Samples führen IFEval- und MATH-Metriken unter anderen Schlüsseln als
AIME; die aggregate Werte aus `results.json` sind autoritativ und
wurden hier verwendet). Die Journal-Fenster enthalten je MATH-Lauf
einen Grenzüberlappungs-Request (n=101, eine Doppelzählung um bis zu
~150 Tokens – für die Summenstatistik vernachlässigbar).
Rohdaten: `results/{swift,swift-1.5,unsloth}-*2026-11-03-*.json` je
Benchmark auf dem Host inklusive `efficiency-summary.json`.