GNAI-009 v0.9: IFEval- und MATH500-Serien abgeschlossen - differenziertes Bild (10.2/10.3)
IFEval (100 Samples, xhigh): Swift 1.0 gewinnt mit 0.76 vor Swift 1.5 (0.70) und Unsloth (0.63), mit niedrigster Token-Summe. MATH500 (math_verify, da exact_match ein Format-Artefakt der Reasoning-Trennung ist): Swift 1.0 0.32, Unsloth 0.28, Swift 1.5 0.27. Damit gewinnt Swift 1.5 nur AIME; die breite Thinking-Ersparnis des Herstellers reproduziert sich nicht. Die Profilentscheidung verschiebt sich auf BFCL und die Praxissuite. Generated by Mistral Vibe. Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
This commit is contained in:
@@ -26,6 +26,7 @@
|
||||
| 2026-11-02 | 0.6 | spektr / Mistral Vibe | AB3-Serie (AIME24, beide xhigh, je 30 Aufgaben) durchgeführt und als datierter Ausführungsstand dokumentiert (Abschnitt 10): Swift 1.5 punktet mit 0,767 gegen 0,667 bei praktisch identischem Token-Aufwand je Aufgabe – die Herstellerzusage (58,5 % weniger Thinking-Tokens) reproduziert sich auf AIME nicht, konsistent mit der bekannten AIME-Schwachstelle der Swift-Familie und der BF16/vLLM-Vergleichsbasis. Methodikbefund: Gesamt-Token je Request exakt aus dem Engine-Journal (`predicted_n`), da lm-eval nur `message.content` speichert; künftig sauber über Usage-Logging-Proxy. |
|
||||
| 2026-11-02 | 0.7 | spektr / Mistral Vibe | Unsloth-Referenzlauf (AIME24, xhigh, 30 Aufgaben) abgeschlossen und in Abschnitt 10 aufgenommen: Score 0,500 bei höchstem Token-Aufwand – Swift 1.5 gewinnt das Dreierduell auf AIME mit bestem Score und niedrigster Token-Summe. Ablaufnotiz: ein transienter SSH-Abbruch zur Laufzeit tötete nur die lokale Ansible-Sitzung; der serverseitige lm-eval-Lauf lief vollständig durch (30/30 Samples), nur die Ergebnisabholung musste manuell nachgeholt werden. |
|
||||
| 2026-11-03 | 0.8 | spektr / Mistral Vibe | Betreiberentscheidung: GPQA Diamond ersetzt (Abschnitt 5.1) – der Benchmark ist im Frontier-Bereich gesättigt (>90 % bei allen Anbietern) und für die A/B-Trennung lokal nicht mehr trennscharf. Ersatz: Berkeley Function Calling Leaderboard (BFCL, `bfcl-eval` 2026.3.23) als etablierter Tool-Use-Benchmark mit mechanischer Bewertung (AST, ausführbare Calls, Irrelevance-Detection), direkt gegen die OpenAI-kompatible Engine-API lauffähig. Agentic-Benchmarks (τ2-bench, Terminal-Bench) bleiben der späteren Stufe mit der Experimental-Umgebung vorbehalten. |
|
||||
| 2026-11-03 | 0.9 | spektr / Mistral Vibe | IFEval- und MATH500-Serie über alle drei Profile abgeschlossen (Abschnitte 10.2/10.3): Swift 1.0 gewinnt beide (IFEval 0,76 vs. 0,70/0,63; MATH500 math_verify 0,32 vs. 0,27/0,28) – Swift 1.5 bleibt nur auf AIME vorn. Das Bild ist damit differenziert: 1.5 für harte Reasoning-/Agentenaufgaben, 1.0 für Instruction-Following und Mathematik. Methodikbefunde: minerva exact_match ist bei allen Profilen 0 (Format-Artefakt der Reasoning-Trennung), math_verify ist die gültige Metrik; die Score-Extraktion des eigenen Effizienzskripts ist je Task-Schema zu korrigieren (aggregate Scores aus results.json sind autoritativ). |
|
||||
|
||||
---
|
||||
|
||||
@@ -529,3 +530,62 @@ nachgeholt. Eine lm-eval-interne Wiederholung (31. Slot-Freigabe bei
|
||||
|
||||
Rohdaten: `results/unsloth-qwen3.8-27b-ud-q6k-2026-11-02-1849/` auf dem
|
||||
Host inklusive `efficiency-summary.json`.
|
||||
|
||||
### 10.2 IFEval-Serie über alle drei Profile (03.11.2026)
|
||||
|
||||
`leaderboard_ifeval`, je 100 Samples, `xhigh`, identische Laufzeitparameter
|
||||
wie AIME. Score als `prompt_level_strict_acc` aus lm-eval `results.json`;
|
||||
Gesamt-Token (Reasoning plus Antwort) per Journal-Korrelation (99–100
|
||||
Requests je Lauf, keine Cap-Treffer):
|
||||
|
||||
| Kennzahl | Swift 1.0 Q6_K | Swift 1.5 Q6_K | Unsloth UD-Q6_K |
|
||||
| --- | ---: | ---: | ---: |
|
||||
| Score (prompt-level, strict) | **0,76** | 0,70 | 0,63 |
|
||||
| Score (inst-level, strict) | **0,73** | 0,68 | 0,60 |
|
||||
| Gesamt-Token Summe | **68.421** | 73.633 | 83.342 |
|
||||
| Gesamt-Token Median je Aufgabe | 589 | 639 | 895 |
|
||||
| Cap-Treffer | 0 | 0 | 0 |
|
||||
|
||||
### 10.3 MATH500-Serie über alle drei Profile (03.11.2026)
|
||||
|
||||
`minerva_math500`, je 100 Samples, `xhigh`. Befund zur Metrik:
|
||||
`exact_match` (die \boxed{}-Extraktion) liefert bei allen Profilen 0 – ein
|
||||
Format-Artefakt der getrennten Reasoning-Antworten, kein Qualitätssignal.
|
||||
Die gültige Metrik ist `math_verify` (verifiziert den mathematischen
|
||||
Gehalt der Antwort):
|
||||
|
||||
| Kennzahl | Swift 1.0 Q6_K | Swift 1.5 Q6_K | Unsloth UD-Q6_K |
|
||||
| --- | ---: | ---: | ---: |
|
||||
| Score (math_verify) | **0,32** | 0,27 | 0,28 |
|
||||
| Score (exact_match, Artefakt) | 0,0 | 0,0 | 0,0 |
|
||||
| Gesamt-Token Summe | **13.671** | 13.779 | 14.524 |
|
||||
| Gesamt-Token Median je Aufgabe | 144 | 146 | 170 |
|
||||
| Cap-Treffer | 0 | 0 | 0 |
|
||||
|
||||
**Interpretation der Benchmarkserie (AIME, IFEval, MATH500):**
|
||||
|
||||
- **Swift 1.0 gewinnt IFEval und MATH500**, Swift 1.5 gewinnt AIME.
|
||||
Das Bild ist damit bewusst differenziert zu halten: Swift 1.5 ist der
|
||||
bessere Denker auf harten mehrschrittigen Aufgaben (AIME +9 Punkte
|
||||
auf 1.0), während Swift 1.0 bei Instruction-Following (IFEval +6
|
||||
Punkte) und mathematischer Verifikation (MATH500 +5 Punkte) vorn
|
||||
liegt. Unsloth liegt auf allen drei Benchmarks hinten.
|
||||
- Die Herstellerzusage einer breiten Thinking-Ersparnis reproduziert
|
||||
sich nicht: auf IFEval verbraucht Swift 1.0 sogar ~7 % weniger
|
||||
Tokens als 1.5 bei besserem Score; auf MATH500 sind beide praktisch
|
||||
gleichauf (Differenz 0,8 %).
|
||||
- Für die Profilentscheidung fehlen jetzt noch der Tool-Use-Benchmark
|
||||
(BFCL, Abschnitt 5.1) und die eigene Praxisaufgabensuite
|
||||
(Abschnitt 5.3). AIME allein hätte Swift 1.5 präferiert; IFEval und
|
||||
MATH500 sprechen für Swift 1.0 – BFCL entscheidet möglicherweise.
|
||||
|
||||
Methodikvermerke: Die Score-Extraktion des eigenen
|
||||
`eval-efficiency`-Skripts muss je Task-Schema korrigiert werden
|
||||
(Samples führen IFEval- und MATH-Metriken unter anderen Schlüsseln als
|
||||
AIME; die aggregate Werte aus `results.json` sind autoritativ und
|
||||
wurden hier verwendet). Die Journal-Fenster enthalten je MATH-Lauf
|
||||
einen Grenzüberlappungs-Request (n=101, eine Doppelzählung um bis zu
|
||||
~150 Tokens – für die Summenstatistik vernachlässigbar).
|
||||
|
||||
Rohdaten: `results/{swift,swift-1.5,unsloth}-*2026-11-03-*.json` je
|
||||
Benchmark auf dem Host inklusive `efficiency-summary.json`.
|
||||
|
||||
Reference in New Issue
Block a user