GNAI-009 v0.7: Unsloth-Referenzlauf AIME24 abgeschlossen - Swift 1.5 gewinnt das Dreierduell (10.1)

Unsloth UD-Q6_K (xhigh, 30 AIME-Aufgaben): Score 0.500 (15/30) bei
hoechstem Token-Aufwand (Summe 279.436, Median 7.488) - Overthinking ohne
Thinking-Optimierung. Swift 1.5 gewinnt mit bestem Score (23/30) UND
niedrigster Token-Summe (249.448). AB1-Kriterium fuer Unsloth auf AIME
deutlich verfehlt (8 Erfolge Rueckstand). Ablaufnotiz: transienter
SSH-Abbruch toetete nur die lokale Ansible-Sitzung; der serverseitige
Lauf lief vollstaendig durch, Auswertung manuell nachgeholt.

Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
This commit is contained in:
2026-11-03 05:51:44 +01:00
parent ed74691949
commit fc880e4c8a
@@ -24,6 +24,7 @@
| 2026-09-21 | 0.1 | spektr / Codex | Swift-Qwen3.8, Q6_K, Reasoning, Kontext, MTP und lokales Vergleichsverfahren als ersten Evaluierungsstand aufgenommen |
| 2026-11-01 | 0.5 | spektr / Mistral Vibe | Swift 1.5 nach Freigabe als dritter Kandidat aufgenommen (Abschnitt 3.4, Offenpunkt aus 2.6/8 damit erledigt): Q6_K gepinnt mit Revision und SHA-256. Benchmark-Design erweitert: etablierte Benchmarks über lm-evaluation-harness gegen die interne Engine-API (AIME, GPQA Diamond, MATH-500, IFEval) plus Thinking-Effizienzkennzahl Score je Median-Reasoning-Token, ergänzt um die eigene Aufgabensuite und die manuelle Rubrik; Testmatrix um S-Reihe und drei AB-Kombinationen erweitert. |
| 2026-11-02 | 0.6 | spektr / Mistral Vibe | AB3-Serie (AIME24, beide xhigh, je 30 Aufgaben) durchgeführt und als datierter Ausführungsstand dokumentiert (Abschnitt 10): Swift 1.5 punktet mit 0,767 gegen 0,667 bei praktisch identischem Token-Aufwand je Aufgabe – die Herstellerzusage (58,5 % weniger Thinking-Tokens) reproduziert sich auf AIME nicht, konsistent mit der bekannten AIME-Schwachstelle der Swift-Familie und der BF16/vLLM-Vergleichsbasis. Methodikbefund: Gesamt-Token je Request exakt aus dem Engine-Journal (`predicted_n`), da lm-eval nur `message.content` speichert; künftig sauber über Usage-Logging-Proxy. |
| 2026-11-02 | 0.7 | spektr / Mistral Vibe | Unsloth-Referenzlauf (AIME24, xhigh, 30 Aufgaben) abgeschlossen und in Abschnitt 10 aufgenommen: Score 0,500 bei höchstem Token-Aufwand – Swift 1.5 gewinnt das Dreierduell auf AIME mit bestem Score und niedrigster Token-Summe. Ablaufnotiz: ein transienter SSH-Abbruch zur Laufzeit tötete nur die lokale Ansible-Sitzung; der serverseitige lm-eval-Lauf lief vollständig durch (30/30 Samples), nur die Ergebnisabholung musste manuell nachgeholt werden. |
---
@@ -480,3 +481,45 @@ Engine vorgesehen, der `completion_tokens` pro Request mitschreibt
Rohdaten: `results/swift-qwen3.8-27b-q6k-2026-11-02-0817/` und
`results/swift-1.5-qwen3.8-27b-q6k-2026-11-02-1321/` auf dem Host
inklusive `efficiency-summary.json` je Lauf.
### 10.1 Unsloth-Referenzlauf und Dreiervergleich (02.11.2026)
Der Unsloth-Vergleichslauf (gleiche Parameter: `xhigh`, 128k, Q8-K/V,
30 AIME24-Aufgaben, lm-eval 0.4.13) vervollständigt das Dreierbild.
Methodiknotiz: ein transienter SSH-Abbruch beendete während des Laufs
nur die lokale Ansible-Sitzung; der serverseitige lm-eval-Lauf lief
vollständig durch (30/30 Samples), die Auswertung wurde manuell
nachgeholt. Eine lm-eval-interne Wiederholung (31. Slot-Freigabe bei
30 Samples) ist in der Token-Summe enthalten (max. ein Request doppelt).
| Kennzahl | Swift 1.0 Q6_K | Swift 1.5 Q6_K | Unsloth UD-Q6_K |
| --- | ---: | ---: | ---: |
| Score (exact match) | 0,667 (20/30) | **0,767 (23/30)** | 0,500 (15/30) |
| Gesamt-Token Median je Aufgabe | 5.057 | 5.774 | 7.488 |
| Gesamt-Token Mittel je Aufgabe | 8.938 | 8.315 | 9.315 |
| Gesamt-Token Summe | 268.149 | **249.448** | 279.436 |
| Aufgaben an der 32.768-Token-Grenze | 3 | 2 | 2 |
| Antwort-Token Median (nur Content) | 371 | 403 | 97 |
| Effizienz Score je Median-Token | 1,32e-4 | 1,33e-4 | 0,67e-4 |
| Laufzeit | ~4,4 h | ~3,3 h | ~3,5 h |
**Interpretation:**
- **Swift 1.5 gewinnt das AIME-Dreierduell doppelt**: bester Score
(23/30) und niedrigste Token-Summe. Das entspricht genau dem
Swift-Versprechen in seiner stärksten Form – gleiche oder weniger
Tokens bei besserer Lösung.
- Unsloth (das Basismodell im UD-Quant) erzielt den schwächsten Score
(15/30) beim höchsten Token-Aufwand – Overthinking ohne
Thinking-Optimierung. Das AB1-Kriterium aus Abschnitt 6 („höchstens
ein Erfolg weniger als der jeweils andere Vergleichskandidat") ist
für Unsloth auf AIME deutlich verfehlt (8 Erfolge Rückstand auf
Swift 1.5); als AIME-Konkurrent scheidet es aus.
- AIME bleibt der Adversarial-Benchmark der Serie; die abschließende
Profilentscheidung benötigt die weiteren Benchmarks (GPQA Diamond,
MATH-500, IFEval) und die Praxisaufgabensuite. Die bisherige
Reihenfolge (Swift 1.5 > Swift 1.0 > Unsloth) ist aber ein
klares Zwischenzeugnis für das neue Profil.
Rohdaten: `results/unsloth-qwen3.8-27b-ud-q6k-2026-11-02-1849/` auf dem
Host inklusive `efficiency-summary.json`.