GNAI-009 v0.7: Unsloth-Referenzlauf AIME24 abgeschlossen - Swift 1.5 gewinnt das Dreierduell (10.1)
Unsloth UD-Q6_K (xhigh, 30 AIME-Aufgaben): Score 0.500 (15/30) bei hoechstem Token-Aufwand (Summe 279.436, Median 7.488) - Overthinking ohne Thinking-Optimierung. Swift 1.5 gewinnt mit bestem Score (23/30) UND niedrigster Token-Summe (249.448). AB1-Kriterium fuer Unsloth auf AIME deutlich verfehlt (8 Erfolge Rueckstand). Ablaufnotiz: transienter SSH-Abbruch toetete nur die lokale Ansible-Sitzung; der serverseitige Lauf lief vollstaendig durch, Auswertung manuell nachgeholt. Generated by Mistral Vibe. Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
This commit is contained in:
@@ -24,6 +24,7 @@
|
||||
| 2026-09-21 | 0.1 | spektr / Codex | Swift-Qwen3.8, Q6_K, Reasoning, Kontext, MTP und lokales Vergleichsverfahren als ersten Evaluierungsstand aufgenommen |
|
||||
| 2026-11-01 | 0.5 | spektr / Mistral Vibe | Swift 1.5 nach Freigabe als dritter Kandidat aufgenommen (Abschnitt 3.4, Offenpunkt aus 2.6/8 damit erledigt): Q6_K gepinnt mit Revision und SHA-256. Benchmark-Design erweitert: etablierte Benchmarks über lm-evaluation-harness gegen die interne Engine-API (AIME, GPQA Diamond, MATH-500, IFEval) plus Thinking-Effizienzkennzahl Score je Median-Reasoning-Token, ergänzt um die eigene Aufgabensuite und die manuelle Rubrik; Testmatrix um S-Reihe und drei AB-Kombinationen erweitert. |
|
||||
| 2026-11-02 | 0.6 | spektr / Mistral Vibe | AB3-Serie (AIME24, beide xhigh, je 30 Aufgaben) durchgeführt und als datierter Ausführungsstand dokumentiert (Abschnitt 10): Swift 1.5 punktet mit 0,767 gegen 0,667 bei praktisch identischem Token-Aufwand je Aufgabe – die Herstellerzusage (58,5 % weniger Thinking-Tokens) reproduziert sich auf AIME nicht, konsistent mit der bekannten AIME-Schwachstelle der Swift-Familie und der BF16/vLLM-Vergleichsbasis. Methodikbefund: Gesamt-Token je Request exakt aus dem Engine-Journal (`predicted_n`), da lm-eval nur `message.content` speichert; künftig sauber über Usage-Logging-Proxy. |
|
||||
| 2026-11-02 | 0.7 | spektr / Mistral Vibe | Unsloth-Referenzlauf (AIME24, xhigh, 30 Aufgaben) abgeschlossen und in Abschnitt 10 aufgenommen: Score 0,500 bei höchstem Token-Aufwand – Swift 1.5 gewinnt das Dreierduell auf AIME mit bestem Score und niedrigster Token-Summe. Ablaufnotiz: ein transienter SSH-Abbruch zur Laufzeit tötete nur die lokale Ansible-Sitzung; der serverseitige lm-eval-Lauf lief vollständig durch (30/30 Samples), nur die Ergebnisabholung musste manuell nachgeholt werden. |
|
||||
|
||||
---
|
||||
|
||||
@@ -480,3 +481,45 @@ Engine vorgesehen, der `completion_tokens` pro Request mitschreibt
|
||||
Rohdaten: `results/swift-qwen3.8-27b-q6k-2026-11-02-0817/` und
|
||||
`results/swift-1.5-qwen3.8-27b-q6k-2026-11-02-1321/` auf dem Host
|
||||
inklusive `efficiency-summary.json` je Lauf.
|
||||
|
||||
### 10.1 Unsloth-Referenzlauf und Dreiervergleich (02.11.2026)
|
||||
|
||||
Der Unsloth-Vergleichslauf (gleiche Parameter: `xhigh`, 128k, Q8-K/V,
|
||||
30 AIME24-Aufgaben, lm-eval 0.4.13) vervollständigt das Dreierbild.
|
||||
Methodiknotiz: ein transienter SSH-Abbruch beendete während des Laufs
|
||||
nur die lokale Ansible-Sitzung; der serverseitige lm-eval-Lauf lief
|
||||
vollständig durch (30/30 Samples), die Auswertung wurde manuell
|
||||
nachgeholt. Eine lm-eval-interne Wiederholung (31. Slot-Freigabe bei
|
||||
30 Samples) ist in der Token-Summe enthalten (max. ein Request doppelt).
|
||||
|
||||
| Kennzahl | Swift 1.0 Q6_K | Swift 1.5 Q6_K | Unsloth UD-Q6_K |
|
||||
| --- | ---: | ---: | ---: |
|
||||
| Score (exact match) | 0,667 (20/30) | **0,767 (23/30)** | 0,500 (15/30) |
|
||||
| Gesamt-Token Median je Aufgabe | 5.057 | 5.774 | 7.488 |
|
||||
| Gesamt-Token Mittel je Aufgabe | 8.938 | 8.315 | 9.315 |
|
||||
| Gesamt-Token Summe | 268.149 | **249.448** | 279.436 |
|
||||
| Aufgaben an der 32.768-Token-Grenze | 3 | 2 | 2 |
|
||||
| Antwort-Token Median (nur Content) | 371 | 403 | 97 |
|
||||
| Effizienz Score je Median-Token | 1,32e-4 | 1,33e-4 | 0,67e-4 |
|
||||
| Laufzeit | ~4,4 h | ~3,3 h | ~3,5 h |
|
||||
|
||||
**Interpretation:**
|
||||
|
||||
- **Swift 1.5 gewinnt das AIME-Dreierduell doppelt**: bester Score
|
||||
(23/30) und niedrigste Token-Summe. Das entspricht genau dem
|
||||
Swift-Versprechen in seiner stärksten Form – gleiche oder weniger
|
||||
Tokens bei besserer Lösung.
|
||||
- Unsloth (das Basismodell im UD-Quant) erzielt den schwächsten Score
|
||||
(15/30) beim höchsten Token-Aufwand – Overthinking ohne
|
||||
Thinking-Optimierung. Das AB1-Kriterium aus Abschnitt 6 („höchstens
|
||||
ein Erfolg weniger als der jeweils andere Vergleichskandidat") ist
|
||||
für Unsloth auf AIME deutlich verfehlt (8 Erfolge Rückstand auf
|
||||
Swift 1.5); als AIME-Konkurrent scheidet es aus.
|
||||
- AIME bleibt der Adversarial-Benchmark der Serie; die abschließende
|
||||
Profilentscheidung benötigt die weiteren Benchmarks (GPQA Diamond,
|
||||
MATH-500, IFEval) und die Praxisaufgabensuite. Die bisherige
|
||||
Reihenfolge (Swift 1.5 > Swift 1.0 > Unsloth) ist aber ein
|
||||
klares Zwischenzeugnis für das neue Profil.
|
||||
|
||||
Rohdaten: `results/unsloth-qwen3.8-27b-ud-q6k-2026-11-02-1849/` auf dem
|
||||
Host inklusive `efficiency-summary.json`.
|
||||
|
||||
Reference in New Issue
Block a user