From fc880e4c8a2d9c7e1c5a91a7b64c3847c0048e6a Mon Sep 17 00:00:00 2001 From: spektr Date: Tue, 3 Nov 2026 05:51:44 +0100 Subject: [PATCH] GNAI-009 v0.7: Unsloth-Referenzlauf AIME24 abgeschlossen - Swift 1.5 gewinnt das Dreierduell (10.1) Unsloth UD-Q6_K (xhigh, 30 AIME-Aufgaben): Score 0.500 (15/30) bei hoechstem Token-Aufwand (Summe 279.436, Median 7.488) - Overthinking ohne Thinking-Optimierung. Swift 1.5 gewinnt mit bestem Score (23/30) UND niedrigster Token-Summe (249.448). AB1-Kriterium fuer Unsloth auf AIME deutlich verfehlt (8 Erfolge Rueckstand). Ablaufnotiz: transienter SSH-Abbruch toetete nur die lokale Ansible-Sitzung; der serverseitige Lauf lief vollstaendig durch, Auswertung manuell nachgeholt. Generated by Mistral Vibe. Co-Authored-By: Mistral Vibe --- .../GNAI-009-PLAN_Llama-Model-Evaluation.md | 43 +++++++++++++++++++ 1 file changed, 43 insertions(+) diff --git a/docs/platform/llm-server/ai/GNAI-009-PLAN_Llama-Model-Evaluation.md b/docs/platform/llm-server/ai/GNAI-009-PLAN_Llama-Model-Evaluation.md index af2a072..598994c 100644 --- a/docs/platform/llm-server/ai/GNAI-009-PLAN_Llama-Model-Evaluation.md +++ b/docs/platform/llm-server/ai/GNAI-009-PLAN_Llama-Model-Evaluation.md @@ -24,6 +24,7 @@ | 2026-09-21 | 0.1 | spektr / Codex | Swift-Qwen3.8, Q6_K, Reasoning, Kontext, MTP und lokales Vergleichsverfahren als ersten Evaluierungsstand aufgenommen | | 2026-11-01 | 0.5 | spektr / Mistral Vibe | Swift 1.5 nach Freigabe als dritter Kandidat aufgenommen (Abschnitt 3.4, Offenpunkt aus 2.6/8 damit erledigt): Q6_K gepinnt mit Revision und SHA-256. Benchmark-Design erweitert: etablierte Benchmarks über lm-evaluation-harness gegen die interne Engine-API (AIME, GPQA Diamond, MATH-500, IFEval) plus Thinking-Effizienzkennzahl Score je Median-Reasoning-Token, ergänzt um die eigene Aufgabensuite und die manuelle Rubrik; Testmatrix um S-Reihe und drei AB-Kombinationen erweitert. | | 2026-11-02 | 0.6 | spektr / Mistral Vibe | AB3-Serie (AIME24, beide xhigh, je 30 Aufgaben) durchgeführt und als datierter Ausführungsstand dokumentiert (Abschnitt 10): Swift 1.5 punktet mit 0,767 gegen 0,667 bei praktisch identischem Token-Aufwand je Aufgabe – die Herstellerzusage (58,5 % weniger Thinking-Tokens) reproduziert sich auf AIME nicht, konsistent mit der bekannten AIME-Schwachstelle der Swift-Familie und der BF16/vLLM-Vergleichsbasis. Methodikbefund: Gesamt-Token je Request exakt aus dem Engine-Journal (`predicted_n`), da lm-eval nur `message.content` speichert; künftig sauber über Usage-Logging-Proxy. | +| 2026-11-02 | 0.7 | spektr / Mistral Vibe | Unsloth-Referenzlauf (AIME24, xhigh, 30 Aufgaben) abgeschlossen und in Abschnitt 10 aufgenommen: Score 0,500 bei höchstem Token-Aufwand – Swift 1.5 gewinnt das Dreierduell auf AIME mit bestem Score und niedrigster Token-Summe. Ablaufnotiz: ein transienter SSH-Abbruch zur Laufzeit tötete nur die lokale Ansible-Sitzung; der serverseitige lm-eval-Lauf lief vollständig durch (30/30 Samples), nur die Ergebnisabholung musste manuell nachgeholt werden. | --- @@ -480,3 +481,45 @@ Engine vorgesehen, der `completion_tokens` pro Request mitschreibt Rohdaten: `results/swift-qwen3.8-27b-q6k-2026-11-02-0817/` und `results/swift-1.5-qwen3.8-27b-q6k-2026-11-02-1321/` auf dem Host inklusive `efficiency-summary.json` je Lauf. + +### 10.1 Unsloth-Referenzlauf und Dreiervergleich (02.11.2026) + +Der Unsloth-Vergleichslauf (gleiche Parameter: `xhigh`, 128k, Q8-K/V, +30 AIME24-Aufgaben, lm-eval 0.4.13) vervollständigt das Dreierbild. +Methodiknotiz: ein transienter SSH-Abbruch beendete während des Laufs +nur die lokale Ansible-Sitzung; der serverseitige lm-eval-Lauf lief +vollständig durch (30/30 Samples), die Auswertung wurde manuell +nachgeholt. Eine lm-eval-interne Wiederholung (31. Slot-Freigabe bei +30 Samples) ist in der Token-Summe enthalten (max. ein Request doppelt). + +| Kennzahl | Swift 1.0 Q6_K | Swift 1.5 Q6_K | Unsloth UD-Q6_K | +| --- | ---: | ---: | ---: | +| Score (exact match) | 0,667 (20/30) | **0,767 (23/30)** | 0,500 (15/30) | +| Gesamt-Token Median je Aufgabe | 5.057 | 5.774 | 7.488 | +| Gesamt-Token Mittel je Aufgabe | 8.938 | 8.315 | 9.315 | +| Gesamt-Token Summe | 268.149 | **249.448** | 279.436 | +| Aufgaben an der 32.768-Token-Grenze | 3 | 2 | 2 | +| Antwort-Token Median (nur Content) | 371 | 403 | 97 | +| Effizienz Score je Median-Token | 1,32e-4 | 1,33e-4 | 0,67e-4 | +| Laufzeit | ~4,4 h | ~3,3 h | ~3,5 h | + +**Interpretation:** + +- **Swift 1.5 gewinnt das AIME-Dreierduell doppelt**: bester Score + (23/30) und niedrigste Token-Summe. Das entspricht genau dem + Swift-Versprechen in seiner stärksten Form – gleiche oder weniger + Tokens bei besserer Lösung. +- Unsloth (das Basismodell im UD-Quant) erzielt den schwächsten Score + (15/30) beim höchsten Token-Aufwand – Overthinking ohne + Thinking-Optimierung. Das AB1-Kriterium aus Abschnitt 6 („höchstens + ein Erfolg weniger als der jeweils andere Vergleichskandidat") ist + für Unsloth auf AIME deutlich verfehlt (8 Erfolge Rückstand auf + Swift 1.5); als AIME-Konkurrent scheidet es aus. +- AIME bleibt der Adversarial-Benchmark der Serie; die abschließende + Profilentscheidung benötigt die weiteren Benchmarks (GPQA Diamond, + MATH-500, IFEval) und die Praxisaufgabensuite. Die bisherige + Reihenfolge (Swift 1.5 > Swift 1.0 > Unsloth) ist aber ein + klares Zwischenzeugnis für das neue Profil. + +Rohdaten: `results/unsloth-qwen3.8-27b-ud-q6k-2026-11-02-1849/` auf dem +Host inklusive `efficiency-summary.json`.