From ed74691949c770cbdc3d5a881b40287c7218767f Mon Sep 17 00:00:00 2001 From: spektr Date: Mon, 2 Nov 2026 18:19:02 +0100 Subject: [PATCH] GNAI-009 v0.6: AB3-Serie AIME24 durchgefuehrt und dokumentiert (Abschnitt 10) Erster gewerteter AB-Lauf (beide Swift-Profile, xhigh, 30 AIME-Aufgaben): Swift 1.5 loest 0.767 vs 0.667 bei praktisch identischem Token-Aufwand je Aufgabe (Effizienz gleichauf, Summe -7%). Die Herstellerzusage (58.5% weniger Thinking-Tokens) reproduziert sich auf AIME nicht - konsistent mit der bekannten AIME-Schwachstelle und der BF16/vLLM- Vergleichsbasis. Gesamt-Token exakt per Journal-Korrelation (30/30, keine Retries); Usage-Logging-Proxy als Folgevermerk. Generated by Mistral Vibe. Co-Authored-By: Mistral Vibe --- .../GNAI-009-PLAN_Llama-Model-Evaluation.md | 52 +++++++++++++++++++ 1 file changed, 52 insertions(+) diff --git a/docs/platform/llm-server/ai/GNAI-009-PLAN_Llama-Model-Evaluation.md b/docs/platform/llm-server/ai/GNAI-009-PLAN_Llama-Model-Evaluation.md index 0f47107..af2a072 100644 --- a/docs/platform/llm-server/ai/GNAI-009-PLAN_Llama-Model-Evaluation.md +++ b/docs/platform/llm-server/ai/GNAI-009-PLAN_Llama-Model-Evaluation.md @@ -23,6 +23,7 @@ | 2026-09-21 | 0.2 | spektr / Codex | Unsloth Qwen3.8 UD-Q6_K als verbindlichen zweiten 128k-Kandidaten festgelegt und kontrollierten A/B-Test ergänzt | | 2026-09-21 | 0.1 | spektr / Codex | Swift-Qwen3.8, Q6_K, Reasoning, Kontext, MTP und lokales Vergleichsverfahren als ersten Evaluierungsstand aufgenommen | | 2026-11-01 | 0.5 | spektr / Mistral Vibe | Swift 1.5 nach Freigabe als dritter Kandidat aufgenommen (Abschnitt 3.4, Offenpunkt aus 2.6/8 damit erledigt): Q6_K gepinnt mit Revision und SHA-256. Benchmark-Design erweitert: etablierte Benchmarks über lm-evaluation-harness gegen die interne Engine-API (AIME, GPQA Diamond, MATH-500, IFEval) plus Thinking-Effizienzkennzahl Score je Median-Reasoning-Token, ergänzt um die eigene Aufgabensuite und die manuelle Rubrik; Testmatrix um S-Reihe und drei AB-Kombinationen erweitert. | +| 2026-11-02 | 0.6 | spektr / Mistral Vibe | AB3-Serie (AIME24, beide xhigh, je 30 Aufgaben) durchgeführt und als datierter Ausführungsstand dokumentiert (Abschnitt 10): Swift 1.5 punktet mit 0,767 gegen 0,667 bei praktisch identischem Token-Aufwand je Aufgabe – die Herstellerzusage (58,5 % weniger Thinking-Tokens) reproduziert sich auf AIME nicht, konsistent mit der bekannten AIME-Schwachstelle der Swift-Familie und der BF16/vLLM-Vergleichsbasis. Methodikbefund: Gesamt-Token je Request exakt aus dem Engine-Journal (`predicted_n`), da lm-eval nur `message.content` speichert; künftig sauber über Usage-Logging-Proxy. | --- @@ -428,3 +429,54 @@ aktiviert werden. Community-Berichte dienen ausschließlich der Hypothesenbildung. Freigaben beruhen auf reproduzierbaren Messungen des gepinnten eigenen Stacks. + +## 10. Belegte Ausführung der AB3-Serie: AIME24 (02.11.2026) + +Erster gewerteter Lauf der AB3-Matrix (beide Profile `xhigh`, 128k, +Q8-K/V, ein Slot, kein MTP, identische Samplingwerte und Aufgabe +`aime24` mit 30 Aufgaben; lm-eval 0.4.13 im gepinnten Bench-Container +gegen die laufende Engine). Gesamt-Token je Aufgabe exakt aus dem +Engine-Journal (`print_timing`/`predicted_n` = Reasoning plus Antwort; +30/30 Requests je Profil, keine Retries); lm-eval speichert nur +`message.content`, daher stammt die Antwort-Token-Spalte aus den +Samples: + +| Kennzahl | Swift 1.0 Q6_K | Swift 1.5 Q6_K | +| --- | ---: | ---: | +| Score (exact match) | 0,667 (20/30) | **0,767 (23/30)** | +| Gesamt-Token Median je Aufgabe | 5.057 | 5.774 | +| Gesamt-Token Mittel je Aufgabe | 8.938 | 8.315 | +| Gesamt-Token Summe | 268.149 | 249.448 | +| Aufgaben an der 32.768-Token-Grenze | 3 | 2 | +| Antwort-Token Median (nur Content) | 371 | 403 | +| Effizienz Score je Median-Token | 1,32e-4 | 1,33e-4 | +| Laufzeit | ~4,4 h | ~3,3 h | + +**Interpretation (vorläufig, ein Benchmark, ein Lauf):** + +- Swift 1.5 löst auf AIME24 **mehr Aufgaben** (23 vs. 20) bei praktisch + identischem Token-Aufwand je Aufgabe (Effizienzkennzahl gleichauf; + Summe −7 %, Median +14 %). Es wandelt also dasselbe Budget in mehr + korrekte Lösungen um. +- Die Herstellerzusage „58,5 % weniger Thinking-Tokens" **reproduziert + sich auf AIME24 nicht**. Das ist konsistent mit der eigenen + Modellkarte (AIME/HMMT waren schon bei Swift 1.0 die Schwachstellen) + und mit Abschnitt 2.2: Die Herstellervergleiche liefen in BF16 mit + vLLM und einem anderen Aufgabensatz – kein 1:1-Schluss auf + GGUF-Q6_K/llama.cpp/ROCm zulässig. +- AIME ist damit als alleinige Entscheidungsgrundlage ungeeignet; die + Kernstärke des Swift-Ansatzers (Thinking-Ersparnis bei Alltags- und + Agentic-Aufgaben) muss über die übrigen Benchmarks (GPQA Diamond, + MATH-500, IFEval) und vor allem die eigene Praxisaufgabensuite + geprüft werden. + +**Methodikvermerk:** lm-eval protokolliert keine `usage`-Werte pro +Sample; die Gesamt-Token wurden per Journal-Korrelation (sequenzielle +Requests, 30/30 ohne Retry) erhoben und sind für diese Serie exakt. +Für künftige Serien wird ein Usage-Logging-Proxy zwischen lm-eval und +Engine vorgesehen, der `completion_tokens` pro Request mitschreibt +(Folgevermerk in Abschnitt 8). + +Rohdaten: `results/swift-qwen3.8-27b-q6k-2026-11-02-0817/` und +`results/swift-1.5-qwen3.8-27b-q6k-2026-11-02-1321/` auf dem Host +inklusive `efficiency-summary.json` je Lauf.