GNAI-009 v0.6: AB3-Serie AIME24 durchgefuehrt und dokumentiert (Abschnitt 10)

Erster gewerteter AB-Lauf (beide Swift-Profile, xhigh, 30 AIME-Aufgaben):
Swift 1.5 loest 0.767 vs 0.667 bei praktisch identischem Token-Aufwand
je Aufgabe (Effizienz gleichauf, Summe -7%). Die Herstellerzusage
(58.5% weniger Thinking-Tokens) reproduziert sich auf AIME nicht -
konsistent mit der bekannten AIME-Schwachstelle und der BF16/vLLM-
Vergleichsbasis. Gesamt-Token exakt per Journal-Korrelation (30/30,
keine Retries); Usage-Logging-Proxy als Folgevermerk.

Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
This commit is contained in:
2026-11-02 18:19:02 +01:00
parent 9a33973fcb
commit ed74691949
@@ -23,6 +23,7 @@
| 2026-09-21 | 0.2 | spektr / Codex | Unsloth Qwen3.8 UD-Q6_K als verbindlichen zweiten 128k-Kandidaten festgelegt und kontrollierten A/B-Test ergänzt |
| 2026-09-21 | 0.1 | spektr / Codex | Swift-Qwen3.8, Q6_K, Reasoning, Kontext, MTP und lokales Vergleichsverfahren als ersten Evaluierungsstand aufgenommen |
| 2026-11-01 | 0.5 | spektr / Mistral Vibe | Swift 1.5 nach Freigabe als dritter Kandidat aufgenommen (Abschnitt 3.4, Offenpunkt aus 2.6/8 damit erledigt): Q6_K gepinnt mit Revision und SHA-256. Benchmark-Design erweitert: etablierte Benchmarks über lm-evaluation-harness gegen die interne Engine-API (AIME, GPQA Diamond, MATH-500, IFEval) plus Thinking-Effizienzkennzahl Score je Median-Reasoning-Token, ergänzt um die eigene Aufgabensuite und die manuelle Rubrik; Testmatrix um S-Reihe und drei AB-Kombinationen erweitert. |
| 2026-11-02 | 0.6 | spektr / Mistral Vibe | AB3-Serie (AIME24, beide xhigh, je 30 Aufgaben) durchgeführt und als datierter Ausführungsstand dokumentiert (Abschnitt 10): Swift 1.5 punktet mit 0,767 gegen 0,667 bei praktisch identischem Token-Aufwand je Aufgabe – die Herstellerzusage (58,5 % weniger Thinking-Tokens) reproduziert sich auf AIME nicht, konsistent mit der bekannten AIME-Schwachstelle der Swift-Familie und der BF16/vLLM-Vergleichsbasis. Methodikbefund: Gesamt-Token je Request exakt aus dem Engine-Journal (`predicted_n`), da lm-eval nur `message.content` speichert; künftig sauber über Usage-Logging-Proxy. |
---
@@ -428,3 +429,54 @@ aktiviert werden.
Community-Berichte dienen ausschließlich der Hypothesenbildung. Freigaben
beruhen auf reproduzierbaren Messungen des gepinnten eigenen Stacks.
## 10. Belegte Ausführung der AB3-Serie: AIME24 (02.11.2026)
Erster gewerteter Lauf der AB3-Matrix (beide Profile `xhigh`, 128k,
Q8-K/V, ein Slot, kein MTP, identische Samplingwerte und Aufgabe
`aime24` mit 30 Aufgaben; lm-eval 0.4.13 im gepinnten Bench-Container
gegen die laufende Engine). Gesamt-Token je Aufgabe exakt aus dem
Engine-Journal (`print_timing`/`predicted_n` = Reasoning plus Antwort;
30/30 Requests je Profil, keine Retries); lm-eval speichert nur
`message.content`, daher stammt die Antwort-Token-Spalte aus den
Samples:
| Kennzahl | Swift 1.0 Q6_K | Swift 1.5 Q6_K |
| --- | ---: | ---: |
| Score (exact match) | 0,667 (20/30) | **0,767 (23/30)** |
| Gesamt-Token Median je Aufgabe | 5.057 | 5.774 |
| Gesamt-Token Mittel je Aufgabe | 8.938 | 8.315 |
| Gesamt-Token Summe | 268.149 | 249.448 |
| Aufgaben an der 32.768-Token-Grenze | 3 | 2 |
| Antwort-Token Median (nur Content) | 371 | 403 |
| Effizienz Score je Median-Token | 1,32e-4 | 1,33e-4 |
| Laufzeit | ~4,4 h | ~3,3 h |
**Interpretation (vorläufig, ein Benchmark, ein Lauf):**
- Swift 1.5 löst auf AIME24 **mehr Aufgaben** (23 vs. 20) bei praktisch
identischem Token-Aufwand je Aufgabe (Effizienzkennzahl gleichauf;
Summe −7 %, Median +14 %). Es wandelt also dasselbe Budget in mehr
korrekte Lösungen um.
- Die Herstellerzusage „58,5 % weniger Thinking-Tokens" **reproduziert
sich auf AIME24 nicht**. Das ist konsistent mit der eigenen
Modellkarte (AIME/HMMT waren schon bei Swift 1.0 die Schwachstellen)
und mit Abschnitt 2.2: Die Herstellervergleiche liefen in BF16 mit
vLLM und einem anderen Aufgabensatz – kein 1:1-Schluss auf
GGUF-Q6_K/llama.cpp/ROCm zulässig.
- AIME ist damit als alleinige Entscheidungsgrundlage ungeeignet; die
Kernstärke des Swift-Ansatzers (Thinking-Ersparnis bei Alltags- und
Agentic-Aufgaben) muss über die übrigen Benchmarks (GPQA Diamond,
MATH-500, IFEval) und vor allem die eigene Praxisaufgabensuite
geprüft werden.
**Methodikvermerk:** lm-eval protokolliert keine `usage`-Werte pro
Sample; die Gesamt-Token wurden per Journal-Korrelation (sequenzielle
Requests, 30/30 ohne Retry) erhoben und sind für diese Serie exakt.
Für künftige Serien wird ein Usage-Logging-Proxy zwischen lm-eval und
Engine vorgesehen, der `completion_tokens` pro Request mitschreibt
(Folgevermerk in Abschnitt 8).
Rohdaten: `results/swift-qwen3.8-27b-q6k-2026-11-02-0817/` und
`results/swift-1.5-qwen3.8-27b-q6k-2026-11-02-1321/` auf dem Host
inklusive `efficiency-summary.json` je Lauf.