GNAI-009 v0.6: AB3-Serie AIME24 durchgefuehrt und dokumentiert (Abschnitt 10)
Erster gewerteter AB-Lauf (beide Swift-Profile, xhigh, 30 AIME-Aufgaben): Swift 1.5 loest 0.767 vs 0.667 bei praktisch identischem Token-Aufwand je Aufgabe (Effizienz gleichauf, Summe -7%). Die Herstellerzusage (58.5% weniger Thinking-Tokens) reproduziert sich auf AIME nicht - konsistent mit der bekannten AIME-Schwachstelle und der BF16/vLLM- Vergleichsbasis. Gesamt-Token exakt per Journal-Korrelation (30/30, keine Retries); Usage-Logging-Proxy als Folgevermerk. Generated by Mistral Vibe. Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
This commit is contained in:
@@ -23,6 +23,7 @@
|
||||
| 2026-09-21 | 0.2 | spektr / Codex | Unsloth Qwen3.8 UD-Q6_K als verbindlichen zweiten 128k-Kandidaten festgelegt und kontrollierten A/B-Test ergänzt |
|
||||
| 2026-09-21 | 0.1 | spektr / Codex | Swift-Qwen3.8, Q6_K, Reasoning, Kontext, MTP und lokales Vergleichsverfahren als ersten Evaluierungsstand aufgenommen |
|
||||
| 2026-11-01 | 0.5 | spektr / Mistral Vibe | Swift 1.5 nach Freigabe als dritter Kandidat aufgenommen (Abschnitt 3.4, Offenpunkt aus 2.6/8 damit erledigt): Q6_K gepinnt mit Revision und SHA-256. Benchmark-Design erweitert: etablierte Benchmarks über lm-evaluation-harness gegen die interne Engine-API (AIME, GPQA Diamond, MATH-500, IFEval) plus Thinking-Effizienzkennzahl Score je Median-Reasoning-Token, ergänzt um die eigene Aufgabensuite und die manuelle Rubrik; Testmatrix um S-Reihe und drei AB-Kombinationen erweitert. |
|
||||
| 2026-11-02 | 0.6 | spektr / Mistral Vibe | AB3-Serie (AIME24, beide xhigh, je 30 Aufgaben) durchgeführt und als datierter Ausführungsstand dokumentiert (Abschnitt 10): Swift 1.5 punktet mit 0,767 gegen 0,667 bei praktisch identischem Token-Aufwand je Aufgabe – die Herstellerzusage (58,5 % weniger Thinking-Tokens) reproduziert sich auf AIME nicht, konsistent mit der bekannten AIME-Schwachstelle der Swift-Familie und der BF16/vLLM-Vergleichsbasis. Methodikbefund: Gesamt-Token je Request exakt aus dem Engine-Journal (`predicted_n`), da lm-eval nur `message.content` speichert; künftig sauber über Usage-Logging-Proxy. |
|
||||
|
||||
---
|
||||
|
||||
@@ -428,3 +429,54 @@ aktiviert werden.
|
||||
|
||||
Community-Berichte dienen ausschließlich der Hypothesenbildung. Freigaben
|
||||
beruhen auf reproduzierbaren Messungen des gepinnten eigenen Stacks.
|
||||
|
||||
## 10. Belegte Ausführung der AB3-Serie: AIME24 (02.11.2026)
|
||||
|
||||
Erster gewerteter Lauf der AB3-Matrix (beide Profile `xhigh`, 128k,
|
||||
Q8-K/V, ein Slot, kein MTP, identische Samplingwerte und Aufgabe
|
||||
`aime24` mit 30 Aufgaben; lm-eval 0.4.13 im gepinnten Bench-Container
|
||||
gegen die laufende Engine). Gesamt-Token je Aufgabe exakt aus dem
|
||||
Engine-Journal (`print_timing`/`predicted_n` = Reasoning plus Antwort;
|
||||
30/30 Requests je Profil, keine Retries); lm-eval speichert nur
|
||||
`message.content`, daher stammt die Antwort-Token-Spalte aus den
|
||||
Samples:
|
||||
|
||||
| Kennzahl | Swift 1.0 Q6_K | Swift 1.5 Q6_K |
|
||||
| --- | ---: | ---: |
|
||||
| Score (exact match) | 0,667 (20/30) | **0,767 (23/30)** |
|
||||
| Gesamt-Token Median je Aufgabe | 5.057 | 5.774 |
|
||||
| Gesamt-Token Mittel je Aufgabe | 8.938 | 8.315 |
|
||||
| Gesamt-Token Summe | 268.149 | 249.448 |
|
||||
| Aufgaben an der 32.768-Token-Grenze | 3 | 2 |
|
||||
| Antwort-Token Median (nur Content) | 371 | 403 |
|
||||
| Effizienz Score je Median-Token | 1,32e-4 | 1,33e-4 |
|
||||
| Laufzeit | ~4,4 h | ~3,3 h |
|
||||
|
||||
**Interpretation (vorläufig, ein Benchmark, ein Lauf):**
|
||||
|
||||
- Swift 1.5 löst auf AIME24 **mehr Aufgaben** (23 vs. 20) bei praktisch
|
||||
identischem Token-Aufwand je Aufgabe (Effizienzkennzahl gleichauf;
|
||||
Summe −7 %, Median +14 %). Es wandelt also dasselbe Budget in mehr
|
||||
korrekte Lösungen um.
|
||||
- Die Herstellerzusage „58,5 % weniger Thinking-Tokens" **reproduziert
|
||||
sich auf AIME24 nicht**. Das ist konsistent mit der eigenen
|
||||
Modellkarte (AIME/HMMT waren schon bei Swift 1.0 die Schwachstellen)
|
||||
und mit Abschnitt 2.2: Die Herstellervergleiche liefen in BF16 mit
|
||||
vLLM und einem anderen Aufgabensatz – kein 1:1-Schluss auf
|
||||
GGUF-Q6_K/llama.cpp/ROCm zulässig.
|
||||
- AIME ist damit als alleinige Entscheidungsgrundlage ungeeignet; die
|
||||
Kernstärke des Swift-Ansatzers (Thinking-Ersparnis bei Alltags- und
|
||||
Agentic-Aufgaben) muss über die übrigen Benchmarks (GPQA Diamond,
|
||||
MATH-500, IFEval) und vor allem die eigene Praxisaufgabensuite
|
||||
geprüft werden.
|
||||
|
||||
**Methodikvermerk:** lm-eval protokolliert keine `usage`-Werte pro
|
||||
Sample; die Gesamt-Token wurden per Journal-Korrelation (sequenzielle
|
||||
Requests, 30/30 ohne Retry) erhoben und sind für diese Serie exakt.
|
||||
Für künftige Serien wird ein Usage-Logging-Proxy zwischen lm-eval und
|
||||
Engine vorgesehen, der `completion_tokens` pro Request mitschreibt
|
||||
(Folgevermerk in Abschnitt 8).
|
||||
|
||||
Rohdaten: `results/swift-qwen3.8-27b-q6k-2026-11-02-0817/` und
|
||||
`results/swift-1.5-qwen3.8-27b-q6k-2026-11-02-1321/` auf dem Host
|
||||
inklusive `efficiency-summary.json` je Lauf.
|
||||
|
||||
Reference in New Issue
Block a user