From b723e0ee011633d9eb1c20d0a1aa9adcbf983bc0 Mon Sep 17 00:00:00 2001 From: spektr Date: Tue, 3 Nov 2026 11:08:07 +0100 Subject: [PATCH] GNAI-009 v0.9: IFEval- und MATH500-Serien abgeschlossen - differenziertes Bild (10.2/10.3) IFEval (100 Samples, xhigh): Swift 1.0 gewinnt mit 0.76 vor Swift 1.5 (0.70) und Unsloth (0.63), mit niedrigster Token-Summe. MATH500 (math_verify, da exact_match ein Format-Artefakt der Reasoning-Trennung ist): Swift 1.0 0.32, Unsloth 0.28, Swift 1.5 0.27. Damit gewinnt Swift 1.5 nur AIME; die breite Thinking-Ersparnis des Herstellers reproduziert sich nicht. Die Profilentscheidung verschiebt sich auf BFCL und die Praxissuite. Generated by Mistral Vibe. Co-Authored-By: Mistral Vibe --- .../GNAI-009-PLAN_Llama-Model-Evaluation.md | 60 +++++++++++++++++++ 1 file changed, 60 insertions(+) diff --git a/docs/platform/llm-server/ai/GNAI-009-PLAN_Llama-Model-Evaluation.md b/docs/platform/llm-server/ai/GNAI-009-PLAN_Llama-Model-Evaluation.md index 007768d..91ced8b 100644 --- a/docs/platform/llm-server/ai/GNAI-009-PLAN_Llama-Model-Evaluation.md +++ b/docs/platform/llm-server/ai/GNAI-009-PLAN_Llama-Model-Evaluation.md @@ -26,6 +26,7 @@ | 2026-11-02 | 0.6 | spektr / Mistral Vibe | AB3-Serie (AIME24, beide xhigh, je 30 Aufgaben) durchgeführt und als datierter Ausführungsstand dokumentiert (Abschnitt 10): Swift 1.5 punktet mit 0,767 gegen 0,667 bei praktisch identischem Token-Aufwand je Aufgabe – die Herstellerzusage (58,5 % weniger Thinking-Tokens) reproduziert sich auf AIME nicht, konsistent mit der bekannten AIME-Schwachstelle der Swift-Familie und der BF16/vLLM-Vergleichsbasis. Methodikbefund: Gesamt-Token je Request exakt aus dem Engine-Journal (`predicted_n`), da lm-eval nur `message.content` speichert; künftig sauber über Usage-Logging-Proxy. | | 2026-11-02 | 0.7 | spektr / Mistral Vibe | Unsloth-Referenzlauf (AIME24, xhigh, 30 Aufgaben) abgeschlossen und in Abschnitt 10 aufgenommen: Score 0,500 bei höchstem Token-Aufwand – Swift 1.5 gewinnt das Dreierduell auf AIME mit bestem Score und niedrigster Token-Summe. Ablaufnotiz: ein transienter SSH-Abbruch zur Laufzeit tötete nur die lokale Ansible-Sitzung; der serverseitige lm-eval-Lauf lief vollständig durch (30/30 Samples), nur die Ergebnisabholung musste manuell nachgeholt werden. | | 2026-11-03 | 0.8 | spektr / Mistral Vibe | Betreiberentscheidung: GPQA Diamond ersetzt (Abschnitt 5.1) – der Benchmark ist im Frontier-Bereich gesättigt (>90 % bei allen Anbietern) und für die A/B-Trennung lokal nicht mehr trennscharf. Ersatz: Berkeley Function Calling Leaderboard (BFCL, `bfcl-eval` 2026.3.23) als etablierter Tool-Use-Benchmark mit mechanischer Bewertung (AST, ausführbare Calls, Irrelevance-Detection), direkt gegen die OpenAI-kompatible Engine-API lauffähig. Agentic-Benchmarks (τ2-bench, Terminal-Bench) bleiben der späteren Stufe mit der Experimental-Umgebung vorbehalten. | +| 2026-11-03 | 0.9 | spektr / Mistral Vibe | IFEval- und MATH500-Serie über alle drei Profile abgeschlossen (Abschnitte 10.2/10.3): Swift 1.0 gewinnt beide (IFEval 0,76 vs. 0,70/0,63; MATH500 math_verify 0,32 vs. 0,27/0,28) – Swift 1.5 bleibt nur auf AIME vorn. Das Bild ist damit differenziert: 1.5 für harte Reasoning-/Agentenaufgaben, 1.0 für Instruction-Following und Mathematik. Methodikbefunde: minerva exact_match ist bei allen Profilen 0 (Format-Artefakt der Reasoning-Trennung), math_verify ist die gültige Metrik; die Score-Extraktion des eigenen Effizienzskripts ist je Task-Schema zu korrigieren (aggregate Scores aus results.json sind autoritativ). | --- @@ -529,3 +530,62 @@ nachgeholt. Eine lm-eval-interne Wiederholung (31. Slot-Freigabe bei Rohdaten: `results/unsloth-qwen3.8-27b-ud-q6k-2026-11-02-1849/` auf dem Host inklusive `efficiency-summary.json`. + +### 10.2 IFEval-Serie über alle drei Profile (03.11.2026) + +`leaderboard_ifeval`, je 100 Samples, `xhigh`, identische Laufzeitparameter +wie AIME. Score als `prompt_level_strict_acc` aus lm-eval `results.json`; +Gesamt-Token (Reasoning plus Antwort) per Journal-Korrelation (99–100 +Requests je Lauf, keine Cap-Treffer): + +| Kennzahl | Swift 1.0 Q6_K | Swift 1.5 Q6_K | Unsloth UD-Q6_K | +| --- | ---: | ---: | ---: | +| Score (prompt-level, strict) | **0,76** | 0,70 | 0,63 | +| Score (inst-level, strict) | **0,73** | 0,68 | 0,60 | +| Gesamt-Token Summe | **68.421** | 73.633 | 83.342 | +| Gesamt-Token Median je Aufgabe | 589 | 639 | 895 | +| Cap-Treffer | 0 | 0 | 0 | + +### 10.3 MATH500-Serie über alle drei Profile (03.11.2026) + +`minerva_math500`, je 100 Samples, `xhigh`. Befund zur Metrik: +`exact_match` (die \boxed{}-Extraktion) liefert bei allen Profilen 0 – ein +Format-Artefakt der getrennten Reasoning-Antworten, kein Qualitätssignal. +Die gültige Metrik ist `math_verify` (verifiziert den mathematischen +Gehalt der Antwort): + +| Kennzahl | Swift 1.0 Q6_K | Swift 1.5 Q6_K | Unsloth UD-Q6_K | +| --- | ---: | ---: | ---: | +| Score (math_verify) | **0,32** | 0,27 | 0,28 | +| Score (exact_match, Artefakt) | 0,0 | 0,0 | 0,0 | +| Gesamt-Token Summe | **13.671** | 13.779 | 14.524 | +| Gesamt-Token Median je Aufgabe | 144 | 146 | 170 | +| Cap-Treffer | 0 | 0 | 0 | + +**Interpretation der Benchmarkserie (AIME, IFEval, MATH500):** + +- **Swift 1.0 gewinnt IFEval und MATH500**, Swift 1.5 gewinnt AIME. + Das Bild ist damit bewusst differenziert zu halten: Swift 1.5 ist der + bessere Denker auf harten mehrschrittigen Aufgaben (AIME +9 Punkte + auf 1.0), während Swift 1.0 bei Instruction-Following (IFEval +6 + Punkte) und mathematischer Verifikation (MATH500 +5 Punkte) vorn + liegt. Unsloth liegt auf allen drei Benchmarks hinten. +- Die Herstellerzusage einer breiten Thinking-Ersparnis reproduziert + sich nicht: auf IFEval verbraucht Swift 1.0 sogar ~7 % weniger + Tokens als 1.5 bei besserem Score; auf MATH500 sind beide praktisch + gleichauf (Differenz 0,8 %). +- Für die Profilentscheidung fehlen jetzt noch der Tool-Use-Benchmark + (BFCL, Abschnitt 5.1) und die eigene Praxisaufgabensuite + (Abschnitt 5.3). AIME allein hätte Swift 1.5 präferiert; IFEval und + MATH500 sprechen für Swift 1.0 – BFCL entscheidet möglicherweise. + +Methodikvermerke: Die Score-Extraktion des eigenen +`eval-efficiency`-Skripts muss je Task-Schema korrigiert werden +(Samples führen IFEval- und MATH-Metriken unter anderen Schlüsseln als +AIME; die aggregate Werte aus `results.json` sind autoritativ und +wurden hier verwendet). Die Journal-Fenster enthalten je MATH-Lauf +einen Grenzüberlappungs-Request (n=101, eine Doppelzählung um bis zu +~150 Tokens – für die Summenstatistik vernachlässigbar). + +Rohdaten: `results/{swift,swift-1.5,unsloth}-*2026-11-03-*.json` je +Benchmark auf dem Host inklusive `efficiency-summary.json`.