From f1dcc8f6a91324bd5736f38d933a9e970941da0d Mon Sep 17 00:00:00 2001 From: spektr Date: Tue, 3 Nov 2026 06:02:49 +0100 Subject: [PATCH] GNAI-009 v0.8: GPQA durch BFCL ersetzt (Betreiberentscheidung 03.11.2026) GPQA Diamond ist im Frontier-Bereich gesattigt (>90% bei allen Anbietern) und fuer die A/B-Trennung lokal nicht mehr trennscharf. Ersatz: Berkeley Function Calling Leaderboard (bfcl-eval 2026.3.23) als etablierter Tool-Use-Benchmark - mechanische Bewertung (AST, ausfuehrbare Calls, Irrelevance-Detection), direkt gegen die OpenAI-kompatible Engine-API lauffaehig (REMOTE_OPENAI_BASE_URL). Agentic-Benchmarks (tau2-bench, Terminal-Bench) bleiben der Experimental-Stufe vorbehalten. Generated by Mistral Vibe. Co-Authored-By: Mistral Vibe --- .../llm-server/ai/GNAI-009-PLAN_Llama-Model-Evaluation.md | 8 +++++++- 1 file changed, 7 insertions(+), 1 deletion(-) diff --git a/docs/platform/llm-server/ai/GNAI-009-PLAN_Llama-Model-Evaluation.md b/docs/platform/llm-server/ai/GNAI-009-PLAN_Llama-Model-Evaluation.md index 598994c..007768d 100644 --- a/docs/platform/llm-server/ai/GNAI-009-PLAN_Llama-Model-Evaluation.md +++ b/docs/platform/llm-server/ai/GNAI-009-PLAN_Llama-Model-Evaluation.md @@ -25,6 +25,7 @@ | 2026-11-01 | 0.5 | spektr / Mistral Vibe | Swift 1.5 nach Freigabe als dritter Kandidat aufgenommen (Abschnitt 3.4, Offenpunkt aus 2.6/8 damit erledigt): Q6_K gepinnt mit Revision und SHA-256. Benchmark-Design erweitert: etablierte Benchmarks über lm-evaluation-harness gegen die interne Engine-API (AIME, GPQA Diamond, MATH-500, IFEval) plus Thinking-Effizienzkennzahl Score je Median-Reasoning-Token, ergänzt um die eigene Aufgabensuite und die manuelle Rubrik; Testmatrix um S-Reihe und drei AB-Kombinationen erweitert. | | 2026-11-02 | 0.6 | spektr / Mistral Vibe | AB3-Serie (AIME24, beide xhigh, je 30 Aufgaben) durchgeführt und als datierter Ausführungsstand dokumentiert (Abschnitt 10): Swift 1.5 punktet mit 0,767 gegen 0,667 bei praktisch identischem Token-Aufwand je Aufgabe – die Herstellerzusage (58,5 % weniger Thinking-Tokens) reproduziert sich auf AIME nicht, konsistent mit der bekannten AIME-Schwachstelle der Swift-Familie und der BF16/vLLM-Vergleichsbasis. Methodikbefund: Gesamt-Token je Request exakt aus dem Engine-Journal (`predicted_n`), da lm-eval nur `message.content` speichert; künftig sauber über Usage-Logging-Proxy. | | 2026-11-02 | 0.7 | spektr / Mistral Vibe | Unsloth-Referenzlauf (AIME24, xhigh, 30 Aufgaben) abgeschlossen und in Abschnitt 10 aufgenommen: Score 0,500 bei höchstem Token-Aufwand – Swift 1.5 gewinnt das Dreierduell auf AIME mit bestem Score und niedrigster Token-Summe. Ablaufnotiz: ein transienter SSH-Abbruch zur Laufzeit tötete nur die lokale Ansible-Sitzung; der serverseitige lm-eval-Lauf lief vollständig durch (30/30 Samples), nur die Ergebnisabholung musste manuell nachgeholt werden. | +| 2026-11-03 | 0.8 | spektr / Mistral Vibe | Betreiberentscheidung: GPQA Diamond ersetzt (Abschnitt 5.1) – der Benchmark ist im Frontier-Bereich gesättigt (>90 % bei allen Anbietern) und für die A/B-Trennung lokal nicht mehr trennscharf. Ersatz: Berkeley Function Calling Leaderboard (BFCL, `bfcl-eval` 2026.3.23) als etablierter Tool-Use-Benchmark mit mechanischer Bewertung (AST, ausführbare Calls, Irrelevance-Detection), direkt gegen die OpenAI-kompatible Engine-API lauffähig. Agentic-Benchmarks (τ2-bench, Terminal-Bench) bleiben der späteren Stufe mit der Experimental-Umgebung vorbehalten. | --- @@ -284,10 +285,15 @@ der gepinnten Benchmark-Datensätze. Kein Engine-Host-Port wird dafür geöffnet | Benchmark | Umfang (lokal) | Messung | Warum | | --- | --- | ---: | --- | | AIME 2024/2025 | 30 Aufgaben | exact match | harte Reasoning-Aufgaben, offenkundige Thinking-Nutzung | -| GPQA Diamond | Subset ~60 | Mehrfachwahl | wissenschaftliches Mehrschritt-Reasoning | +| Berkeley Function Calling Leaderboard (BFCL) | `bfcl-eval` 2026.3.23, Kategorien u. a. simple/multiple/irrelevance | AST, ausführbare Calls, Irrelevance-Detection | etablierter Tool-Use-Benchmark (Betreiberentscheidung 03.11.2026, ersetzt GPQA Diamond: im Frontier-Bereich gesättigt und für die A/B-Trennung nicht mehr trennscharf); Irrelevance-Detection prüft, ob das Modell unpassende Anfragen NICHT mit Tool-Calls beantwortet – direkt relevant für den agentischen Betrieb | | MATH-500 | Subset ~100 | exact match | mathematische Kernkompetenz (Swift-Karte meldet hier Einsparung) | | IFEval | Subset ~100 | Anweisungsbefolgung | Prompt-Treue für Tool-/Agentenbetrieb | +Agentic-Benchmarks mit User-Simulation oder Sandbox (τ2-bench, Terminal-Bench) +bleiben der späteren Stufe mit der Experimental-Umgebung vorbehalten; sie +benötigen zweite LLM-Rollen als Simulator beziehungsweise Ausführungsumgebung +und wären hier vor der Produktentscheidung nicht trennscharf. + ### 5.2 Thinking-Effizienz (Kernkennzahl für den Swift-Vorteil) Zentrale Kennzahl ist die etablierte Effizienzmetrik