GNAI-009 v0.8: GPQA durch BFCL ersetzt (Betreiberentscheidung 03.11.2026)

GPQA Diamond ist im Frontier-Bereich gesattigt (>90% bei allen Anbietern)
und fuer die A/B-Trennung lokal nicht mehr trennscharf. Ersatz: Berkeley
Function Calling Leaderboard (bfcl-eval 2026.3.23) als etablierter
Tool-Use-Benchmark - mechanische Bewertung (AST, ausfuehrbare Calls,
Irrelevance-Detection), direkt gegen die OpenAI-kompatible Engine-API
lauffaehig (REMOTE_OPENAI_BASE_URL). Agentic-Benchmarks (tau2-bench,
Terminal-Bench) bleiben der Experimental-Stufe vorbehalten.

Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
This commit is contained in:
2026-11-03 06:02:49 +01:00
parent efb41d229b
commit f1dcc8f6a9
@@ -25,6 +25,7 @@
| 2026-11-01 | 0.5 | spektr / Mistral Vibe | Swift 1.5 nach Freigabe als dritter Kandidat aufgenommen (Abschnitt 3.4, Offenpunkt aus 2.6/8 damit erledigt): Q6_K gepinnt mit Revision und SHA-256. Benchmark-Design erweitert: etablierte Benchmarks über lm-evaluation-harness gegen die interne Engine-API (AIME, GPQA Diamond, MATH-500, IFEval) plus Thinking-Effizienzkennzahl Score je Median-Reasoning-Token, ergänzt um die eigene Aufgabensuite und die manuelle Rubrik; Testmatrix um S-Reihe und drei AB-Kombinationen erweitert. |
| 2026-11-02 | 0.6 | spektr / Mistral Vibe | AB3-Serie (AIME24, beide xhigh, je 30 Aufgaben) durchgeführt und als datierter Ausführungsstand dokumentiert (Abschnitt 10): Swift 1.5 punktet mit 0,767 gegen 0,667 bei praktisch identischem Token-Aufwand je Aufgabe – die Herstellerzusage (58,5 % weniger Thinking-Tokens) reproduziert sich auf AIME nicht, konsistent mit der bekannten AIME-Schwachstelle der Swift-Familie und der BF16/vLLM-Vergleichsbasis. Methodikbefund: Gesamt-Token je Request exakt aus dem Engine-Journal (`predicted_n`), da lm-eval nur `message.content` speichert; künftig sauber über Usage-Logging-Proxy. |
| 2026-11-02 | 0.7 | spektr / Mistral Vibe | Unsloth-Referenzlauf (AIME24, xhigh, 30 Aufgaben) abgeschlossen und in Abschnitt 10 aufgenommen: Score 0,500 bei höchstem Token-Aufwand – Swift 1.5 gewinnt das Dreierduell auf AIME mit bestem Score und niedrigster Token-Summe. Ablaufnotiz: ein transienter SSH-Abbruch zur Laufzeit tötete nur die lokale Ansible-Sitzung; der serverseitige lm-eval-Lauf lief vollständig durch (30/30 Samples), nur die Ergebnisabholung musste manuell nachgeholt werden. |
| 2026-11-03 | 0.8 | spektr / Mistral Vibe | Betreiberentscheidung: GPQA Diamond ersetzt (Abschnitt 5.1) – der Benchmark ist im Frontier-Bereich gesättigt (>90 % bei allen Anbietern) und für die A/B-Trennung lokal nicht mehr trennscharf. Ersatz: Berkeley Function Calling Leaderboard (BFCL, `bfcl-eval` 2026.3.23) als etablierter Tool-Use-Benchmark mit mechanischer Bewertung (AST, ausführbare Calls, Irrelevance-Detection), direkt gegen die OpenAI-kompatible Engine-API lauffähig. Agentic-Benchmarks (τ2-bench, Terminal-Bench) bleiben der späteren Stufe mit der Experimental-Umgebung vorbehalten. |
---
@@ -284,10 +285,15 @@ der gepinnten Benchmark-Datensätze. Kein Engine-Host-Port wird dafür geöffnet
| Benchmark | Umfang (lokal) | Messung | Warum |
| --- | --- | ---: | --- |
| AIME 2024/2025 | 30 Aufgaben | exact match | harte Reasoning-Aufgaben, offenkundige Thinking-Nutzung |
| GPQA Diamond | Subset ~60 | Mehrfachwahl | wissenschaftliches Mehrschritt-Reasoning |
| Berkeley Function Calling Leaderboard (BFCL) | `bfcl-eval` 2026.3.23, Kategorien u. a. simple/multiple/irrelevance | AST, ausführbare Calls, Irrelevance-Detection | etablierter Tool-Use-Benchmark (Betreiberentscheidung 03.11.2026, ersetzt GPQA Diamond: im Frontier-Bereich gesättigt und für die A/B-Trennung nicht mehr trennscharf); Irrelevance-Detection prüft, ob das Modell unpassende Anfragen NICHT mit Tool-Calls beantwortet – direkt relevant für den agentischen Betrieb |
| MATH-500 | Subset ~100 | exact match | mathematische Kernkompetenz (Swift-Karte meldet hier Einsparung) |
| IFEval | Subset ~100 | Anweisungsbefolgung | Prompt-Treue für Tool-/Agentenbetrieb |
Agentic-Benchmarks mit User-Simulation oder Sandbox (τ2-bench, Terminal-Bench)
bleiben der späteren Stufe mit der Experimental-Umgebung vorbehalten; sie
benötigen zweite LLM-Rollen als Simulator beziehungsweise Ausführungsumgebung
und wären hier vor der Produktentscheidung nicht trennscharf.
### 5.2 Thinking-Effizienz (Kernkennzahl für den Swift-Vorteil)
Zentrale Kennzahl ist die etablierte Effizienzmetrik