GNAI-009 v0.10: BFCL-Serie abgeschlossen - M3-Entscheidungsgrundlage komplett (10.4)

Swift 1.0 im FC-Modus unbrauchbar (~3.500 Thinking-Token je Request,
~21 min/Testfall, Abbruch nach 3/840, Projektion ~275 h). Swift 1.5 und
Unsloth in der AST-Genauigkeit gleichauf (92,0/91,5 vs. 93,0/92,0);
Swift 1.5 gewinnt die Irrelevance-Detection (82,92 vs. 78,33 %).
Empfehlung: Swift 1.5 Production, Unsloth Testing, Swift 1.0 Rueckzug.

Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
This commit is contained in:
2026-11-05 18:44:29 +01:00
parent ed446d4b17
commit 97f739d262
@@ -27,6 +27,7 @@
| 2026-11-02 | 0.7 | spektr / Mistral Vibe | Unsloth-Referenzlauf (AIME24, xhigh, 30 Aufgaben) abgeschlossen und in Abschnitt 10 aufgenommen: Score 0,500 bei höchstem Token-Aufwand – Swift 1.5 gewinnt das Dreierduell auf AIME mit bestem Score und niedrigster Token-Summe. Ablaufnotiz: ein transienter SSH-Abbruch zur Laufzeit tötete nur die lokale Ansible-Sitzung; der serverseitige lm-eval-Lauf lief vollständig durch (30/30 Samples), nur die Ergebnisabholung musste manuell nachgeholt werden. |
| 2026-11-03 | 0.8 | spektr / Mistral Vibe | Betreiberentscheidung: GPQA Diamond ersetzt (Abschnitt 5.1) – der Benchmark ist im Frontier-Bereich gesättigt (>90 % bei allen Anbietern) und für die A/B-Trennung lokal nicht mehr trennscharf. Ersatz: Berkeley Function Calling Leaderboard (BFCL, `bfcl-eval` 2026.3.23) als etablierter Tool-Use-Benchmark mit mechanischer Bewertung (AST, ausführbare Calls, Irrelevance-Detection), direkt gegen die OpenAI-kompatible Engine-API lauffähig. Agentic-Benchmarks (τ2-bench, Terminal-Bench) bleiben der späteren Stufe mit der Experimental-Umgebung vorbehalten. |
| 2026-11-03 | 0.9 | spektr / Mistral Vibe | IFEval- und MATH500-Serie über alle drei Profile abgeschlossen (Abschnitte 10.2/10.3): Swift 1.0 gewinnt beide (IFEval 0,76 vs. 0,70/0,63; MATH500 math_verify 0,32 vs. 0,27/0,28) – Swift 1.5 bleibt nur auf AIME vorn. Das Bild ist damit differenziert: 1.5 für harte Reasoning-/Agentenaufgaben, 1.0 für Instruction-Following und Mathematik. Methodikbefunde: minerva exact_match ist bei allen Profilen 0 (Format-Artefakt der Reasoning-Trennung), math_verify ist die gültige Metrik; die Score-Extraktion des eigenen Effizienzskripts ist je Task-Schema zu korrigieren (aggregate Scores aus results.json sind autoritativ). |
| 2026-11-05 | 0.10 | spektr / Mistral Vibe | BFCL-Serie abgeschlossen (Abschnitt 10.4): Swift 1.0 im FC-Modus nachweislich unbrauchbar (~3.500 Thinking-Token je Tool-Call-Request, ~21 min/Testfall, Abbruch nach 3/840 mit Projektion ~275 h – Teilrohdaten als Beweis erhalten). Swift 1.5 und Unsloth praktisch gleichauf in der AST-Genauigkeit (92,0/91,5 vs. 93,0/92,0), Swift 1.5 klar vorn bei der Irrelevance-Detection (82,92 vs. 78,33 %).Gesamtempfehlung: Swift 1.5 als Production-Profil, Unsloth als Testing-Vergleich, Swift 1.0 aus dem aktiven Betrieb. |
---
@@ -588,4 +589,63 @@ einen Grenzüberlappungs-Request (n=101, eine Doppelzählung um bis zu
~150 Tokens – für die Summenstatistik vernachlässigbar).
Rohdaten: `results/{swift,swift-1.5,unsloth}-*2026-11-03-*.json` je
### 10.4 BFCL-Serie: Tool-Use über die Profile (05.11.2026)
Berkeley Function Calling Leaderboard (`bfcl-eval` 2026.3.23, gepinntes
Image `gnai-bench:bfcl-2026.3.23`), Handler `gpt-4o-2024-11-20-FC` gegen
die OpenAI-kompatible Engine-API, Kategorien `simple_python,multiple,
irrelevance` (840 Testfälle, `--num-threads 1`). Alle Läufe unter dem
Lüfterkurven-Schutzdienst (GNAI-010 10.10) und mit Metrikerfassung
(GNMON-001 M5).
Ergebnisdateien: `results/bfcl-*-scores/data_non_live.csv`. Der
„Non-Live Overall“-Wert ist bei partiellem Kategorienlauf ein Artefakt
(Nenner umfasst nicht gelaufene Kategorien) und wird nicht bewertet.
| Kennzahl | Swift 1.0 Q6_K | Swift 1.5 Q6_K | Unsloth UD-Q6_K |
| --- | ---: | ---: | ---: |
| Python Simple AST | abgebrochen | 92,00 % | **93,00 %** |
| Multiple AST | abgebrochen | 91,50 % | **92,00 %** |
| Irrelevance Detection | abgebrochen | **82,92 %** | 78,33 % |
| Takt je Testfall (FC-Modus) | ~21 min | ~15 s | ~9–35 s (Ø ~16 s) |
| Laufzeit 840 Fälle | ~275 h (Projektion) | ~3,8 h | ~3,8 h |
**Abbruch Swift 1.0 mit Begründung (Betreiber-Info 05.11.2026):** Im
FC-Modus denkt Swift 1.0 pro Request aus: Engine-Journal weist ~3.500
generierte Tokens überwiegend Thinking je Tool-Call-Anfrage nach
(~3,3 min/Request bei 17,9 t/s; Fortschrittsbalken real ~21 min/Testfall bei
Mehrfach-Runden). Swift 1.5 (~270 Tokens/Request) und Unsloth (~280)
erzeugten im selben Setup kompakte Calls. Nach 3/840 Testfällen (63
Minuten, Projektion ~275 h) wurde der Lauf abgebrochen; Teilrohdaten
bleiben als Beweis in `results/bfcl-swift-qwen3.8-27b-q6k/`. Der Abbruch
ist selbst ein Befund: für den agentischen Zielbetrieb (Tool-Nutzung
der Nutzer) ist Swift 1.0 praktisch unbrauchbar – eine Tool-Call-Runde
kostet Minuten statt Sekunden, unabhängig von der AST-Qualität.
**Interpretation:**
- a) Swift 1.5 und Unsloth liegen in der Tool-Call-Genauigkeit
praktisch gleichauf (93,0/92,0 vs. 92,0/91,5 – ein bzw. ein halber
Prozentpunkt, im Rauschen der Fallzahlen). Die Leistung differiert
daher nicht nennenswert.
- b) Irrelevance Detection trennt klarer: Swift 1.5 erkennt mit
82,92 % deutlich häufiger, dass KEIN Tool-Call angebracht ist
(Unsloth 78,33 %). Für den agentischen Betrieb ein Sicherheits- und
Komfortgewinn (weniger spurious Calls).
- c) Swift 1.0 scheidet für den Agenten-Einsatz aus (FC-Latenz);
seine IFEval-/MATH500-Siege (10.2/10.3) sind für das
Production-Profil ohne Tool-Fokus relevant, das M3-Ziel ist aber
explizit agentisch.
- d) Gesamtbild über alle vier Benchmarks: **Swift 1.5 gewinnt die
M3-Entscheidungsbasis** – bestes hartes Reasoning (AIME 0,767),
beste Irrelevance-Detection, konkurrenzfähige Tool-Call-Genauigkeit
und praktikable Latenz. Unsloth bleibt als starker Zweitkandidat
(schnellste Prefill-Leiter nach GNAI-010 10.8) für Testing/
Experimental. Swift 1.0 ist für Production disqualifiziert.
Empfehlung an den Betreiber: Production-Profil **Swift 1.5 Q6_K**;
Unsloth als Testing-Vergleichsprofil; Swift 1.0 aus dem aktiven
Betrieb ziehen. Nutzerakzeptanzprüfung (Praxisaufgaben, Abschnitt 5.3) kann nun auf dem
Siegerprofil aufsetzen.
Benchmark auf dem Host inklusive `efficiency-summary.json`.