GNAI-009 v0.10: BFCL-Serie abgeschlossen - M3-Entscheidungsgrundlage komplett (10.4)
Swift 1.0 im FC-Modus unbrauchbar (~3.500 Thinking-Token je Request, ~21 min/Testfall, Abbruch nach 3/840, Projektion ~275 h). Swift 1.5 und Unsloth in der AST-Genauigkeit gleichauf (92,0/91,5 vs. 93,0/92,0); Swift 1.5 gewinnt die Irrelevance-Detection (82,92 vs. 78,33 %). Empfehlung: Swift 1.5 Production, Unsloth Testing, Swift 1.0 Rueckzug. Generated by Mistral Vibe. Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
This commit is contained in:
@@ -27,6 +27,7 @@
|
||||
| 2026-11-02 | 0.7 | spektr / Mistral Vibe | Unsloth-Referenzlauf (AIME24, xhigh, 30 Aufgaben) abgeschlossen und in Abschnitt 10 aufgenommen: Score 0,500 bei höchstem Token-Aufwand – Swift 1.5 gewinnt das Dreierduell auf AIME mit bestem Score und niedrigster Token-Summe. Ablaufnotiz: ein transienter SSH-Abbruch zur Laufzeit tötete nur die lokale Ansible-Sitzung; der serverseitige lm-eval-Lauf lief vollständig durch (30/30 Samples), nur die Ergebnisabholung musste manuell nachgeholt werden. |
|
||||
| 2026-11-03 | 0.8 | spektr / Mistral Vibe | Betreiberentscheidung: GPQA Diamond ersetzt (Abschnitt 5.1) – der Benchmark ist im Frontier-Bereich gesättigt (>90 % bei allen Anbietern) und für die A/B-Trennung lokal nicht mehr trennscharf. Ersatz: Berkeley Function Calling Leaderboard (BFCL, `bfcl-eval` 2026.3.23) als etablierter Tool-Use-Benchmark mit mechanischer Bewertung (AST, ausführbare Calls, Irrelevance-Detection), direkt gegen die OpenAI-kompatible Engine-API lauffähig. Agentic-Benchmarks (τ2-bench, Terminal-Bench) bleiben der späteren Stufe mit der Experimental-Umgebung vorbehalten. |
|
||||
| 2026-11-03 | 0.9 | spektr / Mistral Vibe | IFEval- und MATH500-Serie über alle drei Profile abgeschlossen (Abschnitte 10.2/10.3): Swift 1.0 gewinnt beide (IFEval 0,76 vs. 0,70/0,63; MATH500 math_verify 0,32 vs. 0,27/0,28) – Swift 1.5 bleibt nur auf AIME vorn. Das Bild ist damit differenziert: 1.5 für harte Reasoning-/Agentenaufgaben, 1.0 für Instruction-Following und Mathematik. Methodikbefunde: minerva exact_match ist bei allen Profilen 0 (Format-Artefakt der Reasoning-Trennung), math_verify ist die gültige Metrik; die Score-Extraktion des eigenen Effizienzskripts ist je Task-Schema zu korrigieren (aggregate Scores aus results.json sind autoritativ). |
|
||||
| 2026-11-05 | 0.10 | spektr / Mistral Vibe | BFCL-Serie abgeschlossen (Abschnitt 10.4): Swift 1.0 im FC-Modus nachweislich unbrauchbar (~3.500 Thinking-Token je Tool-Call-Request, ~21 min/Testfall, Abbruch nach 3/840 mit Projektion ~275 h – Teilrohdaten als Beweis erhalten). Swift 1.5 und Unsloth praktisch gleichauf in der AST-Genauigkeit (92,0/91,5 vs. 93,0/92,0), Swift 1.5 klar vorn bei der Irrelevance-Detection (82,92 vs. 78,33 %).Gesamtempfehlung: Swift 1.5 als Production-Profil, Unsloth als Testing-Vergleich, Swift 1.0 aus dem aktiven Betrieb. |
|
||||
|
||||
---
|
||||
|
||||
@@ -588,4 +589,63 @@ einen Grenzüberlappungs-Request (n=101, eine Doppelzählung um bis zu
|
||||
~150 Tokens – für die Summenstatistik vernachlässigbar).
|
||||
|
||||
Rohdaten: `results/{swift,swift-1.5,unsloth}-*2026-11-03-*.json` je
|
||||
|
||||
### 10.4 BFCL-Serie: Tool-Use über die Profile (05.11.2026)
|
||||
|
||||
Berkeley Function Calling Leaderboard (`bfcl-eval` 2026.3.23, gepinntes
|
||||
Image `gnai-bench:bfcl-2026.3.23`), Handler `gpt-4o-2024-11-20-FC` gegen
|
||||
die OpenAI-kompatible Engine-API, Kategorien `simple_python,multiple,
|
||||
irrelevance` (840 Testfälle, `--num-threads 1`). Alle Läufe unter dem
|
||||
Lüfterkurven-Schutzdienst (GNAI-010 10.10) und mit Metrikerfassung
|
||||
(GNMON-001 M5).
|
||||
|
||||
Ergebnisdateien: `results/bfcl-*-scores/data_non_live.csv`. Der
|
||||
„Non-Live Overall“-Wert ist bei partiellem Kategorienlauf ein Artefakt
|
||||
(Nenner umfasst nicht gelaufene Kategorien) und wird nicht bewertet.
|
||||
|
||||
| Kennzahl | Swift 1.0 Q6_K | Swift 1.5 Q6_K | Unsloth UD-Q6_K |
|
||||
| --- | ---: | ---: | ---: |
|
||||
| Python Simple AST | abgebrochen | 92,00 % | **93,00 %** |
|
||||
| Multiple AST | abgebrochen | 91,50 % | **92,00 %** |
|
||||
| Irrelevance Detection | abgebrochen | **82,92 %** | 78,33 % |
|
||||
| Takt je Testfall (FC-Modus) | ~21 min | ~15 s | ~9–35 s (Ø ~16 s) |
|
||||
| Laufzeit 840 Fälle | ~275 h (Projektion) | ~3,8 h | ~3,8 h |
|
||||
|
||||
**Abbruch Swift 1.0 mit Begründung (Betreiber-Info 05.11.2026):** Im
|
||||
FC-Modus denkt Swift 1.0 pro Request aus: Engine-Journal weist ~3.500
|
||||
generierte Tokens überwiegend Thinking je Tool-Call-Anfrage nach
|
||||
(~3,3 min/Request bei 17,9 t/s; Fortschrittsbalken real ~21 min/Testfall bei
|
||||
Mehrfach-Runden). Swift 1.5 (~270 Tokens/Request) und Unsloth (~280)
|
||||
erzeugten im selben Setup kompakte Calls. Nach 3/840 Testfällen (63
|
||||
Minuten, Projektion ~275 h) wurde der Lauf abgebrochen; Teilrohdaten
|
||||
bleiben als Beweis in `results/bfcl-swift-qwen3.8-27b-q6k/`. Der Abbruch
|
||||
ist selbst ein Befund: für den agentischen Zielbetrieb (Tool-Nutzung
|
||||
der Nutzer) ist Swift 1.0 praktisch unbrauchbar – eine Tool-Call-Runde
|
||||
kostet Minuten statt Sekunden, unabhängig von der AST-Qualität.
|
||||
|
||||
**Interpretation:**
|
||||
|
||||
- a) Swift 1.5 und Unsloth liegen in der Tool-Call-Genauigkeit
|
||||
praktisch gleichauf (93,0/92,0 vs. 92,0/91,5 – ein bzw. ein halber
|
||||
Prozentpunkt, im Rauschen der Fallzahlen). Die Leistung differiert
|
||||
daher nicht nennenswert.
|
||||
- b) Irrelevance Detection trennt klarer: Swift 1.5 erkennt mit
|
||||
82,92 % deutlich häufiger, dass KEIN Tool-Call angebracht ist
|
||||
(Unsloth 78,33 %). Für den agentischen Betrieb ein Sicherheits- und
|
||||
Komfortgewinn (weniger spurious Calls).
|
||||
- c) Swift 1.0 scheidet für den Agenten-Einsatz aus (FC-Latenz);
|
||||
seine IFEval-/MATH500-Siege (10.2/10.3) sind für das
|
||||
Production-Profil ohne Tool-Fokus relevant, das M3-Ziel ist aber
|
||||
explizit agentisch.
|
||||
- d) Gesamtbild über alle vier Benchmarks: **Swift 1.5 gewinnt die
|
||||
M3-Entscheidungsbasis** – bestes hartes Reasoning (AIME 0,767),
|
||||
beste Irrelevance-Detection, konkurrenzfähige Tool-Call-Genauigkeit
|
||||
und praktikable Latenz. Unsloth bleibt als starker Zweitkandidat
|
||||
(schnellste Prefill-Leiter nach GNAI-010 10.8) für Testing/
|
||||
Experimental. Swift 1.0 ist für Production disqualifiziert.
|
||||
|
||||
Empfehlung an den Betreiber: Production-Profil **Swift 1.5 Q6_K**;
|
||||
Unsloth als Testing-Vergleichsprofil; Swift 1.0 aus dem aktiven
|
||||
Betrieb ziehen. Nutzerakzeptanzprüfung (Praxisaufgaben, Abschnitt 5.3) kann nun auf dem
|
||||
Siegerprofil aufsetzen.
|
||||
Benchmark auf dem Host inklusive `efficiency-summary.json`.
|
||||
|
||||
Reference in New Issue
Block a user