From 97f739d2628492cd4dfdc588017547e9868c1da6 Mon Sep 17 00:00:00 2001 From: spektr Date: Thu, 5 Nov 2026 18:44:29 +0100 Subject: [PATCH] GNAI-009 v0.10: BFCL-Serie abgeschlossen - M3-Entscheidungsgrundlage komplett (10.4) Swift 1.0 im FC-Modus unbrauchbar (~3.500 Thinking-Token je Request, ~21 min/Testfall, Abbruch nach 3/840, Projektion ~275 h). Swift 1.5 und Unsloth in der AST-Genauigkeit gleichauf (92,0/91,5 vs. 93,0/92,0); Swift 1.5 gewinnt die Irrelevance-Detection (82,92 vs. 78,33 %). Empfehlung: Swift 1.5 Production, Unsloth Testing, Swift 1.0 Rueckzug. Generated by Mistral Vibe. Co-Authored-By: Mistral Vibe --- .../GNAI-009-PLAN_Llama-Model-Evaluation.md | 60 +++++++++++++++++++ 1 file changed, 60 insertions(+) diff --git a/docs/platform/llm-server/ai/GNAI-009-PLAN_Llama-Model-Evaluation.md b/docs/platform/llm-server/ai/GNAI-009-PLAN_Llama-Model-Evaluation.md index 91ced8b..e1fd8f5 100644 --- a/docs/platform/llm-server/ai/GNAI-009-PLAN_Llama-Model-Evaluation.md +++ b/docs/platform/llm-server/ai/GNAI-009-PLAN_Llama-Model-Evaluation.md @@ -27,6 +27,7 @@ | 2026-11-02 | 0.7 | spektr / Mistral Vibe | Unsloth-Referenzlauf (AIME24, xhigh, 30 Aufgaben) abgeschlossen und in Abschnitt 10 aufgenommen: Score 0,500 bei höchstem Token-Aufwand – Swift 1.5 gewinnt das Dreierduell auf AIME mit bestem Score und niedrigster Token-Summe. Ablaufnotiz: ein transienter SSH-Abbruch zur Laufzeit tötete nur die lokale Ansible-Sitzung; der serverseitige lm-eval-Lauf lief vollständig durch (30/30 Samples), nur die Ergebnisabholung musste manuell nachgeholt werden. | | 2026-11-03 | 0.8 | spektr / Mistral Vibe | Betreiberentscheidung: GPQA Diamond ersetzt (Abschnitt 5.1) – der Benchmark ist im Frontier-Bereich gesättigt (>90 % bei allen Anbietern) und für die A/B-Trennung lokal nicht mehr trennscharf. Ersatz: Berkeley Function Calling Leaderboard (BFCL, `bfcl-eval` 2026.3.23) als etablierter Tool-Use-Benchmark mit mechanischer Bewertung (AST, ausführbare Calls, Irrelevance-Detection), direkt gegen die OpenAI-kompatible Engine-API lauffähig. Agentic-Benchmarks (τ2-bench, Terminal-Bench) bleiben der späteren Stufe mit der Experimental-Umgebung vorbehalten. | | 2026-11-03 | 0.9 | spektr / Mistral Vibe | IFEval- und MATH500-Serie über alle drei Profile abgeschlossen (Abschnitte 10.2/10.3): Swift 1.0 gewinnt beide (IFEval 0,76 vs. 0,70/0,63; MATH500 math_verify 0,32 vs. 0,27/0,28) – Swift 1.5 bleibt nur auf AIME vorn. Das Bild ist damit differenziert: 1.5 für harte Reasoning-/Agentenaufgaben, 1.0 für Instruction-Following und Mathematik. Methodikbefunde: minerva exact_match ist bei allen Profilen 0 (Format-Artefakt der Reasoning-Trennung), math_verify ist die gültige Metrik; die Score-Extraktion des eigenen Effizienzskripts ist je Task-Schema zu korrigieren (aggregate Scores aus results.json sind autoritativ). | +| 2026-11-05 | 0.10 | spektr / Mistral Vibe | BFCL-Serie abgeschlossen (Abschnitt 10.4): Swift 1.0 im FC-Modus nachweislich unbrauchbar (~3.500 Thinking-Token je Tool-Call-Request, ~21 min/Testfall, Abbruch nach 3/840 mit Projektion ~275 h – Teilrohdaten als Beweis erhalten). Swift 1.5 und Unsloth praktisch gleichauf in der AST-Genauigkeit (92,0/91,5 vs. 93,0/92,0), Swift 1.5 klar vorn bei der Irrelevance-Detection (82,92 vs. 78,33 %).Gesamtempfehlung: Swift 1.5 als Production-Profil, Unsloth als Testing-Vergleich, Swift 1.0 aus dem aktiven Betrieb. | --- @@ -588,4 +589,63 @@ einen Grenzüberlappungs-Request (n=101, eine Doppelzählung um bis zu ~150 Tokens – für die Summenstatistik vernachlässigbar). Rohdaten: `results/{swift,swift-1.5,unsloth}-*2026-11-03-*.json` je + +### 10.4 BFCL-Serie: Tool-Use über die Profile (05.11.2026) + +Berkeley Function Calling Leaderboard (`bfcl-eval` 2026.3.23, gepinntes +Image `gnai-bench:bfcl-2026.3.23`), Handler `gpt-4o-2024-11-20-FC` gegen +die OpenAI-kompatible Engine-API, Kategorien `simple_python,multiple, +irrelevance` (840 Testfälle, `--num-threads 1`). Alle Läufe unter dem +Lüfterkurven-Schutzdienst (GNAI-010 10.10) und mit Metrikerfassung +(GNMON-001 M5). + +Ergebnisdateien: `results/bfcl-*-scores/data_non_live.csv`. Der +„Non-Live Overall“-Wert ist bei partiellem Kategorienlauf ein Artefakt +(Nenner umfasst nicht gelaufene Kategorien) und wird nicht bewertet. + +| Kennzahl | Swift 1.0 Q6_K | Swift 1.5 Q6_K | Unsloth UD-Q6_K | +| --- | ---: | ---: | ---: | +| Python Simple AST | abgebrochen | 92,00 % | **93,00 %** | +| Multiple AST | abgebrochen | 91,50 % | **92,00 %** | +| Irrelevance Detection | abgebrochen | **82,92 %** | 78,33 % | +| Takt je Testfall (FC-Modus) | ~21 min | ~15 s | ~9–35 s (Ø ~16 s) | +| Laufzeit 840 Fälle | ~275 h (Projektion) | ~3,8 h | ~3,8 h | + +**Abbruch Swift 1.0 mit Begründung (Betreiber-Info 05.11.2026):** Im +FC-Modus denkt Swift 1.0 pro Request aus: Engine-Journal weist ~3.500 +generierte Tokens überwiegend Thinking je Tool-Call-Anfrage nach +(~3,3 min/Request bei 17,9 t/s; Fortschrittsbalken real ~21 min/Testfall bei +Mehrfach-Runden). Swift 1.5 (~270 Tokens/Request) und Unsloth (~280) +erzeugten im selben Setup kompakte Calls. Nach 3/840 Testfällen (63 +Minuten, Projektion ~275 h) wurde der Lauf abgebrochen; Teilrohdaten +bleiben als Beweis in `results/bfcl-swift-qwen3.8-27b-q6k/`. Der Abbruch +ist selbst ein Befund: für den agentischen Zielbetrieb (Tool-Nutzung +der Nutzer) ist Swift 1.0 praktisch unbrauchbar – eine Tool-Call-Runde +kostet Minuten statt Sekunden, unabhängig von der AST-Qualität. + +**Interpretation:** + +- a) Swift 1.5 und Unsloth liegen in der Tool-Call-Genauigkeit + praktisch gleichauf (93,0/92,0 vs. 92,0/91,5 – ein bzw. ein halber + Prozentpunkt, im Rauschen der Fallzahlen). Die Leistung differiert + daher nicht nennenswert. +- b) Irrelevance Detection trennt klarer: Swift 1.5 erkennt mit + 82,92 % deutlich häufiger, dass KEIN Tool-Call angebracht ist + (Unsloth 78,33 %). Für den agentischen Betrieb ein Sicherheits- und + Komfortgewinn (weniger spurious Calls). +- c) Swift 1.0 scheidet für den Agenten-Einsatz aus (FC-Latenz); + seine IFEval-/MATH500-Siege (10.2/10.3) sind für das + Production-Profil ohne Tool-Fokus relevant, das M3-Ziel ist aber + explizit agentisch. +- d) Gesamtbild über alle vier Benchmarks: **Swift 1.5 gewinnt die + M3-Entscheidungsbasis** – bestes hartes Reasoning (AIME 0,767), + beste Irrelevance-Detection, konkurrenzfähige Tool-Call-Genauigkeit + und praktikable Latenz. Unsloth bleibt als starker Zweitkandidat + (schnellste Prefill-Leiter nach GNAI-010 10.8) für Testing/ + Experimental. Swift 1.0 ist für Production disqualifiziert. + +Empfehlung an den Betreiber: Production-Profil **Swift 1.5 Q6_K**; +Unsloth als Testing-Vergleichsprofil; Swift 1.0 aus dem aktiven +Betrieb ziehen. Nutzerakzeptanzprüfung (Praxisaufgaben, Abschnitt 5.3) kann nun auf dem +Siegerprofil aufsetzen. Benchmark auf dem Host inklusive `efficiency-summary.json`.