From bc37972a09c06576d2fe64a9f3d8f61c8c2cb1c6 Mon Sep 17 00:00:00 2001 From: spektr Date: Sun, 1 Nov 2026 17:46:47 +0100 Subject: [PATCH] GNAI-009 v0.5: Swift 1.5 als dritter Kandidat + Benchmark-Design; Rollen erweitert Betreiberbeschluss 01.11.2026: Swift 1.5 Q6_K aufgenommen (GNAI-009 3.4, Artefakt gepinnt: Revision 14bfe4b, SHA-256 cd2eb65 aus HF-Blob-Metadaten, 22,2 GiB). Testmatrix um S-Reihe und AB3/AB4 erweitert (AB3 isoliert die Thinking-Optimierung Swift 1.0 vs 1.5, AB4 ist der Praxisvergleich). Benchmark-Design ergaenzt: lm-evaluation-harness gegen die interne Engine-API (AIME, GPQA Diamond, MATH-500, IFEval) plus Kernkennzahl Score je Median-Reasoning-Token aus der getrennten reasoning_content. model_store: drittes Artefakt; inference_engine: Profil swift15 (Unit gnai-testing-llama-swift15, Alias swift-1.5-qwen3.8-27b-q6k). Generated by Mistral Vibe. Co-Authored-By: Mistral Vibe --- .../GNAI-009-PLAN_Llama-Model-Evaluation.md | 107 ++++++++++++++++-- .../roles/inference_engine/defaults/main.yml | 19 ++++ .../roles/model_store/defaults/main.yml | 15 +++ 3 files changed, 130 insertions(+), 11 deletions(-) diff --git a/docs/platform/llm-server/ai/GNAI-009-PLAN_Llama-Model-Evaluation.md b/docs/platform/llm-server/ai/GNAI-009-PLAN_Llama-Model-Evaluation.md index cc85f4e..0f47107 100644 --- a/docs/platform/llm-server/ai/GNAI-009-PLAN_Llama-Model-Evaluation.md +++ b/docs/platform/llm-server/ai/GNAI-009-PLAN_Llama-Model-Evaluation.md @@ -2,7 +2,7 @@ **Dokumenten-ID:** GNAI-009-PLAN **Titel:** Modell- und Laufzeitbewertung für `llama.cpp` -**Stand:** 2026-09-21 +**Stand:** 2026-11-01 **Status:** Nicht finaler Evaluierungsplan; keine Production-Freigabe **Referenzen:** [Ansible-Deployment](GNAI-008-PLAN_Ansible-Deployment.md), [technische Sollkonfiguration](GNAI-010-TECH_Llama-Serving.md), [Zielarchitektur](GNAI-004-INFRA_Architecture.md) @@ -22,6 +22,7 @@ | 2026-09-21 | 0.3 | spektr / Codex | feste, gegenseitig ausgeschlossene Quadlet-Unit je Modell als Umschaltverfahren festgelegt | | 2026-09-21 | 0.2 | spektr / Codex | Unsloth Qwen3.8 UD-Q6_K als verbindlichen zweiten 128k-Kandidaten festgelegt und kontrollierten A/B-Test ergänzt | | 2026-09-21 | 0.1 | spektr / Codex | Swift-Qwen3.8, Q6_K, Reasoning, Kontext, MTP und lokales Vergleichsverfahren als ersten Evaluierungsstand aufgenommen | +| 2026-11-01 | 0.5 | spektr / Mistral Vibe | Swift 1.5 nach Freigabe als dritter Kandidat aufgenommen (Abschnitt 3.4, Offenpunkt aus 2.6/8 damit erledigt): Q6_K gepinnt mit Revision und SHA-256. Benchmark-Design erweitert: etablierte Benchmarks über lm-evaluation-harness gegen die interne Engine-API (AIME, GPQA Diamond, MATH-500, IFEval) plus Thinking-Effizienzkennzahl Score je Median-Reasoning-Token, ergänzt um die eigene Aufgabensuite und die manuelle Rubrik; Testmatrix um S-Reihe und drei AB-Kombinationen erweitert. | --- @@ -136,16 +137,31 @@ MTP wird erst nach einer stabilen Baseline in derselben Sitzung und mit identischen Aufgaben ein- und ausgeschaltet. Begonnen wird mit `--spec-draft-n-max 2`; `3` bleibt eine zweite Messstufe. -### 2.6 Swift 1.5 und Community-Quants +### 2.6 Swift 1.5 und Community-Quants (Freigabe 01.11.2026) -Ankündigungen zu Swift 1.5 und kombinierten Swift-/Unsloth-Dynamic-Quants -werden als Beobachtung festgehalten. Am 21.09.2026 wurde daraus noch kein -freigegebenes Projektartefakt ausgewählt. Weder die Ansible-Rolle noch das -Production-Profil warten auf eine angekündigte Version. +Swift 1.5 wurde veröffentlicht und am 01.11.2026 durch Betreiberbeschluss +als dritter Kandidat aufgenommen. Die +[Modellkarte](https://huggingface.co/ukisai/Swift-1.5-Qwen3.8-27b) beschreibt +58,5 Prozent weniger Thinking-Tokens bei 0,35 Prozent höherem Score gegen +über dem Basismodell (1,95-facher Beschleunigung), als direktes Upgrade von +Swift 1.0 mit besonderen Zuwächsen in Coding und agentischen Aufgaben. Die +Karte berichtet je Benchmark Score, mittlere und mediane Token – genau die +Methodik, die Abschnitt 5.1 für unsere Auswertung spiegelt. -Ein neuer Checkpoint wird als neues, unveränderliches Profil mit eigener -Quelle, Revision, Prüfsumme und Lizenzprüfung aufgenommen. Er ersetzt niemals -automatisch ein bereits abgenommenes Profil. +Für unsere 32-GiB-Klasse ist das Artefakt `Swift-1.5-Qwen3.8-27B-Q6_K.gguf` +aus dem [Standard-GGUF-Repository](https://huggingface.co/ukisai/Swift-1.5-Qwen3.8-27B-GGUF) +maßgeblich. Das verbreitete GSQ-RCO-Repository kombiniert Swift 1.5 mit der +ISTA-DASLab-Dynamikquantisierung (der „Unsloth-UD-artigen" Familie), enthält +aber nur IQ2-/IQ3-Größen für kleine VRAMs sowie MTP-Varianten; es wird für +diesen dichten 27B auf 32 GiB nicht eingesetzt und erst mit +Strata/Flash-Next-Betrieb relevant. Ein AMD-int4-Build (`int4-AMD`) zielt auf +AMDs eigenen Quark-Inference-Stack, nicht auf llama.cpp. + +Prüfsummen des 1.5er-Repositories werden über die Hugging-Face-Blob-Metadaten +bezogen (das Repo veröffentlicht keine eigene SHA256SUMS-Datei); Abschnitt 3.4 +hält den exakten Wert fest. Ein neuer Checkpoint bleibt ein neues, +unveränderliches Profil mit eigener Quelle, Revision, Prüfsumme und +Lizenzprüfung und ersetzt niemals automatisch ein bereits abgenommenes Profil. ## 3. Vorläufige Kandidaten @@ -208,6 +224,27 @@ Laufzeitpuffern oder später MTP nicht stabil in 32 GiB VRAM betrieben werden kann. Ein Wechsel auf Q5 erfolgt nur aufgrund gemessener Speicher- oder Leistungsergebnisse, nicht vorsorglich. +### 3.4 Dritter Kandidat: Swift 1.5 Q6_K (Betreiberbeschluss 01.11.2026) + +**Swift 1.5 Qwen3.8-27B Q6_K mit `xhigh`** wird als dritter Kandidat +festgelegt. Das Artefakt ist verbindlich gepinnt: + +| Feld | Wert | +| --- | --- | +| Repository | `ukisai/Swift-1.5-Qwen3.8-27B-GGUF` | +| Revision | `14bfe4b42be4a925d98816db830155f476c605e7` | +| Datei | `Swift-1.5-Qwen3.8-27B-Q6_K.gguf` | +| veröffentlichte Größe | 23.860.565.696 Bytes (22,2 GiB) | +| SHA-256 | `cd2eb6597026ce4eb86100e830be24f01461f84b89d4708634c2ec3d43b67fa8` | +| API-Alias | `swift-1.5-qwen3.8-27b-q6k` | +| Unit-Suffix | `swift15` | + +Der Kandidat erhält dieselbe technische Abnahme (bring-up 64k, dann 128k +sowie Profilwechsel) wie Swift 1.0 und Unsloth, bevor er in gewertete +AB-Serien eingeht. Swift 1.0 bleibt als Referenz- und Rollback-Profil im +Modellbestand; die hypervisorseitig unabhängige Verfügbarkeit des älteren +Kandidaten ist Teil der Rollback-Strategie. + ## 4. Testmatrix | Stufe | Modellprofil | Kontext | MTP | Zweck | @@ -218,10 +255,14 @@ Leistungsergebnisse, nicht vorsorglich. | A3 | Swift Q6_K, text-only | 131.072 | `n-max=2` | MTP-A/B gegen A1 | | A4 | Swift Q6_K, text-only | 131.072 | `n-max=3` | nur nach erfolgreichem A3-Test | | B1 | Swift Q5_K_M, text-only | 131.072 | aus / 2 | Ressourcen- und Geschwindigkeitsvergleich | +| S0 | Swift 1.5 Q6_K, text-only | 65.536 | aus | Bring-up des dritten Kandidaten | +| S1 | Swift 1.5 Q6_K, text-only | 131.072 | aus | Zielprofil-Abnahme des dritten Kandidaten | | U0 | Unsloth UD-Q6_K, text-only, `xhigh` | 65.536 | aus | Modellformat, GPU-Offload, API und Grundstabilität | | U1 | Unsloth UD-Q6_K, text-only, `xhigh` | 131.072 | aus | kontrolliertes Gegenstück zu A1 | | AB1 | Swift Q6_K gegen Unsloth UD-Q6_K, beide `xhigh` | 131.072 | aus | A/B mit identischen Laufzeitparametern | | AB2 | Swift Q6_K `xhigh` gegen Unsloth UD-Q6_K `medium` | 131.072 | aus | Vergleich der vorgesehenen Praxisprofile | +| AB3 | Swift 1.0 Q6_K gegen Swift 1.5 Q6_K, beide `xhigh` | 131.072 | aus | isolierter Nachweis der Thinking-Optimierung innerhalb der Swift-Familie | +| AB4 | Swift 1.5 Q6_K `xhigh` gegen Unsloth UD-Q6_K `medium` | 131.072 | aus | Praxisvergleich mit dem aktuellen Swift-Stand | Vision und MTP sind eigenständige Varianten. Sie werden nicht gleichzeitig erstmals aktiviert, weil andernfalls Speicher- und Performanceeffekte nicht @@ -229,6 +270,42 @@ zugeordnet werden können. ## 5. Aufgaben und Messwerte +### 5.1 Etablierte Benchmarks (Score-Grundlage, ergänzt 01.11.2026) + +Für die Genauigkeitsgrundlage werden etablierte, lokal ausführbare Benchmarks +über den [lm-evaluation-harness](https://github.com/EleutherAI/lm-evaluation-harness) +gegen die OpenAI-kompatible Engine-API gefahren. Der Harness läuft als +kurzlebiger, gepinnter Container im internen Engine-Netz; ein zusätzlicher, +dokumentierter Egress-fähiger Netzanschluss dient ausschließlich dem Abruf +der gepinnten Benchmark-Datensätze. Kein Engine-Host-Port wird dafür geöffnet. + +| Benchmark | Umfang (lokal) | Messung | Warum | +| --- | --- | ---: | --- | +| AIME 2024/2025 | 30 Aufgaben | exact match | harte Reasoning-Aufgaben, offenkundige Thinking-Nutzung | +| GPQA Diamond | Subset ~60 | Mehrfachwahl | wissenschaftliches Mehrschritt-Reasoning | +| MATH-500 | Subset ~100 | exact match | mathematische Kernkompetenz (Swift-Karte meldet hier Einsparung) | +| IFEval | Subset ~100 | Anweisungsbefolgung | Prompt-Treue für Tool-/Agentenbetrieb | + +### 5.2 Thinking-Effizienz (Kernkennzahl für den Swift-Vorteil) + +Zentrale Kennzahl ist die etablierte Effizienzmetrik +**Score je Median-Reasoning-Token** (vgl. Reasoning-Token-Efficiency-Rankings +wie den heyneo-Ansatz `accuracy / reasoning_tokens` und OckBench, das Accuracy +und Token-Effizienz gemeinsam misst, sowie die Score-/Token-Reporting-Methodik +der Swift-1.5-Karte selbst). Pro Benchmark und Profil werden erhoben: + +- Score (Anteil bestandener Aufgaben); +- Reasoning-Tokens je Aufgabe: Median, Mittelwert, Maximum – direkt aus der + getrennten `reasoning_content`-Antwort der Engine-API messbar; +- Latenz je Aufgabe (Time to First Token, Gesamtlaufzeit); +- abgeleitete Effizienzkennzahl: Score ÷ Median-Reasoning-Tokens. + +Diese Kennzahl macht Swifts Kernversprechen (gleichbleibender Score bei +deutlich weniger Thinking-Tokens) empirisch prüfbar und ersetzt keine +fachliche Bewertung, sondern ergänzt sie. + +### 5.3 Eigene Aufgabensuite (Praxisnähe) + Die Vergleichssuite enthält 10 bis 20 repräsentative Aufgaben aus dem späteren Betrieb: @@ -328,16 +405,24 @@ aktiviert werden. - Metrikerfassung für Reasoning- und Antworttoken mit der später gewählten API-Policy-Schicht abstimmen; - Aufgabenbestand und erwartete Ergebnisse der lokalen Suite versionieren; und -- nach Veröffentlichung bewerten, ob Swift 1.5 oder eine geprüfte - Swift-Dynamic-Quantisierung als neuer Kandidat aufgenommen wird. +- nach Veröffentlichung bewerten, ob eine geprüfte + Swift-Dynamic-Quantisierung (GSQ-RCO in Q6-Klasse, sobald verfügbar) als + zusätzlicher Kandidat aufgenommen wird. ## 9. Quellen - [Qwen3.8-27B – Modellkarte](https://huggingface.co/Qwen/Qwen3.8-27B) - [Swift-Qwen3.8-27B – Modellkarte und Benchmarks](https://huggingface.co/ukisai/Swift-Qwen3.8-27b) - [Swift-Qwen3.8-27B-GGUF – Quantisierungen, KV-Angaben und MTP](https://huggingface.co/ukisai/Swift-Qwen3.8-27B-GGUF) +- [Swift 1.5 – Modellkarte (Score-/Token-Reporting-Methodik)](https://huggingface.co/ukisai/Swift-1.5-Qwen3.8-27b) +- [Swift 1.5 GGUF – Q6_K-Artefakt](https://huggingface.co/ukisai/Swift-1.5-Qwen3.8-27B-GGUF) +- [Swift 1.5 GSQ-RCO GGUF – Dynamikquants (IQ2/IQ3, MTP-Varianten)](https://huggingface.co/ukisai/Swift-1.5-Qwen3.8-27B-GSQ-RCO-GGUF) - [Unsloth Qwen3.8-27B-GGUF – Modellkarte und Dateien](https://huggingface.co/unsloth/Qwen3.8-27B-GGUF) - [Unsloth UD-Q6_K – Datei und Prüfsumme](https://huggingface.co/unsloth/Qwen3.8-27B-GGUF/blob/4ca720788d1e01f1bff70c033e0d0028fd02e502/Qwen3.8-27B-UD-Q6_K.gguf) +- [lm-evaluation-harness – lokale Ausführung gegen OpenAI-kompatible Endpunkte](https://github.com/EleutherAI/lm-evaluation-harness) +- [Reasoning Token Efficiency Leaderboard – Score-je-Token-Ranking (heyneo)](https://heyneo.com/blog/reasoning-token-efficiency-leaderboard) +- [Think Deep, Not Just Long – Reasoning-Effort-Messung (arXiv 2602.13517)](https://arxiv.org/pdf/2602.13517) +- [Terminal-Bench – agentischer Benchmark (harbor-framework)](https://github.com/harbor-framework/terminal-bench) - [llama.cpp Server – aktuelle Parameterreferenz](https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md) - [llama.cpp MTP-/ROCm-Communitybericht](https://github.com/ggml-org/llama.cpp/discussions/27950) diff --git a/llm-server/llm/ansible/roles/inference_engine/defaults/main.yml b/llm-server/llm/ansible/roles/inference_engine/defaults/main.yml index 23d7c53..c5bdbc0 100644 --- a/llm-server/llm/ansible/roles/inference_engine/defaults/main.yml +++ b/llm-server/llm/ansible/roles/inference_engine/defaults/main.yml @@ -83,6 +83,25 @@ inference_engine_profiles: mtp: enabled: false spec_draft_n_max: 2 + swift-1.5-qwen3.8-27b-q6k: + unit_suffix: swift15 + description: Swift 1.5 reasoning-efficient finetune of Qwen3.8-27B (Q6_K) + model_directory: swift-1.5-qwen3.8-27b + model_file: Swift-1.5-Qwen3.8-27B-Q6_K.gguf + alias: swift-1.5-qwen3.8-27b-q6k + ctx_size: 131072 + n_predict: 32768 + parallel: 1 + reasoning_effort: xhigh + temp: 1.0 + top_p: 0.95 + top_k: 20 + min_p: 0.0 + presence_penalty: 0.0 + repeat_penalty: 1.0 + mtp: + enabled: false + spec_draft_n_max: 2 # Derived paths (do not override). inference_engine_quadlet_dir: "{{ inference_engine_quadlet_user_dir }}/{{ inference_engine_uid }}" diff --git a/llm-server/llm/ansible/roles/model_store/defaults/main.yml b/llm-server/llm/ansible/roles/model_store/defaults/main.yml index 2c6a1ed..7bb3369 100644 --- a/llm-server/llm/ansible/roles/model_store/defaults/main.yml +++ b/llm-server/llm/ansible/roles/model_store/defaults/main.yml @@ -34,6 +34,21 @@ model_store_artifacts: revision: 4ca720788d1e01f1bff70c033e0d0028fd02e502 origin: Unsloth dynamic quant (UD) of Qwen3.8-27B, Q6_K license: Apache-2.0 + - profile: swift-1.5-qwen3.8-27b-q6k + directory: swift-1.5-qwen3.8-27b + file: Swift-1.5-Qwen3.8-27B-Q6_K.gguf + sha256: cd2eb6597026ce4eb86100e830be24f01461f84b89d4708634c2ec3d43b67fa8 + url: https://huggingface.co/ukisai/Swift-1.5-Qwen3.8-27B-GGUF/resolve/14bfe4b42be4a925d98816db830155f476c605e7/Swift-1.5-Qwen3.8-27B-Q6_K.gguf + repository: ukisai/Swift-1.5-Qwen3.8-27B-GGUF + revision: 14bfe4b42be4a925d98816db830155f476c605e7 + origin: >- + Swift 1.5 reasoning-efficient finetune of Qwen3.8-27B (UkisAI), Q6_K; + SHA-256 from the Hugging Face blob metadata (the repository publishes + no SHA256SUMS file). GNAI-009 section 3.4. + license: >- + Qwen base model Apache-2.0; Swift changes under Swift Open License 1.0 + (free personal, research, education, evaluation and commercial use up to + the revenue limit defined in the model card). model_store_vision_artifact: profile: swift-qwen3.8-27b-vision-mmproj