GNAI-009 v0.5: Swift 1.5 als dritter Kandidat + Benchmark-Design; Rollen erweitert
Betreiberbeschluss 01.11.2026: Swift 1.5 Q6_K aufgenommen (GNAI-009 3.4, Artefakt gepinnt: Revision 14bfe4b, SHA-256 cd2eb65 aus HF-Blob-Metadaten, 22,2 GiB). Testmatrix um S-Reihe und AB3/AB4 erweitert (AB3 isoliert die Thinking-Optimierung Swift 1.0 vs 1.5, AB4 ist der Praxisvergleich). Benchmark-Design ergaenzt: lm-evaluation-harness gegen die interne Engine-API (AIME, GPQA Diamond, MATH-500, IFEval) plus Kernkennzahl Score je Median-Reasoning-Token aus der getrennten reasoning_content. model_store: drittes Artefakt; inference_engine: Profil swift15 (Unit gnai-testing-llama-swift15, Alias swift-1.5-qwen3.8-27b-q6k). Generated by Mistral Vibe. Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
This commit is contained in:
@@ -2,7 +2,7 @@
|
||||
|
||||
**Dokumenten-ID:** GNAI-009-PLAN
|
||||
**Titel:** Modell- und Laufzeitbewertung für `llama.cpp`
|
||||
**Stand:** 2026-09-21
|
||||
**Stand:** 2026-11-01
|
||||
**Status:** Nicht finaler Evaluierungsplan; keine Production-Freigabe
|
||||
**Referenzen:** [Ansible-Deployment](GNAI-008-PLAN_Ansible-Deployment.md), [technische Sollkonfiguration](GNAI-010-TECH_Llama-Serving.md), [Zielarchitektur](GNAI-004-INFRA_Architecture.md)
|
||||
|
||||
@@ -22,6 +22,7 @@
|
||||
| 2026-09-21 | 0.3 | spektr / Codex | feste, gegenseitig ausgeschlossene Quadlet-Unit je Modell als Umschaltverfahren festgelegt |
|
||||
| 2026-09-21 | 0.2 | spektr / Codex | Unsloth Qwen3.8 UD-Q6_K als verbindlichen zweiten 128k-Kandidaten festgelegt und kontrollierten A/B-Test ergänzt |
|
||||
| 2026-09-21 | 0.1 | spektr / Codex | Swift-Qwen3.8, Q6_K, Reasoning, Kontext, MTP und lokales Vergleichsverfahren als ersten Evaluierungsstand aufgenommen |
|
||||
| 2026-11-01 | 0.5 | spektr / Mistral Vibe | Swift 1.5 nach Freigabe als dritter Kandidat aufgenommen (Abschnitt 3.4, Offenpunkt aus 2.6/8 damit erledigt): Q6_K gepinnt mit Revision und SHA-256. Benchmark-Design erweitert: etablierte Benchmarks über lm-evaluation-harness gegen die interne Engine-API (AIME, GPQA Diamond, MATH-500, IFEval) plus Thinking-Effizienzkennzahl Score je Median-Reasoning-Token, ergänzt um die eigene Aufgabensuite und die manuelle Rubrik; Testmatrix um S-Reihe und drei AB-Kombinationen erweitert. |
|
||||
|
||||
---
|
||||
|
||||
@@ -136,16 +137,31 @@ MTP wird erst nach einer stabilen Baseline in derselben Sitzung und mit
|
||||
identischen Aufgaben ein- und ausgeschaltet. Begonnen wird mit
|
||||
`--spec-draft-n-max 2`; `3` bleibt eine zweite Messstufe.
|
||||
|
||||
### 2.6 Swift 1.5 und Community-Quants
|
||||
### 2.6 Swift 1.5 und Community-Quants (Freigabe 01.11.2026)
|
||||
|
||||
Ankündigungen zu Swift 1.5 und kombinierten Swift-/Unsloth-Dynamic-Quants
|
||||
werden als Beobachtung festgehalten. Am 21.09.2026 wurde daraus noch kein
|
||||
freigegebenes Projektartefakt ausgewählt. Weder die Ansible-Rolle noch das
|
||||
Production-Profil warten auf eine angekündigte Version.
|
||||
Swift 1.5 wurde veröffentlicht und am 01.11.2026 durch Betreiberbeschluss
|
||||
als dritter Kandidat aufgenommen. Die
|
||||
[Modellkarte](https://huggingface.co/ukisai/Swift-1.5-Qwen3.8-27b) beschreibt
|
||||
58,5 Prozent weniger Thinking-Tokens bei 0,35 Prozent höherem Score gegen
|
||||
über dem Basismodell (1,95-facher Beschleunigung), als direktes Upgrade von
|
||||
Swift 1.0 mit besonderen Zuwächsen in Coding und agentischen Aufgaben. Die
|
||||
Karte berichtet je Benchmark Score, mittlere und mediane Token – genau die
|
||||
Methodik, die Abschnitt 5.1 für unsere Auswertung spiegelt.
|
||||
|
||||
Ein neuer Checkpoint wird als neues, unveränderliches Profil mit eigener
|
||||
Quelle, Revision, Prüfsumme und Lizenzprüfung aufgenommen. Er ersetzt niemals
|
||||
automatisch ein bereits abgenommenes Profil.
|
||||
Für unsere 32-GiB-Klasse ist das Artefakt `Swift-1.5-Qwen3.8-27B-Q6_K.gguf`
|
||||
aus dem [Standard-GGUF-Repository](https://huggingface.co/ukisai/Swift-1.5-Qwen3.8-27B-GGUF)
|
||||
maßgeblich. Das verbreitete GSQ-RCO-Repository kombiniert Swift 1.5 mit der
|
||||
ISTA-DASLab-Dynamikquantisierung (der „Unsloth-UD-artigen" Familie), enthält
|
||||
aber nur IQ2-/IQ3-Größen für kleine VRAMs sowie MTP-Varianten; es wird für
|
||||
diesen dichten 27B auf 32 GiB nicht eingesetzt und erst mit
|
||||
Strata/Flash-Next-Betrieb relevant. Ein AMD-int4-Build (`int4-AMD`) zielt auf
|
||||
AMDs eigenen Quark-Inference-Stack, nicht auf llama.cpp.
|
||||
|
||||
Prüfsummen des 1.5er-Repositories werden über die Hugging-Face-Blob-Metadaten
|
||||
bezogen (das Repo veröffentlicht keine eigene SHA256SUMS-Datei); Abschnitt 3.4
|
||||
hält den exakten Wert fest. Ein neuer Checkpoint bleibt ein neues,
|
||||
unveränderliches Profil mit eigener Quelle, Revision, Prüfsumme und
|
||||
Lizenzprüfung und ersetzt niemals automatisch ein bereits abgenommenes Profil.
|
||||
|
||||
## 3. Vorläufige Kandidaten
|
||||
|
||||
@@ -208,6 +224,27 @@ Laufzeitpuffern oder später MTP nicht stabil in 32 GiB VRAM betrieben werden
|
||||
kann. Ein Wechsel auf Q5 erfolgt nur aufgrund gemessener Speicher- oder
|
||||
Leistungsergebnisse, nicht vorsorglich.
|
||||
|
||||
### 3.4 Dritter Kandidat: Swift 1.5 Q6_K (Betreiberbeschluss 01.11.2026)
|
||||
|
||||
**Swift 1.5 Qwen3.8-27B Q6_K mit `xhigh`** wird als dritter Kandidat
|
||||
festgelegt. Das Artefakt ist verbindlich gepinnt:
|
||||
|
||||
| Feld | Wert |
|
||||
| --- | --- |
|
||||
| Repository | `ukisai/Swift-1.5-Qwen3.8-27B-GGUF` |
|
||||
| Revision | `14bfe4b42be4a925d98816db830155f476c605e7` |
|
||||
| Datei | `Swift-1.5-Qwen3.8-27B-Q6_K.gguf` |
|
||||
| veröffentlichte Größe | 23.860.565.696 Bytes (22,2 GiB) |
|
||||
| SHA-256 | `cd2eb6597026ce4eb86100e830be24f01461f84b89d4708634c2ec3d43b67fa8` |
|
||||
| API-Alias | `swift-1.5-qwen3.8-27b-q6k` |
|
||||
| Unit-Suffix | `swift15` |
|
||||
|
||||
Der Kandidat erhält dieselbe technische Abnahme (bring-up 64k, dann 128k
|
||||
sowie Profilwechsel) wie Swift 1.0 und Unsloth, bevor er in gewertete
|
||||
AB-Serien eingeht. Swift 1.0 bleibt als Referenz- und Rollback-Profil im
|
||||
Modellbestand; die hypervisorseitig unabhängige Verfügbarkeit des älteren
|
||||
Kandidaten ist Teil der Rollback-Strategie.
|
||||
|
||||
## 4. Testmatrix
|
||||
|
||||
| Stufe | Modellprofil | Kontext | MTP | Zweck |
|
||||
@@ -218,10 +255,14 @@ Leistungsergebnisse, nicht vorsorglich.
|
||||
| A3 | Swift Q6_K, text-only | 131.072 | `n-max=2` | MTP-A/B gegen A1 |
|
||||
| A4 | Swift Q6_K, text-only | 131.072 | `n-max=3` | nur nach erfolgreichem A3-Test |
|
||||
| B1 | Swift Q5_K_M, text-only | 131.072 | aus / 2 | Ressourcen- und Geschwindigkeitsvergleich |
|
||||
| S0 | Swift 1.5 Q6_K, text-only | 65.536 | aus | Bring-up des dritten Kandidaten |
|
||||
| S1 | Swift 1.5 Q6_K, text-only | 131.072 | aus | Zielprofil-Abnahme des dritten Kandidaten |
|
||||
| U0 | Unsloth UD-Q6_K, text-only, `xhigh` | 65.536 | aus | Modellformat, GPU-Offload, API und Grundstabilität |
|
||||
| U1 | Unsloth UD-Q6_K, text-only, `xhigh` | 131.072 | aus | kontrolliertes Gegenstück zu A1 |
|
||||
| AB1 | Swift Q6_K gegen Unsloth UD-Q6_K, beide `xhigh` | 131.072 | aus | A/B mit identischen Laufzeitparametern |
|
||||
| AB2 | Swift Q6_K `xhigh` gegen Unsloth UD-Q6_K `medium` | 131.072 | aus | Vergleich der vorgesehenen Praxisprofile |
|
||||
| AB3 | Swift 1.0 Q6_K gegen Swift 1.5 Q6_K, beide `xhigh` | 131.072 | aus | isolierter Nachweis der Thinking-Optimierung innerhalb der Swift-Familie |
|
||||
| AB4 | Swift 1.5 Q6_K `xhigh` gegen Unsloth UD-Q6_K `medium` | 131.072 | aus | Praxisvergleich mit dem aktuellen Swift-Stand |
|
||||
|
||||
Vision und MTP sind eigenständige Varianten. Sie werden nicht gleichzeitig
|
||||
erstmals aktiviert, weil andernfalls Speicher- und Performanceeffekte nicht
|
||||
@@ -229,6 +270,42 @@ zugeordnet werden können.
|
||||
|
||||
## 5. Aufgaben und Messwerte
|
||||
|
||||
### 5.1 Etablierte Benchmarks (Score-Grundlage, ergänzt 01.11.2026)
|
||||
|
||||
Für die Genauigkeitsgrundlage werden etablierte, lokal ausführbare Benchmarks
|
||||
über den [lm-evaluation-harness](https://github.com/EleutherAI/lm-evaluation-harness)
|
||||
gegen die OpenAI-kompatible Engine-API gefahren. Der Harness läuft als
|
||||
kurzlebiger, gepinnter Container im internen Engine-Netz; ein zusätzlicher,
|
||||
dokumentierter Egress-fähiger Netzanschluss dient ausschließlich dem Abruf
|
||||
der gepinnten Benchmark-Datensätze. Kein Engine-Host-Port wird dafür geöffnet.
|
||||
|
||||
| Benchmark | Umfang (lokal) | Messung | Warum |
|
||||
| --- | --- | ---: | --- |
|
||||
| AIME 2024/2025 | 30 Aufgaben | exact match | harte Reasoning-Aufgaben, offenkundige Thinking-Nutzung |
|
||||
| GPQA Diamond | Subset ~60 | Mehrfachwahl | wissenschaftliches Mehrschritt-Reasoning |
|
||||
| MATH-500 | Subset ~100 | exact match | mathematische Kernkompetenz (Swift-Karte meldet hier Einsparung) |
|
||||
| IFEval | Subset ~100 | Anweisungsbefolgung | Prompt-Treue für Tool-/Agentenbetrieb |
|
||||
|
||||
### 5.2 Thinking-Effizienz (Kernkennzahl für den Swift-Vorteil)
|
||||
|
||||
Zentrale Kennzahl ist die etablierte Effizienzmetrik
|
||||
**Score je Median-Reasoning-Token** (vgl. Reasoning-Token-Efficiency-Rankings
|
||||
wie den heyneo-Ansatz `accuracy / reasoning_tokens` und OckBench, das Accuracy
|
||||
und Token-Effizienz gemeinsam misst, sowie die Score-/Token-Reporting-Methodik
|
||||
der Swift-1.5-Karte selbst). Pro Benchmark und Profil werden erhoben:
|
||||
|
||||
- Score (Anteil bestandener Aufgaben);
|
||||
- Reasoning-Tokens je Aufgabe: Median, Mittelwert, Maximum – direkt aus der
|
||||
getrennten `reasoning_content`-Antwort der Engine-API messbar;
|
||||
- Latenz je Aufgabe (Time to First Token, Gesamtlaufzeit);
|
||||
- abgeleitete Effizienzkennzahl: Score ÷ Median-Reasoning-Tokens.
|
||||
|
||||
Diese Kennzahl macht Swifts Kernversprechen (gleichbleibender Score bei
|
||||
deutlich weniger Thinking-Tokens) empirisch prüfbar und ersetzt keine
|
||||
fachliche Bewertung, sondern ergänzt sie.
|
||||
|
||||
### 5.3 Eigene Aufgabensuite (Praxisnähe)
|
||||
|
||||
Die Vergleichssuite enthält 10 bis 20 repräsentative Aufgaben aus dem späteren
|
||||
Betrieb:
|
||||
|
||||
@@ -328,16 +405,24 @@ aktiviert werden.
|
||||
- Metrikerfassung für Reasoning- und Antworttoken mit der später gewählten
|
||||
API-Policy-Schicht abstimmen;
|
||||
- Aufgabenbestand und erwartete Ergebnisse der lokalen Suite versionieren; und
|
||||
- nach Veröffentlichung bewerten, ob Swift 1.5 oder eine geprüfte
|
||||
Swift-Dynamic-Quantisierung als neuer Kandidat aufgenommen wird.
|
||||
- nach Veröffentlichung bewerten, ob eine geprüfte
|
||||
Swift-Dynamic-Quantisierung (GSQ-RCO in Q6-Klasse, sobald verfügbar) als
|
||||
zusätzlicher Kandidat aufgenommen wird.
|
||||
|
||||
## 9. Quellen
|
||||
|
||||
- [Qwen3.8-27B – Modellkarte](https://huggingface.co/Qwen/Qwen3.8-27B)
|
||||
- [Swift-Qwen3.8-27B – Modellkarte und Benchmarks](https://huggingface.co/ukisai/Swift-Qwen3.8-27b)
|
||||
- [Swift-Qwen3.8-27B-GGUF – Quantisierungen, KV-Angaben und MTP](https://huggingface.co/ukisai/Swift-Qwen3.8-27B-GGUF)
|
||||
- [Swift 1.5 – Modellkarte (Score-/Token-Reporting-Methodik)](https://huggingface.co/ukisai/Swift-1.5-Qwen3.8-27b)
|
||||
- [Swift 1.5 GGUF – Q6_K-Artefakt](https://huggingface.co/ukisai/Swift-1.5-Qwen3.8-27B-GGUF)
|
||||
- [Swift 1.5 GSQ-RCO GGUF – Dynamikquants (IQ2/IQ3, MTP-Varianten)](https://huggingface.co/ukisai/Swift-1.5-Qwen3.8-27B-GSQ-RCO-GGUF)
|
||||
- [Unsloth Qwen3.8-27B-GGUF – Modellkarte und Dateien](https://huggingface.co/unsloth/Qwen3.8-27B-GGUF)
|
||||
- [Unsloth UD-Q6_K – Datei und Prüfsumme](https://huggingface.co/unsloth/Qwen3.8-27B-GGUF/blob/4ca720788d1e01f1bff70c033e0d0028fd02e502/Qwen3.8-27B-UD-Q6_K.gguf)
|
||||
- [lm-evaluation-harness – lokale Ausführung gegen OpenAI-kompatible Endpunkte](https://github.com/EleutherAI/lm-evaluation-harness)
|
||||
- [Reasoning Token Efficiency Leaderboard – Score-je-Token-Ranking (heyneo)](https://heyneo.com/blog/reasoning-token-efficiency-leaderboard)
|
||||
- [Think Deep, Not Just Long – Reasoning-Effort-Messung (arXiv 2602.13517)](https://arxiv.org/pdf/2602.13517)
|
||||
- [Terminal-Bench – agentischer Benchmark (harbor-framework)](https://github.com/harbor-framework/terminal-bench)
|
||||
- [llama.cpp Server – aktuelle Parameterreferenz](https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md)
|
||||
- [llama.cpp MTP-/ROCm-Communitybericht](https://github.com/ggml-org/llama.cpp/discussions/27950)
|
||||
|
||||
|
||||
@@ -83,6 +83,25 @@ inference_engine_profiles:
|
||||
mtp:
|
||||
enabled: false
|
||||
spec_draft_n_max: 2
|
||||
swift-1.5-qwen3.8-27b-q6k:
|
||||
unit_suffix: swift15
|
||||
description: Swift 1.5 reasoning-efficient finetune of Qwen3.8-27B (Q6_K)
|
||||
model_directory: swift-1.5-qwen3.8-27b
|
||||
model_file: Swift-1.5-Qwen3.8-27B-Q6_K.gguf
|
||||
alias: swift-1.5-qwen3.8-27b-q6k
|
||||
ctx_size: 131072
|
||||
n_predict: 32768
|
||||
parallel: 1
|
||||
reasoning_effort: xhigh
|
||||
temp: 1.0
|
||||
top_p: 0.95
|
||||
top_k: 20
|
||||
min_p: 0.0
|
||||
presence_penalty: 0.0
|
||||
repeat_penalty: 1.0
|
||||
mtp:
|
||||
enabled: false
|
||||
spec_draft_n_max: 2
|
||||
|
||||
# Derived paths (do not override).
|
||||
inference_engine_quadlet_dir: "{{ inference_engine_quadlet_user_dir }}/{{ inference_engine_uid }}"
|
||||
|
||||
@@ -34,6 +34,21 @@ model_store_artifacts:
|
||||
revision: 4ca720788d1e01f1bff70c033e0d0028fd02e502
|
||||
origin: Unsloth dynamic quant (UD) of Qwen3.8-27B, Q6_K
|
||||
license: Apache-2.0
|
||||
- profile: swift-1.5-qwen3.8-27b-q6k
|
||||
directory: swift-1.5-qwen3.8-27b
|
||||
file: Swift-1.5-Qwen3.8-27B-Q6_K.gguf
|
||||
sha256: cd2eb6597026ce4eb86100e830be24f01461f84b89d4708634c2ec3d43b67fa8
|
||||
url: https://huggingface.co/ukisai/Swift-1.5-Qwen3.8-27B-GGUF/resolve/14bfe4b42be4a925d98816db830155f476c605e7/Swift-1.5-Qwen3.8-27B-Q6_K.gguf
|
||||
repository: ukisai/Swift-1.5-Qwen3.8-27B-GGUF
|
||||
revision: 14bfe4b42be4a925d98816db830155f476c605e7
|
||||
origin: >-
|
||||
Swift 1.5 reasoning-efficient finetune of Qwen3.8-27B (UkisAI), Q6_K;
|
||||
SHA-256 from the Hugging Face blob metadata (the repository publishes
|
||||
no SHA256SUMS file). GNAI-009 section 3.4.
|
||||
license: >-
|
||||
Qwen base model Apache-2.0; Swift changes under Swift Open License 1.0
|
||||
(free personal, research, education, evaluation and commercial use up to
|
||||
the revenue limit defined in the model card).
|
||||
|
||||
model_store_vision_artifact:
|
||||
profile: swift-qwen3.8-27b-vision-mmproj
|
||||
|
||||
Reference in New Issue
Block a user