GNAI-009 v0.5: Swift 1.5 als dritter Kandidat + Benchmark-Design; Rollen erweitert

Betreiberbeschluss 01.11.2026: Swift 1.5 Q6_K aufgenommen (GNAI-009 3.4,
Artefakt gepinnt: Revision 14bfe4b, SHA-256 cd2eb65 aus HF-Blob-Metadaten,
22,2 GiB). Testmatrix um S-Reihe und AB3/AB4 erweitert (AB3 isoliert die
Thinking-Optimierung Swift 1.0 vs 1.5, AB4 ist der Praxisvergleich).
Benchmark-Design ergaenzt: lm-evaluation-harness gegen die interne Engine-API
(AIME, GPQA Diamond, MATH-500, IFEval) plus Kernkennzahl Score je
Median-Reasoning-Token aus der getrennten reasoning_content.

model_store: drittes Artefakt; inference_engine: Profil swift15
(Unit gnai-testing-llama-swift15, Alias swift-1.5-qwen3.8-27b-q6k).

Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
This commit is contained in:
2026-11-01 17:46:47 +01:00
parent 345eb36c2b
commit bc37972a09
3 changed files with 130 additions and 11 deletions
@@ -2,7 +2,7 @@
**Dokumenten-ID:** GNAI-009-PLAN
**Titel:** Modell- und Laufzeitbewertung für `llama.cpp`
**Stand:** 2026-09-21
**Stand:** 2026-11-01
**Status:** Nicht finaler Evaluierungsplan; keine Production-Freigabe
**Referenzen:** [Ansible-Deployment](GNAI-008-PLAN_Ansible-Deployment.md), [technische Sollkonfiguration](GNAI-010-TECH_Llama-Serving.md), [Zielarchitektur](GNAI-004-INFRA_Architecture.md)
@@ -22,6 +22,7 @@
| 2026-09-21 | 0.3 | spektr / Codex | feste, gegenseitig ausgeschlossene Quadlet-Unit je Modell als Umschaltverfahren festgelegt |
| 2026-09-21 | 0.2 | spektr / Codex | Unsloth Qwen3.8 UD-Q6_K als verbindlichen zweiten 128k-Kandidaten festgelegt und kontrollierten A/B-Test ergänzt |
| 2026-09-21 | 0.1 | spektr / Codex | Swift-Qwen3.8, Q6_K, Reasoning, Kontext, MTP und lokales Vergleichsverfahren als ersten Evaluierungsstand aufgenommen |
| 2026-11-01 | 0.5 | spektr / Mistral Vibe | Swift 1.5 nach Freigabe als dritter Kandidat aufgenommen (Abschnitt 3.4, Offenpunkt aus 2.6/8 damit erledigt): Q6_K gepinnt mit Revision und SHA-256. Benchmark-Design erweitert: etablierte Benchmarks über lm-evaluation-harness gegen die interne Engine-API (AIME, GPQA Diamond, MATH-500, IFEval) plus Thinking-Effizienzkennzahl Score je Median-Reasoning-Token, ergänzt um die eigene Aufgabensuite und die manuelle Rubrik; Testmatrix um S-Reihe und drei AB-Kombinationen erweitert. |
---
@@ -136,16 +137,31 @@ MTP wird erst nach einer stabilen Baseline in derselben Sitzung und mit
identischen Aufgaben ein- und ausgeschaltet. Begonnen wird mit
`--spec-draft-n-max 2`; `3` bleibt eine zweite Messstufe.
### 2.6 Swift 1.5 und Community-Quants
### 2.6 Swift 1.5 und Community-Quants (Freigabe 01.11.2026)
Ankündigungen zu Swift 1.5 und kombinierten Swift-/Unsloth-Dynamic-Quants
werden als Beobachtung festgehalten. Am 21.09.2026 wurde daraus noch kein
freigegebenes Projektartefakt ausgewählt. Weder die Ansible-Rolle noch das
Production-Profil warten auf eine angekündigte Version.
Swift 1.5 wurde veröffentlicht und am 01.11.2026 durch Betreiberbeschluss
als dritter Kandidat aufgenommen. Die
[Modellkarte](https://huggingface.co/ukisai/Swift-1.5-Qwen3.8-27b) beschreibt
58,5 Prozent weniger Thinking-Tokens bei 0,35 Prozent höherem Score gegen
über dem Basismodell (1,95-facher Beschleunigung), als direktes Upgrade von
Swift 1.0 mit besonderen Zuwächsen in Coding und agentischen Aufgaben. Die
Karte berichtet je Benchmark Score, mittlere und mediane Token – genau die
Methodik, die Abschnitt 5.1 für unsere Auswertung spiegelt.
Ein neuer Checkpoint wird als neues, unveränderliches Profil mit eigener
Quelle, Revision, Prüfsumme und Lizenzprüfung aufgenommen. Er ersetzt niemals
automatisch ein bereits abgenommenes Profil.
Für unsere 32-GiB-Klasse ist das Artefakt `Swift-1.5-Qwen3.8-27B-Q6_K.gguf`
aus dem [Standard-GGUF-Repository](https://huggingface.co/ukisai/Swift-1.5-Qwen3.8-27B-GGUF)
maßgeblich. Das verbreitete GSQ-RCO-Repository kombiniert Swift 1.5 mit der
ISTA-DASLab-Dynamikquantisierung (der „Unsloth-UD-artigen" Familie), enthält
aber nur IQ2-/IQ3-Größen für kleine VRAMs sowie MTP-Varianten; es wird für
diesen dichten 27B auf 32 GiB nicht eingesetzt und erst mit
Strata/Flash-Next-Betrieb relevant. Ein AMD-int4-Build (`int4-AMD`) zielt auf
AMDs eigenen Quark-Inference-Stack, nicht auf llama.cpp.
Prüfsummen des 1.5er-Repositories werden über die Hugging-Face-Blob-Metadaten
bezogen (das Repo veröffentlicht keine eigene SHA256SUMS-Datei); Abschnitt 3.4
hält den exakten Wert fest. Ein neuer Checkpoint bleibt ein neues,
unveränderliches Profil mit eigener Quelle, Revision, Prüfsumme und
Lizenzprüfung und ersetzt niemals automatisch ein bereits abgenommenes Profil.
## 3. Vorläufige Kandidaten
@@ -208,6 +224,27 @@ Laufzeitpuffern oder später MTP nicht stabil in 32 GiB VRAM betrieben werden
kann. Ein Wechsel auf Q5 erfolgt nur aufgrund gemessener Speicher- oder
Leistungsergebnisse, nicht vorsorglich.
### 3.4 Dritter Kandidat: Swift 1.5 Q6_K (Betreiberbeschluss 01.11.2026)
**Swift 1.5 Qwen3.8-27B Q6_K mit `xhigh`** wird als dritter Kandidat
festgelegt. Das Artefakt ist verbindlich gepinnt:
| Feld | Wert |
| --- | --- |
| Repository | `ukisai/Swift-1.5-Qwen3.8-27B-GGUF` |
| Revision | `14bfe4b42be4a925d98816db830155f476c605e7` |
| Datei | `Swift-1.5-Qwen3.8-27B-Q6_K.gguf` |
| veröffentlichte Größe | 23.860.565.696 Bytes (22,2 GiB) |
| SHA-256 | `cd2eb6597026ce4eb86100e830be24f01461f84b89d4708634c2ec3d43b67fa8` |
| API-Alias | `swift-1.5-qwen3.8-27b-q6k` |
| Unit-Suffix | `swift15` |
Der Kandidat erhält dieselbe technische Abnahme (bring-up 64k, dann 128k
sowie Profilwechsel) wie Swift 1.0 und Unsloth, bevor er in gewertete
AB-Serien eingeht. Swift 1.0 bleibt als Referenz- und Rollback-Profil im
Modellbestand; die hypervisorseitig unabhängige Verfügbarkeit des älteren
Kandidaten ist Teil der Rollback-Strategie.
## 4. Testmatrix
| Stufe | Modellprofil | Kontext | MTP | Zweck |
@@ -218,10 +255,14 @@ Leistungsergebnisse, nicht vorsorglich.
| A3 | Swift Q6_K, text-only | 131.072 | `n-max=2` | MTP-A/B gegen A1 |
| A4 | Swift Q6_K, text-only | 131.072 | `n-max=3` | nur nach erfolgreichem A3-Test |
| B1 | Swift Q5_K_M, text-only | 131.072 | aus / 2 | Ressourcen- und Geschwindigkeitsvergleich |
| S0 | Swift 1.5 Q6_K, text-only | 65.536 | aus | Bring-up des dritten Kandidaten |
| S1 | Swift 1.5 Q6_K, text-only | 131.072 | aus | Zielprofil-Abnahme des dritten Kandidaten |
| U0 | Unsloth UD-Q6_K, text-only, `xhigh` | 65.536 | aus | Modellformat, GPU-Offload, API und Grundstabilität |
| U1 | Unsloth UD-Q6_K, text-only, `xhigh` | 131.072 | aus | kontrolliertes Gegenstück zu A1 |
| AB1 | Swift Q6_K gegen Unsloth UD-Q6_K, beide `xhigh` | 131.072 | aus | A/B mit identischen Laufzeitparametern |
| AB2 | Swift Q6_K `xhigh` gegen Unsloth UD-Q6_K `medium` | 131.072 | aus | Vergleich der vorgesehenen Praxisprofile |
| AB3 | Swift 1.0 Q6_K gegen Swift 1.5 Q6_K, beide `xhigh` | 131.072 | aus | isolierter Nachweis der Thinking-Optimierung innerhalb der Swift-Familie |
| AB4 | Swift 1.5 Q6_K `xhigh` gegen Unsloth UD-Q6_K `medium` | 131.072 | aus | Praxisvergleich mit dem aktuellen Swift-Stand |
Vision und MTP sind eigenständige Varianten. Sie werden nicht gleichzeitig
erstmals aktiviert, weil andernfalls Speicher- und Performanceeffekte nicht
@@ -229,6 +270,42 @@ zugeordnet werden können.
## 5. Aufgaben und Messwerte
### 5.1 Etablierte Benchmarks (Score-Grundlage, ergänzt 01.11.2026)
Für die Genauigkeitsgrundlage werden etablierte, lokal ausführbare Benchmarks
über den [lm-evaluation-harness](https://github.com/EleutherAI/lm-evaluation-harness)
gegen die OpenAI-kompatible Engine-API gefahren. Der Harness läuft als
kurzlebiger, gepinnter Container im internen Engine-Netz; ein zusätzlicher,
dokumentierter Egress-fähiger Netzanschluss dient ausschließlich dem Abruf
der gepinnten Benchmark-Datensätze. Kein Engine-Host-Port wird dafür geöffnet.
| Benchmark | Umfang (lokal) | Messung | Warum |
| --- | --- | ---: | --- |
| AIME 2024/2025 | 30 Aufgaben | exact match | harte Reasoning-Aufgaben, offenkundige Thinking-Nutzung |
| GPQA Diamond | Subset ~60 | Mehrfachwahl | wissenschaftliches Mehrschritt-Reasoning |
| MATH-500 | Subset ~100 | exact match | mathematische Kernkompetenz (Swift-Karte meldet hier Einsparung) |
| IFEval | Subset ~100 | Anweisungsbefolgung | Prompt-Treue für Tool-/Agentenbetrieb |
### 5.2 Thinking-Effizienz (Kernkennzahl für den Swift-Vorteil)
Zentrale Kennzahl ist die etablierte Effizienzmetrik
**Score je Median-Reasoning-Token** (vgl. Reasoning-Token-Efficiency-Rankings
wie den heyneo-Ansatz `accuracy / reasoning_tokens` und OckBench, das Accuracy
und Token-Effizienz gemeinsam misst, sowie die Score-/Token-Reporting-Methodik
der Swift-1.5-Karte selbst). Pro Benchmark und Profil werden erhoben:
- Score (Anteil bestandener Aufgaben);
- Reasoning-Tokens je Aufgabe: Median, Mittelwert, Maximum – direkt aus der
getrennten `reasoning_content`-Antwort der Engine-API messbar;
- Latenz je Aufgabe (Time to First Token, Gesamtlaufzeit);
- abgeleitete Effizienzkennzahl: Score ÷ Median-Reasoning-Tokens.
Diese Kennzahl macht Swifts Kernversprechen (gleichbleibender Score bei
deutlich weniger Thinking-Tokens) empirisch prüfbar und ersetzt keine
fachliche Bewertung, sondern ergänzt sie.
### 5.3 Eigene Aufgabensuite (Praxisnähe)
Die Vergleichssuite enthält 10 bis 20 repräsentative Aufgaben aus dem späteren
Betrieb:
@@ -328,16 +405,24 @@ aktiviert werden.
- Metrikerfassung für Reasoning- und Antworttoken mit der später gewählten
API-Policy-Schicht abstimmen;
- Aufgabenbestand und erwartete Ergebnisse der lokalen Suite versionieren; und
- nach Veröffentlichung bewerten, ob Swift 1.5 oder eine geprüfte
Swift-Dynamic-Quantisierung als neuer Kandidat aufgenommen wird.
- nach Veröffentlichung bewerten, ob eine geprüfte
Swift-Dynamic-Quantisierung (GSQ-RCO in Q6-Klasse, sobald verfügbar) als
zusätzlicher Kandidat aufgenommen wird.
## 9. Quellen
- [Qwen3.8-27B – Modellkarte](https://huggingface.co/Qwen/Qwen3.8-27B)
- [Swift-Qwen3.8-27B – Modellkarte und Benchmarks](https://huggingface.co/ukisai/Swift-Qwen3.8-27b)
- [Swift-Qwen3.8-27B-GGUF – Quantisierungen, KV-Angaben und MTP](https://huggingface.co/ukisai/Swift-Qwen3.8-27B-GGUF)
- [Swift 1.5 – Modellkarte (Score-/Token-Reporting-Methodik)](https://huggingface.co/ukisai/Swift-1.5-Qwen3.8-27b)
- [Swift 1.5 GGUF – Q6_K-Artefakt](https://huggingface.co/ukisai/Swift-1.5-Qwen3.8-27B-GGUF)
- [Swift 1.5 GSQ-RCO GGUF – Dynamikquants (IQ2/IQ3, MTP-Varianten)](https://huggingface.co/ukisai/Swift-1.5-Qwen3.8-27B-GSQ-RCO-GGUF)
- [Unsloth Qwen3.8-27B-GGUF – Modellkarte und Dateien](https://huggingface.co/unsloth/Qwen3.8-27B-GGUF)
- [Unsloth UD-Q6_K – Datei und Prüfsumme](https://huggingface.co/unsloth/Qwen3.8-27B-GGUF/blob/4ca720788d1e01f1bff70c033e0d0028fd02e502/Qwen3.8-27B-UD-Q6_K.gguf)
- [lm-evaluation-harness – lokale Ausführung gegen OpenAI-kompatible Endpunkte](https://github.com/EleutherAI/lm-evaluation-harness)
- [Reasoning Token Efficiency Leaderboard – Score-je-Token-Ranking (heyneo)](https://heyneo.com/blog/reasoning-token-efficiency-leaderboard)
- [Think Deep, Not Just Long – Reasoning-Effort-Messung (arXiv 2602.13517)](https://arxiv.org/pdf/2602.13517)
- [Terminal-Bench – agentischer Benchmark (harbor-framework)](https://github.com/harbor-framework/terminal-bench)
- [llama.cpp Server – aktuelle Parameterreferenz](https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md)
- [llama.cpp MTP-/ROCm-Communitybericht](https://github.com/ggml-org/llama.cpp/discussions/27950)