ghostnet.ai/infrastructure
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

GNAI-010 v0.8: 64k-Grundabnahme Swift bestanden (Abschnitt 10.5)

Browse Source 
Technische Abnahme nach 10.1/10.2 am 31.10.2026 in Testing gefahren und
bestanden: SHA-256 und System-Fingerprint des gepinnten Builds, kein
PublishPort, Unit stabil, n_ctx_slot=65536, GPU-Offload über beide Karten
(12,7/13,1 GiB von je 16 GiB, kein CPU-Offload), Health 200 OK, korrekter
Alias, Thinking-Request mit getrenntem Reasoning und finaler Antwort,
syntaktisch gültiger Tool-Call (get_weather/Berlin). Offen: 128k-Abnahme
(10.3), Wiederanlauf-/Profilwechseltests (10.4), Unsloth-Wiederholung.
Hinweis dokumentiert: load_tensors-Verteilzeilen bei Verbose 3 nicht
gedruckt.

Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
This commit is contained in:
spektr
2026-11-01 17:32:17 +01:00
parent 060901d104
commit 3548615b2a
1 changed files with 23 additions and 0 deletions
Download Patch File Download Diff File Expand all files Collapse all files
docs/platform/llm-server/ai/GNAI-010-TECH_Llama-Serving.md
+23
View File
@@ -574,6 +574,29 @@ fachliche A/B-Serie aus GNAI-009.
- der Rückwechsel auf das vorherige Profil funktioniert ohne erneuten
Modelldownload.
### 10.5 Belegter Ausführungsstand der 64k-Grundabnahme (31.10.2026)
Die technische Grundabnahme nach 10.1/10.2 wurde am 31.10.2026 für das
Swift-Profil in der Testing-Umgebung gefahren und bestanden. Ergebnis je
Prüfpunkt:
| Prüfpunkt (10.1/10.2) | Ergebnis |
| --- | --- |
| Artefakte | Swift Q6_K SHA-256 `7f4de8…` verifiziert; jede API-Antwort nennt `system_fingerprint: b11058-f072b1037` (gepinnter Build) |
| Quadlet-Generator, generierte Unit | Dry-Run ohne Fehler; kein `PublishPort` in der generierten Unit (0 Treffer) |
| Unit- und Containerstabilität | `gnai-testing-llama-swift.service` seit 18:28 Uhr `active`, mehrere Requests über ~40 Minuten ohne Neustart |
| Modellformat, Kontext | Startlog: `n_slots = 1`, `n_ctx_slot = 65536`; Chat-Template erkannt (`--jinja`, Reasoning-Preserving aktiv) |
| GPU-Offload | `rocm-smi`: card0 12,7 GiB / card1 13,1 GiB von je 16 GiB belegt (≈ Gewichte 21,3 GiB + Q8-KV bei 64k ≈ 2 GiB + Puffer) – kein CPU-Offload-Indikator. Hinweis: detaillierte `load_tensors`-Verteilzeilen druckt dieser Build bei Verbose 3 nicht; die 1:1-Gewichtung ist für die formale Abnahme über die Reserven zu bestätigen oder Verbose anzuheben. |
| Health und Modelle | `/health` 200 OK (`{"status":"ok"}`), `/v1/models` mit Alias `swift-qwen3.8-27b-q6k` |
| Thinking-Request | `finish_reason: stop`; getrennte Felder `reasoning_content` (Reasoning) und `content` („Der Oktober hat 31 Tage.") |
| Tool-Call | `finish_reason: tool_calls`; gültiger Call `get_weather` mit Argument `{"city":"Berlin"}` und Call-ID |
| Messwerte 64k | Prefill ~101 t/s, Decode ~18 t/s (Einzelmessung, Thinking-Request); MTP aus (blk.64-Tensoren werden korrekt nicht geladen) |
Nicht Teil dieses Durchgangs: die 128k-Abnahme nach 10.3 (Prefill-Leiter,
Stabilitätsstunde), die Wiederanlauf- und Profilwechseltests nach 10.4 sowie
die Wiederholung für das Unsloth-Profil. Der API-Key-Hinweis des Servers
(no API key) ist für das interne Testing-Netz bewusst akzeptiert (Abschnitt 8).
## 11. Noch nicht festgelegte Werte
- genaue Health-Implementierung im gepinnten Containerimage;