diff --git a/docs/platform/llm-server/ai/GNAI-010-TECH_Llama-Serving.md b/docs/platform/llm-server/ai/GNAI-010-TECH_Llama-Serving.md index 12095ca..8b01b22 100644 --- a/docs/platform/llm-server/ai/GNAI-010-TECH_Llama-Serving.md +++ b/docs/platform/llm-server/ai/GNAI-010-TECH_Llama-Serving.md @@ -574,6 +574,29 @@ fachliche A/B-Serie aus GNAI-009. - der Rückwechsel auf das vorherige Profil funktioniert ohne erneuten Modelldownload. +### 10.5 Belegter Ausführungsstand der 64k-Grundabnahme (31.10.2026) + +Die technische Grundabnahme nach 10.1/10.2 wurde am 31.10.2026 für das +Swift-Profil in der Testing-Umgebung gefahren und bestanden. Ergebnis je +Prüfpunkt: + +| Prüfpunkt (10.1/10.2) | Ergebnis | +| --- | --- | +| Artefakte | Swift Q6_K SHA-256 `7f4de8…` verifiziert; jede API-Antwort nennt `system_fingerprint: b11058-f072b1037` (gepinnter Build) | +| Quadlet-Generator, generierte Unit | Dry-Run ohne Fehler; kein `PublishPort` in der generierten Unit (0 Treffer) | +| Unit- und Containerstabilität | `gnai-testing-llama-swift.service` seit 18:28 Uhr `active`, mehrere Requests über ~40 Minuten ohne Neustart | +| Modellformat, Kontext | Startlog: `n_slots = 1`, `n_ctx_slot = 65536`; Chat-Template erkannt (`--jinja`, Reasoning-Preserving aktiv) | +| GPU-Offload | `rocm-smi`: card0 12,7 GiB / card1 13,1 GiB von je 16 GiB belegt (≈ Gewichte 21,3 GiB + Q8-KV bei 64k ≈ 2 GiB + Puffer) – kein CPU-Offload-Indikator. Hinweis: detaillierte `load_tensors`-Verteilzeilen druckt dieser Build bei Verbose 3 nicht; die 1:1-Gewichtung ist für die formale Abnahme über die Reserven zu bestätigen oder Verbose anzuheben. | +| Health und Modelle | `/health` 200 OK (`{"status":"ok"}`), `/v1/models` mit Alias `swift-qwen3.8-27b-q6k` | +| Thinking-Request | `finish_reason: stop`; getrennte Felder `reasoning_content` (Reasoning) und `content` („Der Oktober hat 31 Tage.") | +| Tool-Call | `finish_reason: tool_calls`; gültiger Call `get_weather` mit Argument `{"city":"Berlin"}` und Call-ID | +| Messwerte 64k | Prefill ~101 t/s, Decode ~18 t/s (Einzelmessung, Thinking-Request); MTP aus (blk.64-Tensoren werden korrekt nicht geladen) | + +Nicht Teil dieses Durchgangs: die 128k-Abnahme nach 10.3 (Prefill-Leiter, +Stabilitätsstunde), die Wiederanlauf- und Profilwechseltests nach 10.4 sowie +die Wiederholung für das Unsloth-Profil. Der API-Key-Hinweis des Servers +(no API key) ist für das interne Testing-Netz bewusst akzeptiert (Abschnitt 8). + ## 11. Noch nicht festgelegte Werte - genaue Health-Implementierung im gepinnten Containerimage;