From 8480d53349821186a5101c57d01bdfdd4a45cf5f Mon Sep 17 00:00:00 2001 From: spektr Date: Sat, 14 Nov 2026 15:04:14 +0100 Subject: [PATCH] llama.cpp v1.0.0: Image-Pin auf server-rocm-v1.0.0-b12359-b1b770d heben (GNAI-010 0.20) MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - inference_engine + rocm_container_probe: Digest sha256:4bbbd2e3... (amd64-Manifest sha256:abb28972...), Build b12359, Revision b1b770d90..., OCI-Version v1.0.0-b12359-b1b770d. v1.0.0 (Release 13.11.2026) loest ueber nightly-tag.txt auf b12359 auf; moving tag server-rocm zeigt auf denselben Digest. Semver-Policy upstream ab v1.0.0 — passt zur Digest-Pinning-Konvention. - Kompatibilitaet gegen b12359 llama-server --help geprueft (Image lokal gepullt): alle 26 Exec=-Flags des Quadlets existieren; einzige entfernte Option --defrag-thold (#30565) wird nicht verwendet. ENTRYPOINT /app/llama-server unveraendert. Server-Haertung #32113/#32115/#32098 greift nicht (kein server-seitiges --tools/MCP, keine privaten Media-URLs, OpenWebUI ist Non-Browser-Client). libllama.so.1/36 entfernte Symbole betreffen nur native Bindings — wir sind HTTP-only. - Neue Optionen bewertet (GNAI-010 0.20): FP8-KV f8_e4m3 (auf gfx1030 emuliert, Benchmark vor Adoption, Default q8_0), --moe-cache-cpu-share (nur MoE), --sleep-idle-seconds (kontraproduktiv), --api-key (optional), die Opt-out-Flags --allow-unauthenticated-tools/--media-allow-private-urls bleiben aus. - Doku: GNAI-010 v0.20 + Abschnitt 3.1, GNAI-008 v0.23 + Probe-Abschnitt, Host-README Pin-Block (alter Pin als historisch markiert). - Quadlet Exec bleibt unveraendert. Rollout auf 10.0.0.90 steht noch aus. Generated by Mistral Vibe. Co-Authored-By: Mistral Vibe --- .../ai/GNAI-008-PLAN_Ansible-Deployment.md | 9 ++++++--- .../ai/GNAI-010-TECH_Llama-Serving.md | 18 ++++++++++-------- llm-server/host/ansible/README.md | 10 +++++++--- .../rocm_container_probe/defaults/main.yml | 8 +++++--- .../roles/inference_engine/defaults/main.yml | 14 ++++++++++---- 5 files changed, 38 insertions(+), 21 deletions(-) diff --git a/docs/platform/llm-server/ai/GNAI-008-PLAN_Ansible-Deployment.md b/docs/platform/llm-server/ai/GNAI-008-PLAN_Ansible-Deployment.md index 1928b81..68da6fd 100644 --- a/docs/platform/llm-server/ai/GNAI-008-PLAN_Ansible-Deployment.md +++ b/docs/platform/llm-server/ai/GNAI-008-PLAN_Ansible-Deployment.md @@ -43,6 +43,7 @@ | 2026-11-09 | 0.20 | Mistral Vibe | Re-Verifikation nach Host-Neustart (09.11.2026, ~05:05 CET): Recovery-Service stellte Production automatisch wieder her (`gn_ai_active_env{env="production"}=1`, Engine `gnai-production-llama-swift15` aktiv). Befund: `gnai-ai-backup.service` lief beim Boot mit Exit 21 (NFS-Mountpoint zu diesem Zeitpunkt noch nicht gemountet) — Timer (Persistent) und Service haben keine Mount-Abhängigkeit; offen: `RequiresMountsFor=/var/lib/ghostnet-pipeline` in der `ai_backup`-Rolle (Abschnitt 14.6) | | 2026-11-09 | 0.21 | Mistral Vibe | Befund aus 0.20 behoben: `ai_backup`-Service-Unit nutzt jetzt `RequiresMountsFor={{ ai_backup_nfs_mountpoint }}` (die bisherige `After=var-lib-ghostnet-pipeline.mount` passte nicht zur escapten Unit `var-lib-ghostnet\x2dpipeline.mount`). Deploy via `backup.yml` (production), verifiziert: systemd-Requires/After auf die Mount-Unit, manueller Lauf `Result=success` mit sha256-verifiziertem Archiv auf dem NFS-Share, Rollen-Zweitlauf `changed=0` (Abschnitt 14.6) | | 2026-11-14 | 0.22 | spektr / Mistral Vibe | Backup-Lücke geschlossen (GNAI-021 follow-up): `ai_backup_paths` um `etc/gnmon` (Dashboard-OIDC-Secret) und `var/lib/ghostnet-ai/production/openwebui-data` (OpenWebUI-Userdaten) erweitert. Die Live-`webui.db` (+`-wal`/`-shm`) wird aus dem Tar ausgeschlossen und stattdessen per SQLite-Online-Backup-API (python3 stdlib) als konsistenter Snapshot an derselben Archiv-Pfad eingefügt. Verifiziert 14.11.2026: manueller Lauf `Result=success`, Archiv `ghostnet-ai-backup-20261114-0720.tar.gz` (844 MB) enthält `etc/gnmon/dashboard-secrets.env` + `openwebui-data/webui.db` (0 wal/shm-Einträge), extrahierte DB `PRAGMA integrity_check` = ok (3 User, 4 Chats), sha256-Sidecar; Rollen-Zweitlauf `changed=0`. Restore-SOP in der Rollen-README ergänzt | +| 2026-11-14 | 0.23 | spektr / Mistral Vibe | llama.cpp-Pin auf v1.0.0 gehoben (Release 13.11.2026): `inference_engine_image_ref` und `rocm_probe_image` auf `sha256:4bbbd2e3…` (Tag `server-rocm-v1.0.0-b12359-b1b770d`, Build `b12359`, Revision `b1b770d90…`, OCI-Label-Version `v1.0.0-b12359-b1b770d`); Flag-Abgleich gegen b12359 `llama-server --help` bestanden (nur `--defrag-thold` entfernt, ungenutzt). Details und verworfene neue Optionen (FP8-KV, MoE-Cache, api-key) in GNAI-010 0.20/3.1. Rollout auf 10.0.0.90 steht noch aus (Pull + expliziter Unit-Restart, da die Rolle aktive Units nicht neu startet) | --- @@ -960,9 +961,11 @@ Danach wurde `verify-rocm-container.yml` mit der eigenständigen Rolle Host-Gerätenachweis und arbeitet anschließend ausschließlich im rootless Podman-Store von `gnai-testing`. Es verwendet das offizielle `llama.cpp`-ROCm-Image als unveränderliches amd64-Manifest -`sha256:b429b8be10d3d0353a09c98f4ab840fe516f779858a28f9fd4e5bdf10bc63cb4` -und prüft dessen OCI-Labels auf Build `b11058` und Revision -`f072b103714dfa1eee531f80b24512faf38e3dd2`. +`sha256:4bbbd2e33deb54330fd23edde3a2cdf12b05ce4415139c7e8639a9aebbacdcf2` +und prüft dessen OCI-Labels auf Revision `b1b770d90d94cad9e9ea5b993bdbc383a522fb28` +und Version `v1.0.0-b12359-b1b770d` (Pin aktualisiert 14.11.2026 auf den v1.0.0- +Release-Tag, Build `b12359`; vorheriger Pin `sha256:b429b8be…`, Build `b11058`, +Revision `f072b103…`). Die ephemeren Probecontainer erhielten nur `/dev/kfd`, die beiden zuvor ermittelten Render-Nodes und `keep-groups`; ein diff --git a/docs/platform/llm-server/ai/GNAI-010-TECH_Llama-Serving.md b/docs/platform/llm-server/ai/GNAI-010-TECH_Llama-Serving.md index 6cbee44..f226099 100644 --- a/docs/platform/llm-server/ai/GNAI-010-TECH_Llama-Serving.md +++ b/docs/platform/llm-server/ai/GNAI-010-TECH_Llama-Serving.md @@ -2,7 +2,7 @@ **Dokumenten-ID:** GNAI-010-TECH **Titel:** `llama.cpp`-Serving mit ROCm und rootless Podman -**Stand:** 2026-11-05 +**Stand:** 2026-11-14 **Status:** Sollkonfiguration umgesetzt und in Testing abgenommen (Abschnitt 10.5–10.10); Production-Lauf über `ai_environment_switch` (GNAI-008 14.6) **Referenzen:** [Modellbewertung](GNAI-009-PLAN_Llama-Model-Evaluation.md), [Ansible-Deployment](GNAI-008-PLAN_Ansible-Deployment.md), [Zielarchitektur](GNAI-004-INFRA_Architecture.md), [Ansible-Anleitung](../../../../llm-server/host/ansible/README.md) @@ -37,6 +37,7 @@ | 2026-11-04 | 0.17 | spektr / Mistral Vibe | Deckel-Einflussmessung ergänzt (Abschnitt 10.10): Bei offenem Deckel 89 °C Junction im Slot 03:00.0 nach 6,75 Min statt 86–88 °C nach 5,5 Min geschlossen – Deckel liefert nur ~1–1,5 Min Verzögerung. Hypothese gehäuseweite Luftführungs-Revision verworfen; Engpass ist das Karten-Sandwich lokal. Konfigurative Hebel (PWM-Anhebung, Tensor-Split, Power Cap) als nächster Testschritt nach GNMON-001-Anschluss festgehalten. | | 2026-11-05 | 0.18 | spektr / Mistral Vibe | PWM-Durchgriffstest ergänzt (Abschnitt 10.10): manueller Lüfter-PWM 255 auf der Karte im Slot 03:00.0 ergibt 3.149 RPM und ein stabiles Junction-Plateau von 76 °C (Peaks 80 °C) bei unverändertem Durchsatz (18,04 t/s) – Vorläufe brachen bei 86–93 °C ab. Werkkurve als Engpass identifiziert; Benchmarks unter Override thermisch wieder zulässig, eigenes Lüfterkurven-Service als Dauerlösung festgelegt, M5-Monitoring als live verifiziert dokumentiert. Override nach Test auf Auto zurückgesetzt. | | 2026-11-05 | 0.19 | spektr / Mistral Vibe | Dauerlösung deployt (Abschnitt 10.10): Rolle `gpu_fan_control` im Host-Projekt installiert den Systemdienst `gnai-gpu-fan-control` (PCI-stabile Adressierung beider Karten, Junction-Kurve 50/58/66/72/76 °C → 0/80/140/200/255 PWM, 5s-Zyklus, fallende Hysterese, EXIT-Failsafe auf Werksteuerung, Re-Assert des manuellen Modus je Zyklus). Preview/Deploy/Idempotenz bestanden, Kurzlasttest regelt 67–72 °C; BFCL-Restserie läuft wieder unter Lüfterschutz. | +| 2026-11-14 | 0.20 | spektr / Mistral Vibe | Image-Pin auf llama.cpp **v1.0.0** (Release 13.11.2026) gehoben: Tag `server-rocm-v1.0.0-b12359-b1b770d`, Index-Digest `sha256:4bbbd2e3…`, Build `b12359`, Revision `b1b770d90…` (Abschnitt 3.1). Upstream-Wechsel auf Semver: vX.Y.Z-Tags, aufgelöst über `nightly-tag.txt`; bewegliches `server-rocm` zeigt aktuell auf denselben Digest. Kompatibilitätsprüfung gegen `llama-server --help` von b12359 (Image lokal gepullt): alle 26 `Exec=`-Flags des Quadlets existieren; einzige entfernte Option `-dt/--defrag-thold` (#30565) wird nicht verwendet. Server-Härtung in 1.0 (#32113/#32115/#32098) betrifft uns nicht: kein server-seitiges `--tools`/MCP (Non-Loopback-Refusal greift nicht), keine privaten Media-URLs (keine Vision), OpenWebUI ist Non-Browser-Client. Neu verfügbare Optionen bewertet: `-ctk/-ctv f8_e4m3` (FP8-KV, auf gfx1030 emuliert — Benchmark vor Adoption, Default bleibt q8_0), `--moe-cache-cpu-share` (nur MoE, Profil ist dense), `--sleep-idle-seconds` (kontraproduktiv bei 128k), `--api-key` (optional, Port ohnehin netz-isoliert), `--allow-unauthenticated-tools`/`--media-allow-private-urls` (bleiben aus). libllama-soname .so.1/36 entfernte C-Symbole betreffen nur native Bindings — wir sind HTTP-only. Nach dem Rollout nennt die API `system_fingerprint: b12359-b1b770d90`. | --- @@ -80,12 +81,12 @@ nicht nachgewiesen. | Feld | Wert | | --- | --- | -| Upstream | `ghcr.io/ggml-org/llama.cpp:server-rocm` | -| verwendete Referenz | `ghcr.io/ggml-org/llama.cpp@sha256:b429b8be10d3d0353a09c98f4ab840fe516f779858a28f9fd4e5bdf10bc63cb4` | -| Architektur | amd64 | -| Build | `b11058` | -| Revision | `f072b103714dfa1eee531f80b24512faf38e3dd2` | -| Status | ROCm-Geräteerkennung unter `gnai-testing` bestanden | +| Upstream | `ghcr.io/ggml-org/llama.cpp:server-rocm-v1.0.0-b12359-b1b770d` (moving tag `server-rocm` zeigt seit 13.11.2026 auf denselben Digest) | +| verwendete Referenz | `ghcr.io/ggml-org/llama.cpp@sha256:4bbbd2e33deb54330fd23edde3a2cdf12b05ce4415139c7e8639a9aebbacdcf2` | +| Architektur | amd64 (Manifest `sha256:abb28972…`) | +| Build | `b12359` (v1.0.0, Release-Tag 13.11.2026, aufgelöst über `nightly-tag.txt`) | +| Revision | `b1b770d90d94cad9e9ea5b993bdbc383a522fb28` (OCI-Label `version=v1.0.0-b12359-b1b770d`) | +| Status | ROCm-Geräteerkennung unter `gnai-testing` bestanden (b11058); Flag-Abgleich aller Quadlet-`Exec=`-Optionen gegen `llama-server --help` von b12359 am 14.11.2026 bestanden — einzige Entfernung `--defrag-thold` wird nicht genutzt; ENTRYPOINT `/app/llama-server` unverändert. Vorheriger Pin b11058/`f072b103…`/`sha256:b429b8be…`: bis 14.11.2026 produktiv | Der Dienst verwendet ausschließlich den Digest. Ein bewegliches Tag darf in Testing zur Recherche aufgelöst, aber nicht in ein freigegebenes Profil @@ -978,6 +979,7 @@ Konsequenzen und Folgeaktionen: - [Swift-GGUF-Prüfsummen](https://huggingface.co/ukisai/Swift-Qwen3.8-27B-GGUF/blob/main/SHA256SUMS) - [Unsloth Qwen3.8-27B-GGUF – Modellkarte](https://huggingface.co/unsloth/Qwen3.8-27B-GGUF) - [Unsloth UD-Q6_K – Datei und SHA-256](https://huggingface.co/unsloth/Qwen3.8-27B-GGUF/blob/4ca720788d1e01f1bff70c033e0d0028fd02e502/Qwen3.8-27B-UD-Q6_K.gguf) -- [llama.cpp Server-Parameter und Router-Modus des gepinnten Builds](https://github.com/ggml-org/llama.cpp/blob/f072b103714dfa1eee531f80b24512faf38e3dd2/tools/server/README.md) +- [llama.cpp Server-Parameter und Router-Modus des gepinnten Builds](https://github.com/ggml-org/llama.cpp/blob/b1b770d90d94cad9e9ea5b993bdbc383a522fb28/tools/server/README.md) +- [llama.cpp Release v1.0.0 (13.11.2026) und Semver-Policy](https://github.com/ggml-org/llama.cpp/releases/tag/v1.0.0) - [Podman Quadlet](https://docs.podman.io/en/latest/markdown/podman-systemd.unit.5.html) - [systemd-Unit-Abhängigkeiten](https://manpages.debian.org/trixie/systemd/systemd.unit.5.en.html) diff --git a/llm-server/host/ansible/README.md b/llm-server/host/ansible/README.md index 5555417..a6e9bbb 100644 --- a/llm-server/host/ansible/README.md +++ b/llm-server/host/ansible/README.md @@ -204,11 +204,15 @@ The dedicated verification playbook uses `gnai-testing` and an immutable amd64 manifest of the official `llama.cpp` ROCm image: ```text -version: b11058 -revision: f072b103714dfa1eee531f80b24512faf38e3dd2 -digest: sha256:b429b8be10d3d0353a09c98f4ab840fe516f779858a28f9fd4e5bdf10bc63cb4 +version: v1.0.0-b12359-b1b770d # OCI label; release tag v1.0.0 (2026-11-13), build b12359 +revision: b1b770d90d94cad9e9ea5b993bdbc383a522fb28 +digest: sha256:4bbbd2e33deb54330fd23edde3a2cdf12b05ce4415139c7e8639a9aebbacdcf2 ``` +Updated 2026-11-14 from the previous pin `b11058` / `f072b103…` / +`sha256:b429b8be…` to the v1.0.0 stable tag (`server-rocm-v1.0.0-b12359-b1b770d`, +amd64 manifest `sha256:abb28972…`). + It passes `/dev/kfd` and both discovered render nodes with `--group-add=keep-groups`. `rocminfo` must report exactly two `gfx1030` agents, and `llama-server --list-devices` must expose exactly two ROCm devices. No diff --git a/llm-server/host/ansible/roles/rocm_container_probe/defaults/main.yml b/llm-server/host/ansible/roles/rocm_container_probe/defaults/main.yml index e3c18d5..c7bc8bb 100644 --- a/llm-server/host/ansible/roles/rocm_container_probe/defaults/main.yml +++ b/llm-server/host/ansible/roles/rocm_container_probe/defaults/main.yml @@ -4,9 +4,11 @@ rocm_probe_account: uid: 981 home: /var/lib/ghostnet-ai/testing +# 2026-11-14: pin moved to the v1.0.0 stable tag (build b12359, commit +# b1b770d90); OCI label version of that image is v1.0.0-b12359-b1b770d. rocm_probe_image: >- - ghcr.io/ggml-org/llama.cpp@sha256:b429b8be10d3d0353a09c98f4ab840fe516f779858a28f9fd4e5bdf10bc63cb4 -rocm_probe_expected_image_revision: f072b103714dfa1eee531f80b24512faf38e3dd2 -rocm_probe_expected_image_version: b11058 + ghcr.io/ggml-org/llama.cpp@sha256:4bbbd2e33deb54330fd23edde3a2cdf12b05ce4415139c7e8639a9aebbacdcf2 +rocm_probe_expected_image_revision: b1b770d90d94cad9e9ea5b993bdbc383a522fb28 +rocm_probe_expected_image_version: v1.0.0-b12359-b1b770d rocm_probe_expected_architecture: gfx1030 rocm_probe_expected_device_count: 2 diff --git a/llm-server/llm/ansible/roles/inference_engine/defaults/main.yml b/llm-server/llm/ansible/roles/inference_engine/defaults/main.yml index c5bdbc0..759cf7c 100644 --- a/llm-server/llm/ansible/roles/inference_engine/defaults/main.yml +++ b/llm-server/llm/ansible/roles/inference_engine/defaults/main.yml @@ -4,10 +4,16 @@ # Experimental candidate and is intentionally not modelled here yet. # # Container image: immutable digest, never a moving tag (GNAI-010 section 3.1). -inference_engine_image: ghcr.io/ggml-org/llama.cpp:server-rocm -inference_engine_image_ref: ghcr.io/ggml-org/llama.cpp@sha256:b429b8be10d3d0353a09c98f4ab840fe516f779858a28f9fd4e5bdf10bc63cb4 -inference_engine_image_build: "b11058" -inference_engine_image_revision: f072b103714dfa1eee531f80b24512faf38e3dd2 +# 2026-11-14: pin moved to the v1.0.0 stable tag (released 2026-11-13), resolved +# via the release asset nightly-tag.txt to build b12359; the moving tag +# `server-rocm` already points at the same digest. All Exec flags of the quadlet +# were verified against `llama-server --help` of b12359 — the only removed flag +# is --defrag-thold (unused here). OCI labels: version v1.0.0-b12359-b1b770d, +# revision b1b770d90d94cad9e9ea5b993bdbc383a522fb28. +inference_engine_image: ghcr.io/ggml-org/llama.cpp:server-rocm-v1.0.0-b12359-b1b770d +inference_engine_image_ref: ghcr.io/ggml-org/llama.cpp@sha256:4bbbd2e33deb54330fd23edde3a2cdf12b05ce4415139c7e8639a9aebbacdcf2 +inference_engine_image_build: "b12359" +inference_engine_image_revision: b1b770d90d94cad9e9ea5b993bdbc383a522fb28 # Environment identity (overridden per inventory, GNAI-008 section 7.4). inference_engine_user: gnai-testing