Merge pull request 'llama.cpp v1.0.0: Image-Pin auf server-rocm-v1.0.0-b12359-b1b770d (GNAI-010 0.20)' (#18) from m6/llama-v1.0.0-b12359 into main
Reviewed-on: #18
This commit was merged in pull request #18.
This commit is contained in:
@@ -43,6 +43,7 @@
|
||||
| 2026-11-09 | 0.20 | Mistral Vibe | Re-Verifikation nach Host-Neustart (09.11.2026, ~05:05 CET): Recovery-Service stellte Production automatisch wieder her (`gn_ai_active_env{env="production"}=1`, Engine `gnai-production-llama-swift15` aktiv). Befund: `gnai-ai-backup.service` lief beim Boot mit Exit 21 (NFS-Mountpoint zu diesem Zeitpunkt noch nicht gemountet) — Timer (Persistent) und Service haben keine Mount-Abhängigkeit; offen: `RequiresMountsFor=/var/lib/ghostnet-pipeline` in der `ai_backup`-Rolle (Abschnitt 14.6) |
|
||||
| 2026-11-09 | 0.21 | Mistral Vibe | Befund aus 0.20 behoben: `ai_backup`-Service-Unit nutzt jetzt `RequiresMountsFor={{ ai_backup_nfs_mountpoint }}` (die bisherige `After=var-lib-ghostnet-pipeline.mount` passte nicht zur escapten Unit `var-lib-ghostnet\x2dpipeline.mount`). Deploy via `backup.yml` (production), verifiziert: systemd-Requires/After auf die Mount-Unit, manueller Lauf `Result=success` mit sha256-verifiziertem Archiv auf dem NFS-Share, Rollen-Zweitlauf `changed=0` (Abschnitt 14.6) |
|
||||
| 2026-11-14 | 0.22 | spektr / Mistral Vibe | Backup-Lücke geschlossen (GNAI-021 follow-up): `ai_backup_paths` um `etc/gnmon` (Dashboard-OIDC-Secret) und `var/lib/ghostnet-ai/production/openwebui-data` (OpenWebUI-Userdaten) erweitert. Die Live-`webui.db` (+`-wal`/`-shm`) wird aus dem Tar ausgeschlossen und stattdessen per SQLite-Online-Backup-API (python3 stdlib) als konsistenter Snapshot an derselben Archiv-Pfad eingefügt. Verifiziert 14.11.2026: manueller Lauf `Result=success`, Archiv `ghostnet-ai-backup-20261114-0720.tar.gz` (844 MB) enthält `etc/gnmon/dashboard-secrets.env` + `openwebui-data/webui.db` (0 wal/shm-Einträge), extrahierte DB `PRAGMA integrity_check` = ok (3 User, 4 Chats), sha256-Sidecar; Rollen-Zweitlauf `changed=0`. Restore-SOP in der Rollen-README ergänzt |
|
||||
| 2026-11-14 | 0.23 | spektr / Mistral Vibe | llama.cpp-Pin auf v1.0.0 gehoben (Release 13.11.2026): `inference_engine_image_ref` und `rocm_probe_image` auf `sha256:4bbbd2e3…` (Tag `server-rocm-v1.0.0-b12359-b1b770d`, Build `b12359`, Revision `b1b770d90…`, OCI-Label-Version `v1.0.0-b12359-b1b770d`); Flag-Abgleich gegen b12359 `llama-server --help` bestanden (nur `--defrag-thold` entfernt, ungenutzt). Details und verworfene neue Optionen (FP8-KV, MoE-Cache, api-key) in GNAI-010 0.20/3.1. Rollout auf 10.0.0.90 steht noch aus (Pull + expliziter Unit-Restart, da die Rolle aktive Units nicht neu startet) |
|
||||
|
||||
---
|
||||
|
||||
@@ -960,9 +961,11 @@ Danach wurde `verify-rocm-container.yml` mit der eigenständigen Rolle
|
||||
Host-Gerätenachweis und arbeitet anschließend ausschließlich im rootless
|
||||
Podman-Store von `gnai-testing`. Es verwendet das offizielle
|
||||
`llama.cpp`-ROCm-Image als unveränderliches amd64-Manifest
|
||||
`sha256:b429b8be10d3d0353a09c98f4ab840fe516f779858a28f9fd4e5bdf10bc63cb4`
|
||||
und prüft dessen OCI-Labels auf Build `b11058` und Revision
|
||||
`f072b103714dfa1eee531f80b24512faf38e3dd2`.
|
||||
`sha256:4bbbd2e33deb54330fd23edde3a2cdf12b05ce4415139c7e8639a9aebbacdcf2`
|
||||
und prüft dessen OCI-Labels auf Revision `b1b770d90d94cad9e9ea5b993bdbc383a522fb28`
|
||||
und Version `v1.0.0-b12359-b1b770d` (Pin aktualisiert 14.11.2026 auf den v1.0.0-
|
||||
Release-Tag, Build `b12359`; vorheriger Pin `sha256:b429b8be…`, Build `b11058`,
|
||||
Revision `f072b103…`).
|
||||
|
||||
Die ephemeren Probecontainer erhielten nur `/dev/kfd`, die beiden zuvor
|
||||
ermittelten Render-Nodes und `keep-groups`; ein
|
||||
|
||||
@@ -2,7 +2,7 @@
|
||||
|
||||
**Dokumenten-ID:** GNAI-010-TECH
|
||||
**Titel:** `llama.cpp`-Serving mit ROCm und rootless Podman
|
||||
**Stand:** 2026-11-05
|
||||
**Stand:** 2026-11-14
|
||||
**Status:** Sollkonfiguration umgesetzt und in Testing abgenommen (Abschnitt 10.5–10.10); Production-Lauf über `ai_environment_switch` (GNAI-008 14.6)
|
||||
**Referenzen:** [Modellbewertung](GNAI-009-PLAN_Llama-Model-Evaluation.md), [Ansible-Deployment](GNAI-008-PLAN_Ansible-Deployment.md), [Zielarchitektur](GNAI-004-INFRA_Architecture.md), [Ansible-Anleitung](../../../../llm-server/host/ansible/README.md)
|
||||
|
||||
@@ -37,6 +37,7 @@
|
||||
| 2026-11-04 | 0.17 | spektr / Mistral Vibe | Deckel-Einflussmessung ergänzt (Abschnitt 10.10): Bei offenem Deckel 89 °C Junction im Slot 03:00.0 nach 6,75 Min statt 86–88 °C nach 5,5 Min geschlossen – Deckel liefert nur ~1–1,5 Min Verzögerung. Hypothese gehäuseweite Luftführungs-Revision verworfen; Engpass ist das Karten-Sandwich lokal. Konfigurative Hebel (PWM-Anhebung, Tensor-Split, Power Cap) als nächster Testschritt nach GNMON-001-Anschluss festgehalten. |
|
||||
| 2026-11-05 | 0.18 | spektr / Mistral Vibe | PWM-Durchgriffstest ergänzt (Abschnitt 10.10): manueller Lüfter-PWM 255 auf der Karte im Slot 03:00.0 ergibt 3.149 RPM und ein stabiles Junction-Plateau von 76 °C (Peaks 80 °C) bei unverändertem Durchsatz (18,04 t/s) – Vorläufe brachen bei 86–93 °C ab. Werkkurve als Engpass identifiziert; Benchmarks unter Override thermisch wieder zulässig, eigenes Lüfterkurven-Service als Dauerlösung festgelegt, M5-Monitoring als live verifiziert dokumentiert. Override nach Test auf Auto zurückgesetzt. |
|
||||
| 2026-11-05 | 0.19 | spektr / Mistral Vibe | Dauerlösung deployt (Abschnitt 10.10): Rolle `gpu_fan_control` im Host-Projekt installiert den Systemdienst `gnai-gpu-fan-control` (PCI-stabile Adressierung beider Karten, Junction-Kurve 50/58/66/72/76 °C → 0/80/140/200/255 PWM, 5s-Zyklus, fallende Hysterese, EXIT-Failsafe auf Werksteuerung, Re-Assert des manuellen Modus je Zyklus). Preview/Deploy/Idempotenz bestanden, Kurzlasttest regelt 67–72 °C; BFCL-Restserie läuft wieder unter Lüfterschutz. |
|
||||
| 2026-11-14 | 0.20 | spektr / Mistral Vibe | Image-Pin auf llama.cpp **v1.0.0** (Release 13.11.2026) gehoben: Tag `server-rocm-v1.0.0-b12359-b1b770d`, Index-Digest `sha256:4bbbd2e3…`, Build `b12359`, Revision `b1b770d90…` (Abschnitt 3.1). Upstream-Wechsel auf Semver: vX.Y.Z-Tags, aufgelöst über `nightly-tag.txt`; bewegliches `server-rocm` zeigt aktuell auf denselben Digest. Kompatibilitätsprüfung gegen `llama-server --help` von b12359 (Image lokal gepullt): alle 26 `Exec=`-Flags des Quadlets existieren; einzige entfernte Option `-dt/--defrag-thold` (#30565) wird nicht verwendet. Server-Härtung in 1.0 (#32113/#32115/#32098) betrifft uns nicht: kein server-seitiges `--tools`/MCP (Non-Loopback-Refusal greift nicht), keine privaten Media-URLs (keine Vision), OpenWebUI ist Non-Browser-Client. Neu verfügbare Optionen bewertet: `-ctk/-ctv f8_e4m3` (FP8-KV, auf gfx1030 emuliert — Benchmark vor Adoption, Default bleibt q8_0), `--moe-cache-cpu-share` (nur MoE, Profil ist dense), `--sleep-idle-seconds` (kontraproduktiv bei 128k), `--api-key` (optional, Port ohnehin netz-isoliert), `--allow-unauthenticated-tools`/`--media-allow-private-urls` (bleiben aus). libllama-soname .so.1/36 entfernte C-Symbole betreffen nur native Bindings — wir sind HTTP-only. Nach dem Rollout nennt die API `system_fingerprint: b12359-b1b770d90`. |
|
||||
|
||||
---
|
||||
|
||||
@@ -80,12 +81,12 @@ nicht nachgewiesen.
|
||||
|
||||
| Feld | Wert |
|
||||
| --- | --- |
|
||||
| Upstream | `ghcr.io/ggml-org/llama.cpp:server-rocm` |
|
||||
| verwendete Referenz | `ghcr.io/ggml-org/llama.cpp@sha256:b429b8be10d3d0353a09c98f4ab840fe516f779858a28f9fd4e5bdf10bc63cb4` |
|
||||
| Architektur | amd64 |
|
||||
| Build | `b11058` |
|
||||
| Revision | `f072b103714dfa1eee531f80b24512faf38e3dd2` |
|
||||
| Status | ROCm-Geräteerkennung unter `gnai-testing` bestanden |
|
||||
| Upstream | `ghcr.io/ggml-org/llama.cpp:server-rocm-v1.0.0-b12359-b1b770d` (moving tag `server-rocm` zeigt seit 13.11.2026 auf denselben Digest) |
|
||||
| verwendete Referenz | `ghcr.io/ggml-org/llama.cpp@sha256:4bbbd2e33deb54330fd23edde3a2cdf12b05ce4415139c7e8639a9aebbacdcf2` |
|
||||
| Architektur | amd64 (Manifest `sha256:abb28972…`) |
|
||||
| Build | `b12359` (v1.0.0, Release-Tag 13.11.2026, aufgelöst über `nightly-tag.txt`) |
|
||||
| Revision | `b1b770d90d94cad9e9ea5b993bdbc383a522fb28` (OCI-Label `version=v1.0.0-b12359-b1b770d`) |
|
||||
| Status | ROCm-Geräteerkennung unter `gnai-testing` bestanden (b11058); Flag-Abgleich aller Quadlet-`Exec=`-Optionen gegen `llama-server --help` von b12359 am 14.11.2026 bestanden — einzige Entfernung `--defrag-thold` wird nicht genutzt; ENTRYPOINT `/app/llama-server` unverändert. Vorheriger Pin b11058/`f072b103…`/`sha256:b429b8be…`: bis 14.11.2026 produktiv |
|
||||
|
||||
Der Dienst verwendet ausschließlich den Digest. Ein bewegliches Tag darf in
|
||||
Testing zur Recherche aufgelöst, aber nicht in ein freigegebenes Profil
|
||||
@@ -978,6 +979,7 @@ Konsequenzen und Folgeaktionen:
|
||||
- [Swift-GGUF-Prüfsummen](https://huggingface.co/ukisai/Swift-Qwen3.8-27B-GGUF/blob/main/SHA256SUMS)
|
||||
- [Unsloth Qwen3.8-27B-GGUF – Modellkarte](https://huggingface.co/unsloth/Qwen3.8-27B-GGUF)
|
||||
- [Unsloth UD-Q6_K – Datei und SHA-256](https://huggingface.co/unsloth/Qwen3.8-27B-GGUF/blob/4ca720788d1e01f1bff70c033e0d0028fd02e502/Qwen3.8-27B-UD-Q6_K.gguf)
|
||||
- [llama.cpp Server-Parameter und Router-Modus des gepinnten Builds](https://github.com/ggml-org/llama.cpp/blob/f072b103714dfa1eee531f80b24512faf38e3dd2/tools/server/README.md)
|
||||
- [llama.cpp Server-Parameter und Router-Modus des gepinnten Builds](https://github.com/ggml-org/llama.cpp/blob/b1b770d90d94cad9e9ea5b993bdbc383a522fb28/tools/server/README.md)
|
||||
- [llama.cpp Release v1.0.0 (13.11.2026) und Semver-Policy](https://github.com/ggml-org/llama.cpp/releases/tag/v1.0.0)
|
||||
- [Podman Quadlet](https://docs.podman.io/en/latest/markdown/podman-systemd.unit.5.html)
|
||||
- [systemd-Unit-Abhängigkeiten](https://manpages.debian.org/trixie/systemd/systemd.unit.5.en.html)
|
||||
|
||||
@@ -204,11 +204,15 @@ The dedicated verification playbook uses `gnai-testing` and an immutable amd64
|
||||
manifest of the official `llama.cpp` ROCm image:
|
||||
|
||||
```text
|
||||
version: b11058
|
||||
revision: f072b103714dfa1eee531f80b24512faf38e3dd2
|
||||
digest: sha256:b429b8be10d3d0353a09c98f4ab840fe516f779858a28f9fd4e5bdf10bc63cb4
|
||||
version: v1.0.0-b12359-b1b770d # OCI label; release tag v1.0.0 (2026-11-13), build b12359
|
||||
revision: b1b770d90d94cad9e9ea5b993bdbc383a522fb28
|
||||
digest: sha256:4bbbd2e33deb54330fd23edde3a2cdf12b05ce4415139c7e8639a9aebbacdcf2
|
||||
```
|
||||
|
||||
Updated 2026-11-14 from the previous pin `b11058` / `f072b103…` /
|
||||
`sha256:b429b8be…` to the v1.0.0 stable tag (`server-rocm-v1.0.0-b12359-b1b770d`,
|
||||
amd64 manifest `sha256:abb28972…`).
|
||||
|
||||
It passes `/dev/kfd` and both discovered render nodes with
|
||||
`--group-add=keep-groups`. `rocminfo` must report exactly two `gfx1030` agents,
|
||||
and `llama-server --list-devices` must expose exactly two ROCm devices. No
|
||||
|
||||
@@ -4,9 +4,11 @@ rocm_probe_account:
|
||||
uid: 981
|
||||
home: /var/lib/ghostnet-ai/testing
|
||||
|
||||
# 2026-11-14: pin moved to the v1.0.0 stable tag (build b12359, commit
|
||||
# b1b770d90); OCI label version of that image is v1.0.0-b12359-b1b770d.
|
||||
rocm_probe_image: >-
|
||||
ghcr.io/ggml-org/llama.cpp@sha256:b429b8be10d3d0353a09c98f4ab840fe516f779858a28f9fd4e5bdf10bc63cb4
|
||||
rocm_probe_expected_image_revision: f072b103714dfa1eee531f80b24512faf38e3dd2
|
||||
rocm_probe_expected_image_version: b11058
|
||||
ghcr.io/ggml-org/llama.cpp@sha256:4bbbd2e33deb54330fd23edde3a2cdf12b05ce4415139c7e8639a9aebbacdcf2
|
||||
rocm_probe_expected_image_revision: b1b770d90d94cad9e9ea5b993bdbc383a522fb28
|
||||
rocm_probe_expected_image_version: v1.0.0-b12359-b1b770d
|
||||
rocm_probe_expected_architecture: gfx1030
|
||||
rocm_probe_expected_device_count: 2
|
||||
|
||||
@@ -4,10 +4,16 @@
|
||||
# Experimental candidate and is intentionally not modelled here yet.
|
||||
#
|
||||
# Container image: immutable digest, never a moving tag (GNAI-010 section 3.1).
|
||||
inference_engine_image: ghcr.io/ggml-org/llama.cpp:server-rocm
|
||||
inference_engine_image_ref: ghcr.io/ggml-org/llama.cpp@sha256:b429b8be10d3d0353a09c98f4ab840fe516f779858a28f9fd4e5bdf10bc63cb4
|
||||
inference_engine_image_build: "b11058"
|
||||
inference_engine_image_revision: f072b103714dfa1eee531f80b24512faf38e3dd2
|
||||
# 2026-11-14: pin moved to the v1.0.0 stable tag (released 2026-11-13), resolved
|
||||
# via the release asset nightly-tag.txt to build b12359; the moving tag
|
||||
# `server-rocm` already points at the same digest. All Exec flags of the quadlet
|
||||
# were verified against `llama-server --help` of b12359 — the only removed flag
|
||||
# is --defrag-thold (unused here). OCI labels: version v1.0.0-b12359-b1b770d,
|
||||
# revision b1b770d90d94cad9e9ea5b993bdbc383a522fb28.
|
||||
inference_engine_image: ghcr.io/ggml-org/llama.cpp:server-rocm-v1.0.0-b12359-b1b770d
|
||||
inference_engine_image_ref: ghcr.io/ggml-org/llama.cpp@sha256:4bbbd2e33deb54330fd23edde3a2cdf12b05ce4415139c7e8639a9aebbacdcf2
|
||||
inference_engine_image_build: "b12359"
|
||||
inference_engine_image_revision: b1b770d90d94cad9e9ea5b993bdbc383a522fb28
|
||||
|
||||
# Environment identity (overridden per inventory, GNAI-008 section 7.4).
|
||||
inference_engine_user: gnai-testing
|
||||
|
||||
Reference in New Issue
Block a user