GNMON-001 M5: Monitoring-Suite auf dem KI-Server ausgerollt (System-Scope)

Rollen auf scope user|system generalisiert, gnmon_accounts-Rolle
(gn-monitor 986), Testing-Inventory ghostnet-ki, Image-Transport per
Tag-Ref. Fixes: Textfile-Collector HELP/TYPE je Familie (Multi-GPU),
Restart-Handler je Scope, Loopback-Bindings VM/Loki (§7), scope-
agnostische Playbook-Verifikationen. Server + Workstation idempotent.

Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
This commit is contained in:
2026-11-05 06:53:56 +01:00
parent 218f57cbaa
commit 671e41c02f
32 changed files with 801 additions and 159 deletions
@@ -1,8 +1,8 @@
# Monitoring – Dokumentationsindex und Projektstand
**Dokumenten-ID:** GNMON-000-DOC
**Stand:** 2026-11-04
**Status:** Revision v2.0 (03.11.2026) übernommen; Meilenstein M1 (Metrikpfad) auf der Workstation implementiert und verifiziert
**Stand:** 2026-11-05
**Status:** Revision v2.0 (03.11.2026) übernommen; M1–M4 auf der Workstation implementiert und verifiziert; M5 Monitoringsuite auf dem KI-Server produktiv (System-Scope), Dashboard-Deployment auf dem Server offen
## Dokumente
@@ -16,8 +16,9 @@
- Revision v2.0 (03.11.2026): Blazor Server statt Flask, Zeitreihen-
(VictoriaMetrics + node_exporter mit AMD-Textfile-Skript) und Log-Stack
(Alloy + Loki) statt `state/system.json`-Schnappschuss; Konten
`gn-monitor` (983, geplant) für Datenhaltung, `gn-dashboard` (984) für
die Web-App.
`gn-monitor` für Datenhaltung (**986** — die zuvor geplante 983 war auf
dem Server an `gn-download` vergeben; vergeben 05.11.2026), `gn-dashboard`
(984) für die Web-App.
- Anlass für die zügige Umsetzung: thermischer GPU0-SW-CTF-Vorfall vom
03.11.2026 (GNAI-010 Abschnitt 10.10) – ohne laufende Sensorüberwachung
lief die Karte ~19 Minuten unbeobachtet auf die Abschaltung zu.
@@ -166,6 +167,67 @@ M3.1–M3.4 in kleinen visuell abnehmbaren Schritten umgesetzt
- Per-page Render Mode hält das Layout statisch: Layout-Spinner nur
als CSS-Animation, Komponenten-Animation nur in Seiteninhalten.
### M5: Server-Rollout ghostnet-ki (implementiert 05.11.2026, System-Scope)
Rollenübergreifender Umbau von User-Scope (Workstation) auf
scope-Variablen (`user|system`) je Rolle; produktive Änderung mit
Betreiber-Go, Ausführung als `ansible-deploy` (NOPASSWD), neue
`gnmon_accounts`-Rolle vorangestellt (Tags `accounts,never`):
`gn-monitor` UID/GID **986** mit Linger + `systemd-journal`-Gruppe,
Verifikation von `gn-dashboard` (984, vorbestehend).
- **Scope-Architektur:** Quadlets unter
`/etc/containers/systemd/users/986` (per `runuser … systemctl --user`
verwaltet; quadlet-generierte Units sind nicht `enable`-bar), Config
unter `/etc/gnmon`, Daten unter `/var/lib/gn-monitor/*`.
subuid/subgid für `gn-monitor`: **755360:65536** (nach anfänglichem
Fehlstart in 165536 bereinigt; danach `podman system migrate` nötig,
da die uid_map nur einen Eintrag hatte).
- **Image-Transport:** Docker-Hub-Pull vom Server scheitert am
Rate-Limit; Images wurden auf der Workstation per Digest-Pull
verifiziert, als tar transportiert und als `gn-monitor` geladen
(`podman load` verliert Digest-Namen → Inventory pinnt **Tag-Refs**
auf die Image-IDs: VM v1.154.1, Loki 3.6.19, AM v0.34.2, vmalert
v1.154.1).
- **Host-lokale Bindings (§7):** Alle Dienste lauschen 127.0.0.1 —
node_exporter :9100, VictoriaMetrics :8428 (`-httpListenAddr`),
Loki :3100/:9096 (`http/grpc_listen_address`), Alertmanager :9093,
vmalert :8880. Dashboard-Container (:8080) folgt; externer Zugriff
erst später über NPM (M6, mit OIDC).
- **Implementierungsbefunde (05.11.2026):**
a) Der Textfile-Collector wiederholte `# HELP`/`# TYPE` je Karte;
node_exporter verwirft bei Doppelung die **ganze Datei**
(„second HELP line"). Auf der Workstation (1 Karte) fiel es nicht
auf, auf dem Server (2+ Karten) blieben alle `gn_gpu_*`-Metriken
aus. Refactor: HELP/TYPE einmal je Metrikfamilie.
b) VM-Flag `-httpListenAddr` erwartet `host:port`, nicht nur die
Adresse (sonst: „missing port in address").
c) Alle vier Container-Rollen notifizierten nur den User-Scope-Restart-
Handler; im System-Scope kamen Config-/Quadlet-Änderungen nie zur
Laufzeit an. Notify-Liste mit beiden Handler-Namen (der falsche
Scope skipt sich selbst); VM-Handler dafür konsistent in
`(system scope)`/`(user scope)` benannt.
d) Die Playbook-Verifikationen sind nun scope-agnostisch: Log-Pfad wird
journal-basiert geprüft (`logger -t gnmon-verify`, Loki-Query
`syslog_identifier="gnmon-verify"`; Datei-Seed nur bei konfigurierten
File-Targets), SelfTest-Verify nur auf der Workstation
(`gnmon_vmalert_selftest_rule`), serverseitig AM-200-Check.
- **Verifikation (05.11.2026):** Volle Suite
(`--tags accounts,collector,metrics,logs,alerting`) grün; Zweitlauf
`changed=0, failed=0` (idempotent). `gn_gpu_up` zeigt 2 Karten
(card 0/1), Edge 30/27 °C, Junction 33/27 °C, 6 W, Lüfter 0 rpm bei
PWM 0 (Idle-erwartbar) — der RX-6900-XT-Sensorpfad aus GNAI-010 10.3
ist damit im Monitoring bestätigt; `GpuFanStalledUnderLoad` greift
erstmals bei Last. vmalert `/-/healthy` 200 ohne feuernde Alerts,
AM `/api/v2/alerts` 200 leer. Workstation-Gegenprobe nach dem
Rollenumbau ebenfalls grün und idempotent (`changed=0` — dort
fielen die Bugfixes a)/c) als Changes an und wurden neu gestartet).
- **Aufgeräumt:** Image-Tars in `/var/tmp` gelöscht; `gn-monitor`-Images
sauber (nur die vier Tag-Refs, keine Transport-Reste).
- **Bekannte Kosmetik:** GPU-Label `gpu="unknown"` auf dem Server
(`product_name` im sysfs dort nicht lesbar); möglicher Fallback über
PCI-Vendor/Device-ID bei Bedarf.
## Noch offen
1. Punkte 1–6 aus GNMON-001 v2.0 Abschnitt 9 (Metrics-Account-Identität,
@@ -175,7 +237,8 @@ M3.1–M3.4 in kleinen visuell abnehmbaren Schritten umgesetzt
keinen Schwellwert-Alarm (Motivation des Vorfalls). Vorschlag:
`vmalert`-Regeln gegen VictoriaMetrics mit Notification-Kanal; Kanal-
Auswahl (Mail/ntfy/Matrix) ist eine Betreiberentscheidung.
3. M5 Server-Rollout auf `ghostnet-ki` nach Behebung des GPU0-Kühldefekts
(GNAI-010 10.10): System-Scope-Rollen, Konten 983/984, nftables,
Abnahmekriterien aus GNMON-001 Abschnitt 10, Dashboard-Container
(Containerfile, Digest-Pin, OIDC/Keycloak, NPM-Ingress).
3. M5-Rest auf `ghostnet-ki`: Dashboard-Container (gn-dashboard 984,
Image-Transport wie VM etc., `ASPNETCORE_URLS=127.0.0.1:8080`,
Rootless-Quadlet), danach externer Zugriff über NPM + OIDC/Keycloak
(M6); nftables-Regeln aus GNMON-001 §7 (aktuell binden alle Dienste
bereits host-lokal; 8080 erst mit dem Dashboard relevant).