GNMON-001 M5: Monitoring-Suite auf dem KI-Server ausgerollt (System-Scope)
Rollen auf scope user|system generalisiert, gnmon_accounts-Rolle (gn-monitor 986), Testing-Inventory ghostnet-ki, Image-Transport per Tag-Ref. Fixes: Textfile-Collector HELP/TYPE je Familie (Multi-GPU), Restart-Handler je Scope, Loopback-Bindings VM/Loki (§7), scope- agnostische Playbook-Verifikationen. Server + Workstation idempotent. Generated by Mistral Vibe. Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
This commit is contained in:
@@ -1,8 +1,8 @@
|
||||
# Monitoring – Dokumentationsindex und Projektstand
|
||||
|
||||
**Dokumenten-ID:** GNMON-000-DOC
|
||||
**Stand:** 2026-11-04
|
||||
**Status:** Revision v2.0 (03.11.2026) übernommen; Meilenstein M1 (Metrikpfad) auf der Workstation implementiert und verifiziert
|
||||
**Stand:** 2026-11-05
|
||||
**Status:** Revision v2.0 (03.11.2026) übernommen; M1–M4 auf der Workstation implementiert und verifiziert; M5 Monitoringsuite auf dem KI-Server produktiv (System-Scope), Dashboard-Deployment auf dem Server offen
|
||||
|
||||
## Dokumente
|
||||
|
||||
@@ -16,8 +16,9 @@
|
||||
- Revision v2.0 (03.11.2026): Blazor Server statt Flask, Zeitreihen-
|
||||
(VictoriaMetrics + node_exporter mit AMD-Textfile-Skript) und Log-Stack
|
||||
(Alloy + Loki) statt `state/system.json`-Schnappschuss; Konten
|
||||
`gn-monitor` (983, geplant) für Datenhaltung, `gn-dashboard` (984) für
|
||||
die Web-App.
|
||||
`gn-monitor` für Datenhaltung (**986** — die zuvor geplante 983 war auf
|
||||
dem Server an `gn-download` vergeben; vergeben 05.11.2026), `gn-dashboard`
|
||||
(984) für die Web-App.
|
||||
- Anlass für die zügige Umsetzung: thermischer GPU0-SW-CTF-Vorfall vom
|
||||
03.11.2026 (GNAI-010 Abschnitt 10.10) – ohne laufende Sensorüberwachung
|
||||
lief die Karte ~19 Minuten unbeobachtet auf die Abschaltung zu.
|
||||
@@ -166,6 +167,67 @@ M3.1–M3.4 in kleinen visuell abnehmbaren Schritten umgesetzt
|
||||
- Per-page Render Mode hält das Layout statisch: Layout-Spinner nur
|
||||
als CSS-Animation, Komponenten-Animation nur in Seiteninhalten.
|
||||
|
||||
### M5: Server-Rollout ghostnet-ki (implementiert 05.11.2026, System-Scope)
|
||||
|
||||
Rollenübergreifender Umbau von User-Scope (Workstation) auf
|
||||
scope-Variablen (`user|system`) je Rolle; produktive Änderung mit
|
||||
Betreiber-Go, Ausführung als `ansible-deploy` (NOPASSWD), neue
|
||||
`gnmon_accounts`-Rolle vorangestellt (Tags `accounts,never`):
|
||||
`gn-monitor` UID/GID **986** mit Linger + `systemd-journal`-Gruppe,
|
||||
Verifikation von `gn-dashboard` (984, vorbestehend).
|
||||
|
||||
- **Scope-Architektur:** Quadlets unter
|
||||
`/etc/containers/systemd/users/986` (per `runuser … systemctl --user`
|
||||
verwaltet; quadlet-generierte Units sind nicht `enable`-bar), Config
|
||||
unter `/etc/gnmon`, Daten unter `/var/lib/gn-monitor/*`.
|
||||
subuid/subgid für `gn-monitor`: **755360:65536** (nach anfänglichem
|
||||
Fehlstart in 165536 bereinigt; danach `podman system migrate` nötig,
|
||||
da die uid_map nur einen Eintrag hatte).
|
||||
- **Image-Transport:** Docker-Hub-Pull vom Server scheitert am
|
||||
Rate-Limit; Images wurden auf der Workstation per Digest-Pull
|
||||
verifiziert, als tar transportiert und als `gn-monitor` geladen
|
||||
(`podman load` verliert Digest-Namen → Inventory pinnt **Tag-Refs**
|
||||
auf die Image-IDs: VM v1.154.1, Loki 3.6.19, AM v0.34.2, vmalert
|
||||
v1.154.1).
|
||||
- **Host-lokale Bindings (§7):** Alle Dienste lauschen 127.0.0.1 —
|
||||
node_exporter :9100, VictoriaMetrics :8428 (`-httpListenAddr`),
|
||||
Loki :3100/:9096 (`http/grpc_listen_address`), Alertmanager :9093,
|
||||
vmalert :8880. Dashboard-Container (:8080) folgt; externer Zugriff
|
||||
erst später über NPM (M6, mit OIDC).
|
||||
- **Implementierungsbefunde (05.11.2026):**
|
||||
a) Der Textfile-Collector wiederholte `# HELP`/`# TYPE` je Karte;
|
||||
node_exporter verwirft bei Doppelung die **ganze Datei**
|
||||
(„second HELP line"). Auf der Workstation (1 Karte) fiel es nicht
|
||||
auf, auf dem Server (2+ Karten) blieben alle `gn_gpu_*`-Metriken
|
||||
aus. Refactor: HELP/TYPE einmal je Metrikfamilie.
|
||||
b) VM-Flag `-httpListenAddr` erwartet `host:port`, nicht nur die
|
||||
Adresse (sonst: „missing port in address").
|
||||
c) Alle vier Container-Rollen notifizierten nur den User-Scope-Restart-
|
||||
Handler; im System-Scope kamen Config-/Quadlet-Änderungen nie zur
|
||||
Laufzeit an. Notify-Liste mit beiden Handler-Namen (der falsche
|
||||
Scope skipt sich selbst); VM-Handler dafür konsistent in
|
||||
`(system scope)`/`(user scope)` benannt.
|
||||
d) Die Playbook-Verifikationen sind nun scope-agnostisch: Log-Pfad wird
|
||||
journal-basiert geprüft (`logger -t gnmon-verify`, Loki-Query
|
||||
`syslog_identifier="gnmon-verify"`; Datei-Seed nur bei konfigurierten
|
||||
File-Targets), SelfTest-Verify nur auf der Workstation
|
||||
(`gnmon_vmalert_selftest_rule`), serverseitig AM-200-Check.
|
||||
- **Verifikation (05.11.2026):** Volle Suite
|
||||
(`--tags accounts,collector,metrics,logs,alerting`) grün; Zweitlauf
|
||||
`changed=0, failed=0` (idempotent). `gn_gpu_up` zeigt 2 Karten
|
||||
(card 0/1), Edge 30/27 °C, Junction 33/27 °C, 6 W, Lüfter 0 rpm bei
|
||||
PWM 0 (Idle-erwartbar) — der RX-6900-XT-Sensorpfad aus GNAI-010 10.3
|
||||
ist damit im Monitoring bestätigt; `GpuFanStalledUnderLoad` greift
|
||||
erstmals bei Last. vmalert `/-/healthy` 200 ohne feuernde Alerts,
|
||||
AM `/api/v2/alerts` 200 leer. Workstation-Gegenprobe nach dem
|
||||
Rollenumbau ebenfalls grün und idempotent (`changed=0` — dort
|
||||
fielen die Bugfixes a)/c) als Changes an und wurden neu gestartet).
|
||||
- **Aufgeräumt:** Image-Tars in `/var/tmp` gelöscht; `gn-monitor`-Images
|
||||
sauber (nur die vier Tag-Refs, keine Transport-Reste).
|
||||
- **Bekannte Kosmetik:** GPU-Label `gpu="unknown"` auf dem Server
|
||||
(`product_name` im sysfs dort nicht lesbar); möglicher Fallback über
|
||||
PCI-Vendor/Device-ID bei Bedarf.
|
||||
|
||||
## Noch offen
|
||||
|
||||
1. Punkte 1–6 aus GNMON-001 v2.0 Abschnitt 9 (Metrics-Account-Identität,
|
||||
@@ -175,7 +237,8 @@ M3.1–M3.4 in kleinen visuell abnehmbaren Schritten umgesetzt
|
||||
keinen Schwellwert-Alarm (Motivation des Vorfalls). Vorschlag:
|
||||
`vmalert`-Regeln gegen VictoriaMetrics mit Notification-Kanal; Kanal-
|
||||
Auswahl (Mail/ntfy/Matrix) ist eine Betreiberentscheidung.
|
||||
3. M5 Server-Rollout auf `ghostnet-ki` nach Behebung des GPU0-Kühldefekts
|
||||
(GNAI-010 10.10): System-Scope-Rollen, Konten 983/984, nftables,
|
||||
Abnahmekriterien aus GNMON-001 Abschnitt 10, Dashboard-Container
|
||||
(Containerfile, Digest-Pin, OIDC/Keycloak, NPM-Ingress).
|
||||
3. M5-Rest auf `ghostnet-ki`: Dashboard-Container (gn-dashboard 984,
|
||||
Image-Transport wie VM etc., `ASPNETCORE_URLS=127.0.0.1:8080`,
|
||||
Rootless-Quadlet), danach externer Zugriff über NPM + OIDC/Keycloak
|
||||
(M6); nftables-Regeln aus GNMON-001 §7 (aktuell binden alle Dienste
|
||||
bereits host-lokal; 8080 erst mit dem Dashboard relevant).
|
||||
|
||||
Reference in New Issue
Block a user