Rollen auf scope user|system generalisiert, gnmon_accounts-Rolle (gn-monitor 986), Testing-Inventory ghostnet-ki, Image-Transport per Tag-Ref. Fixes: Textfile-Collector HELP/TYPE je Familie (Multi-GPU), Restart-Handler je Scope, Loopback-Bindings VM/Loki (§7), scope- agnostische Playbook-Verifikationen. Server + Workstation idempotent. Generated by Mistral Vibe. Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
14 KiB
Monitoring – Dokumentationsindex und Projektstand
Dokumenten-ID: GNMON-000-DOC Stand: 2026-11-05 Status: Revision v2.0 (03.11.2026) übernommen; M1–M4 auf der Workstation implementiert und verifiziert; M5 Monitoringsuite auf dem KI-Server produktiv (System-Scope), Dashboard-Deployment auf dem Server offen
Dokumente
| Dokument | Zweck / Zielgruppe |
|---|---|
| GNMON-001-PLAN_Architecture.md | Host-Monitoring: Metriken, Log-Pipeline, Dashboard, Anbindung Encoding; Infrastrukturadministratoren |
| docs/planning/gnmon-001-v2-0-monitoring-architektur-revision.md | Arbeitskopie der v2.0-Revision (Betreiber-Rechercheordner) |
Bestätigter Stand
- Revision v2.0 (03.11.2026): Blazor Server statt Flask, Zeitreihen-
(VictoriaMetrics + node_exporter mit AMD-Textfile-Skript) und Log-Stack
(Alloy + Loki) statt
state/system.json-Schnappschuss; Kontengn-monitorfür Datenhaltung (986 — die zuvor geplante 983 war auf dem Server angn-downloadvergeben; vergeben 05.11.2026),gn-dashboard(984) für die Web-App. - Anlass für die zügige Umsetzung: thermischer GPU0-SW-CTF-Vorfall vom 03.11.2026 (GNAI-010 Abschnitt 10.10) – ohne laufende Sensorüberwachung lief die Karte ~19 Minuten unbeobachtet auf die Abschaltung zu.
M1: Metrikpfad (implementiert 04.11.2026, Workstation-Entwicklung)
Entwickelt und getestet auf dem Betreiber-Laptop (CachyOS, rootless,
User-Scope-systemd) im Verzeichnis llm-server/monitoring/:
amdgpu-textfile-collector.py(sysfs-only, kein ROCm erforderlich): Util, VRAM used/total, Edge/Junction/Memory-Temperatur, Lüfter-RPM und PWM je Karte; atomarer Textfile-Wechsel; auf der Laptop-APU gegen echte Sensordaten verifiziert, auf diskreten Karten (RX 6900 XT) in M5 zu bestätigen.gnmon_collector-Rolle: node_exporter v1.12.1 (Upstream-Tarball, SHA256SUMS-verifiziert), Collector-Systemd-Timer (10 s), Port 9100 host-lokal.gnmon_victoria_metrics-Rolle: rootless Quadlet,Network=host, VictoriaMetrics v1.154.1 (Digestsha256:c7884f32920dd45a9d86542a717227e63af03e060e53bbf8031e6e6fd0e1e05d, verifizierter Pull 04.11.2026), Scrape-Intervall 10 s, Retention 60 d, Health-Check im Playbook.- Verifikation: PromQL-Abfrage liefert
gn_gpu_edge_temp_celsius(51 °C auf der Workstation-APU); Idempotenzlaufchanged=0, failed=0.
M2: Logpfad (implementiert 04.11.2026, Workstation-Entwicklung)
gnmon_loki-Rolle: rootless Quadlet,Network=host,User=0(Rootless-Mapping; das Upstream-Image läuft intern als UID 10001, die im User-Namespace nicht gemappt ist), Loki 3.6.19 (Digestsha256:0f9cbc340cbe33ee498e654075034336962057db072f57b37f253e14d476443a, verifizierter Pull 04.11.2026), TSDB-Schema v13, Filesystem-Store, Retention 30 d mit Compactor, Health-Check im Playbook.gnmon_alloy-Rolle: Alloy v1.21.3 als Host-Binary (GNMON-001 §3; im rootless Container wäre die Journal-Gruppenzuordnung gid 981 nicht mappbar), User-Unit, SHA256SUMS-verifizierter Download, Journald-Quelle mitloki.relabel-Regeln (unit/syslog_identifier/priority als Labels) plus Datei-Quellen (Workstation:dev-test.log).- River-Syntax-Befunde (Alloy 1.21): Listenelemente benötigen
Trailing-Commas;
relabel_rulesist ein Attribut, das denrules-Export einerloki.relabel-Komponente nimmt; Rule-Attribute sindsource_labels/target_label(Promtail-Stil). - Verifikation: Dev-Logzeile erscheint in Loki
(
query_rangemitsource="dev-test"), Idempotenzlaufchanged=0, failed=0. - Offener Operator-Schritt (Workstation):
sudo usermod -aG adm,systemd-journal ghost— die Journald-Quelle läuft ohne Fehler, sammelt aber ohne Gruppenmitgliedschaft keine Einträge (dokumentiertes Alloy-Verhalten). Danach Journald-Ingestion in einer neuen Session verifizieren. (usermod durchgeführt 04.11.2026; aktivierungspflichtig über Neustart des User-Managers, z. B. Laptop-Reboot.)
M4: Alerting (implementiert 04.11.2026, Workstation-Entwicklung)
Plan-Ergänzung (Lücke in v2.0 festgestellt): Sammeln und Anzeigen ohne Schwellwert-Alarm hätte den Vorfall vom 03.11. nicht verhindert. Betreiberentscheidung 04.11.2026: Benachrichtigung per E-Mail.
gnmon_vmalert-Rolle: rootless Quadlet, vmalert v1.154.1 (Digestsha256:aafb962b5a5713c71f0d697d629416f9cccf23aecb74f0ec5e829ddbf3f221f2), Evaluationsintervall 30 s, Datasource/Remote-Write/Notifier host-lokal.gnmon_alertmanager-Rolle: rootless Quadlet, Alertmanager v0.34.2 (Digestsha256:39d8bb3966c694a124428a3a88fbcffd40bd069129ecd47c059f8a3f17c55f3b), E-Mail-Receiver (group_wait 30 s, repeat 4 h, send_resolved). SMTP-Credentials liegen in einer host-lokalen secrets-Datei außerhalb des Repos (~/.config/gnmon/alertmanager-secrets.yml); ohne sie wird eine Stub-Konfiguration deployt, die den Pfad ohne Mail testbar hält.- Alert-Regeln (
alerts.yml):GpuJunctionTempCritical(> 95 °C, 2 min, critical),GpuFanStalledUnderLoad(PWM > 5 % bei 0 RPM, 3 min, critical — exakte Signatur des GPU0-Ausfalls),GpuEdgeTempHigh,GpuVramNearFull,NodeExporterDown,NodeExporterAbsent; plus Dev-only-Selbsttestregel (GnmonSelfTest, in M5 serverseitig zu deaktivieren). - Verifikation: Selbsttest-Alert erscheint in Alertmanager
(
/api/v2/alerts), Idempotenzlaufchanged=0, failed=0. - Offen bis M5: echter SMTP-Versand gegen den Betreiber-Mailserver (Operator-Schritt: secrets-Datei + Testmail).
M3.5 + M3.6: Log-Browser und Alerts-Ansicht (04.11.2026)
LokiClient(query_range + Label-Values) undAlertmanagerClient(v2 API) als weitere typed HTTP-Clients; Logs-Seite mit Quellen-Filter (syslog_identifier), Zeilen-Suche (LogQL|=), Live-Tail-Toggle (3-s-Polling, pausierbar); Alerts-Seite listet aktive Alerts mit Severity-Farben.- Alloy-Journal-Pipeline überarbeitet (Journald-Ingestion war
nach dem Reboot aktiv, aber ohne stabile Labels):
- Befund 1: In User-Scope öffnet die sd-journal-Auto-Discovery nur
das User-Journal; die Workstation setzt darum einen expliziten
Journal-Pfad (
gnmon_alloy_journal_path, Inventory pro Host). - Befund 2: Das in der Dokumentation propagierte
relabel_rules = loki.relabel.*.rulesamloki.source.journalüberträgt die__journal_*-Felder in v1.21.3 (User-Scope) nicht in stabile Labels (systematische Verifikation über statisches Label und Test-Logger: Labels kamen nie an). Ersatz:format_as_json = trueam Source +loki.processmitstage.json/stage.labels/stage.outputextrahiertunit,user_unit,syslog_identifier,prioritydeterministisch und reduziert die Zeile auf MESSAGE.
- Befund 1: In User-Scope öffnet die sd-journal-Auto-Discovery nur
das User-Journal; die Workstation setzt darum einen expliziten
Journal-Pfad (
- Verifikation: Logger-Probes landen mit
syslog_identifier=ghost,priority=5in Loki; Kernel-Einträge mitsyslog_identifier=kernel; user-unit-Einträge mitunit=user@1000.service. Ansible-Rolle idempotent (changed=0).
M3: Blazor-Dashboard (implementiert 04.11.2026, Workstation)
M3.1–M3.4 in kleinen visuell abnehmbaren Schritten umgesetzt (Betreiberwunsch 04.11.2026):
- M3.1 GUI-Gerüst (.NET 10, Interactive Server): Layout/Nav im Hacker-TUI-Stil, Catppuccin-Mocha-Palette, Monospace, ASCII-Button-Navi mit invers-grünem Aktivzustand; Bootstrap restlos entfernt.
- M3.2 Live-Ressourcen: CPU/RAM/Disk-Kacheln mit ASCII-Progressbars (Schwellenfarben passend zu den vmalert-Severities) im 2-s-Takt; VictoriaMetricsClient (PromQL, kulturinvariantes Parsing).
- M3.3 GPU-Detailseite: Karten-Discovery über
gn_gpu_up, Live-Util/VRAM/Temp/Power/Lüfter je Karte; ASCII-Spinner-Komponente (dots/braille/line, Lüfter-Spinner mit RPM-gekoppelter Rotation); Reconnect-Dialog deutsch lokalisiert. - M3.4 Verläufe — Betreiberentscheidung: Braille-Chart (btop-Stil).
Vergleichsvarianten ASCII-Sparkline, div-Block-Chart und ApexCharts
wurden bewertet und entfernt (ApexCharts-Paket inkl. CDN-Referenz
raus; null JS-Chart-Abhängigkeiten). Die
AsciiBrailleChart-Komponente: 8-Punkt-Braille (2×4 Dots je Zeichen), vertikaler Farbgradient grün (unten) → gelb → rot (oben), Liniengrid hinter der Grafik (Betreiberentscheidung gegen Punkte- und Strichgrid), Breite per JS-Messung von Containerbreite und echter Zeichenbreite (Range-API, Font-Fallback-tolerant), Proben linear interpoliert. - Schrift: DejaVu Sans Mono wird mit der Website ausgeliefert (wwwroot/fonts, Bitstream-Vera-Lizenz beigelegt) — vollständige Braille- und Box-Drawing-Abdeckung, deterministische Metriken.
- Live-Verzögerung CPU: statt Fenster-Mittelung läuft die Kette
Scrape 5 s (vorher 10 s) →
rate[10s]roh → EMA-Glättung (α 0,65) im Dashboard; Reaktion auf Lastsprünge < 10 s statt Minuten. - Fallendokumente (Implementierungsbefunde):
- Blazor-CSS-Isolation greift nicht auf NavLink-Kindkomponenten;
Nav-Styles laufen über
::deep(sonst stiller Regelverlust). double.TryParsevon PromQL-Strings ist kulturabhängig: de-DE liest den Punkt als Gruppentrenner; Parsing invariant.- Braille-Dot-Füllung muss je Zeichen bottom-up erfolgen (Intra-Zellen- Inversion macht Kurvenkanten verkehrt herum).
- Leere Chart-Zellen als U+2800 statt Leerzeichen: sonst driftet die Zeile bei Font-Fallback (abweichende Vorschübe).
- Gemessene Containerbreite muss über Daten-Refresh persistiert werden (Reset pro Update lies die Grafik zusammenschrumpfen).
- Per-page Render Mode hält das Layout statisch: Layout-Spinner nur als CSS-Animation, Komponenten-Animation nur in Seiteninhalten.
- Blazor-CSS-Isolation greift nicht auf NavLink-Kindkomponenten;
Nav-Styles laufen über
M5: Server-Rollout ghostnet-ki (implementiert 05.11.2026, System-Scope)
Rollenübergreifender Umbau von User-Scope (Workstation) auf
scope-Variablen (user|system) je Rolle; produktive Änderung mit
Betreiber-Go, Ausführung als ansible-deploy (NOPASSWD), neue
gnmon_accounts-Rolle vorangestellt (Tags accounts,never):
gn-monitor UID/GID 986 mit Linger + systemd-journal-Gruppe,
Verifikation von gn-dashboard (984, vorbestehend).
- Scope-Architektur: Quadlets unter
/etc/containers/systemd/users/986(perrunuser … systemctl --userverwaltet; quadlet-generierte Units sind nichtenable-bar), Config unter/etc/gnmon, Daten unter/var/lib/gn-monitor/*. subuid/subgid fürgn-monitor: 755360:65536 (nach anfänglichem Fehlstart in 165536 bereinigt; danachpodman system migratenötig, da die uid_map nur einen Eintrag hatte). - Image-Transport: Docker-Hub-Pull vom Server scheitert am
Rate-Limit; Images wurden auf der Workstation per Digest-Pull
verifiziert, als tar transportiert und als
gn-monitorgeladen (podman loadverliert Digest-Namen → Inventory pinnt Tag-Refs auf die Image-IDs: VM v1.154.1, Loki 3.6.19, AM v0.34.2, vmalert v1.154.1). - Host-lokale Bindings (§7): Alle Dienste lauschen 127.0.0.1 —
node_exporter :9100, VictoriaMetrics :8428 (
-httpListenAddr), Loki :3100/:9096 (http/grpc_listen_address), Alertmanager :9093, vmalert :8880. Dashboard-Container (:8080) folgt; externer Zugriff erst später über NPM (M6, mit OIDC). - Implementierungsbefunde (05.11.2026):
a) Der Textfile-Collector wiederholte
# HELP/# TYPEje Karte; node_exporter verwirft bei Doppelung die ganze Datei („second HELP line"). Auf der Workstation (1 Karte) fiel es nicht auf, auf dem Server (2+ Karten) blieben allegn_gpu_*-Metriken aus. Refactor: HELP/TYPE einmal je Metrikfamilie. b) VM-Flag-httpListenAddrerwartethost:port, nicht nur die Adresse (sonst: „missing port in address"). c) Alle vier Container-Rollen notifizierten nur den User-Scope-Restart- Handler; im System-Scope kamen Config-/Quadlet-Änderungen nie zur Laufzeit an. Notify-Liste mit beiden Handler-Namen (der falsche Scope skipt sich selbst); VM-Handler dafür konsistent in(system scope)/(user scope)benannt. d) Die Playbook-Verifikationen sind nun scope-agnostisch: Log-Pfad wird journal-basiert geprüft (logger -t gnmon-verify, Loki-Querysyslog_identifier="gnmon-verify"; Datei-Seed nur bei konfigurierten File-Targets), SelfTest-Verify nur auf der Workstation (gnmon_vmalert_selftest_rule), serverseitig AM-200-Check. - Verifikation (05.11.2026): Volle Suite
(
--tags accounts,collector,metrics,logs,alerting) grün; Zweitlaufchanged=0, failed=0(idempotent).gn_gpu_upzeigt 2 Karten (card 0/1), Edge 30/27 °C, Junction 33/27 °C, 6 W, Lüfter 0 rpm bei PWM 0 (Idle-erwartbar) — der RX-6900-XT-Sensorpfad aus GNAI-010 10.3 ist damit im Monitoring bestätigt;GpuFanStalledUnderLoadgreift erstmals bei Last. vmalert/-/healthy200 ohne feuernde Alerts, AM/api/v2/alerts200 leer. Workstation-Gegenprobe nach dem Rollenumbau ebenfalls grün und idempotent (changed=0— dort fielen die Bugfixes a)/c) als Changes an und wurden neu gestartet). - Aufgeräumt: Image-Tars in
/var/tmpgelöscht;gn-monitor-Images sauber (nur die vier Tag-Refs, keine Transport-Reste). - Bekannte Kosmetik: GPU-Label
gpu="unknown"auf dem Server (product_nameim sysfs dort nicht lesbar); möglicher Fallback über PCI-Vendor/Device-ID bei Bedarf.
Noch offen
- Punkte 1–6 aus GNMON-001 v2.0 Abschnitt 9 (Metrics-Account-Identität,
NPM-Hostname/Keycloak-Client, UID/GID
gn-monitor, Chart-Bibliothek, LLM-Metriken, Retention-Feinjustierung). - Alarmierung (Planlücke): v2.0 deckt Sammeln und Anzeigen ab, aber
keinen Schwellwert-Alarm (Motivation des Vorfalls). Vorschlag:
vmalert-Regeln gegen VictoriaMetrics mit Notification-Kanal; Kanal- Auswahl (Mail/ntfy/Matrix) ist eine Betreiberentscheidung. - M5-Rest auf
ghostnet-ki: Dashboard-Container (gn-dashboard 984, Image-Transport wie VM etc.,ASPNETCORE_URLS=127.0.0.1:8080, Rootless-Quadlet), danach externer Zugriff über NPM + OIDC/Keycloak (M6); nftables-Regeln aus GNMON-001 §7 (aktuell binden alle Dienste bereits host-lokal; 8080 erst mit dem Dashboard relevant).