# Monitoring – Dokumentationsindex und Projektstand **Dokumenten-ID:** GNMON-000-DOC **Stand:** 2026-11-04 **Status:** Revision v2.0 (03.11.2026) übernommen; Meilenstein M1 (Metrikpfad) auf der Workstation implementiert und verifiziert ## Dokumente | Dokument | Zweck / Zielgruppe | | --- | --- | | [GNMON-001-PLAN_Architecture.md](GNMON-001-PLAN_Architecture.md) | Host-Monitoring: Metriken, Log-Pipeline, Dashboard, Anbindung Encoding; Infrastrukturadministratoren | | [docs/planning/gnmon-001-v2-0-monitoring-architektur-revision.md](../../../planning/gnmon-001-v2-0-monitoring-architektur-revision.md) | Arbeitskopie der v2.0-Revision (Betreiber-Rechercheordner) | ## Bestätigter Stand - Revision v2.0 (03.11.2026): Blazor Server statt Flask, Zeitreihen- (VictoriaMetrics + node_exporter mit AMD-Textfile-Skript) und Log-Stack (Alloy + Loki) statt `state/system.json`-Schnappschuss; Konten `gn-monitor` (983, geplant) für Datenhaltung, `gn-dashboard` (984) für die Web-App. - Anlass für die zügige Umsetzung: thermischer GPU0-SW-CTF-Vorfall vom 03.11.2026 (GNAI-010 Abschnitt 10.10) – ohne laufende Sensorüberwachung lief die Karte ~19 Minuten unbeobachtet auf die Abschaltung zu. ### M1: Metrikpfad (implementiert 04.11.2026, Workstation-Entwicklung) Entwickelt und getestet auf dem Betreiber-Laptop (CachyOS, rootless, User-Scope-systemd) im Verzeichnis `llm-server/monitoring/`: - `amdgpu-textfile-collector.py` (sysfs-only, kein ROCm erforderlich): Util, VRAM used/total, Edge/Junction/Memory-Temperatur, Lüfter-RPM und PWM je Karte; atomarer Textfile-Wechsel; auf der Laptop-APU gegen echte Sensordaten verifiziert, auf diskreten Karten (RX 6900 XT) in M5 zu bestätigen. - `gnmon_collector`-Rolle: node_exporter v1.12.1 (Upstream-Tarball, SHA256SUMS-verifiziert), Collector-Systemd-Timer (10 s), Port 9100 host-lokal. - `gnmon_victoria_metrics`-Rolle: rootless Quadlet, `Network=host`, VictoriaMetrics **v1.154.1** (Digest `sha256:c7884f32920dd45a9d86542a717227e63af03e060e53bbf8031e6e6fd0e1e05d`, verifizierter Pull 04.11.2026), Scrape-Intervall 10 s, Retention 60 d, Health-Check im Playbook. - Verifikation: PromQL-Abfrage liefert `gn_gpu_edge_temp_celsius` (51 °C auf der Workstation-APU); Idempotenzlauf `changed=0, failed=0`. ### M2: Logpfad (implementiert 04.11.2026, Workstation-Entwicklung) - `gnmon_loki`-Rolle: rootless Quadlet, `Network=host`, `User=0` (Rootless-Mapping; das Upstream-Image läuft intern als UID 10001, die im User-Namespace nicht gemappt ist), Loki **3.6.19** (Digest `sha256:0f9cbc340cbe33ee498e654075034336962057db072f57b37f253e14d476443a`, verifizierter Pull 04.11.2026), TSDB-Schema v13, Filesystem-Store, Retention 30 d mit Compactor, Health-Check im Playbook. - `gnmon_alloy`-Rolle: Alloy **v1.21.3** als Host-Binary (GNMON-001 §3; im rootless Container wäre die Journal-Gruppenzuordnung gid 981 nicht mappbar), User-Unit, SHA256SUMS-verifizierter Download, Journald-Quelle mit `loki.relabel`-Regeln (unit/syslog_identifier/priority als Labels) plus Datei-Quellen (Workstation: `dev-test.log`). - River-Syntax-Befunde (Alloy 1.21): Listenelemente benötigen Trailing-Commas; `relabel_rules` ist ein Attribut, das den `rules`-Export einer `loki.relabel`-Komponente nimmt; Rule-Attribute sind `source_labels`/`target_label` (Promtail-Stil). - Verifikation: Dev-Logzeile erscheint in Loki (`query_range` mit `source="dev-test"`), Idempotenzlauf `changed=0, failed=0`. - **Offener Operator-Schritt (Workstation):** `sudo usermod -aG adm,systemd-journal ghost` — die Journald-Quelle läuft ohne Fehler, sammelt aber ohne Gruppenmitgliedschaft keine Einträge (dokumentiertes Alloy-Verhalten). Danach Journald-Ingestion in einer neuen Session verifizieren. (usermod durchgeführt 04.11.2026; aktivierungspflichtig über Neustart des User-Managers, z. B. Laptop-Reboot.) ### M4: Alerting (implementiert 04.11.2026, Workstation-Entwicklung) Plan-Ergänzung (Lücke in v2.0 festgestellt): Sammeln und Anzeigen ohne Schwellwert-Alarm hätte den Vorfall vom 03.11. nicht verhindert. Betreiberentscheidung 04.11.2026: Benachrichtigung per E-Mail. - `gnmon_vmalert`-Rolle: rootless Quadlet, vmalert **v1.154.1** (Digest `sha256:aafb962b5a5713c71f0d697d629416f9cccf23aecb74f0ec5e829ddbf3f221f2`), Evaluationsintervall 30 s, Datasource/Remote-Write/Notifier host-lokal. - `gnmon_alertmanager`-Rolle: rootless Quadlet, Alertmanager **v0.34.2** (Digest `sha256:39d8bb3966c694a124428a3a88fbcffd40bd069129ecd47c059f8a3f17c55f3b`), E-Mail-Receiver (group_wait 30 s, repeat 4 h, send_resolved). SMTP-Credentials liegen in einer host-lokalen secrets-Datei außerhalb des Repos (`~/.config/gnmon/alertmanager-secrets.yml`); ohne sie wird eine Stub-Konfiguration deployt, die den Pfad ohne Mail testbar hält. - Alert-Regeln (`alerts.yml`): `GpuJunctionTempCritical` (> 95 °C, 2 min, critical), `GpuFanStalledUnderLoad` (PWM > 5 % bei 0 RPM, 3 min, critical — exakte Signatur des GPU0-Ausfalls), `GpuEdgeTempHigh`, `GpuVramNearFull`, `NodeExporterDown`, `NodeExporterAbsent`; plus Dev-only-Selbsttestregel (`GnmonSelfTest`, in M5 serverseitig zu deaktivieren). - Verifikation: Selbsttest-Alert erscheint in Alertmanager (`/api/v2/alerts`), Idempotenzlauf `changed=0, failed=0`. - Offen bis M5: echter SMTP-Versand gegen den Betreiber-Mailserver (Operator-Schritt: secrets-Datei + Testmail). ### M3.5 + M3.6: Log-Browser und Alerts-Ansicht (04.11.2026) - `LokiClient` (query_range + Label-Values) und `AlertmanagerClient` (v2 API) als weitere typed HTTP-Clients; Logs-Seite mit Quellen-Filter (`syslog_identifier`), Zeilen-Suche (LogQL `|=`), Live-Tail-Toggle (3-s-Polling, pausierbar); Alerts-Seite listet aktive Alerts mit Severity-Farben. - **Alloy-Journal-Pipeline überarbeitet** (Journald-Ingestion war nach dem Reboot aktiv, aber ohne stabile Labels): - Befund 1: In User-Scope öffnet die sd-journal-Auto-Discovery nur das User-Journal; die Workstation setzt darum einen expliziten Journal-Pfad (`gnmon_alloy_journal_path`, Inventory pro Host). - Befund 2: Das in der Dokumentation propagierte `relabel_rules = loki.relabel.*.rules` am `loki.source.journal` überträgt die `__journal_*`-Felder in v1.21.3 (User-Scope) nicht in stabile Labels (systematische Verifikation über statisches Label und Test-Logger: Labels kamen nie an). Ersatz: `format_as_json = true` am Source + `loki.process` mit `stage.json`/`stage.labels`/`stage.output` extrahiert `unit`, `user_unit`, `syslog_identifier`, `priority` deterministisch und reduziert die Zeile auf MESSAGE. - Verifikation: Logger-Probes landen mit `syslog_identifier=ghost`, `priority=5` in Loki; Kernel-Einträge mit `syslog_identifier=kernel`; user-unit-Einträge mit `unit=user@1000.service`. Ansible-Rolle idempotent (`changed=0`). ### M3: Blazor-Dashboard (implementiert 04.11.2026, Workstation) M3.1–M3.4 in kleinen visuell abnehmbaren Schritten umgesetzt (Betreiberwunsch 04.11.2026): - **M3.1 GUI-Gerüst** (.NET 10, Interactive Server): Layout/Nav im Hacker-TUI-Stil, Catppuccin-Mocha-Palette, Monospace, ASCII-Button-Navi mit invers-grünem Aktivzustand; Bootstrap restlos entfernt. - **M3.2 Live-Ressourcen:** CPU/RAM/Disk-Kacheln mit ASCII-Progressbars (Schwellenfarben passend zu den vmalert-Severities) im 2-s-Takt; VictoriaMetricsClient (PromQL, kulturinvariantes Parsing). - **M3.3 GPU-Detailseite:** Karten-Discovery über `gn_gpu_up`, Live-Util/VRAM/Temp/Power/Lüfter je Karte; ASCII-Spinner-Komponente (dots/braille/line, Lüfter-Spinner mit RPM-gekoppelter Rotation); Reconnect-Dialog deutsch lokalisiert. - **M3.4 Verläufe — Betreiberentscheidung: Braille-Chart** (btop-Stil). Vergleichsvarianten ASCII-Sparkline, div-Block-Chart und ApexCharts wurden bewertet und entfernt (ApexCharts-Paket inkl. CDN-Referenz raus; null JS-Chart-Abhängigkeiten). Die `AsciiBrailleChart`-Komponente: 8-Punkt-Braille (2×4 Dots je Zeichen), vertikaler Farbgradient grün (unten) → gelb → rot (oben), Liniengrid hinter der Grafik (Betreiberentscheidung gegen Punkte- und Strichgrid), Breite per JS-Messung von Containerbreite und echter Zeichenbreite (Range-API, Font-Fallback-tolerant), Proben linear interpoliert. - **Schrift:** DejaVu Sans Mono wird mit der Website ausgeliefert (wwwroot/fonts, Bitstream-Vera-Lizenz beigelegt) — vollständige Braille- und Box-Drawing-Abdeckung, deterministische Metriken. - **Live-Verzögerung CPU:** statt Fenster-Mittelung läuft die Kette Scrape 5 s (vorher 10 s) → `rate[10s]` roh → EMA-Glättung (α 0,65) im Dashboard; Reaktion auf Lastsprünge < 10 s statt Minuten. - **Fallendokumente (Implementierungsbefunde):** - Blazor-CSS-Isolation greift nicht auf NavLink-Kindkomponenten; Nav-Styles laufen über `::deep` (sonst stiller Regelverlust). - `double.TryParse` von PromQL-Strings ist kulturabhängig: de-DE liest den Punkt als Gruppentrenner; Parsing invariant. - Braille-Dot-Füllung muss je Zeichen bottom-up erfolgen (Intra-Zellen- Inversion macht Kurvenkanten verkehrt herum). - Leere Chart-Zellen als U+2800 statt Leerzeichen: sonst driftet die Zeile bei Font-Fallback (abweichende Vorschübe). - Gemessene Containerbreite muss über Daten-Refresh persistiert werden (Reset pro Update lies die Grafik zusammenschrumpfen). - Per-page Render Mode hält das Layout statisch: Layout-Spinner nur als CSS-Animation, Komponenten-Animation nur in Seiteninhalten. ## Noch offen 1. Punkte 1–6 aus GNMON-001 v2.0 Abschnitt 9 (Metrics-Account-Identität, NPM-Hostname/Keycloak-Client, UID/GID `gn-monitor`, Chart-Bibliothek, LLM-Metriken, Retention-Feinjustierung). 2. **Alarmierung (Planlücke):** v2.0 deckt Sammeln und Anzeigen ab, aber keinen Schwellwert-Alarm (Motivation des Vorfalls). Vorschlag: `vmalert`-Regeln gegen VictoriaMetrics mit Notification-Kanal; Kanal- Auswahl (Mail/ntfy/Matrix) ist eine Betreiberentscheidung. 3. M5 Server-Rollout auf `ghostnet-ki` nach Behebung des GPU0-Kühldefekts (GNAI-010 10.10): System-Scope-Rollen, Konten 983/984, nftables, Abnahmekriterien aus GNMON-001 Abschnitt 10, Dashboard-Container (Containerfile, Digest-Pin, OIDC/Keycloak, NPM-Ingress).