Plan-Ergänzung (Alerting-Lücke in v2.0): vmalert v1.154.1 wertet Regeln gegen VictoriaMetrics aus, Alertmanager v0.34.2 versendet E-Mail (SMTP-Credentials host-lokal außerhalb des Repos, ohne secrets-Datei Stub-Betrieb). Regeln inklusive der GPU0-Vorfall-Signaturen (Junction >95C, PWM-Anforderung bei 0 RPM). Verifikation: Selbsttest-Alert in Alertmanager nachweisbar, Idempotenz changed=0. Generated by Mistral Vibe. Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
6.1 KiB
6.1 KiB
Monitoring – Dokumentationsindex und Projektstand
Dokumenten-ID: GNMON-000-DOC Stand: 2026-11-04 Status: Revision v2.0 (03.11.2026) übernommen; Meilenstein M1 (Metrikpfad) auf der Workstation implementiert und verifiziert
Dokumente
| Dokument | Zweck / Zielgruppe |
|---|---|
| GNMON-001-PLAN_Architecture.md | Host-Monitoring: Metriken, Log-Pipeline, Dashboard, Anbindung Encoding; Infrastrukturadministratoren |
| docs/planning/gnmon-001-v2-0-monitoring-architektur-revision.md | Arbeitskopie der v2.0-Revision (Betreiber-Rechercheordner) |
Bestätigter Stand
- Revision v2.0 (03.11.2026): Blazor Server statt Flask, Zeitreihen-
(VictoriaMetrics + node_exporter mit AMD-Textfile-Skript) und Log-Stack
(Alloy + Loki) statt
state/system.json-Schnappschuss; Kontengn-monitor(983, geplant) für Datenhaltung,gn-dashboard(984) für die Web-App. - Anlass für die zügige Umsetzung: thermischer GPU0-SW-CTF-Vorfall vom 03.11.2026 (GNAI-010 Abschnitt 10.10) – ohne laufende Sensorüberwachung lief die Karte ~19 Minuten unbeobachtet auf die Abschaltung zu.
M1: Metrikpfad (implementiert 04.11.2026, Workstation-Entwicklung)
Entwickelt und getestet auf dem Betreiber-Laptop (CachyOS, rootless,
User-Scope-systemd) im Verzeichnis llm-server/monitoring/:
amdgpu-textfile-collector.py(sysfs-only, kein ROCm erforderlich): Util, VRAM used/total, Edge/Junction/Memory-Temperatur, Lüfter-RPM und PWM je Karte; atomarer Textfile-Wechsel; auf der Laptop-APU gegen echte Sensordaten verifiziert, auf diskreten Karten (RX 6900 XT) in M5 zu bestätigen.gnmon_collector-Rolle: node_exporter v1.12.1 (Upstream-Tarball, SHA256SUMS-verifiziert), Collector-Systemd-Timer (10 s), Port 9100 host-lokal.gnmon_victoria_metrics-Rolle: rootless Quadlet,Network=host, VictoriaMetrics v1.154.1 (Digestsha256:c7884f32920dd45a9d86542a717227e63af03e060e53bbf8031e6e6fd0e1e05d, verifizierter Pull 04.11.2026), Scrape-Intervall 10 s, Retention 60 d, Health-Check im Playbook.- Verifikation: PromQL-Abfrage liefert
gn_gpu_edge_temp_celsius(51 °C auf der Workstation-APU); Idempotenzlaufchanged=0, failed=0.
M2: Logpfad (implementiert 04.11.2026, Workstation-Entwicklung)
gnmon_loki-Rolle: rootless Quadlet,Network=host,User=0(Rootless-Mapping; das Upstream-Image läuft intern als UID 10001, die im User-Namespace nicht gemappt ist), Loki 3.6.19 (Digestsha256:0f9cbc340cbe33ee498e654075034336962057db072f57b37f253e14d476443a, verifizierter Pull 04.11.2026), TSDB-Schema v13, Filesystem-Store, Retention 30 d mit Compactor, Health-Check im Playbook.gnmon_alloy-Rolle: Alloy v1.21.3 als Host-Binary (GNMON-001 §3; im rootless Container wäre die Journal-Gruppenzuordnung gid 981 nicht mappbar), User-Unit, SHA256SUMS-verifizierter Download, Journald-Quelle mitloki.relabel-Regeln (unit/syslog_identifier/priority als Labels) plus Datei-Quellen (Workstation:dev-test.log).- River-Syntax-Befunde (Alloy 1.21): Listenelemente benötigen
Trailing-Commas;
relabel_rulesist ein Attribut, das denrules-Export einerloki.relabel-Komponente nimmt; Rule-Attribute sindsource_labels/target_label(Promtail-Stil). - Verifikation: Dev-Logzeile erscheint in Loki
(
query_rangemitsource="dev-test"), Idempotenzlaufchanged=0, failed=0. - Offener Operator-Schritt (Workstation):
sudo usermod -aG adm,systemd-journal ghost— die Journald-Quelle läuft ohne Fehler, sammelt aber ohne Gruppenmitgliedschaft keine Einträge (dokumentiertes Alloy-Verhalten). Danach Journald-Ingestion in einer neuen Session verifizieren. (usermod durchgeführt 04.11.2026; aktivierungspflichtig über Neustart des User-Managers, z. B. Laptop-Reboot.)
M4: Alerting (implementiert 04.11.2026, Workstation-Entwicklung)
Plan-Ergänzung (Lücke in v2.0 festgestellt): Sammeln und Anzeigen ohne Schwellwert-Alarm hätte den Vorfall vom 03.11. nicht verhindert. Betreiberentscheidung 04.11.2026: Benachrichtigung per E-Mail.
gnmon_vmalert-Rolle: rootless Quadlet, vmalert v1.154.1 (Digestsha256:aafb962b5a5713c71f0d697d629416f9cccf23aecb74f0ec5e829ddbf3f221f2), Evaluationsintervall 30 s, Datasource/Remote-Write/Notifier host-lokal.gnmon_alertmanager-Rolle: rootless Quadlet, Alertmanager v0.34.2 (Digestsha256:39d8bb3966c694a124428a3a88fbcffd40bd069129ecd47c059f8a3f17c55f3b), E-Mail-Receiver (group_wait 30 s, repeat 4 h, send_resolved). SMTP-Credentials liegen in einer host-lokalen secrets-Datei außerhalb des Repos (~/.config/gnmon/alertmanager-secrets.yml); ohne sie wird eine Stub-Konfiguration deployt, die den Pfad ohne Mail testbar hält.- Alert-Regeln (
alerts.yml):GpuJunctionTempCritical(> 95 °C, 2 min, critical),GpuFanStalledUnderLoad(PWM > 5 % bei 0 RPM, 3 min, critical — exakte Signatur des GPU0-Ausfalls),GpuEdgeTempHigh,GpuVramNearFull,NodeExporterDown,NodeExporterAbsent; plus Dev-only-Selbsttestregel (GnmonSelfTest, in M5 serverseitig zu deaktivieren). - Verifikation: Selbsttest-Alert erscheint in Alertmanager
(
/api/v2/alerts), Idempotenzlaufchanged=0, failed=0. - Offen bis M5: echter SMTP-Versand gegen den Betreiber-Mailserver (Operator-Schritt: secrets-Datei + Testmail).
Noch offen
- Punkte 1–6 aus GNMON-001 v2.0 Abschnitt 9 (Metrics-Account-Identität,
NPM-Hostname/Keycloak-Client, UID/GID
gn-monitor, Chart-Bibliothek, LLM-Metriken, Retention-Feinjustierung). - Alarmierung (Planlücke): v2.0 deckt Sammeln und Anzeigen ab, aber
keinen Schwellwert-Alarm (Motivation des Vorfalls). Vorschlag:
vmalert-Regeln gegen VictoriaMetrics mit Notification-Kanal; Kanal- Auswahl (Mail/ntfy/Matrix) ist eine Betreiberentscheidung. - M3 (Blazor-Dashboard) auf der Workstation; Journald-Ingestion nach Laptop-Neustart verifizieren (M2-Operator-Schritt).
- M5 Server-Rollout auf
ghostnet-kinach Behebung des GPU0-Kühldefekts (GNAI-010 10.10): System-Scope-Rollen, Konten 983/984, nftables, Abnahmekriterien aus GNMON-001 Abschnitt 10.