GNMON-001 M4: Alerting-Pfad vmalert + Alertmanager implementiert

Plan-Ergänzung (Alerting-Lücke in v2.0): vmalert v1.154.1 wertet Regeln
gegen VictoriaMetrics aus, Alertmanager v0.34.2 versendet E-Mail
(SMTP-Credentials host-lokal außerhalb des Repos, ohne secrets-Datei
Stub-Betrieb). Regeln inklusive der GPU0-Vorfall-Signaturen (Junction
>95C, PWM-Anforderung bei 0 RPM). Verifikation: Selbsttest-Alert in
Alertmanager nachweisbar, Idempotenz changed=0.

Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
This commit is contained in:
2026-11-04 06:30:42 +01:00
parent 0a2a8b6863
commit 22f7fb0344
12 changed files with 408 additions and 3 deletions
@@ -67,7 +67,34 @@ User-Scope-systemd) im Verzeichnis `llm-server/monitoring/`:
adm,systemd-journal ghost` — die Journald-Quelle läuft ohne Fehler,
sammelt aber ohne Gruppenmitgliedschaft keine Einträge (dokumentiertes
Alloy-Verhalten). Danach Journald-Ingestion in einer neuen Session
verifizieren.
verifizieren. (usermod durchgeführt 04.11.2026; aktivierungspflichtig
über Neustart des User-Managers, z. B. Laptop-Reboot.)
### M4: Alerting (implementiert 04.11.2026, Workstation-Entwicklung)
Plan-Ergänzung (Lücke in v2.0 festgestellt): Sammeln und Anzeigen ohne
Schwellwert-Alarm hätte den Vorfall vom 03.11. nicht verhindert.
Betreiberentscheidung 04.11.2026: Benachrichtigung per E-Mail.
- `gnmon_vmalert`-Rolle: rootless Quadlet, vmalert **v1.154.1**
(Digest `sha256:aafb962b5a5713c71f0d697d629416f9cccf23aecb74f0ec5e829ddbf3f221f2`),
Evaluationsintervall 30 s, Datasource/Remote-Write/Notifier host-lokal.
- `gnmon_alertmanager`-Rolle: rootless Quadlet, Alertmanager **v0.34.2**
(Digest `sha256:39d8bb3966c694a124428a3a88fbcffd40bd069129ecd47c059f8a3f17c55f3b`),
E-Mail-Receiver (group_wait 30 s, repeat 4 h, send_resolved).
SMTP-Credentials liegen in einer host-lokalen secrets-Datei außerhalb
des Repos (`~/.config/gnmon/alertmanager-secrets.yml`); ohne sie wird
eine Stub-Konfiguration deployt, die den Pfad ohne Mail testbar hält.
- Alert-Regeln (`alerts.yml`): `GpuJunctionTempCritical` (> 95 °C, 2 min,
critical), `GpuFanStalledUnderLoad` (PWM > 5 % bei 0 RPM, 3 min,
critical — exakte Signatur des GPU0-Ausfalls), `GpuEdgeTempHigh`,
`GpuVramNearFull`, `NodeExporterDown`, `NodeExporterAbsent`; plus
Dev-only-Selbsttestregel (`GnmonSelfTest`, in M5 serverseitig zu
deaktivieren).
- Verifikation: Selbsttest-Alert erscheint in Alertmanager
(`/api/v2/alerts`), Idempotenzlauf `changed=0, failed=0`.
- Offen bis M5: echter SMTP-Versand gegen den Betreiber-Mailserver
(Operator-Schritt: secrets-Datei + Testmail).
## Noch offen
@@ -78,8 +105,8 @@ User-Scope-systemd) im Verzeichnis `llm-server/monitoring/`:
keinen Schwellwert-Alarm (Motivation des Vorfalls). Vorschlag:
`vmalert`-Regeln gegen VictoriaMetrics mit Notification-Kanal; Kanal-
Auswahl (Mail/ntfy/Matrix) ist eine Betreiberentscheidung.
3. M3 (Blazor-Dashboard) und M4 (Alerting: vmalert + Alertmanager, E-Mail
an SMTP — Betreiberentscheidung 04.11.2026) auf der Workstation.
3. M3 (Blazor-Dashboard) auf der Workstation; Journald-Ingestion nach
Laptop-Neustart verifizieren (M2-Operator-Schritt).
4. M5 Server-Rollout auf `ghostnet-ki` nach Behebung des GPU0-Kühldefekts
(GNAI-010 10.10): System-Scope-Rollen, Konten 983/984, nftables,
Abnahmekriterien aus GNMON-001 Abschnitt 10.