GNMON-001 M4: Alerting-Pfad vmalert + Alertmanager implementiert
Plan-Ergänzung (Alerting-Lücke in v2.0): vmalert v1.154.1 wertet Regeln gegen VictoriaMetrics aus, Alertmanager v0.34.2 versendet E-Mail (SMTP-Credentials host-lokal außerhalb des Repos, ohne secrets-Datei Stub-Betrieb). Regeln inklusive der GPU0-Vorfall-Signaturen (Junction >95C, PWM-Anforderung bei 0 RPM). Verifikation: Selbsttest-Alert in Alertmanager nachweisbar, Idempotenz changed=0. Generated by Mistral Vibe. Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
This commit is contained in:
@@ -67,7 +67,34 @@ User-Scope-systemd) im Verzeichnis `llm-server/monitoring/`:
|
||||
adm,systemd-journal ghost` — die Journald-Quelle läuft ohne Fehler,
|
||||
sammelt aber ohne Gruppenmitgliedschaft keine Einträge (dokumentiertes
|
||||
Alloy-Verhalten). Danach Journald-Ingestion in einer neuen Session
|
||||
verifizieren.
|
||||
verifizieren. (usermod durchgeführt 04.11.2026; aktivierungspflichtig
|
||||
über Neustart des User-Managers, z. B. Laptop-Reboot.)
|
||||
|
||||
### M4: Alerting (implementiert 04.11.2026, Workstation-Entwicklung)
|
||||
|
||||
Plan-Ergänzung (Lücke in v2.0 festgestellt): Sammeln und Anzeigen ohne
|
||||
Schwellwert-Alarm hätte den Vorfall vom 03.11. nicht verhindert.
|
||||
Betreiberentscheidung 04.11.2026: Benachrichtigung per E-Mail.
|
||||
|
||||
- `gnmon_vmalert`-Rolle: rootless Quadlet, vmalert **v1.154.1**
|
||||
(Digest `sha256:aafb962b5a5713c71f0d697d629416f9cccf23aecb74f0ec5e829ddbf3f221f2`),
|
||||
Evaluationsintervall 30 s, Datasource/Remote-Write/Notifier host-lokal.
|
||||
- `gnmon_alertmanager`-Rolle: rootless Quadlet, Alertmanager **v0.34.2**
|
||||
(Digest `sha256:39d8bb3966c694a124428a3a88fbcffd40bd069129ecd47c059f8a3f17c55f3b`),
|
||||
E-Mail-Receiver (group_wait 30 s, repeat 4 h, send_resolved).
|
||||
SMTP-Credentials liegen in einer host-lokalen secrets-Datei außerhalb
|
||||
des Repos (`~/.config/gnmon/alertmanager-secrets.yml`); ohne sie wird
|
||||
eine Stub-Konfiguration deployt, die den Pfad ohne Mail testbar hält.
|
||||
- Alert-Regeln (`alerts.yml`): `GpuJunctionTempCritical` (> 95 °C, 2 min,
|
||||
critical), `GpuFanStalledUnderLoad` (PWM > 5 % bei 0 RPM, 3 min,
|
||||
critical — exakte Signatur des GPU0-Ausfalls), `GpuEdgeTempHigh`,
|
||||
`GpuVramNearFull`, `NodeExporterDown`, `NodeExporterAbsent`; plus
|
||||
Dev-only-Selbsttestregel (`GnmonSelfTest`, in M5 serverseitig zu
|
||||
deaktivieren).
|
||||
- Verifikation: Selbsttest-Alert erscheint in Alertmanager
|
||||
(`/api/v2/alerts`), Idempotenzlauf `changed=0, failed=0`.
|
||||
- Offen bis M5: echter SMTP-Versand gegen den Betreiber-Mailserver
|
||||
(Operator-Schritt: secrets-Datei + Testmail).
|
||||
|
||||
## Noch offen
|
||||
|
||||
@@ -78,8 +105,8 @@ User-Scope-systemd) im Verzeichnis `llm-server/monitoring/`:
|
||||
keinen Schwellwert-Alarm (Motivation des Vorfalls). Vorschlag:
|
||||
`vmalert`-Regeln gegen VictoriaMetrics mit Notification-Kanal; Kanal-
|
||||
Auswahl (Mail/ntfy/Matrix) ist eine Betreiberentscheidung.
|
||||
3. M3 (Blazor-Dashboard) und M4 (Alerting: vmalert + Alertmanager, E-Mail
|
||||
an SMTP — Betreiberentscheidung 04.11.2026) auf der Workstation.
|
||||
3. M3 (Blazor-Dashboard) auf der Workstation; Journald-Ingestion nach
|
||||
Laptop-Neustart verifizieren (M2-Operator-Schritt).
|
||||
4. M5 Server-Rollout auf `ghostnet-ki` nach Behebung des GPU0-Kühldefekts
|
||||
(GNAI-010 10.10): System-Scope-Rollen, Konten 983/984, nftables,
|
||||
Abnahmekriterien aus GNMON-001 Abschnitt 10.
|
||||
|
||||
Reference in New Issue
Block a user