Files
infrastructure/docs/platform/llm-server/monitoring/GNMON-000-DOC_Index.md
T
spektr 0a2a8b6863 GNMON-001 M2: Logpfad Loki + Alloy auf der Workstation implementiert
gnmon_loki: rootless Quadlet (3.6.19 digest-gepinnt, TSDB v13, 30d
Retention, User=0 wegen Rootless-UID-Mapping). gnmon_alloy: Host-Binary
v1.21.3 (SHA256SUMS-verifiziert) mit Journald- und Datei-Quellen,
loki.relabel-Label-Regeln. Verifikation: Dev-Logzeile in Loki
nachweisbar, Idempotenz changed=0. Offen: Journald-Ingestion braucht
Gruppenmitgliedschaft adm+systemd-journal (Operator-Schritt).

Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
2026-11-04 06:25:18 +01:00

4.5 KiB
Raw Blame History

Monitoring – Dokumentationsindex und Projektstand

Dokumenten-ID: GNMON-000-DOC Stand: 2026-11-04 Status: Revision v2.0 (03.11.2026) übernommen; Meilenstein M1 (Metrikpfad) auf der Workstation implementiert und verifiziert

Dokumente

Dokument Zweck / Zielgruppe
GNMON-001-PLAN_Architecture.md Host-Monitoring: Metriken, Log-Pipeline, Dashboard, Anbindung Encoding; Infrastrukturadministratoren
docs/planning/gnmon-001-v2-0-monitoring-architektur-revision.md Arbeitskopie der v2.0-Revision (Betreiber-Rechercheordner)

Bestätigter Stand

  • Revision v2.0 (03.11.2026): Blazor Server statt Flask, Zeitreihen- (VictoriaMetrics + node_exporter mit AMD-Textfile-Skript) und Log-Stack (Alloy + Loki) statt state/system.json-Schnappschuss; Konten gn-monitor (983, geplant) für Datenhaltung, gn-dashboard (984) für die Web-App.
  • Anlass für die zügige Umsetzung: thermischer GPU0-SW-CTF-Vorfall vom 03.11.2026 (GNAI-010 Abschnitt 10.10) – ohne laufende Sensorüberwachung lief die Karte ~19 Minuten unbeobachtet auf die Abschaltung zu.

M1: Metrikpfad (implementiert 04.11.2026, Workstation-Entwicklung)

Entwickelt und getestet auf dem Betreiber-Laptop (CachyOS, rootless, User-Scope-systemd) im Verzeichnis llm-server/monitoring/:

  • amdgpu-textfile-collector.py (sysfs-only, kein ROCm erforderlich): Util, VRAM used/total, Edge/Junction/Memory-Temperatur, Lüfter-RPM und PWM je Karte; atomarer Textfile-Wechsel; auf der Laptop-APU gegen echte Sensordaten verifiziert, auf diskreten Karten (RX 6900 XT) in M5 zu bestätigen.
  • gnmon_collector-Rolle: node_exporter v1.12.1 (Upstream-Tarball, SHA256SUMS-verifiziert), Collector-Systemd-Timer (10 s), Port 9100 host-lokal.
  • gnmon_victoria_metrics-Rolle: rootless Quadlet, Network=host, VictoriaMetrics v1.154.1 (Digest sha256:c7884f32920dd45a9d86542a717227e63af03e060e53bbf8031e6e6fd0e1e05d, verifizierter Pull 04.11.2026), Scrape-Intervall 10 s, Retention 60 d, Health-Check im Playbook.
  • Verifikation: PromQL-Abfrage liefert gn_gpu_edge_temp_celsius (51 °C auf der Workstation-APU); Idempotenzlauf changed=0, failed=0.

M2: Logpfad (implementiert 04.11.2026, Workstation-Entwicklung)

  • gnmon_loki-Rolle: rootless Quadlet, Network=host, User=0 (Rootless-Mapping; das Upstream-Image läuft intern als UID 10001, die im User-Namespace nicht gemappt ist), Loki 3.6.19 (Digest sha256:0f9cbc340cbe33ee498e654075034336962057db072f57b37f253e14d476443a, verifizierter Pull 04.11.2026), TSDB-Schema v13, Filesystem-Store, Retention 30 d mit Compactor, Health-Check im Playbook.
  • gnmon_alloy-Rolle: Alloy v1.21.3 als Host-Binary (GNMON-001 §3; im rootless Container wäre die Journal-Gruppenzuordnung gid 981 nicht mappbar), User-Unit, SHA256SUMS-verifizierter Download, Journald-Quelle mit loki.relabel-Regeln (unit/syslog_identifier/priority als Labels) plus Datei-Quellen (Workstation: dev-test.log).
  • River-Syntax-Befunde (Alloy 1.21): Listenelemente benötigen Trailing-Commas; relabel_rules ist ein Attribut, das den rules-Export einer loki.relabel-Komponente nimmt; Rule-Attribute sind source_labels/target_label (Promtail-Stil).
  • Verifikation: Dev-Logzeile erscheint in Loki (query_range mit source="dev-test"), Idempotenzlauf changed=0, failed=0.
  • Offener Operator-Schritt (Workstation): sudo usermod -aG adm,systemd-journal ghost — die Journald-Quelle läuft ohne Fehler, sammelt aber ohne Gruppenmitgliedschaft keine Einträge (dokumentiertes Alloy-Verhalten). Danach Journald-Ingestion in einer neuen Session verifizieren.

Noch offen

  1. Punkte 1–6 aus GNMON-001 v2.0 Abschnitt 9 (Metrics-Account-Identität, NPM-Hostname/Keycloak-Client, UID/GID gn-monitor, Chart-Bibliothek, LLM-Metriken, Retention-Feinjustierung).
  2. Alarmierung (Planlücke): v2.0 deckt Sammeln und Anzeigen ab, aber keinen Schwellwert-Alarm (Motivation des Vorfalls). Vorschlag: vmalert-Regeln gegen VictoriaMetrics mit Notification-Kanal; Kanal- Auswahl (Mail/ntfy/Matrix) ist eine Betreiberentscheidung.
  3. M3 (Blazor-Dashboard) und M4 (Alerting: vmalert + Alertmanager, E-Mail an SMTP — Betreiberentscheidung 04.11.2026) auf der Workstation.
  4. M5 Server-Rollout auf ghostnet-ki nach Behebung des GPU0-Kühldefekts (GNAI-010 10.10): System-Scope-Rollen, Konten 983/984, nftables, Abnahmekriterien aus GNMON-001 Abschnitt 10.