GNMON-001 M1: Metrikpfad auf der Workstation implementiert
llm-server/monitoring/ neu: amdgpu-textfile-collector.py (sysfs-only, atomar, APU-tauglich), Rollen gnmon_collector (node_exporter v1.12.1, SHA256SUMS-verifiziert, 10s-Timer) und gnmon_victoria_metrics (rootless Quadlet, v1.154.1 digest-gepinnt, Scrape 10s, Retention 60d), Workstation- Inventory. Verifikation: PromQL liefert gn_gpu_edge_temp_celsius von der Laptop-APU; Idempotenz changed=0. GNMON-001 v2.0 in die Plattform-Struktur übernommen, GNMON-000-Stand inkl. Alerting-Planlücke aktualisiert. Generated by Mistral Vibe. Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
This commit is contained in:
@@ -1,32 +1,59 @@
|
||||
# Monitoring – Dokumentationsindex und Projektstand
|
||||
|
||||
**Dokumenten-ID:** GNMON-000-DOC
|
||||
**Stand:** 2026-10-19
|
||||
**Status:** Planungsabschluss; Implementierung noch nicht begonnen
|
||||
**Stand:** 2026-11-04
|
||||
**Status:** Revision v2.0 (03.11.2026) übernommen; Meilenstein M1 (Metrikpfad) auf der Workstation implementiert und verifiziert
|
||||
|
||||
## Dokumente
|
||||
|
||||
| Dokument | Zweck / Zielgruppe |
|
||||
| --- | --- |
|
||||
| [GNMON-001-PLAN_Architecture.md](GNMON-001-PLAN_Architecture.md) | Host-Monitoring: Metriken, Collector, Dashboard, Anbindung Encoding; Infrastrukturadministratoren |
|
||||
| [GNMON-001-PLAN_Architecture.md](GNMON-001-PLAN_Architecture.md) | Host-Monitoring: Metriken, Log-Pipeline, Dashboard, Anbindung Encoding; Infrastrukturadministratoren |
|
||||
| [docs/planning/gnmon-001-v2-0-monitoring-architektur-revision.md](../../../planning/gnmon-001-v2-0-monitoring-architektur-revision.md) | Arbeitskopie der v2.0-Revision (Betreiber-Rechercheordner) |
|
||||
|
||||
## Bestätigter Stand
|
||||
|
||||
- Planungsabschluss 19.10.2026: host-weites Monitoring für `ghostnet-ki`,
|
||||
fachlich getrennt vom Encoding-Workload (aus GNENC ausgegliedert).
|
||||
- Komponenten: host-seitiger Metrics-Collector (systemd-Service, schreibt
|
||||
`state/system.json` alle 10 s) und Dashboard-Container unter `gn-dashboard`
|
||||
(984).
|
||||
- Metriken: CPU, RAM, Disk (Root + NFS-Export), GPU-Util, VRAM.
|
||||
- Dashboard: Python/Flask, read-only Mounts, kein GPU-/Schreibzugriff;
|
||||
erreichbar über NPM (CT-103) mit Keycloak.
|
||||
- Anbindung Encoding: Dashboard liest `state/jobs/*.json` read-only
|
||||
(`state/` group-readable via `gn-media`).
|
||||
- Noch nicht implementiert: Konto `gn-dashboard`, Collector-Service,
|
||||
Dashboard-Quadlet, Image-Bau.
|
||||
- Revision v2.0 (03.11.2026): Blazor Server statt Flask, Zeitreihen-
|
||||
(VictoriaMetrics + node_exporter mit AMD-Textfile-Skript) und Log-Stack
|
||||
(Alloy + Loki) statt `state/system.json`-Schnappschuss; Konten
|
||||
`gn-monitor` (983, geplant) für Datenhaltung, `gn-dashboard` (984) für
|
||||
die Web-App.
|
||||
- Anlass für die zügige Umsetzung: thermischer GPU0-SW-CTF-Vorfall vom
|
||||
03.11.2026 (GNAI-010 Abschnitt 10.10) – ohne laufende Sensorüberwachung
|
||||
lief die Karte ~19 Minuten unbeobachtet auf die Abschaltung zu.
|
||||
|
||||
### M1: Metrikpfad (implementiert 04.11.2026, Workstation-Entwicklung)
|
||||
|
||||
Entwickelt und getestet auf dem Betreiber-Laptop (CachyOS, rootless,
|
||||
User-Scope-systemd) im Verzeichnis `llm-server/monitoring/`:
|
||||
|
||||
- `amdgpu-textfile-collector.py` (sysfs-only, kein ROCm erforderlich):
|
||||
Util, VRAM used/total, Edge/Junction/Memory-Temperatur, Lüfter-RPM und
|
||||
PWM je Karte; atomarer Textfile-Wechsel; auf der Laptop-APU gegen echte
|
||||
Sensordaten verifiziert, auf diskreten Karten (RX 6900 XT) in M5 zu
|
||||
bestätigen.
|
||||
- `gnmon_collector`-Rolle: node_exporter v1.12.1 (Upstream-Tarball,
|
||||
SHA256SUMS-verifiziert), Collector-Systemd-Timer (10 s), Port 9100
|
||||
host-lokal.
|
||||
- `gnmon_victoria_metrics`-Rolle: rootless Quadlet, `Network=host`,
|
||||
VictoriaMetrics **v1.154.1** (Digest
|
||||
`sha256:c7884f32920dd45a9d86542a717227e63af03e060e53bbf8031e6e6fd0e1e05d`,
|
||||
verifizierter Pull 04.11.2026), Scrape-Intervall 10 s, Retention 60 d,
|
||||
Health-Check im Playbook.
|
||||
- Verifikation: PromQL-Abfrage liefert `gn_gpu_edge_temp_celsius` (51 °C
|
||||
auf der Workstation-APU); Idempotenzlauf `changed=0, failed=0`.
|
||||
|
||||
## Noch offen
|
||||
|
||||
1. NPM-Hostname und Keycloak-Client (Umsetzung).
|
||||
2. Collector-Identität (root vs. Metrics-Account mit `render`-Gruppe).
|
||||
3. Erweiterung um LLM-Metriken (später).
|
||||
1. Punkte 1–6 aus GNMON-001 v2.0 Abschnitt 9 (Metrics-Account-Identität,
|
||||
NPM-Hostname/Keycloak-Client, UID/GID `gn-monitor`, Chart-Bibliothek,
|
||||
LLM-Metriken, Retention-Feinjustierung).
|
||||
2. **Alarmierung (Planlücke):** v2.0 deckt Sammeln und Anzeigen ab, aber
|
||||
keinen Schwellwert-Alarm (Motivation des Vorfalls). Vorschlag:
|
||||
`vmalert`-Regeln gegen VictoriaMetrics mit Notification-Kanal; Kanal-
|
||||
Auswahl (Mail/ntfy/Matrix) ist eine Betreiberentscheidung.
|
||||
3. M2 (Loki + Alloy Log-Pipeline) und M3 (Blazor-Dashboard) auf der
|
||||
Workstation.
|
||||
4. M5 Server-Rollout auf `ghostnet-ki` nach Behebung des GPU0-Kühldefekts
|
||||
(GNAI-010 10.10): System-Scope-Rollen, Konten 983/984, nftables,
|
||||
Abnahmekriterien aus GNMON-001 Abschnitt 10.
|
||||
|
||||
@@ -1,107 +1,154 @@
|
||||
# Monitoring
|
||||
|
||||
**Dokumenten-ID:** GNMON-001-PLAN
|
||||
**Titel:** Host-Monitoring auf dem KI-Server: Systemmetriken und Workload-Dashboards
|
||||
**Stand:** 2026-10-19
|
||||
**Status:** Finaler Plan nach Betreiberentscheidungen vom 19.10.2026
|
||||
**Referenzen:** [GNENC-001](../encoding/GNENC-001-PLAN_Architecture.md), [GNENC-002](../encoding/GNENC-002-PLAN_Pipeline.md), [GNAI-005](../../GNAI-005-SEC_Access-Control.md), [GNAI-006](../../proxmox-server/lxc/ct-103-reverse-proxy/GNAI-006-SEC_Reverse-Proxy.md)
|
||||
**Titel:** Host-Monitoring auf dem KI-Server: Systemmetriken, Log-Pipeline und Blazor-Dashboard
|
||||
**Stand:** 03.11.2026
|
||||
**Status:** Revidierter Plan (v2.0) nach Betreiberentscheidungen vom 03.11.2026; Implementierung noch nicht begonnen
|
||||
**Referenzen:** [GNENC-001](https://git.ghostnet.selfhost.eu/ghostnet.ai/infrastructure/raw/branch/main/docs/platform/llm-server/encoding/GNENC-001-PLAN_Architecture.md), [GNENC-002](https://git.ghostnet.selfhost.eu/ghostnet.ai/infrastructure/raw/branch/main/docs/platform/llm-server/encoding/GNENC-002-PLAN_Pipeline.md), [GNAI-005](https://git.ghostnet.selfhost.eu/ghostnet.ai/infrastructure/raw/branch/main/docs/platform/GNAI-005-SEC_Access-Control.md), [GNAI-006](https://git.ghostnet.selfhost.eu/ghostnet.ai/infrastructure/raw/branch/main/docs/platform/proxmox-server/lxc/ct-103-reverse-proxy/GNAI-006-SEC_Reverse-Proxy.md)
|
||||
|
||||
## Änderungsverlauf
|
||||
|
||||
| Datum | Version | Autor | Beschreibung |
|
||||
| --- | --- | --- | --- |
|
||||
| 19.10.2026 | 1.0 | Betreiber | Planungsabschluss: Metrics-Collector (system.json) + Flask-Dashboard |
|
||||
| 03.11.2026 | 2.0 | Betreiber / Mistral Vibe | Revision: Dashboard auf ASP.NET Core Blazor Server; Metriken über VictoriaMetrics + Exporter statt system.json-Schnappschuss; neue Log-Pipeline (Alloy + Loki) für journald-, Container- und Encoding-Logs |
|
||||
|
||||
## Änderungen gegenüber v1.0
|
||||
|
||||
1. **Dashboard-Technik:** Python/Flask → **ASP.NET Core Blazor Server (.NET 10 LTS)**, C#. Betreiberentscheidung 03.11.2026; löst die Festlegung aus v1.0 ab.
|
||||
2. **Metrikpfad:** Der host-seitige Metrics-Collector mit `state/system.json` (10-s-Schnappschuss, keine Historie) **entfällt**. Ersetzt durch node_exporter mit AMD-GPU-Textfile-Skript und **VictoriaMetrics** als Zeitreihen-Store. Damit sind Verläufe (24 h / 7 d / 30 d) möglich.
|
||||
3. **Neu: Log-Pipeline.** v1.0 hatte keine Log-Anzeige. Neu: **Grafana Alloy** (host-seitig) → **Loki** für journald-, Podman-Container- und Encoding-Job-Logs.
|
||||
4. **Workload-Status unverändert:** Das Filesystem-Handover für Encoding (`state/jobs/*.json`, read-only Mount) bleibt wie in v1.0 bzw. GNENC-002.
|
||||
5. **Neues Konto `gn-monitor`** für die Datenhaltung (VictoriaMetrics, Loki); `gn-dashboard` (984) bleibt auf die Web-App beschränkt.
|
||||
|
||||
## 1. Zweck und Abgrenzung
|
||||
|
||||
Host-weites Monitoring für `ghostnet-ki`: Systemmetriken (CPU, RAM, Disk,
|
||||
GPU-Util, VRAM) und Dashboards für Workloads. Aktuell angebunden ist die
|
||||
Encoding-Pipeline (GNENC-002); später erweiterbar um LLM-Metriken (GPU-Util
|
||||
unter Inferenz, llama.cpp-Statistik). Der Bereich ist fachlich getrennt vom
|
||||
Encoding-Workload (aus GNENC ausgegliedert, Betreiberentscheidung 19.10.2026), eilt aber Hardware und Host-Basis.
|
||||
Host-weites Monitoring für `ghostnet-ki` (10.0.0.90) mit drei Datenpfaden:
|
||||
|
||||
## 2. Architekturprinzip
|
||||
- **Zeitreihen** (CPU, RAM, Disk inkl. NFS-Export, GPU-Util, VRAM, Temperatur/Power) über VictoriaMetrics,
|
||||
- **Logs** (journald, Podman-Container-Logs, Encoding-Job-Logs) über Loki,
|
||||
- **Workload-Zustände** (Encoding-Jobs) über read-only Dateizugriff.
|
||||
|
||||
Filesystem-Handover wie in der Encoding-Pipeline: Der Metrics-Collector
|
||||
(host-seitig) schreibt `state/system.json` atomar; Workloads stellen ihre
|
||||
Status-Dateien bereit (Encoding: `state/jobs/*.json`). Das Dashboard liest
|
||||
ausschließlich Dateien (read-only Mounts) und hat weder GPU- noch
|
||||
Schreibzugriff.
|
||||
Später erweiterbar um LLM-Metriken (GPU-Util unter Inferenz, Serving-Statistik) — eigenes Thema im AI-Bereich. Der Bereich bleibt fachlich getrennt vom Encoding-Workload.
|
||||
|
||||
Bewusste Abgrenzung: **Grafana/OpenSearch kommen nicht zum Einsatz.** Ziel ist ein einziges, selbst erweiterbares Dashboard in einem Stack; VictoriaMetrics und Loki behalten dennoch ihre Standard-HTTP-APIs, sodass ein späteres Grafana zum Debuggen jederzeit andockbar wäre, ohne die Architektur zu ändern.
|
||||
|
||||
## 2. Architektur
|
||||
|
||||
```mermaid
|
||||
flowchart LR
|
||||
Browser["Browser (LAN / WireGuard)"] --> NPM["NPM CT-103 (TLS)"]
|
||||
NPM --> KC["Keycloak CT-102 (OIDC, MFA)"]
|
||||
NPM --> DB["Blazor-Dashboard, gn-dashboard (984), 10.0.0.90:8080"]
|
||||
DB -->|"PromQL, 10.0.0.90:8428"| VM["VictoriaMetrics, gn-monitor (983)"]
|
||||
DB -->|"LogQL, 10.0.0.90:3100"| LK["Loki, gn-monitor (983)"]
|
||||
DB -->|"read-only Mount"| ST["Encoding state/jobs"]
|
||||
subgraph HOST["Host-systemd auf ghostnet-ki"]
|
||||
NE["node_exporter (9100) mit AMD-Textfile-Skript"]
|
||||
AL["Grafana Alloy: journald + Job-Logfiles"]
|
||||
end
|
||||
NE --> VM
|
||||
AL --> LK
|
||||
```
|
||||
|
||||
Architekturprinzip: Die Dashboard-App bleibt eine **read-only, GPU-lose Einheit ohne Schreibzugriff** auf Pipeline oder Host. Historie und Log-Aggregation liegen in zwei dedizierten, rootless betriebenen Diensten; die App fragt deren HTTP-APIs ab.
|
||||
|
||||
## 3. Komponenten
|
||||
|
||||
| Komponente | Konto | Image | Aufgabe | Betrieb |
|
||||
| --- | --- | --- | --- | --- |
|
||||
| Metrics-Collector | host-seitig (systemd-Service; root oder dedizierter Metrics-Account mit `render`-Gruppe) | — | sampelt alle 10 s CPU, RAM, Disk (Root + NFS-Export), GPU-Util und VRAM (rocm-smi/sysfs, lesend); schreibt `state/system.json` atomar | dauerhaft |
|
||||
| Dashboard | `gn-dashboard` (984) | Dashboard-Image (Eigenbau, gepinnt; Python + Flask) | liest `system.json` + `state/jobs/*.json` (Encoding, read-only Mount); zeigt Ressourcen und Workload-Übersicht | dauerhaft |
|
||||
| Komponente | Konto / Betrieb | Aufgabe | Laufzeit |
|
||||
| --- | --- | --- | --- |
|
||||
| node_exporter | Host-systemd, Metrics-Account (siehe Abschnitt 9, offener Punkt 1) | CPU, RAM, Disk (Root + NFS-Export), Load; liest Textfile-Verzeichnis | dauerhaft |
|
||||
| AMD-GPU-Textfile-Skript | Host-systemd-Timer (10 s) | liest rocm-smi/sysfs (Util, VRAM, Junction-Temp, Power je Karte); schreibt `.prom`-Textfile atomar für node_exporter | dauerhaft |
|
||||
| Grafana Alloy | Host-systemd, Metrics-Account, Gruppen `systemd-journal` + `gn-media` | liest journald (System + Container) und Encoding-Logfiles; pusht nach Loki | dauerhaft |
|
||||
| VictoriaMetrics (single) | `gn-monitor` (983), rootless Quadlet | scrapet node_exporter (10 s); speichert Zeitreihen; `/api/v1/query` + `query_range` (Prometheus-API-kompatibel) | dauerhaft |
|
||||
| Loki | `gn-monitor` (983), rootless Quadlet | Log-Aggregation; `/loki/api/v1/query_range`; Filesystem-Store, kein S3 | dauerhaft |
|
||||
| Blazor-Dashboard | `gn-dashboard` (984), rootless Quadlet | UI: Ressourcen-Charts, GPU-Detail, Encoding-Übersicht, Log-Browser; Keycloak-OIDC | dauerhaft |
|
||||
|
||||
## 4. Konto `gn-dashboard`
|
||||
**Entscheidungen mit Begründung:**
|
||||
|
||||
UID/GID 984, subid/subgid ab 624288 (65536 Stück), Home
|
||||
`/var/lib/ghostnet-dashboard`, Config `/etc/ghostnet-dashboard`, Quadlets
|
||||
`/etc/containers/systemd/users/984`, eigener rootless Podman-Store, gesperrt
|
||||
(Passwort `!`, Shell `/usr/sbin/nologin`, Linger aktiv). Mitglied der Gruppe
|
||||
`gn-media` (nur lesender Zugriff auf `state/` und `queue/` der
|
||||
Encoding-Pipeline). Keine GPU-Gruppenmitgliedschaft, keine `/dev/kfd`-/
|
||||
`/dev/dri`-Weitergabe.
|
||||
- **VictoriaMetrics statt Prometheus:** ein einzelnes, statisches Binary, deutlich geringerer RAM-Bedarf, integrierter Scrape (`-promscrape.config`), Prometheus-Query-API-kompatibel. Ein späterer Wechsel zu Prometheus wäre für das Dashboard transparent.
|
||||
- **Loki statt OpenSearch:** Single-Binary, kein JVM-Cluster, indexiert nur Labels — passend zu Single-Host-Betrieb ohne HA-Aussage (vgl. GNAI-001).
|
||||
- **Alloy statt Promtail:** Promtail ist eingefroren; Alloy ist der offizielle Nachfolger und liest journald nativ (`loki.source.journal`) sowie Dateien (`local.file_match` + `loki.source.file`).
|
||||
- **AMD-GPU-Metriken als eigenes Textfile-Skript** statt fremdem Exporter: Abhängigkeitsfrei, identische Quelle (rocm-smi/sysfs) wie bereits 2026-11-01 beim thermischen Lastprofil verwendet; Skript liegt versioniert im Repo (Abschnitt 8).
|
||||
|
||||
## 5. Metrics-Collector
|
||||
## 4. Metrikpfad
|
||||
|
||||
- Sampling alle 10 s; atomares Schreiben (`state/tmp/` + `mv`) nach
|
||||
`/var/lib/ghostnet-pipeline/state/system.json` (Mode `0644`).
|
||||
- Schema:
|
||||
- **Scrape:** VictoriaMetrics → node_exporter auf `10.0.0.90:9100`, Intervall 10 s.
|
||||
- **GPU:** Das Textfile-Skript schreibt pro Karte Metriken wie `gn_gpu_utilization_percent{card="0"}`, `gn_gpu_vram_used_bytes`, `gn_gpu_junction_temp_celsius`, `gn_gpu_power_watts` — Werte aus rocm-smi bzw. `/sys/class/drm/card*/device/gpu_metrics`. Modus `0644`, atomarer Schreibwechsel (`.tmp` + `rename`).
|
||||
- **Disk:** node_exporter erfasst Root-Dateisystem und den gemounteten NFS-Export (CT-101) über die Host-Mount-Tabelle.
|
||||
- **Retention:** `-retentionPeriod=60d` (Startwert; Anpassung nach erstem Realbetrieb).
|
||||
- **Zugriff:** Port 8428 (VM) und 9100 (node_exporter) nur host-lokal bzw. aus dem Dashboard-Container; nftables-Regeln siehe Abschnitt 7.
|
||||
|
||||
```json
|
||||
{
|
||||
"ts": "…",
|
||||
"cpu_util_pct": 0.0,
|
||||
"ram_total_bytes": 0,
|
||||
"ram_used_bytes": 0,
|
||||
"disks": [{"mount": "/", "total_bytes": 0, "used_bytes": 0}],
|
||||
"gpu_util_pct": 0.0,
|
||||
"vram_used_bytes": 0,
|
||||
"vram_total_bytes": 0
|
||||
}
|
||||
```
|
||||
## 5. Logpfad
|
||||
|
||||
- GPU-Metriken werden host-seitig gelesen (rocm-smi oder sysfs); der
|
||||
Dashboard-Container selbst hat keinen GPU-Zugriff.
|
||||
- Ressourcenlimits: MemoryMax 512M, CPUWeight 50.
|
||||
- **System-/Dienst-Logs:** Alloy liest journald über die Mitgliedschaft `systemd-journal`; Labels mindestens `unit`, `priority`, `hostname`.
|
||||
- **Podman-Container-Logs:** Die Workload-Quadlets (Encoding, später LLM) setzen `log_driver=journald`, damit Container-Logs einheitlich im Journal landen und dort `_UID` des jeweiligen Workload-Kontos sowie `CONTAINER_NAME` als Labels nutzbar sind. Rootless-Stores fremder Konten werden **nicht** gelesen.
|
||||
- **Encoding-Job-Logs:** Alloy verfolgt die Logdateien der Pipeline (read-only über `gn-media`); Label `job` aus dem Dateinamen/Pfad.
|
||||
- **Retention:** Loki Filesystem-Store, `retention_period: 30d` (Startwert), Compactor aktiv.
|
||||
- **Zugriff:** Port 3100 (Loki) nur host-lokal bzw. Dashboard-Container.
|
||||
|
||||
## 6. Dashboard
|
||||
## 6. Dashboard (Blazor Server)
|
||||
|
||||
- **Views:** Ressourcen (CPU, RAM, Disk, GPU-Util, VRAM aus `system.json`);
|
||||
Encoding-Übersicht (aktive Jobs mit Fortschritt, Queue-Tiefe pro Profil,
|
||||
Historie done/failed der letzten 30 Tage, Fehlerfälle mit Ablageort in
|
||||
`output/_failed/`); später LLM-Metriken.
|
||||
- **Technik:** Python/Flask, server-seitig gerendert, ohne JS-Framework. Nur
|
||||
read-only Mounts (`state/`, `queue/`); kein GPU-Zugriff, kein Schreibzugriff.
|
||||
- **Erreichbarkeit:** Ingress über NPM (CT-103) mit TLS, zugriffsgeschützt
|
||||
über Keycloak — analog zu den bestehenden Admin-Pfaden
|
||||
(GNAI-005/GNAI-006).
|
||||
- **Image:** schlankes Python-Base-Image + Flask, Eigenbau unter
|
||||
`llm-server/monitoring/images/`, Digest gepinnt.
|
||||
- **Technik:** ASP.NET Core Blazor Web App, Render Mode **Interactive Server**, .NET 10 (LTS). Ein Projekt, keine separate API; WebSocket-Upgrade in NPM aktivieren.
|
||||
- **Views:**
|
||||
1. **Ressourcen:** Live-Werte + Verlaufscharts (1 h / 24 h / 7 t) für CPU, RAM, Disk je Mount.
|
||||
2. **GPU-Detail:** je RX 6900 XT Util, VRAM, Junction-Temp, Power — Live + Verlauf.
|
||||
3. **Encoding:** aktive Jobs mit Fortschritt, Queue-Tiefe pro Profil, Historie done/failed (30 Tage), Fehlerfälle mit Ablageort `output/_failed/` — aus `state/jobs/*.json` (read-only Mount, unverändert zu v1.0).
|
||||
4. **Logs:** Browser über Loki `query_range` mit Filter `unit`/`container`/`job` und Live-Tail (Polling alle 2 s).
|
||||
- **Charts:** Blazor-ApexCharts (NuGet, C#-API, kapselt die JS-Abhängigkeit). v1.0-Grundsatz „kein JS-Framework" bleibt gewahrt: kein Frontend-Framework, nur eine Chart-Komponentenbibliothek. Falls auch das unerwünscht ist: Alternative sind server-seitig gerenderte SVG-Charts (offener Punkt 4).
|
||||
- **Live-Updates:** server-seitige Timer/Streaming-Rendering für Live-Kacheln; keine Client-seitige Logik außer der Chart-Rendering-Bibliothek.
|
||||
- **Image:** `llm-server/monitoring/images/dashboard/Containerfile`, Base `mcr.microsoft.com/dotnet/aspnet:10.x`, Digest gepinnt, Non-Root-User im Image (gemappte UID 984).
|
||||
|
||||
## 7. Anbindung Encoding-Pipeline
|
||||
## 7. Authentifizierung und Erreichbarkeit
|
||||
|
||||
- Der Encoding-Worker schreibt `state/jobs/*.json` (Schema in GNENC-002
|
||||
Abschnitt 7); das Dashboard liest read-only.
|
||||
- `state/` ist `gn-encoding:gn-media` mit Mode `2750`, damit `gn-dashboard`
|
||||
lesen kann; Schreibzugriffe bleiben beim Worker (`state/jobs/`, `state/tmp/`
|
||||
`0750`) und beim Collector (`state/system.json`).
|
||||
- Das Dashboard hat keine Schreibzugriffe in die Pipeline.
|
||||
- **Ingress:** NPM (CT-103) mit TLS und Split-DNS-Name (Hostname offen, Punkt 2); Proxy auf `10.0.0.90:8080`, WebSocket-Upgrade erforderlich. Hostname folgt dem Muster der bestehenden Admin-Pfade (GNAI-005/GNAI-006).
|
||||
- **OIDC:** Die App authentifiziert selbst über `Microsoft.AspNetCore.Authentication.OpenIdConnect` mit PKCE (Confidential Client `gn-dashboard` in Keycloak CT-102) — analog zum bestätigten Vaultwarden-OIDC-Muster. Rollen-Claim (Realm-Rolle `dashboard-admin`) für die Autorisierung; **MFA wird über die Keycloak-Realm-Policy erzwungen**, nicht in der App.
|
||||
- **Forwarded Headers:** `ForwardedHeaders`-Middleware, da TLS an NPM endet.
|
||||
- **Netzwerksegmentierung (host-nftables auf `ghostnet-ki`):**
|
||||
- 8080 (Dashboard) → erlaubt von 10.0.0.10 (NPM),
|
||||
- 8428, 9100, 3100 → nur host-lokal / aus den rootless Containern desselben Hosts; per Regel von LAN und WireGuard abweisbar testen.
|
||||
- **Rootless-Besonderheit:** Die Quadlets laufen unter verschiedenen Konten mit getrennten Netz-Namespaces; Quartett-übergreifender Verkehr läuft über die an die Host-IP gebundenen Ports (PublishPort, unprivilegiert >1024). Das ist der Grund für die nftables-Regeln oben; Abnahme mit Positiv-/Negativtest.
|
||||
|
||||
## 8. Repository-Grenzen
|
||||
|
||||
```text
|
||||
llm-server/monitoring/
|
||||
├── ansible/ # Playbook + Rolle (Collector-Service, Dashboard-Quadlet, Konto-Zustand)
|
||||
├── images/ # Dashboard-Containerfile
|
||||
└── scripts/ # Metrics-Collector
|
||||
├── ansible/ # Playbooks + Rollen: Konten, systemd-Units, Quadlet-Rollen, nftables
|
||||
├── images/
|
||||
│ └── dashboard/ # Containerfile (Blazor-App), Digest-Pin
|
||||
├── scripts/
|
||||
│ ├── amdgpu-textfile-collector.py (o. ä.)
|
||||
│ └── scrape.yml # VictoriaMetrics-Promscrape-Konfig
|
||||
└── src/
|
||||
└── Ghostnet.Dashboard/ # Blazor-Projekt (später ggf. Solution mit Tests)
|
||||
```
|
||||
|
||||
Eigene Programme liegen versioniert unter `llm-server/monitoring/scripts/`;
|
||||
das Dashboard-Image wird gebaut und per Digest gepinnt (analog GNENC-001
|
||||
Abschnitt 5).
|
||||
VictoriaMetrics und Loki laufen mit gepinnten Upstream-Images (kein Eigenbau-Image nötig); Loki-/VM-Konfiguration liegt versioniert unter `ansible/` (Rollen) bzw. `images/`.
|
||||
|
||||
## 9. Offene Punkte
|
||||
|
||||
1. NPM-Hostname und Keycloak-Client für das Dashboard (Umsetzung mit
|
||||
GNAI-005/GNAI-006).
|
||||
2. Collector-Identität: root oder dedizierter Metrics-Account mit
|
||||
`render`-Gruppe — finale Festlegung bei der Umsetzung.
|
||||
3. Erweiterung um LLM-Metriken (später, eigenes Thema im AI-Bereich).
|
||||
1. **Metrics-Account-Identität** (aus v1.0 übernommen): root vs. dedizierter Account mit `render`- und `systemd-journal`-Gruppe — bei der Umsetzung festlegen; Empfehlung: dedizierter Account.
|
||||
2. **NPM-Hostname und Keycloak-Client** `gn-dashboard` (Umsetzung mit GNAI-005/GNAI-006).
|
||||
3. **UID/GID für `gn-monitor`**: geplant 983 (nahe 984); freie ID bei Umsetzung prüfen.
|
||||
4. **Chart-Bibliothek:** Blazor-ApexCharts vs. server-seitiges SVG (Entscheidung bei Implementierung).
|
||||
5. **LLM-Metriken** (später, eigenes Thema im AI-Bereich): scrape-fähiger Endpoint des Serving-Containers oder Textfile — Aufnahme erst mit dauerhaftem Serving.
|
||||
6. **Retention-Feinjustierung** (60 d Metriken / 30 d Logs) nach erstem Realbetriebsmonat.
|
||||
|
||||
## 10. Abnahmekriterien (Auszug für die Umsetzung)
|
||||
|
||||
- Ansible-Rollen idempotent: zweiter Lauf `changed=0`, `failed=0` (Konvention des Host-Projekts).
|
||||
- Dashboard zeigt Live-Metriken und 24-h-Verläufe für CPU, RAM, Disk, beide GPUs.
|
||||
- Logs aller drei Quellen (journald, Podman-Container, Encoding-Jobs) im Log-Browser auffindbar; Container-Log eines gestoppten/gestarteten Testcontainers erscheint/verschwindet korrekt.
|
||||
- Login ohne Keycloak-Session abgewiesen; mit Realm-Rolle `dashboard-admin` und MFA erfolgreich; ohne Rolle abgewiesen (Negativtest).
|
||||
- nftables-Negativtest: 8428/9100/3100 aus LAN nicht erreichbar; 8080 nur von NPM.
|
||||
- Dashboard-Container hat keinen Schreibzugriff auf `state/` (Negativtest) und kein `/dev/kfd`, `/dev/dri`.
|
||||
|
||||
---
|
||||
|
||||
## Folgeänderung für GNMON-000 (Dokumentationsindex)
|
||||
|
||||
Beim Einchecken dieser Revision GNMON-000 anpassen:
|
||||
|
||||
- **Bestätigter Stand:** „Komponenten: node_exporter + AMD-Textfile-Skript, VictoriaMetrics, Loki + Alloy (host-seitig), Dashboard unter `gn-dashboard` (984) als Blazor-Server-Quadlet; Metriken mit Verlaufshistorie, Logs aus journald, Containern und Encoding."
|
||||
- **Statuszeile:** „Revision v2.0 (03.11.2026): Blazor statt Flask, Zeitreihen- und Log-Stack ergänzt."
|
||||
- **Noch offen:** Punkte 1–6 aus Abschnitt 9 übernehmen; Punkt „system.json-Collector" entfällt.
|
||||
Reference in New Issue
Block a user