GNMON-001 M6: OIDC-faehiges Dashboard v0.2.0 (App + Rolle + Doku)
App (Ghostnet.Dashboard, baut fehlerfrei mit 0 Warnungen, .NET 10): - OIDC konfigurationsgetrieben (Auth:Enabled/Authority/ClientId in appsettings.json, Secret nur via ENV Auth__ClientSecret), Authorization Code Flow mit PKCE, Cookie-Schema - KeycloakRealmRolesClaimTransformation mappt realm_access.roles auf Role-Claims; Policy DashboardAccess erfordert Realm-Rolle dashboard-admin (im Off-Modus permissive) - Endpoint-Autorisierung an MapRazorComponents().RequireAuthorization() (.NET 10: AuthorizeRouteView hat keinen Policy-Parameter mehr), UseForwardedHeaders fuer TLS-Terminierung an NPM, /login + /logout - Paket Microsoft.AspNetCore.Authentication.OpenIdConnect 10.0.14 Rolle/Quadlet: host-lokale, verwaltete Secrets-Datei /etc/gnmon/dashboard-secrets.env (Owner gn-dashboard, 0640, force: false) per EnvironmentFile im Quadlet; Image-Default auf v0.2.0 angehoben, Inventory pinnt v0.2.0; Duplikat gnmon_dashboard_quadlet_dir entfernt; Containerfile-Kommentar an die keep-id-Entscheidung (GNMON-000 M5) angepasst. Doku: GNMON-000 (M6-Abschnitt, Verifikation 09.11.2026 nach Host-Neustart, CT-103-Ansible-Nachbau als erledigt markiert) und GNMON-001 v2.1 (Umsetzungsabweichungen: gn-monitor=986, Braille statt ApexCharts, Hostname mon.ghostnet.selfhost.eu, offene Punkte 1-4 entschieden). Externe Freigabe (NPM-Proxyhost + Keycloak-Client gn-dashboard + Auth__Enabled=true) bleibt Betreiber-Schritt, siehe GNMON-000 M6. Generated by Mistral Vibe. Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
This commit is contained in:
@@ -1,8 +1,8 @@
|
||||
# Monitoring – Dokumentationsindex und Projektstand
|
||||
|
||||
**Dokumenten-ID:** GNMON-000-DOC
|
||||
**Stand:** 2026-11-06
|
||||
**Status:** Revision v2.0 (03.11.2026) übernommen; M1–M4 auf der Workstation implementiert und verifiziert; M5 inkl. Dashboard auf dem KI-Server produktiv (System-Scope); NPM/OIDC-Ingress folgt in M6
|
||||
**Stand:** 2026-11-09
|
||||
**Status:** Revision v2.0 (03.11.2026) übernommen; M1–M5 produktiv auf Workstation + KI-Server; M6 (NPM + Keycloak-OIDC) App-/Server-seitig vorbereitet, externe Freigabe wartet auf Betreiber-Schritte
|
||||
|
||||
## Dokumente
|
||||
|
||||
@@ -271,20 +271,96 @@ die neue Textfile-Metrik.
|
||||
- **Aufgeräumt:** Dashboard-Tar auf Server und Workstation gelöscht,
|
||||
versehentlicher Root-Load entfernt; kein verwaister Container-Rest.
|
||||
|
||||
### Verifikation 09.11.2026 (nach Host-Neustart, read-only via `ghost-agent`)
|
||||
|
||||
Host-Neustart gegen 05:05 CET; danach ohne manuelle Eingriffe: alle vier
|
||||
`gn-monitor`-Container (VM, Loki, vmalert, Alertmanager) plus node_exporter,
|
||||
Alloy und der Dashboard-Container (dotnet als `gn-dashboard`) wieder aktiv;
|
||||
alle Ports weiterhin nur auf 127.0.0.1 (3100, 9096, 8428, 8880, 9093, 9100,
|
||||
8080). Loki `/ready` direkt nach dem Boot vorübergehend 503 (WAL-Replay),
|
||||
danach 200; Abfragen und Labels fehlerfrei. Dashboard `/` HTTP 200.
|
||||
vmalert `/-/healthy` 200, Regelgruppe `gnmon-ai` (`GnAiEnvironmentDown`)
|
||||
geladen, Alertmanager `/api/v2/alerts` leer. VictoriaMetrics liefert
|
||||
`gn_ai_active_env{env="production"} 1` (Production-Recovery nach Boot, siehe
|
||||
GNAI-008 14.6) und `gn_gpu_*` für beide Karten (`gpu="unknown"` bestätigt).
|
||||
Konten per `getent` bestätigt: `gn-monitor` 986, `gn-dashboard` 984,
|
||||
`gn-download` 983. **Gegenbefund:** `gnai-ai-backup.service` Exit 21 beim
|
||||
Boot (NFS-Mount noch nicht verfügbar) — dokumentiert in GNAI-008 14.6.
|
||||
|
||||
## Noch offen
|
||||
|
||||
1. Punkte 1–6 aus GNMON-001 v2.0 Abschnitt 9 (Metrics-Account-Identität,
|
||||
NPM-Hostname/Keycloak-Client, UID/GID `gn-monitor`, Chart-Bibliothek,
|
||||
LLM-Metriken, Retention-Feinjustierung).
|
||||
2. **Alarmierung (Planlücke):** v2.0 deckt Sammeln und Anzeigen ab, aber
|
||||
keinen Schwellwert-Alarm (Motivation des Vorfalls). Vorschlag:
|
||||
`vmalert`-Regeln gegen VictoriaMetrics mit Notification-Kanal; Kanal-
|
||||
Auswahl (Mail/ntfy/Matrix) ist eine Betreiberentscheidung.
|
||||
3. M6 auf `ghostnet-ki`: externer Dashboard-Zugriff über NPM (CT-103)
|
||||
mit TLS + WebSocket-Upgrade sowie OIDC/Keycloak (Confidential Client
|
||||
`gn-dashboard`, CT-102); damit einhergehend Bindung von :8080 auf
|
||||
die Host-LAN-IP und nftables-Regel „8080 nur von 10.0.0.10"
|
||||
(GNMON-001 §7; solange das Dashboard rein host-lokal läuft, ist
|
||||
keine Regel nötig — alles andere bindet bereits nur Loopback).
|
||||
4. keep-id-Ursachenanalyse (crun/Overlay-Rechte der gn-dashboard-Storage)
|
||||
### M6: OIDC-Freigabe (App-seitig fertig 07.11.2026, Go 06.11.2026)
|
||||
|
||||
Betreiberentscheidungen 06.11.2026: Hostname `mon.ghostnet.selfhost.eu`,
|
||||
Realm `Ghost.net` (Vaultwarden-Realm, Issuer
|
||||
`https://auth.ghostnet.selfhost.eu/realms/Ghost.net`, Discovery verifiziert
|
||||
200), Keycloak-Client über den CT-102-Ansible-Zugang, CT-103-NPM künftig
|
||||
über einen Ansible-Nachbau durch einen Agenten.
|
||||
|
||||
- **App (implementiert, v0.2.0):**
|
||||
- `Program.cs`: OIDC konfigurationsgetrieben (`Auth:Enabled`/Authority/
|
||||
ClientId; Secret nur über ENV `Auth__ClientSecret`, nie Image/Repo).
|
||||
Authorization-Code-Flow mit PKCE, Cookie-Schema, Keycloak-Rollen aus
|
||||
`realm_access.roles` per `IClaimsTransformation`
|
||||
(`KeycloakRealmRolesClaimTransformation`), Policy `DashboardAccess`
|
||||
(im Off-Modus permissive, im On-Modus `RequireRole("dashboard-admin")`),
|
||||
`UseForwardedHeaders` (X-Forwarded-For/Proto, TLS endet an NPM),
|
||||
Endpoint-Autorisierung an `MapRazorComponents().RequireAuthorization()`,
|
||||
`/login` + `/logout` Komfort-Endpunkte.
|
||||
- **.NET-10-Befund:** `AuthorizeRouteView` hat keinen `Policy`-Parameter
|
||||
mehr (Reflection-Check gegen 10.0.14 — nur NotAuthorized/Authorizing/
|
||||
Resource/RouteData/DefaultLayout). Ersatz: Endpoint-Autorisierung;
|
||||
unauthentifizierte Seitenaufrufe erhalten den automatischen
|
||||
OIDC-Challenge und kehren nach dem Login auf die Zielseite zurück,
|
||||
authentifiziert ohne Rolle → 403.
|
||||
- **PAR-Befund:** .NET 10 OIDC nutzt Pushed Authorization Requests;
|
||||
der Auth-ON-Smoke gegen den echten Realm lief bis zum PAR-Endpunkt
|
||||
von Keycloak (401, solange der Client fehlt — erwartet). Pipeline
|
||||
davor verifiziert.
|
||||
- Off-Modus-Regression: `/` 200 mit Shell, `/login` 302 → `/`, Bau ohne
|
||||
Warnungen.
|
||||
- **Rolle/Image (deployed):** Image `v0.2.0` (ID `46f26c575d22…`) gebaut,
|
||||
geraucht (HTTP 200) und transportiert; Inventory pinnt v0.2.0. Quadlet
|
||||
lädt `EnvironmentFile=/etc/gnmon/dashboard-secrets.env` (Rolle shipped
|
||||
leere verwaltete Datei, Owner gn-dashboard 0640, `force: false` — ein
|
||||
ausgefülltes Secret wird von Läufen nie überschrieben). Suite grün und
|
||||
idempotent; Dashboard bleibt bis NPM-Freigabe host-lokal (127.0.0.1).
|
||||
- **Split-DNS (vorbereitet, Deploy blockiert):** CT-100-Rolle hat den
|
||||
Record `10.0.0.10 mon.ghostnet.selfhost.eu` in `dns_pihole_hosts_records`
|
||||
ergänzt; der Production-Deploy scheitert zunächst, weil auf CT-100 noch
|
||||
**kein `ansible-deploy`-Konto existiert** (Adoption steht aus, siehe
|
||||
Betreiber-Schritte).
|
||||
- **Betreiber-Schritte (offen):**
|
||||
1. Keycloak: einmalig `kcadm config credentials` als Admin im
|
||||
`ghostnet-keycloak`-Container (Passwort-Prompt), danach legt der
|
||||
Agent Client `gn-dashboard` (confidential, Standard-Flow, Redirect
|
||||
`https://mon.ghostnet.selfhost.eu/signin-oidc`), Realm-Rolle
|
||||
`dashboard-admin` und Rollen-Zuweisung an; Secret wird nur in die
|
||||
host-lokale dashboard-secrets.env geschrieben. MFA-Hinweis: eine
|
||||
reichweitenweite Realm-Policy könnte den produktiven
|
||||
Vaultwarden-OIDC beeinflussen — Ausgestaltung ist
|
||||
Betreiberentscheidung (z. B. Conditional Flow nur für die Rolle).
|
||||
2. CT-100: Adoption-Bootstrap (`bootstrap.yml` auf Bootstrap-Inventar,
|
||||
`--ask-become-pass`) → Agent deploys den DNS-Record.
|
||||
3. CT-103: Der Ansible-Nachbau ist abgeschlossen — Projekt unter
|
||||
`proxmox/lxc/ct-103-reverse-proxy/ansible/`, am 07.11.2026 adoptiert
|
||||
und am 09.11.2026 verifiziert (preflight ok=15, verify-production
|
||||
ok=27 changed=0, `site.yml --check` changed=0; GNAI-006 v3.0).
|
||||
Verbleibend: Proxy-Host `mon.ghostnet.selfhost.eu` → `10.0.0.90:8080`
|
||||
in NPM anlegen (NPM-Proxyhosts sind Runtime-Daten und werden nicht
|
||||
per Ansible verwaltet), WebSocket Support und Block Common Exploits
|
||||
aktiv, SSL/Redirect wie die bestehenden Hosts (Vaultwarden-Muster).
|
||||
Danach: Bind des Dashboards auf die LAN-IP + nftables „8080 nur von
|
||||
10.0.0.10" + `Auth__Enabled=true` + E2E-Abnahme (echter Login,
|
||||
Rollen-403-Negativtest, Blazor-Circuit über WebSocket hinter Proxy).
|
||||
|
||||
## Noch offen (Rest)
|
||||
|
||||
1. GNMON-001 v2.0 Abschnitt 9, Restpunkte: Metrics-Account-Identität,
|
||||
UID/GID `gn-monitor` und Chart-Bibliothek sind entschieden/umgesetzt;
|
||||
NPM-Hostname ist entschieden (`mon.ghostnet.selfhost.eu`), der
|
||||
Keycloak-Client folgt mit den M6-Betreiber-Schritten (oben). Offen
|
||||
bleiben LLM-Metriken jenseits `gn_ai_active_env` (z. B. Tokens/
|
||||
Latenzen der Inference-Engine) und die Retention-Feinjustierung.
|
||||
2. keep-id-Ursachenanalyse (crun/Overlay-Rechte der gn-dashboard-Storage)
|
||||
bei Bedarf; Entscheidung zum Default-Mapping steht in Abschnitt M5.
|
||||
|
||||
@@ -2,8 +2,8 @@
|
||||
|
||||
**Dokumenten-ID:** GNMON-001-PLAN
|
||||
**Titel:** Host-Monitoring auf dem KI-Server: Systemmetriken, Log-Pipeline und Blazor-Dashboard
|
||||
**Stand:** 03.11.2026
|
||||
**Status:** Revidierter Plan (v2.0) nach Betreiberentscheidungen vom 03.11.2026; Implementierung noch nicht begonnen
|
||||
**Stand:** 2026-11-09
|
||||
**Status:** Revidierter Plan (v2.0) nach Betreiberentscheidungen vom 03.11.2026; M1–M5 produktiv umgesetzt (belegter Stand in GNMON-000), M6 externe Freigabe in Vorbereitung
|
||||
**Referenzen:** [GNENC-001](https://git.ghostnet.selfhost.eu/ghostnet.ai/infrastructure/raw/branch/main/docs/platform/llm-server/encoding/GNENC-001-PLAN_Architecture.md), [GNENC-002](https://git.ghostnet.selfhost.eu/ghostnet.ai/infrastructure/raw/branch/main/docs/platform/llm-server/encoding/GNENC-002-PLAN_Pipeline.md), [GNAI-005](https://git.ghostnet.selfhost.eu/ghostnet.ai/infrastructure/raw/branch/main/docs/platform/GNAI-005-SEC_Access-Control.md), [GNAI-006](https://git.ghostnet.selfhost.eu/ghostnet.ai/infrastructure/raw/branch/main/docs/platform/proxmox-server/lxc/ct-103-reverse-proxy/GNAI-006-SEC_Reverse-Proxy.md)
|
||||
|
||||
## Änderungsverlauf
|
||||
@@ -12,6 +12,7 @@
|
||||
| --- | --- | --- | --- |
|
||||
| 19.10.2026 | 1.0 | Betreiber | Planungsabschluss: Metrics-Collector (system.json) + Flask-Dashboard |
|
||||
| 03.11.2026 | 2.0 | Betreiber / Mistral Vibe | Revision: Dashboard auf ASP.NET Core Blazor Server; Metriken über VictoriaMetrics + Exporter statt system.json-Schnappschuss; neue Log-Pipeline (Alloy + Loki) für journald-, Container- und Encoding-Logs |
|
||||
| 09.11.2026 | 2.1 | Mistral Vibe | Umsetzungsabweichungen gegenüber v2.0 nachgeführt (belegter Stand in GNMON-000): `gn-monitor` hat UID/GID **986** (die geplante 983 war an `gn-download` vergeben), Charts als eigene Braille-Komponente statt ApexCharts, NPM-Hostname `mon.ghostnet.selfhost.eu` entschieden; M1–M5 sind produktiv auf dem KI-Server (System-Scope) und der Workstation (User-Scope) ausgerollt |
|
||||
|
||||
## Änderungen gegenüber v1.0
|
||||
|
||||
@@ -40,8 +41,8 @@ flowchart LR
|
||||
Browser["Browser (LAN / WireGuard)"] --> NPM["NPM CT-103 (TLS)"]
|
||||
NPM --> KC["Keycloak CT-102 (OIDC, MFA)"]
|
||||
NPM --> DB["Blazor-Dashboard, gn-dashboard (984), 10.0.0.90:8080"]
|
||||
DB -->|"PromQL, 10.0.0.90:8428"| VM["VictoriaMetrics, gn-monitor (983)"]
|
||||
DB -->|"LogQL, 10.0.0.90:3100"| LK["Loki, gn-monitor (983)"]
|
||||
DB -->|"PromQL, 10.0.0.90:8428"| VM["VictoriaMetrics, gn-monitor (986)"]
|
||||
DB -->|"LogQL, 10.0.0.90:3100"| LK["Loki, gn-monitor (986)"]
|
||||
DB -->|"read-only Mount"| ST["Encoding state/jobs"]
|
||||
subgraph HOST["Host-systemd auf ghostnet-ki"]
|
||||
NE["node_exporter (9100) mit AMD-Textfile-Skript"]
|
||||
@@ -60,8 +61,8 @@ Architekturprinzip: Die Dashboard-App bleibt eine **read-only, GPU-lose Einheit
|
||||
| node_exporter | Host-systemd, Metrics-Account (siehe Abschnitt 9, offener Punkt 1) | CPU, RAM, Disk (Root + NFS-Export), Load; liest Textfile-Verzeichnis | dauerhaft |
|
||||
| AMD-GPU-Textfile-Skript | Host-systemd-Timer (10 s) | liest rocm-smi/sysfs (Util, VRAM, Junction-Temp, Power je Karte); schreibt `.prom`-Textfile atomar für node_exporter | dauerhaft |
|
||||
| Grafana Alloy | Host-systemd, Metrics-Account, Gruppen `systemd-journal` + `gn-media` | liest journald (System + Container) und Encoding-Logfiles; pusht nach Loki | dauerhaft |
|
||||
| VictoriaMetrics (single) | `gn-monitor` (983), rootless Quadlet | scrapet node_exporter (10 s); speichert Zeitreihen; `/api/v1/query` + `query_range` (Prometheus-API-kompatibel) | dauerhaft |
|
||||
| Loki | `gn-monitor` (983), rootless Quadlet | Log-Aggregation; `/loki/api/v1/query_range`; Filesystem-Store, kein S3 | dauerhaft |
|
||||
| VictoriaMetrics (single) | `gn-monitor` (986), rootless Quadlet | scrapet node_exporter (10 s); speichert Zeitreihen; `/api/v1/query` + `query_range` (Prometheus-API-kompatibel) | dauerhaft |
|
||||
| Loki | `gn-monitor` (986), rootless Quadlet | Log-Aggregation; `/loki/api/v1/query_range`; Filesystem-Store, kein S3 | dauerhaft |
|
||||
| Blazor-Dashboard | `gn-dashboard` (984), rootless Quadlet | UI: Ressourcen-Charts, GPU-Detail, Encoding-Übersicht, Log-Browser; Keycloak-OIDC | dauerhaft |
|
||||
|
||||
**Entscheidungen mit Begründung:**
|
||||
@@ -95,7 +96,7 @@ Architekturprinzip: Die Dashboard-App bleibt eine **read-only, GPU-lose Einheit
|
||||
2. **GPU-Detail:** je RX 6900 XT Util, VRAM, Junction-Temp, Power — Live + Verlauf.
|
||||
3. **Encoding:** aktive Jobs mit Fortschritt, Queue-Tiefe pro Profil, Historie done/failed (30 Tage), Fehlerfälle mit Ablageort `output/_failed/` — aus `state/jobs/*.json` (read-only Mount, unverändert zu v1.0).
|
||||
4. **Logs:** Browser über Loki `query_range` mit Filter `unit`/`container`/`job` und Live-Tail (Polling alle 2 s).
|
||||
- **Charts:** Blazor-ApexCharts (NuGet, C#-API, kapselt die JS-Abhängigkeit). v1.0-Grundsatz „kein JS-Framework" bleibt gewahrt: kein Frontend-Framework, nur eine Chart-Komponentenbibliothek. Falls auch das unerwünscht ist: Alternative sind server-seitig gerenderte SVG-Charts (offener Punkt 4).
|
||||
- **Charts:** ~~Blazor-ApexCharts~~ **umgesetzt:** eigene Braille-Chart-Komponente ohne JS-Chart-Bibliothek (Betreiberentscheidung 04.11.2026, GNMON-000 M3.4); ApexCharts inkl. CDN-Referenz wurde entfernt.
|
||||
- **Live-Updates:** server-seitige Timer/Streaming-Rendering für Live-Kacheln; keine Client-seitige Logik außer der Chart-Rendering-Bibliothek.
|
||||
- **Image:** `llm-server/monitoring/images/dashboard/Containerfile`, Base `mcr.microsoft.com/dotnet/aspnet:10.x`, Digest gepinnt, Non-Root-User im Image (gemappte UID 984).
|
||||
|
||||
@@ -127,12 +128,12 @@ VictoriaMetrics und Loki laufen mit gepinnten Upstream-Images (kein Eigenbau-Ima
|
||||
|
||||
## 9. Offene Punkte
|
||||
|
||||
1. **Metrics-Account-Identität** (aus v1.0 übernommen): root vs. dedizierter Account mit `render`- und `systemd-journal`-Gruppe — bei der Umsetzung festlegen; Empfehlung: dedizierter Account.
|
||||
2. **NPM-Hostname und Keycloak-Client** `gn-dashboard` (Umsetzung mit GNAI-005/GNAI-006).
|
||||
3. **UID/GID für `gn-monitor`**: geplant 983 (nahe 984); freie ID bei Umsetzung prüfen.
|
||||
4. **Chart-Bibliothek:** Blazor-ApexCharts vs. server-seitiges SVG (Entscheidung bei Implementierung).
|
||||
5. **LLM-Metriken** (später, eigenes Thema im AI-Bereich): scrape-fähiger Endpoint des Serving-Containers oder Textfile — Aufnahme erst mit dauerhaftem Serving.
|
||||
6. **Retention-Feinjustierung** (60 d Metriken / 30 d Logs) nach erstem Realbetriebsmonat.
|
||||
1. **Metrics-Account-Identität** — *entschieden/umgesetzt:* dedizierter Account `gn-monitor`, UID/GID **986** mit `systemd-journal`-Gruppe (05.11.2026, GNMON-000 M5; die ursprünglich geplante 983 war auf dem Server an `gn-download` vergeben).
|
||||
2. **NPM-Hostname und Keycloak-Client** `gn-dashboard` — *Hostname entschieden:* `mon.ghostnet.selfhost.eu` (06.11.2026); Keycloak-Client und NPM-Proxy-Host folgen mit den M6-Betreiber-Schritten (GNMON-000).
|
||||
3. **UID/GID für `gn-monitor`** — *erledigt:* 986 (siehe Punkt 1).
|
||||
4. **Chart-Bibliothek** — *entschieden:* eigene Braille-Komponente statt ApexCharts (04.11.2026, Abschnitt 6).
|
||||
5. **LLM-Metriken** (später, eigenes Thema im AI-Bereich): teilweise umgesetzt — `gn_ai_active_env{env}` aus der `ai_environment_switch`-Rolle plus Regel `GnAiEnvironmentDown` (GNMON-000 M5); Tokens/Latenzen der Inference-Engine bleiben offen.
|
||||
6. **Retention-Feinjustierung** (60 d Metriken / 30 d Logs) nach erstem Realbetriebsmonat — offen.
|
||||
|
||||
## 10. Abnahmekriterien (Auszug für die Umsetzung)
|
||||
|
||||
|
||||
Reference in New Issue
Block a user