Files
infrastructure/docs/platform/llm-server/monitoring/GNMON-000-DOC_Index.md
T
spektr d58edccb43 GNMON: GPU-Chart im Dashboard repariert (v0.3.6) — Flex-Kollaps des Braille-Charts
Befund 11.11.2026: Leistungsgraph der GPUs zeigte nur zwei einzelne Linien.
Ursache: .braille-chart war als Flex-Item in .gpu-chart (display:flex) mit
overflow:hidden auf min-width 0 kollabiert; der ResizeObserver maß die
kollabierte Breite, jede GPU-Kurve erschien als eine einzelne Spalte.
Fix: .gpu-chart display:block + .braille-chart max-width:100%. Verifiziert
per Headless-Chromium/CDP gegen das Live-Dashboard: 249 px breite Charts,
16 Zeilen x 21 Zeichen, 15 Zeilen Kurvendaten, Inferenz-Spitzen sichtbar;
Dataseite unauffällig (121 Punkte/Karte in VM). Test-Debug-Log entfernt.
Auth__Enabled wieder true (302 unauth verifiziert), Image-Store aufgeraeumt
(v0.3.6 + Rollback v0.2.0/v0.1.0), monitor.yml gesamt ok=84 changed=0.
Doku: GNMON-000 Befundsvermerk.

Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
2026-11-11 21:44:37 +01:00

25 KiB
Raw Blame History

Monitoring – Dokumentationsindex und Projektstand

Dokumenten-ID: GNMON-000-DOC Stand: 2026-11-09 Status: Revision v2.0 (03.11.2026) übernommen; M1–M6 produktiv — Dashboard öffentlich über https://mon.ghostnet.selfhost.eu mit Keycloak-OIDC (abgenommen 09.11.2026)

Dokumente

Dokument Zweck / Zielgruppe
GNMON-001-PLAN_Architecture.md Host-Monitoring: Metriken, Log-Pipeline, Dashboard, Anbindung Encoding; Infrastrukturadministratoren
docs/planning/gnmon-001-v2-0-monitoring-architektur-revision.md Arbeitskopie der v2.0-Revision (Betreiber-Rechercheordner)

Bestätigter Stand

  • Revision v2.0 (03.11.2026): Blazor Server statt Flask, Zeitreihen- (VictoriaMetrics + node_exporter mit AMD-Textfile-Skript) und Log-Stack (Alloy + Loki) statt state/system.json-Schnappschuss; Konten gn-monitor für Datenhaltung (986 — die zuvor geplante 983 war auf dem Server an gn-download vergeben; vergeben 05.11.2026), gn-dashboard (984) für die Web-App.
  • Anlass für die zügige Umsetzung: thermischer GPU0-SW-CTF-Vorfall vom 03.11.2026 (GNAI-010 Abschnitt 10.10) – ohne laufende Sensorüberwachung lief die Karte ~19 Minuten unbeobachtet auf die Abschaltung zu.

M1: Metrikpfad (implementiert 04.11.2026, Workstation-Entwicklung)

Entwickelt und getestet auf dem Betreiber-Laptop (CachyOS, rootless, User-Scope-systemd) im Verzeichnis llm-server/monitoring/:

  • amdgpu-textfile-collector.py (sysfs-only, kein ROCm erforderlich): Util, VRAM used/total, Edge/Junction/Memory-Temperatur, Lüfter-RPM und PWM je Karte; atomarer Textfile-Wechsel; auf der Laptop-APU gegen echte Sensordaten verifiziert, auf diskreten Karten (RX 6900 XT) in M5 zu bestätigen.
  • gnmon_collector-Rolle: node_exporter v1.12.1 (Upstream-Tarball, SHA256SUMS-verifiziert), Collector-Systemd-Timer (10 s), Port 9100 host-lokal.
  • gnmon_victoria_metrics-Rolle: rootless Quadlet, Network=host, VictoriaMetrics v1.154.1 (Digest sha256:c7884f32920dd45a9d86542a717227e63af03e060e53bbf8031e6e6fd0e1e05d, verifizierter Pull 04.11.2026), Scrape-Intervall 10 s, Retention 60 d, Health-Check im Playbook.
  • Verifikation: PromQL-Abfrage liefert gn_gpu_edge_temp_celsius (51 °C auf der Workstation-APU); Idempotenzlauf changed=0, failed=0.

M2: Logpfad (implementiert 04.11.2026, Workstation-Entwicklung)

  • gnmon_loki-Rolle: rootless Quadlet, Network=host, User=0 (Rootless-Mapping; das Upstream-Image läuft intern als UID 10001, die im User-Namespace nicht gemappt ist), Loki 3.6.19 (Digest sha256:0f9cbc340cbe33ee498e654075034336962057db072f57b37f253e14d476443a, verifizierter Pull 04.11.2026), TSDB-Schema v13, Filesystem-Store, Retention 30 d mit Compactor, Health-Check im Playbook.
  • gnmon_alloy-Rolle: Alloy v1.21.3 als Host-Binary (GNMON-001 §3; im rootless Container wäre die Journal-Gruppenzuordnung gid 981 nicht mappbar), User-Unit, SHA256SUMS-verifizierter Download, Journald-Quelle mit loki.relabel-Regeln (unit/syslog_identifier/priority als Labels) plus Datei-Quellen (Workstation: dev-test.log).
  • River-Syntax-Befunde (Alloy 1.21): Listenelemente benötigen Trailing-Commas; relabel_rules ist ein Attribut, das den rules-Export einer loki.relabel-Komponente nimmt; Rule-Attribute sind source_labels/target_label (Promtail-Stil).
  • Verifikation: Dev-Logzeile erscheint in Loki (query_range mit source="dev-test"), Idempotenzlauf changed=0, failed=0.
  • Offener Operator-Schritt (Workstation): sudo usermod -aG adm,systemd-journal ghost — die Journald-Quelle läuft ohne Fehler, sammelt aber ohne Gruppenmitgliedschaft keine Einträge (dokumentiertes Alloy-Verhalten). Danach Journald-Ingestion in einer neuen Session verifizieren. (usermod durchgeführt 04.11.2026; aktivierungspflichtig über Neustart des User-Managers, z. B. Laptop-Reboot.)

M4: Alerting (implementiert 04.11.2026, Workstation-Entwicklung)

Plan-Ergänzung (Lücke in v2.0 festgestellt): Sammeln und Anzeigen ohne Schwellwert-Alarm hätte den Vorfall vom 03.11. nicht verhindert. Betreiberentscheidung 04.11.2026: Benachrichtigung per E-Mail.

  • gnmon_vmalert-Rolle: rootless Quadlet, vmalert v1.154.1 (Digest sha256:aafb962b5a5713c71f0d697d629416f9cccf23aecb74f0ec5e829ddbf3f221f2), Evaluationsintervall 30 s, Datasource/Remote-Write/Notifier host-lokal.
  • gnmon_alertmanager-Rolle: rootless Quadlet, Alertmanager v0.34.2 (Digest sha256:39d8bb3966c694a124428a3a88fbcffd40bd069129ecd47c059f8a3f17c55f3b), E-Mail-Receiver (group_wait 30 s, repeat 4 h, send_resolved). SMTP-Credentials liegen in einer host-lokalen secrets-Datei außerhalb des Repos (~/.config/gnmon/alertmanager-secrets.yml); ohne sie wird eine Stub-Konfiguration deployt, die den Pfad ohne Mail testbar hält.
  • Alert-Regeln (alerts.yml): GpuJunctionTempCritical (> 95 °C, 2 min, critical), GpuFanStalledUnderLoad (PWM > 5 % bei 0 RPM, 3 min, critical — exakte Signatur des GPU0-Ausfalls), GpuEdgeTempHigh, GpuVramNearFull, NodeExporterDown, NodeExporterAbsent; plus Dev-only-Selbsttestregel (GnmonSelfTest, in M5 serverseitig zu deaktivieren).
  • Verifikation: Selbsttest-Alert erscheint in Alertmanager (/api/v2/alerts), Idempotenzlauf changed=0, failed=0.
  • Offen bis M5: echter SMTP-Versand gegen den Betreiber-Mailserver (Operator-Schritt: secrets-Datei + Testmail).

M3.5 + M3.6: Log-Browser und Alerts-Ansicht (04.11.2026)

  • LokiClient (query_range + Label-Values) und AlertmanagerClient (v2 API) als weitere typed HTTP-Clients; Logs-Seite mit Quellen-Filter (syslog_identifier), Zeilen-Suche (LogQL |=), Live-Tail-Toggle (3-s-Polling, pausierbar); Alerts-Seite listet aktive Alerts mit Severity-Farben.
  • Alloy-Journal-Pipeline überarbeitet (Journald-Ingestion war nach dem Reboot aktiv, aber ohne stabile Labels):
    • Befund 1: In User-Scope öffnet die sd-journal-Auto-Discovery nur das User-Journal; die Workstation setzt darum einen expliziten Journal-Pfad (gnmon_alloy_journal_path, Inventory pro Host).
    • Befund 2: Das in der Dokumentation propagierte relabel_rules = loki.relabel.*.rules am loki.source.journal überträgt die __journal_*-Felder in v1.21.3 (User-Scope) nicht in stabile Labels (systematische Verifikation über statisches Label und Test-Logger: Labels kamen nie an). Ersatz: format_as_json = true am Source + loki.process mit stage.json/stage.labels/stage.output extrahiert unit, user_unit, syslog_identifier, priority deterministisch und reduziert die Zeile auf MESSAGE.
  • Verifikation: Logger-Probes landen mit syslog_identifier=ghost, priority=5 in Loki; Kernel-Einträge mit syslog_identifier=kernel; user-unit-Einträge mit unit=user@1000.service. Ansible-Rolle idempotent (changed=0).

M3: Blazor-Dashboard (implementiert 04.11.2026, Workstation)

M3.1–M3.4 in kleinen visuell abnehmbaren Schritten umgesetzt (Betreiberwunsch 04.11.2026):

  • M3.1 GUI-Gerüst (.NET 10, Interactive Server): Layout/Nav im Hacker-TUI-Stil, Catppuccin-Mocha-Palette, Monospace, ASCII-Button-Navi mit invers-grünem Aktivzustand; Bootstrap restlos entfernt.
  • M3.2 Live-Ressourcen: CPU/RAM/Disk-Kacheln mit ASCII-Progressbars (Schwellenfarben passend zu den vmalert-Severities) im 2-s-Takt; VictoriaMetricsClient (PromQL, kulturinvariantes Parsing).
  • M3.3 GPU-Detailseite: Karten-Discovery über gn_gpu_up, Live-Util/VRAM/Temp/Power/Lüfter je Karte; ASCII-Spinner-Komponente (dots/braille/line, Lüfter-Spinner mit RPM-gekoppelter Rotation); Reconnect-Dialog deutsch lokalisiert.
  • M3.4 Verläufe — Betreiberentscheidung: Braille-Chart (btop-Stil). Vergleichsvarianten ASCII-Sparkline, div-Block-Chart und ApexCharts wurden bewertet und entfernt (ApexCharts-Paket inkl. CDN-Referenz raus; null JS-Chart-Abhängigkeiten). Die AsciiBrailleChart-Komponente: 8-Punkt-Braille (2×4 Dots je Zeichen), vertikaler Farbgradient grün (unten) → gelb → rot (oben), Liniengrid hinter der Grafik (Betreiberentscheidung gegen Punkte- und Strichgrid), Breite per JS-Messung von Containerbreite und echter Zeichenbreite (Range-API, Font-Fallback-tolerant), Proben linear interpoliert.
  • Schrift: DejaVu Sans Mono wird mit der Website ausgeliefert (wwwroot/fonts, Bitstream-Vera-Lizenz beigelegt) — vollständige Braille- und Box-Drawing-Abdeckung, deterministische Metriken.
  • Live-Verzögerung CPU: statt Fenster-Mittelung läuft die Kette Scrape 5 s (vorher 10 s) → rate[10s] roh → EMA-Glättung (α 0,65) im Dashboard; Reaktion auf Lastsprünge < 10 s statt Minuten.
  • Fallendokumente (Implementierungsbefunde):
    • Blazor-CSS-Isolation greift nicht auf NavLink-Kindkomponenten; Nav-Styles laufen über ::deep (sonst stiller Regelverlust).
    • double.TryParse von PromQL-Strings ist kulturabhängig: de-DE liest den Punkt als Gruppentrenner; Parsing invariant.
    • Braille-Dot-Füllung muss je Zeichen bottom-up erfolgen (Intra-Zellen- Inversion macht Kurvenkanten verkehrt herum).
    • Leere Chart-Zellen als U+2800 statt Leerzeichen: sonst driftet die Zeile bei Font-Fallback (abweichende Vorschübe).
    • Gemessene Containerbreite muss über Daten-Refresh persistiert werden (Reset pro Update lies die Grafik zusammenschrumpfen).
    • Per-page Render Mode hält das Layout statisch: Layout-Spinner nur als CSS-Animation, Komponenten-Animation nur in Seiteninhalten.

M5: Server-Rollout ghostnet-ki (implementiert 05.11.2026, System-Scope)

Rollenübergreifender Umbau von User-Scope (Workstation) auf scope-Variablen (user|system) je Rolle; produktive Änderung mit Betreiber-Go, Ausführung als ansible-deploy (NOPASSWD), neue gnmon_accounts-Rolle vorangestellt (Tags accounts,never): gn-monitor UID/GID 986 mit Linger + systemd-journal-Gruppe, Verifikation von gn-dashboard (984, vorbestehend).

  • Scope-Architektur: Quadlets unter /etc/containers/systemd/users/986 (per runuser … systemctl --user verwaltet; quadlet-generierte Units sind nicht enable-bar), Config unter /etc/gnmon, Daten unter /var/lib/gn-monitor/*. subuid/subgid für gn-monitor: 755360:65536 (nach anfänglichem Fehlstart in 165536 bereinigt; danach podman system migrate nötig, da die uid_map nur einen Eintrag hatte).
  • Image-Transport: Docker-Hub-Pull vom Server scheitert am Rate-Limit; Images wurden auf der Workstation per Digest-Pull verifiziert, als tar transportiert und als gn-monitor geladen (podman load verliert Digest-Namen → Inventory pinnt Tag-Refs auf die Image-IDs: VM v1.154.1, Loki 3.6.19, AM v0.34.2, vmalert v1.154.1).
  • Host-lokale Bindings (§7): Alle Dienste lauschen 127.0.0.1 — node_exporter :9100, VictoriaMetrics :8428 (-httpListenAddr), Loki :3100/:9096 (http/grpc_listen_address), Alertmanager :9093, vmalert :8880. Dashboard-Container (:8080) folgt; externer Zugriff erst später über NPM (M6, mit OIDC).
  • Implementierungsbefunde (05.11.2026): a) Der Textfile-Collector wiederholte # HELP/# TYPE je Karte; node_exporter verwirft bei Doppelung die ganze Datei („second HELP line"). Auf der Workstation (1 Karte) fiel es nicht auf, auf dem Server (2+ Karten) blieben alle gn_gpu_*-Metriken aus. Refactor: HELP/TYPE einmal je Metrikfamilie. b) VM-Flag -httpListenAddr erwartet host:port, nicht nur die Adresse (sonst: „missing port in address"). c) Alle vier Container-Rollen notifizierten nur den User-Scope-Restart- Handler; im System-Scope kamen Config-/Quadlet-Änderungen nie zur Laufzeit an. Notify-Liste mit beiden Handler-Namen (der falsche Scope skipt sich selbst); VM-Handler dafür konsistent in (system scope)/(user scope) benannt. d) Die Playbook-Verifikationen sind nun scope-agnostisch: Log-Pfad wird journal-basiert geprüft (logger -t gnmon-verify, Loki-Query syslog_identifier="gnmon-verify"; Datei-Seed nur bei konfigurierten File-Targets), SelfTest-Verify nur auf der Workstation (gnmon_vmalert_selftest_rule), serverseitig AM-200-Check.
  • Verifikation (05.11.2026): Volle Suite (--tags accounts,collector,metrics,logs,alerting) grün; Zweitlauf changed=0, failed=0 (idempotent). gn_gpu_up zeigt 2 Karten (card 0/1), Edge 30/27 °C, Junction 33/27 °C, 6 W, Lüfter 0 rpm bei PWM 0 (Idle-erwartbar) — der RX-6900-XT-Sensorpfad aus GNAI-010 10.3 ist damit im Monitoring bestätigt; GpuFanStalledUnderLoad greift erstmals bei Last. vmalert /-/healthy 200 ohne feuernde Alerts, AM /api/v2/alerts 200 leer. Workstation-Gegenprobe nach dem Rollenumbau ebenfalls grün und idempotent (changed=0 — dort fielen die Bugfixes a)/c) als Changes an und wurden neu gestartet).
  • Aufgeräumt: Image-Tars in /var/tmp gelöscht; gn-monitor-Images sauber (nur die vier Tag-Refs, keine Transport-Reste).
  • GPU-Label (gefixt 09.11.2026): product_name existiert im sysfs des Servers nicht (gpu="unknown"); der Collector fällt jetzt auf die PCI- Device-ID zurück (0x73bf → AMD Radeon RX 6900 XT (Navi 21)). Live in VictoriaMetrics bestätigt: gn_gpu_up{card="0|1",gpu="AMD Radeon RX 6900 XT (Navi 21)"} 1.

M5: Dashboard-Rollout + AI-Verfügbarkeitsregel (implementiert 06.11.2026)

Betreiber-Go 06.11.2026; vorheriger Repo-Abgleich mit dem LLM-Stack-Agent (commit 7ec8a97 GNAI-001 M4): keine Konflikte; Andocken stattdessen über die neue Textfile-Metrik.

  • Integration gn_ai_active_env: Die ai_environment_switch-Rolle (GNAI-001 M4) schreibt gn_ai_active_env{env} in unser Textfile- Verzeichnis (/var/lib/gn-monitor/textfile, 30-s-Timer, als root geschriebene 644-Datei für node_exporter lesbar). Metrik traf bereits in VictoriaMetrics ein (env="production" = 1); die vom LLM-Stack vorgeschlagene Regel wurde als Gruppe gnmon-ai übernommen: GnAiEnvironmentDown (gn_ai_active_env == 0, 2 min, critical). vmalert lädt und evaluiert sie fehlerfrei (Regelabruf /api/v1/rules).
  • Dashboard-Container (gnmon_dashboard-Rolle, Tag dashboard):
    • images/dashboard/Containerfile: Multi-Stage-Build aus MCR (dotnet/sdk:10.0 → dotnet/aspnet:10.0, beide nicht dem Docker-Hub-Rate-Limit unterworfen), Non-Root-User 984 im Image, ASPNETCORE_URLS host-lokal voreingestellt. Build auf der Workstation verifiziert, dann transportiert (podman save → scp → als gn-dashboard geladen): docker.io/ghostnet/dashboard:v0.1.0, Image-ID 1b71e6d35069… (identisch zur Workstation).
    • Quadlet unter /etc/containers/systemd/users/984, Network=host (Abfragen der host-lokalen Monitoring-APIs), ASPNETCORE_URLS=http://127.0.0.1:8080, Restart=on-failure; Verifikations-Tasks im Playbook auf HTTP 200.
    • keep-id-Befund (06.11.2026): UserNS=keep-id (Plan-Ansatz „Non-Root-User gemappt auf 984") scheitert serverseitig mit crun „Permission denied" auf dem Overlay-merged-Verzeichnis der gn-dashboard-Storage — während dasselbe bei gn-monitor (VM-Image) funktioniert; Ursache offen. Entscheidung: Default-Rootless-Mapping wie bei allen GNMON-Diensten; der Image-User 984 läuft damit in der gn-dashboard-SubUID-Range (beobachtet: Host-UID 625271 = 624288+983), Attribution über den Range eindeutig.
  • Verifikation (06.11.2026): Dashboard antwortet auf dem Server mit der vollständigen Blazor-Shell (Ressourcen/GPUs-Layout im HTML); Gesamtsuite --tags accounts,collector,metrics,logs,alerting,dashboard grün, Zweitlauf changed=0, failed=0 (idempotent). Playbook-Befund: ansible-uri liefert bei chunked Responses keinen body — Inhaltsprüfung nicht portabel, auf HTTP 200 verifiziert.
  • Aufgeräumt: Dashboard-Tar auf Server und Workstation gelöscht, versehentlicher Root-Load entfernt; kein verwaister Container-Rest.

Verifikation 09.11.2026 (nach Host-Neustart, read-only via ghost-agent)

Host-Neustart gegen 05:05 CET; danach ohne manuelle Eingriffe: alle vier gn-monitor-Container (VM, Loki, vmalert, Alertmanager) plus node_exporter, Alloy und der Dashboard-Container (dotnet als gn-dashboard) wieder aktiv; alle Ports weiterhin nur auf 127.0.0.1 (3100, 9096, 8428, 8880, 9093, 9100, 8080). Loki /ready direkt nach dem Boot vorübergehend 503 (WAL-Replay), danach 200; Abfragen und Labels fehlerfrei. Dashboard / HTTP 200. vmalert /-/healthy 200, Regelgruppe gnmon-ai (GnAiEnvironmentDown) geladen, Alertmanager /api/v2/alerts leer. VictoriaMetrics liefert gn_ai_active_env{env="production"} 1 (Production-Recovery nach Boot, siehe GNAI-008 14.6) und gn_gpu_* für beide Karten (damals noch gpu="unknown", seit 09.11.2026 via PCI-ID-Fallback korrekt gelabelt). Konten per getent bestätigt: gn-monitor 986, gn-dashboard 984, gn-download 983. Gegenbefund: gnai-ai-backup.service Exit 21 beim Boot (NFS-Mount noch nicht verfügbar) — dokumentiert in GNAI-008 14.6.

Noch offen

M6: OIDC-Freigabe (App-seitig fertig 07.11.2026, Go 06.11.2026)

Betreiberentscheidungen 06.11.2026: Hostname mon.ghostnet.selfhost.eu, Realm Ghost.net (Vaultwarden-Realm, Issuer https://auth.ghostnet.selfhost.eu/realms/Ghost.net, Discovery verifiziert 200), Keycloak-Client über den CT-102-Ansible-Zugang, CT-103-NPM künftig über einen Ansible-Nachbau durch einen Agenten.

  • App (implementiert, v0.2.0):
    • Program.cs: OIDC konfigurationsgetrieben (Auth:Enabled/Authority/ ClientId; Secret nur über ENV Auth__ClientSecret, nie Image/Repo). Authorization-Code-Flow mit PKCE, Cookie-Schema, Keycloak-Rollen aus realm_access.roles per IClaimsTransformation (KeycloakRealmRolesClaimTransformation), Policy DashboardAccess (im Off-Modus permissive, im On-Modus RequireRole("dashboard-admin")), UseForwardedHeaders (X-Forwarded-For/Proto, TLS endet an NPM), Endpoint-Autorisierung an MapRazorComponents().RequireAuthorization(), /login + /logout Komfort-Endpunkte.
    • .NET-10-Befund: AuthorizeRouteView hat keinen Policy-Parameter mehr (Reflection-Check gegen 10.0.14 — nur NotAuthorized/Authorizing/ Resource/RouteData/DefaultLayout). Ersatz: Endpoint-Autorisierung; unauthentifizierte Seitenaufrufe erhalten den automatischen OIDC-Challenge und kehren nach dem Login auf die Zielseite zurück, authentifiziert ohne Rolle → 403.
    • PAR-Befund: .NET 10 OIDC nutzt Pushed Authorization Requests; der Auth-ON-Smoke gegen den echten Realm lief bis zum PAR-Endpunkt von Keycloak (401, solange der Client fehlt — erwartet). Pipeline davor verifiziert.
    • Off-Modus-Regression: / 200 mit Shell, /login 302 → /, Bau ohne Warnungen.
  • Rolle/Image (deployed): Image v0.2.0 (ID 46f26c575d22…) gebaut, geraucht (HTTP 200) und transportiert; Inventory pinnt v0.2.0. Quadlet lädt EnvironmentFile=/etc/gnmon/dashboard-secrets.env (Rolle shipped leere verwaltete Datei, Owner gn-dashboard 0640, force: false — ein ausgefülltes Secret wird von Läufen nie überschrieben). Suite grün und idempotent; Dashboard bleibt bis NPM-Freigabe host-lokal (127.0.0.1).
  • Split-DNS (vorbereitet, Deploy blockiert): CT-100-Rolle hat den Record 10.0.0.10 mon.ghostnet.selfhost.eu in dns_pihole_hosts_records ergänzt; der Production-Deploy scheitert zunächst, weil auf CT-100 noch kein ansible-deploy-Konto existiert (Adoption steht aus, siehe Betreiber-Schritte).
  • Abnahme M6 (09.11.2026, alle bestanden): Alle drei Betreiber-Schritte wurden durchgeführt und agent-seitig verifiziert:
    1. Keycloak (Realm Ghost.net, Betreiber-GUI): Client gnai-dashboard (confidential, Standard Flow, Redirects https://mon.ghostnet.selfhost.eu/signin-oidc + /signout-callback-oidc, Web Origin https://mon.ghostnet.selfhost.eu), Realm-Rollen gnai-dashboard-user / gnai-dashboard-admin (Scope roles, Mapper realm roles mit Add-to-ID-token/access-token/ userinfo ON — im restaurierten Realm waren die Flags unset, das ID-Token enthielt dadurch kein realm_access), zugewiesen an User ghost. Secret liegt ausschließlich in /etc/gnmon/dashboard-secrets.env (gn-dashboard:gn-dashboard 0640; Keys Auth__Enabled, Auth__ClientSecret, Auth__AllowedRoles=gnai-dashboard-user,gnai-dashboard-admin) — nie im Repo/Chat. Keine Änderungen an Authentication-Flows (MFA am Vaultwarden-Login unberührt).
    2. CT-100: Adoption per pct exec (ansible-deploy 1002 + AllowUsers + sudoers) am 09.11.2026; danach verify-deploy-access ok=5, site.yml ok=61 changed=11 dann changed=0, verify-production ok=32 changed=0. Split-DNS mon.ghostnet.selfhost.eu → 10.0.0.10 live (dig @10.0.0.14 verifiziert; öffentlich bleibt Wildcard → WAN). Befund: die Inventare hatten dns_pihole_hosts_records gespiegelt — der neue Record musste in allen drei Inventaren ergänzt werden; außerdem darf die Quadlet-Template nur EINE FTLCONF_dns_hosts-Zeile emittieren (systemd: letzter Key gewinnt — sonst fällt auth-admin auf Upstream zurück). Beides gefixt.
    3. CT-103: Proxy-Host ID 14 mon.ghostnet.selfhost.eu → 10.0.0.90:8080 (WebSocket Support, Block Common Exploits, LE-Cert npm-20, Force SSL, HTTP/2, HSTS) + Advanced-Block proxy_set_header X-Forwarded-Proto $scheme; X-Forwarded-Host $host; (NPM 2.15.1 setzt sonst nur das leere $x_forwarded_proto) sowie proxy_buffer_size 32k; proxy_buffers 8 32k; proxy_busy_buffers_size 64k; (großer Auth-Cookie nach Login → sonst 502 „upstream sent too big header“).
    4. KI-Server: Rolle gnmon_firewall (nftables, Policy ACCEPT, nur 8080 von 10.0.0.10 + Monitoring-Ports non-loopback-drop; changed=0 idempotent), Dashboard-Bind auf 10.0.0.90:8080 (Assertion erlaubt LAN-Bind nur mit aktivem Firewall-Tag), Image v0.3.2 deployt. App-Befunde (v0.2.x → v0.3.2): ClientId an gnai-dashboard angepasst; Auth:AllowedRoles konfigurierbar; KnownNetworks/KnownProxies per .Clear() geleert (leere { }-Initialisierung behält den Loopback- Default — sonst ignoriert .NET die NPM-Forwarded-Header und die redirect_uri wäre intern → PAR 400); GetClaimsFromUserInfoEndpoint=true (realm-roles-Mapper-Flags); SaveTokens=true (Logout braucht id_token_hint); Cookie-AccessDeniedPath=/access-denied + Seite (sonst Redirect-Loop auf /Account/AccessDenied); csproj PrunePackageData=false + Containerfile ohne --no-restore (sonst fehlt wwwroot/_framework/blazor.web.js im Image → Blazor-Circuit startet nicht, 404). E2E-Verifikation 09.11.2026: unauth GET / via NPM → 302 zu auth.../realms/Ghost.net/.../auth?client_id=gnai-dashboard&request_uri=... (PAR 201); Direktzugriff https://10.0.0.90:8080 von der Workstation → gedroppt (nftables, curl 000); blazor.web.js via NPM → 200 text/javascript; Browser-Login als ghost → Dashboard 200 mit Live-Daten, Unterseiten + WebSocket-Circuit hinter NPM ok; Login als testuser ohne Rollen → saubere 403-Seite /access-denied; /logout → Keycloak-Logout ohne id_token_hint-Fehler; Gesamtsuite monitor.yml ok=84 changed=0. Journal-Evidenz: [gnmon-auth] realm_roles=gnai-dashboard-user,...,gnai-dashboard-admin.
  • Kosmetik (09.11.2026, v0.3.3): Favicon ist das Ghostnet-Geist-Maskottchen (wwwroot/favicon.png 32×32 + apple-touch-icon.png 180×180, aus dem Betreiber-Logo gerendert), via NPM als image/png 200 verifiziert.
  • GPU-Chart (11.11.2026, v0.3.4/6, Befund "nur zwei einzelne Linien"): Der .braille-chart war als Flex-Item in .gpu-chart (display:flex) mit overflow:hidden auf min-width 0 kollabiert; der ResizeObserver maß die kollabierte Breite, jede GPU-Kurve erschien als eine einzelne Spalte. Fix: .gpu-chart ist jetzt display:block (+ .braille-chart{max-width:100%}). Verifiziert per Headless-Chromium/CDP: Charts 249 px breit, 16 Zeilen × 21 Zeichen, 15 Zeilen mit Kurvendaten; Verlauf zeigt die Inferenz-Spitzen beider GPUs. Dataseite war unauffällig (121 Punkte/Karte in VM).

Noch offen (Rest)

  1. GNMON-001 v2.0 Abschnitt 9, Restpunkte: Metrics-Account-Identität, UID/GID gn-monitor (986), Chart-Bibliothek (Braille), NPM-Hostname (mon.ghostnet.selfhost.eu) und Keycloak-Client (gnai-dashboard + Rollen) sind entschieden/umgesetzt (M6, oben). Offen bleiben LLM-Metriken jenseits gn_ai_active_env (z. B. Tokens/ Latenzen der Inference-Engine) und die Retention-Feinjustierung.
  2. keep-id-Ursachenanalyse (crun/Overlay-Rechte der gn-dashboard-Storage) bei Bedarf; Entscheidung zum Default-Mapping steht in Abschnitt M5.