From 8ed62ec978a4bdc0ccf721b9ddcb0df9625aff0b Mon Sep 17 00:00:00 2001 From: spektr Date: Mon, 9 Nov 2026 05:40:57 +0100 Subject: [PATCH] Doku-Abgleich 2026-11-09: Staende, Widersprueche und CT-103-Referenzen MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - GNAI-000: Stand 09.11., Belegter-Stand-Tabelle um Monitoring-Zeile und aktualisierte KI-Host/GPU/LLM-Serving/Deployment-Zeilen ergaenzt, Ansible-Projekt-Tabelle um LLM-Stack, Monitoring und CT-103 ergaenzt, Reverse-Proxy-/DNS-Zeilen um Ansible-Import bzw. mon-Record ergaenzt, Leitentscheidungen (Production via ai_environment_switch, Monitoring host-lokal) aufgenommen, bereits erledigte Entscheidungstore (Backupziel, 64k/128k, M2/M3) aus der Offenen-Liste genommen - GNAI-001: Ausführungsstand 09.11.2026 (M2 abgenommen, M3 beschlossen 05.11., M4 abgenommen 06.11. und nach Neustart 09.11. erneut verifiziert); M1-Hinweis: CT-100/CT-103 besitzen inzwischen Ansible-Sollzustand - GNAI-008: Stand 09.11., Abgrenzung Planung vs. belegter Stand (Abschnitt 14), Changelog 0.19/0.20, Abschnitt 15 an M4-Realitaet angepasst, Frage 6 als umgesetzt markiert, Re-Verifikation nach Host-Neustart 09.11. inkl. Befund gnai-ai-backup Exit 21 nach Boot (fehlende Mount-Reihenfolge; offen: RequiresMountsFor in ai_backup), gnai-experimental UID 983 -> 985 - GNAI-009/010: Statuszeilen an Betreiberbeschluss 05.11. bzw. umgesetzte Sollkonfiguration angepasst, Changelog 0.11 - GNENC-000/001/002: state/system.json als entfallen markiert (GNMON-001 v2.0), Flask -> Blazor, Monitoring-Status aktualisiert - GNMON-001 v2.1 und planning-Snapshot: Umsetzungsabweichungen nachgefuehrt - GNAI-002/003: gpu_fan_control bzw. Konten gn-download/gn-dashboard/ gn-monitor/gn-media ergaenzt (live per getent verifiziert 09.11.) - GNAI-006 v3.0: Ansible-Sollzustand importiert/adoptiert, Verifikation 09.11. - GNAI-013, proxmox-server/README.md: CT-103-Automation-Referenz - AGENTS.md: CT-103 nicht mehr "root-only" (ghost-agent/ghost seit 22.09.2026, ansible-deploy seit 07.11.2026; live geprueft 09.11.2026) - llm-server/README.md: Doku-Spiegel um monitoring/ ergaenzt Generated by Mistral Vibe. Co-Authored-By: Mistral Vibe --- AGENTS.md | 7 +- docs/GNAI-000-DOC_Index.md | 53 +++++++----- docs/GNAI-001-PLAN_Project-Roadmap.md | 36 +++++++-- ...rity-Closure-and-Repository-Restructure.md | 4 +- ...01-v2-0-monitoring-architektur-revision.md | 4 +- .../ai/GNAI-008-PLAN_Ansible-Deployment.md | 81 ++++++++++++------- .../GNAI-009-PLAN_Llama-Model-Evaluation.md | 5 +- .../ai/GNAI-010-TECH_Llama-Serving.md | 11 +-- docs/platform/llm-server/ai/README.md | 4 +- .../encoding/GNENC-000-DOC_Index.md | 17 ++-- .../encoding/GNENC-001-PLAN_Architecture.md | 8 +- .../encoding/GNENC-002-PLAN_Pipeline.md | 24 +++--- .../host/GNAI-002-INFRA_BaseSystem.md | 19 +++++ .../llm-server/host/GNAI-003-INFRA_Users.md | 15 +++- docs/platform/proxmox-server/README.md | 1 + .../GNAI-006-SEC_Reverse-Proxy.md | 9 ++- llm-server/README.md | 2 +- 17 files changed, 201 insertions(+), 99 deletions(-) diff --git a/AGENTS.md b/AGENTS.md index bab1365..092e11b 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -50,8 +50,11 @@ exception. Each Ansible LXC project (`proxmox/lxc//ansible/`) maps these accounts to three inventories: `agent` (`ghost-agent`, read-only preflight), `bootstrap` (`ghost`, `--ask-become-pass`), `production` (`ansible-deploy`, NOPASSWD). -Legacy exceptions exist (CT 103 is root-only and bootstrapped via the Proxmox -console; the WireGuard LXC uses `admin`) — see `.codex/LOCAL_MEMORY.md`. +Legacy exception: the WireGuard LXC uses `admin` — see +`.codex/LOCAL_MEMORY.md`. CT 103 was historically root-only and bootstrapped +via the Proxmox console, but has carried the standard accounts since +22.09.2026 (`ghost-agent`, `ghost`) and `ansible-deploy` since the Ansible +adoption on 07.11.2026 (GNAI-011, GNAI-006 v3.0) — verified live 09.11.2026. ## Operator-run steps diff --git a/docs/GNAI-000-DOC_Index.md b/docs/GNAI-000-DOC_Index.md index 07e65b9..dd0fad2 100644 --- a/docs/GNAI-000-DOC_Index.md +++ b/docs/GNAI-000-DOC_Index.md @@ -1,8 +1,8 @@ # Ghostnet.AI – Dokumentationsindex und Projektstand -**Stand:** 2026-10-21 +**Stand:** 2026-11-09 -**Status:** Plattformgrundlage vorhanden; Sicherheitsabschluss und LLM-Serving offen +**Status:** Plattformgrundlage vorhanden; KI-Stack intern bis M4 abgenommen (Testing und Production live auf `10.0.0.90`, Monitoring produktiv); Sicherheitsabschluss-Restpunkte und externe KI-Freigabe (M6) offen Dieses Dokument ist der zentrale Einstieg, nicht das technische Nachweisprotokoll. Details, historische Laufdaten und Bedienverfahren stehen ausschließlich in den @@ -52,9 +52,11 @@ jeweiligen Fachdokumenten. Die priorisierte weitere Umsetzung beschreibt der | [GNAI-009](platform/llm-server/ai/GNAI-009-PLAN_Llama-Model-Evaluation.md) | reproduzierbarer Modellvergleich | | [GNAI-010](platform/llm-server/ai/GNAI-010-TECH_Llama-Serving.md) | technische Sollkonfiguration des Testing-Servings | | [LLM-Server-Host-Ansible](../llm-server/host/ansible/README.md) | ausführbare Host-/ROCm-Playbooks und Rollen für `10.0.0.90` | +| [LLM-Stack-Ansible](../llm-server/llm/ansible/README.md) | ausführbares Ansible-Projekt für den LLM-Stack auf `10.0.0.90` (Production/Testing, Umschaltung, Backup) | | [Encoding-Ansible](../llm-server/encoding/ansible/README.md) | ausführbares Ansible-Projekt für den CPU-Encoding-Workload auf `10.0.0.90` | | [Keycloak-Ansible](../proxmox/lxc/ct-102-keycloak/ansible/README.md) | ausführbare Provisionierungs-, Restore- und Prüfautomation für CT 102 | | [Samba-Ansible](../proxmox/lxc/ct-101-samba/ansible/README.md) | ausführbare Provisionierungs-, Backup- und Prüfautomation für CT 101 | +| [Reverse-Proxy-Ansible](../proxmox/lxc/ct-103-reverse-proxy/ansible/README.md) | ausführbare NPM-/Fail2Ban-Automation für CT 103 (adoptiert 07.11.2026, verifiziert 09.11.2026) | ### Video-Encoding und Monitoring @@ -63,8 +65,9 @@ jeweiligen Fachdokumenten. Die priorisierte weitere Umsetzung beschreibt der | [GNENC-000](platform/llm-server/encoding/GNENC-000-DOC_Index.md) | Bereichsstatus und offene Festlegungen | | [GNENC-001](platform/llm-server/encoding/GNENC-001-PLAN_Architecture.md) | finale Architektur des CPU-Encoding-Workloads | | [GNENC-002](platform/llm-server/encoding/GNENC-002-PLAN_Pipeline.md) | operative Encoding-Pipeline: Komponenten, Verzeichnislayout, Validierung, Statusmodell | -| [GNMON-000](platform/llm-server/monitoring/GNMON-000-DOC_Index.md) | Monitoring-Bereichsstatus (Metriken, Dashboard) | -| [GNMON-001](platform/llm-server/monitoring/GNMON-001-PLAN_Architecture.md) | Host-Monitoring: Metrics-Collector, Dashboard, Anbindung Encoding | +| [GNMON-000](platform/llm-server/monitoring/GNMON-000-DOC_Index.md) | Monitoring-Bereichsstatus: M1–M5 produktiv auf dem KI-Server, M6 vorbereitet | +| [GNMON-001](platform/llm-server/monitoring/GNMON-001-PLAN_Architecture.md) | Host-Monitoring-Plan v2.0 (umgesetzt M1–M5, belegter Stand in GNMON-000) | +| [Monitoring-Projekt](../llm-server/monitoring/README.md) | ausführbares Monitoring-Projekt (Rollen, Dashboard-App) für `10.0.0.90` | Die Dokumente wurden am 21.09.2026 neu geordnet: Die Roadmap belegt `GNAI-001`; die zuvor bestehenden Dokumente `GNAI-001` bis `GNAI-009` wurden @@ -76,22 +79,23 @@ Am 05.10.2026 wurde die Dokumentation geräteorientiert neu geordnet: `platform/llm-server/` den physischen KI-Server mit AI und Encoding. Am 19.10.2026 wurde das ausführbare LLM-Server-Projekt in die fachlichen Hauptverzeichnisse `llm-server/host/` (Grundkonfiguration des Servers), -`llm-server/llm/` (LLM-Stack) und `llm-server/encoding/` (Encoding) aufgeteilt; -die Dokumentation folgt derselben Dreiteilung. +`llm-server/llm/` (LLM-Stack), `llm-server/encoding/` (Encoding) und +`llm-server/monitoring/` (Monitoring) aufgeteilt; die Dokumentation folgt derselben Aufteilung (`host/`, `ai/`, `encoding/`, `monitoring/`). ## 2. Belegter Stand | Bereich | Nachgewiesen | Noch nicht nachgewiesen | | --- | --- | --- | -| KI-Host | Debian 13.6, Deployment-Zugang, Podman 5.4.2, getrennte rootless Konten, Gerätezugriff für beide KI-Konten | Host-/Treiber-Upgradepfad, Backup und Restore | -| GPU/ROCm | beide RX 6900 XT als `gfx1030`, `ROCm0` und `ROCm1` im gepinnten Testing-Image erkannt | Modellladen, Layer-Verteilung, reale Inferenz, 64k/128k-Stabilität | -| LLM-Serving | zwei unveränderlich definierte Modellkandidaten und technische Sollkonfiguration | Modelle, Quadlets, dauerhaftes Podman-Netz und Health Checks | -| Deployment | lokales Ansible-Control-Projekt und idempotente Hostrollen | statische CI, Runner, geschützte Freigaben, Production-Inventar und automatisierter Rollback | +| KI-Host | Debian 13.6, Deployment-Zugang, Podman 5.4.2, getrennte rootless Konten, Gerätezugriff für beide KI-Konten; IPv4-only (31.10., GNAI-002 6); Lüftersteuerungs-Dienst `gnai-gpu-fan-control` als Dauerlösung (05.11., GNAI-010 10.10); Backup/Restore praktisch belegt (06.11., GNAI-008 14.6); Host-Neustart mit automatischem Production-Recovery (06.11. und erneut 09.11.2026, GNAI-008 14.6) | Host-/Treiber-Upgradepfad; Backup-Unit ohne Mount-Reihenfolge (Befund 09.11.2026: Exit 21 nach Boot, GNAI-008 14.6) | +| GPU/ROCm | beide RX 6900 XT als `gfx1030`, `ROCm0` und `ROCm1` im gepinnten Testing-Image erkannt; Modellladen, Layer-Verteilung und reale Inferenz auf beiden GPUs; 64k- und 128k-Stabilität in Testing (GNAI-010 10.5–10.9); GPU-Sensoren im Monitoring mit Alarmgrenzen (GNMON-000 M4/M5, verifiziert 09.11.2026) | Hardware-Ursache des thermischen Defekts an Slot `03:00.0` (GNAI-010 10.10) — Lüfterkurven-Service überbrückt als Dauerlösung | +| LLM-Serving | drei gepinnte Profile (Swift 1.0, Swift 1.5, Unsloth); Testing-Abnahme 64k/128k je Profil (GNAI-010 10.5–10.9); Production-Umgebung live mit Swift 1.5 Q6_K seit 06.11.2026 (Betreiberbeschluss 05.11., GNAI-009 10.4) inklusive Health, Alias und Inferenztest; exklusive Umschaltmechanik mit Recovery (GNAI-008 14.6, T1–T7; nach Neustart 09.11.2026 `gn_ai_active_env{env="production"}=1` verifiziert) | öffentlicher Nutzerpfad (M6), LLM-Metriken jenseits `gn_ai_active_env`, Nutzerakzeptanzprüfung (GNAI-009 5.3) | +| Deployment | lokales Ansible-Control-Projekt und idempotente Hostrollen; Production-Inventar mit Referenz- und Rollback-Profil, `ai_environment_switch` und Backup-Timer deployt und abgenommen (GNAI-008 14.6) | statische CI, Runner, geschützte Freigaben und automatisierter Rollback über die Delivery-Kette | | VPN | wg-easy v15.4.0; einziger Peer `ghost-laptop` als Server Admin; native nftables-Zielpolicy und NAT, Legacy-Bereinigung, Fremdnetz-, Positiv-/Negativ-, Dienst- und LXC-Wiederanlauftests bestanden; CT 104 am 07.10.2026 als zwölftes Ziel praktisch abgenommen | WAN-/IPv6-Managementport-Isolation, Backup-Restore, wg-easy-GUI-HTTPS und KI-Server-Test bei eingeschaltetem Host | -| DNS / Pi-hole | CT 100 unter `10.0.0.14` mit digest-gepinntem Pi-hole 2026.09.0 als Podman-Quadlet; SSH/nftables, UDP/TCP-DNS, Split-DNS, Blocking/Allowlist, FRITZ!Box-Cutover, LXC-Reboot und Stop-Mode-Backup am 01.10.2026 abgenommen | vollständige App-/OIDC-Regression, praktischer FRITZ!Box-Rollback, mobile DuckDuckGo-/IPv6-Strategie, WireGuard-Profile und hostunabhängiger Restore-Test | -| Reverse Proxy | CT-103-Zugänge, SSH-/Firewall-Baseline, Reboot und lokales Backup abgenommen; NPM 2.15.1 routet öffentlichen OIDC- und internen Admin-vHost getrennt; öffentliche Keycloak-Administration liefert 403 | Fail2Ban-Jails/Bans und Wiederanlauf; hostunabhängige Backupkopie/Restore-Test | +| DNS / Pi-hole | CT 100 unter `10.0.0.14` mit digest-gepinntem Pi-hole 2026.09.0 als Podman-Quadlet; SSH/nftables, UDP/TCP-DNS, Split-DNS, Blocking/Allowlist, FRITZ!Box-Cutover, LXC-Reboot und Stop-Mode-Backup am 01.10.2026 abgenommen; Ansible-Projekt vorhanden, Split-DNS-Record `mon.ghostnet.selfhost.eu → 10.0.0.10` vorbereitet (Deploy blockiert: noch kein `ansible-deploy` auf CT 100, Stand 09.11.2026) | vollständige App-/OIDC-Regression, praktischer FRITZ!Box-Rollback, mobile DuckDuckGo-/IPv6-Strategie, WireGuard-Profile, hostunabhängiger Restore-Test und die Production-Adoption des Ansible-Projekts | +| Reverse Proxy | CT-103-Zugänge, SSH-/Firewall-Baseline, Reboot und lokales Backup abgenommen; NPM 2.15.1 routet öffentlichen OIDC- und internen Admin-vHost getrennt; öffentliche Keycloak-Administration liefert 403; vollständiger Ansible-Sollzustand importiert und adoptiert (07.11.2026; preflight/verify-production/`site.yml --check` am 09.11.2026 ohne Befund, `changed=0`) | Fail2Ban-Jails/Bans und Wiederanlauf; hostunabhängige Backupkopie/Restore-Test; NPM-Proxyhost `mon.ghostnet.selfhost.eu` für das Monitoring-Dashboard (M6) | | Keycloak | CT 102 unter `10.0.0.4` reproduzierbar per Ansible aufgebaut; gepinntes Keycloak 26.2.4 und PostgreSQL 16.15, Restore von CT 104, Container-/DB-Härtung, NPM-Cutover, interner Adminzugang, öffentliche Admin-Sperre, realer Vaultwarden-OIDC-Login und LXC-Neustart abgenommen | 14-tägige Stabilisierungsphase, praktischer NPM-Rückfall auf CT 104, Betriebs-/Backup-/Restore-SOP und anschließende Rückfallbereinigung | -| Encoding | Konto, Pfade, eigener rootless Store und CPU-Isolation per Ansible verwaltet und verifiziert; Planungsabschluss 19.10.2026 (Pipeline GNENC-002, Monitoring GNMON-001, Speicher auf CT-101) | Implementierung (NFS-Mount, Images, Quadlets, Skripte, Worker, Dashboard, Collector); Lasttest und Limit-Feintuning | +| Encoding | Konto, Pfade, eigener rootless Store und CPU-Isolation per Ansible verwaltet und verifiziert; NFS-Mount `/var/lib/ghostnet-pipeline` aktiv (verifiziert 09.11.2026); Planungsabschluss 19.10.2026 (Pipeline GNENC-002, Speicher auf CT-101); Monitoring-Anbindung umgesetzt (GNMON-000 M1–M5) | Implementierung (Images, Quadlets, Skripte, Worker); Lasttest und Limit-Feintuning; SMB-Output-Pickup als geschlossener Ablauf | +| Monitoring | M1–M5 produktiv auf `10.0.0.90` (System-Scope, Konten `gn-monitor` 986 / `gn-dashboard` 984): node_exporter + AMD-Textfile-Collector, VictoriaMetrics, Loki + Alloy, vmalert + Alertmanager (inkl. Regelgruppe `gnmon-ai` mit `GnAiEnvironmentDown`), Dashboard v0.2.0 host-lokal auf `127.0.0.1:8080`; alle Dienst-Ports host-lokal; nach Host-Neustart 09.11.2026 wieder vollständig aktiv verifiziert (GNMON-000) | M6 externe Freigabe (NPM `mon.ghostnet.selfhost.eu` + Keycloak-OIDC-Client `gn-dashboard`), echter SMTP-Versand, LLM-Metriken jenseits `gn_ai_active_env`, Retention-Feintuning | | Samba (CT 101) | Share-Bestand in GNAI-017 dokumentiert; Ansible-Projekt nach GNAI-019 gebaut und lokal verifiziert; Runbooks vorhanden; In-Place-Upgrade auf Debian 13 am 21.10.2026; smb.conf-Verlust beim Upgrade aus vzdump-Backup wiederhergestellt, Media-Shares und Workstation-Mounts verifiziert | produktive Adoption (Platzhalter, Schlüssel, Convergence, Verifikation), NFS-Export und Encoding-Shares produktiv, UID/GID-Abgleich produktiv, Backup-/Restore-Test | Ein Zielbild, eine Betreiberangabe oder ein erfolgreicher Teiltest gilt nicht als @@ -111,6 +115,13 @@ vollständige Abnahme. Datierte Details stehen im zuständigen Fachdokument. - `llama.cpp` bleibt ein internes Backend ohne Host-Port. Eine öffentliche Schnittstelle benötigt eine eigene Authentifizierungs-, Quota- und Veröffentlichungsentscheidung. +- Production läuft als eigene Umgebung (`gnai-production`, Swift 1.5 Q6_K); + der Wechsel zwischen Production und Testing erfolgt exklusiv über + `ai_environment_switch` mit automatischem Rückfall auf Production + (GNAI-008 14.6). Der Sollzustand wird am 09.11.2026 nach einem Host-Neustart + automatisch wiederhergestellt (verifiziert: `gn_ai_active_env{env="production"}=1`). +- Monitoring-Dienste binden ausschließlich an 127.0.0.1; eine externe + Freigabe des Dashboards erfolgt erst über NPM + Keycloak-OIDC (GNMON-000 M6). - Managementzugriff erfolgt über WireGuard plus Dienstauthentifizierung. Client-Routing allein ist keine serverseitige Autorisierung. - Der Schlüssel von `ansible-deploy` ist wegen `NOPASSWD: ALL` root-äquivalent @@ -135,14 +146,20 @@ offenen Erstimplementierungen mehr. Noch zu entscheiden sind insbesondere: -- Sicherheitsabschluss vor oder parallel zum internen LLM-Vertical-Slice; - API-only oder zusätzlich Weboberfläche als erstes Nutzerprodukt; - ob LiteLLM in der ersten Veröffentlichung für individuelle Keys, Quoten oder Routing tatsächlich benötigt wird; -- Freigabe- und Secret-Modell für einen späteren privilegierten Runner; -- Backupziel, Aufbewahrung und praktisch getesteter Restore; -- akzeptierte Mindestkonfiguration: 64k als belastbare Basis und 128k als Ziel - oder 128k als zwingende Production-Voraussetzung. +- Freigabe- und Secret-Modell für einen späteren privilegierten Runner. + +Bereits entschieden (nicht mehr offen): Das Backupziel ist die bestehende +NFS-Anbindung der Encoding-Pipeline (`pve:/media/datenhdd3/Encoding`), die +Aufbewahrung beträgt 8 Archive und der Restore ist praktisch belegt +(Betreiberentscheidungen 06.11.2026, GNAI-008 14.6). Die Kontextfrage ist +mit dem M3-Beschluss vom 05.11.2026 geklärt: 128k ist das Zielprofil und in +Testing technisch abgenommen (GNAI-010 10.6), Production-Profil ist +Swift 1.5 Q6_K (GNAI-009 10.4). Der interne LLM-Vertical-Slice (M2) ist +abgenommen und läuft produktiv; die Entscheidung „Sicherheitsabschluss vor +oder parallel zum LLM-Ausbau" betrifft daher nur noch die externe Freigabe (M6). ## 5. Pflegeprinzip diff --git a/docs/GNAI-001-PLAN_Project-Roadmap.md b/docs/GNAI-001-PLAN_Project-Roadmap.md index 07d72a3..66bba49 100644 --- a/docs/GNAI-001-PLAN_Project-Roadmap.md +++ b/docs/GNAI-001-PLAN_Project-Roadmap.md @@ -4,9 +4,9 @@ **Titel:** Priorisierte Roadmap für Ghostnet.AI -**Stand:** 2026-10-14 +**Stand:** 2026-11-09 -**Status:** Arbeitsgrundlage; Entscheidungstore vor externer Veröffentlichung offen +**Status:** Arbeitsgrundlage; M2–M4 des KI-Stacks abgenommen, M1-Restpunkte und M5/M6 offen **Referenzen:** [Projektstand](GNAI-000-DOC_Index.md), [Zielarchitektur](platform/llm-server/ai/GNAI-004-INFRA_Architecture.md), [Ansible-Plan](platform/llm-server/ai/GNAI-008-PLAN_Ansible-Deployment.md), [Modellbewertung](platform/llm-server/ai/GNAI-009-PLAN_Llama-Model-Evaluation.md), [`llama.cpp`-Sollkonfiguration](platform/llm-server/ai/GNAI-010-TECH_Llama-Serving.md) @@ -71,9 +71,14 @@ WireGuard-Rollenpolicy einschließlich Positiv-, Negativ-, Gateway-INPUT- und Wiederanlauftests ist ebenfalls nachgewiesen. Offen bleiben die Fail2Ban-Funktionstests, eine erneute WAN-/IPv6-Exposure-Erfassung, die Keycloak-Stabilisierungs- und Rückfallabnahme sowie hostunabhängige -Backup-/Restore-Nachweise. Pi-hole und NPM besitzen noch keinen vollständigen -Ansible-Sollzustand im Repository; vor weiteren Live-Änderungen werden sie in -ihre hostbezogenen Projektwurzeln importiert. +Backup-/Restore-Nachweise. + +**Aktualisierung 09.11.2026:** Der vollständige Ansible-Sollzustand beider +Hosts liegt inzwischen im Repository — CT 100 (`proxmox/lxc/ct-100-dns/ansible/`, +Production-Adoption noch offen, da CT 100 bis heute kein `ansible-deploy`-Konto +hat) und CT 103 (`proxmox/lxc/ct-103-reverse-proxy/ansible/`, am 07.11.2026 +adoptiert und am 09.11.2026 verifiziert: preflight ok=15, verify-production +ok=27 changed=0, `site.yml --check` changed=0). **Fertig, wenn:** Die vier priorisierten Sicherheitsbefunde im zentralen Index als bestanden oder mit ausdrücklich akzeptiertem Restrisiko dokumentiert sind. @@ -184,6 +189,27 @@ LLM-Betrieb nicht. und unter gleichzeitiger Inferenzlast testen; - erst danach Zeitplan, Queue, Benachrichtigung und Nutzer-SOP freigeben. +### Ausführungsstand 09.11.2026 + +- **M2 abgenommen:** Testing-Vertical-Slice mit drei gepinnten Profilen + (Swift 1.0, Swift 1.5, Unsloth), 64k- und 128k-Abnahme, Idempotenz, + Profilwechsel und Host-Reboot-Test bestanden (GNAI-010 Abschnitte + 10.5–10.9, Reboot 01.11.2026). +- **M3 entschieden (05.11.2026):** Production-Profil Swift 1.5 Q6_K, + Unsloth als Testing-Vergleich, Swift 1.0 aus dem aktiven Betrieb + (Betreiberbeschluss, GNAI-009 Abschnitt 10.4). +- **M4 abgenommen (06.11.2026):** Production-Inventar mit Referenz- und + Rollback-Profil, exklusive Umschaltmechanik `ai_environment_switch` + (T1–T7), Backup/Restore-Nachweise R1/R2, Alarmgrenzen — siehe GNAI-008 + Abschnitt 14.6. Erneut verifiziert am 09.11.2026 nach einem Host-Neustart: + automatisches Recovery auf Production ohne Zutun. +- **Monitoring-Anteil von M4 umgesetzt:** GNMON-000 M1–M5 produktiv auf + dem KI-Server inklusive Verfügbarkeitsregel `GnAiEnvironmentDown`. +- **Offen:** M1-Restpunkte (Fail2Ban-Tests, WAN-/IPv6-Exposure, Keycloak- + Stabilisierung und NPM-Rückfall, hostunabhängige Backups), M5 + Delivery-Kette (Gitea Actions/Runner), M6 erster öffentlicher Nutzerpfad, + M7 Encoding unter Last. + ## 4. Bewusst nicht Teil der nächsten Ausbaustufe - dynamischer `llama.cpp`-Router; diff --git a/docs/GNAI-013-PLAN_Security-Closure-and-Repository-Restructure.md b/docs/GNAI-013-PLAN_Security-Closure-and-Repository-Restructure.md index b2ddc2f..440a0bd 100644 --- a/docs/GNAI-013-PLAN_Security-Closure-and-Repository-Restructure.md +++ b/docs/GNAI-013-PLAN_Security-Closure-and-Repository-Restructure.md @@ -46,9 +46,9 @@ ghostnet.ai-infrastructure/ ├── proxmox/ │ ├── shared/scripts/ # nur LXC-übergreifende PVE-Helfer │ └── lxc/ -│ ├── ct-100-dns/ # Hostwurzel; Ansible-Import offen +│ ├── ct-100-dns/ # Hostwurzel + Ansible-Projekt; Production-Adoption offen (Stand 09.11.2026: kein ansible-deploy auf CT 100) │ ├── ct-102-keycloak/{ansible,scripts}/ -│ ├── ct-103-reverse-proxy/ # Hostwurzel; Ansible-Import offen +│ ├── ct-103-reverse-proxy/ # Hostwurzel + Ansible-Projekt (adoptiert 07.11.2026, verifiziert 09.11.2026) │ ├── ct-104-keycloak/ # erhaltener Rückfall-/Referenzstand │ └── ct-105-wireguard/ └── shared/ansible/ # gemeinsam genutzte Rollen und Pins diff --git a/docs/planning/gnmon-001-v2-0-monitoring-architektur-revision.md b/docs/planning/gnmon-001-v2-0-monitoring-architektur-revision.md index 9ad9e30..04f41c1 100644 --- a/docs/planning/gnmon-001-v2-0-monitoring-architektur-revision.md +++ b/docs/planning/gnmon-001-v2-0-monitoring-architektur-revision.md @@ -2,8 +2,8 @@ **Dokumenten-ID:** GNMON-001-PLAN **Titel:** Host-Monitoring auf dem KI-Server: Systemmetriken, Log-Pipeline und Blazor-Dashboard -**Stand:** 03.11.2026 -**Status:** Revidierter Plan (v2.0) nach Betreiberentscheidungen vom 03.11.2026; Implementierung noch nicht begonnen +**Stand:** 03.11.2026 (Snapshot der v2.0-Revision; aktueller Stand: GNMON-001 v2.1 / GNMON-000, Stand 2026-11-09) +**Status:** Revidierter Plan (v2.0) nach Betreiberentscheidungen vom 03.11.2026; zum Snapshot-Zeitpunkt Implementierung noch nicht begonnen — inzwischen M1–M5 produktiv (siehe GNMON-000) **Referenzen:** [GNENC-001](https://git.ghostnet.selfhost.eu/ghostnet.ai/infrastructure/raw/branch/main/docs/platform/llm-server/encoding/GNENC-001-PLAN_Architecture.md), [GNENC-002](https://git.ghostnet.selfhost.eu/ghostnet.ai/infrastructure/raw/branch/main/docs/platform/llm-server/encoding/GNENC-002-PLAN_Pipeline.md), [GNAI-005](https://git.ghostnet.selfhost.eu/ghostnet.ai/infrastructure/raw/branch/main/docs/platform/GNAI-005-SEC_Access-Control.md), [GNAI-006](https://git.ghostnet.selfhost.eu/ghostnet.ai/infrastructure/raw/branch/main/docs/platform/proxmox-server/lxc/ct-103-reverse-proxy/GNAI-006-SEC_Reverse-Proxy.md) ## Änderungsverlauf diff --git a/docs/platform/llm-server/ai/GNAI-008-PLAN_Ansible-Deployment.md b/docs/platform/llm-server/ai/GNAI-008-PLAN_Ansible-Deployment.md index 171652c..252ae68 100644 --- a/docs/platform/llm-server/ai/GNAI-008-PLAN_Ansible-Deployment.md +++ b/docs/platform/llm-server/ai/GNAI-008-PLAN_Ansible-Deployment.md @@ -2,15 +2,16 @@ **Dokumenten-ID:** GNAI-008-PLAN **Titel:** Ansible-Deployment für den KI-Server – Planungsstand -**Stand:** 2026-10-31 -**Status:** Nicht finaler Arbeitsentwurf zur Persistierung des aktuellen Planungsstands +**Stand:** 2026-11-09 +**Status:** Nicht finaler Arbeitsentwurf zur Persistierung des Planungsstands; der belegte Implementierungsstand bis einschließlich M4 steht in Abschnitt 14 (14.6) **Referenzen:** [Projektstand](../../../GNAI-000-DOC_Index.md), [Zielarchitektur](GNAI-004-INFRA_Architecture.md), [Modellbewertung](GNAI-009-PLAN_Llama-Model-Evaluation.md), [llama.cpp-Sollkonfiguration](GNAI-010-TECH_Llama-Serving.md), [Zugriffskonzept](../../GNAI-005-SEC_Access-Control.md) -> **Abgrenzung:** Dieses Dokument hält die Ergebnisse der am 19.09.2026 -> begonnenen und bis zum 21.09.2026 fortgeschriebenen Planungssession fest. Es ist +> **Abgrenzung:** Die Abschnitte 1–13 halten die Ergebnisse der am 19.09.2026 +> begonnenen und bis zum 31.10.2026 fortgeschriebenen Planungssession fest. Sie sind > weder eine freigegebene technische Spezifikation noch -> eine Installationsanleitung oder ein Nachweis über bereits umgesetzte -> Komponenten. Entscheidungen, die noch geprüft oder bestätigt werden müssen, +> eine Installationsanleitung. Abschnitt 14 (inkl. 14.6) dokumentiert dagegen den +> belegten, live umgesetzten Ansible-Stand bis einschließlich M4 (06.11.2026). +> Entscheidungen, die noch geprüft oder bestätigt werden müssen, > sind ausdrücklich als vorläufig oder offen gekennzeichnet. --- @@ -37,6 +38,8 @@ | 2026-09-21 | 0.16 | spektr / Codex | überholten Phasen- und Dokumentenbacklog konsolidiert, Umsetzungsreihenfolge an GNAI-001 delegiert und privilegierten Runner nach Recovery verschoben | | 2026-10-19 | 0.17 | spektr / Mistral Vibe | LLM-Server-Projekt in die fachlichen Hauptverzeichnisse `host/`, `llm/` und `encoding/` aufgeteilt; Abschnitte 6 und 7.4 an die neue Struktur angepasst | | 2026-10-31 | 0.18 | spektr / Mistral Vibe | Deployment-Plan mit Betreiberentscheidungen vom 31.10.2026 überarbeitet: dritte Umgebung Experimental, exklusives GPU-Scheduling mit schnellem Umschalter und kommunizierten Zeitfenstern, Wartungsseite/transparenter Endpunktwechsel für nutzerseitige Dienste, Model-Store als Kernrolle, verallgemeinerte Engine-Rolle, Gitea-Actions-Kette mit reduziertem Production-Scope, Strata als erster Experimental-Kandidat (Abschnitt 7.6) | +| 2026-11-06 | 0.19 | spektr / Mistral Vibe | M4 umgesetzt und abgenommen (Abschnitt 14.6): Production-Inventar mit Referenz- (Swift 1.5) und Rollback-Profil (Unsloth), Rolle `ai_environment_switch` (Abschnitt 7.3) mit Recovery-Timer, Rolle `ai_backup` (Wochen-Timer auf NFS-Pipeline-Share), Verfügbarkeitsmetrik `gn_ai_active_env`; Abnahme T1–T7, echter Hostreboot, Restore-Nachweise R1/R2 | +| 2026-11-09 | 0.20 | Mistral Vibe | Re-Verifikation nach Host-Neustart (09.11.2026, ~05:05 CET): Recovery-Service stellte Production automatisch wieder her (`gn_ai_active_env{env="production"}=1`, Engine `gnai-production-llama-swift15` aktiv). Befund: `gnai-ai-backup.service` lief beim Boot mit Exit 21 (NFS-Mountpoint zu diesem Zeitpunkt noch nicht gemountet) — Timer (Persistent) und Service haben keine Mount-Abhängigkeit; offen: `RequiresMountsFor=/var/lib/ghostnet-pipeline` in der `ai_backup`-Rolle (Abschnitt 14.6) | --- @@ -435,8 +438,9 @@ Unterverzeichnisse, Eigentümer sowie Unit- und Container-Namen werden mit den jeweiligen Fachrollen festgelegt. Die Konten `gnai-production` und `gnai-testing` besitzen inzwischen ihre Datenwurzeln und getrennten rootless Podman-Stores; Konfiguration bleibt rootverwaltet und für die jeweilige Gruppe -lesbar. `gnai-experimental` (983) wird analog über `workload_accounts` -nachgezogen. Der Encoding-Workload verwendet entsprechend +lesbar. `gnai-experimental` wird analog über `workload_accounts` +nachgezogen (geplante UID 985; die 983 ist inzwischen an `gn-download` +vergeben, siehe GNAI-003). Der Encoding-Workload verwendet entsprechend `/etc/ghostnet-encoding` und `/var/lib/ghostnet-encoding`. ### 7.5 ROCm- und `llama.cpp`-Ausgangskonfiguration @@ -750,6 +754,12 @@ Frage 6 – der Umschaltmechanismus ist die exklusive hostseitige Rolle Timeout- und Recovery-Details bleiben offen. Die übrigen Fragen gelten unverändert. +Stand 06.11.2026: Frage 6 ist umgesetzt und abgenommen — `ai_environment_switch` +inkl. flock-Lock, Stop-vor-Start, GPU-Freigabenachweis, Health-Warte, atomarer +Zustandsdatei und Recovery-Timer (Abschnitt 14.6, T1–T7 bestanden; nach +Host-Neustart am 09.11.2026 automatisches Recovery auf Production verifiziert). +Frage 5 bleibt bis zur Delivery-Kette (Gitea Actions, Meilenstein 5) offen. + --- ## 13. Referenzstand der Planung @@ -998,34 +1008,45 @@ abgebrochener Testlauf wird hostseitig ohne Production-Secrets rückgerollt (Timer/Service), Backup/Restore sind praktisch belegt und Alarmgrenzen stehen. +**Re-Verifikation 09.11.2026 (Mistral Vibe, read-only via `ghost-agent`):** +Host-Neustart am 09.11.2026 gegen 05:05 CET; der Recovery-Service brachte +Production ohne Zutun hoch (`gn_ai_active_env{env="production"}=1` in +VictoriaMetrics, `llama-server` als `gnai-production` mit +`gnai-production-llama-swift15` aktiv, Dashboard HTTP 200, vmalert gesund +mit geladener Regelgruppe `gnmon-ai`, Alertmanager leer, Loki nach kurzer +WAL-Replay-Phase `/ready` 200). **Befund:** `gnai-ai-backup.service` lief +beim Boot um 05:05:45 mit Exit 21 (NFS-Mountpoint `/var/lib/ghostnet-pipeline` +zu diesem Zeitpunkt noch nicht gemountet), weil Timer (`Persistent=true`) und +Service keine Mount-Abhängigkeit deklarieren; nächster planmäßiger Lauf +So 15.11.2026 03:30. Offen: `RequiresMountsFor=/var/lib/ghostnet-pipeline` +(oder `After=` auf die Mount-Unit) in der Rolle `ai_backup` ergänzen. + --- ## 15. Abschlussgrenze dieses Entwurfs -Mit Version 0.15 sind der aktuelle Planungsstand, der ausdrücklich begrenzte -Ansible-Preflight, der verifizierte Deployment-Account und die angewendete -minimale Host-Baseline, die Podman-/Quadlet-Grundruntime und die getrennten -Workload-Konten, deren begrenzter AMD-Gerätezugriff sowie der rootless -ROCm-/`llama.cpp`-Gerätenachweis für Testing persistiert. -Insbesondere wurden noch nicht: +Mit Version 0.15 waren der Planungsstand, der begrenzte Ansible-Preflight, der +verifizierte Deployment-Account, die Host-Baseline, die Podman-/Quadlet- +Grundruntime, die getrennten Workload-Konten und der rootless ROCm-/`llama.cpp`- +Gerätenachweis für Testing persistiert. -- ein Gitea Runner angelegt, -- Gitea Actions oder Schutzregeln konfiguriert, -- eine dauerhafte `llama.cpp`-Anwendungsrolle, ein Production-Inventar oder ein - Vault erstellt, -- eine Production- oder Testing-Umgebung eingerichtet oder voneinander - abgenommen, -- ein dauerhafter GPU-Container, ein Modell oder eine Anwendung auf dem - KI-Server eingerichtet, -- Backups oder Rollbacks praktisch getestet oder -- die geplante Deploymentkette technisch abgenommen. +Mit Abschnitt 14.6 (Revision 0.19, 06.11.2026) sind inzwischen zusätzlich +belegt: die verallgemeinerte Engine-Rolle mit gepinntem Image, der gemeinsame +Model-Store, die Testing-Abnahme der Profile (GNAI-010 10.5–10.9), das +Production-Inventar mit Referenz- und Rollback-Profil, die Production- und +Testing-Umgebung inklusive gegenseitigem Ausschluss, die Umschaltmechanik +`ai_environment_switch` mit Recovery sowie Backups und Rollbacks mit praktischem +Restore-Nachweis. Ein dauerhafter GPU-Container mit geladenem Modell läuft als +Production (`gnai-production-llama-swift15`). -Mit Revision 0.18 ist der nächste KI-spezifische Schritt die verallgemeinerte -Rolle `inference_engine` (erstes Profil: `llama.cpp` für Testing) zusammen mit -der Rolle `model_store` für den gemeinsamen gepinnten Modellbestand; -anschließend folgen `gnai-experimental` samt Strata-Profil (Abschnitt 7.6) und -die Gitea-Actions-Kette mit reduziertem Production-Scope (Abschnitt 11). Die -bereichsübergreifende Priorität und die Abhängigkeit von den offenen +Weiterhin **nicht** umgesetzt: + +- ein Gitea Runner, Gitea Actions oder Schutzregeln, +- ein Vault / Secret-Store jenseits der host-lokalen Dateien, +- die geplante Deploymentkette (Abschnitt 11) mit Promotion-Tag, +- die Umgebung `gnai-experimental` samt Strata-Profil (Abschnitt 7.6). + +Die bereichsübergreifende Priorität und die Abhängigkeit von den offenen Sicherheitsbefunden legt GNAI-001 fest. LiteLLM ist nicht länger automatisch der Folgeschritt, sondern wird vor einer Veröffentlichung anhand der benötigten API-Policies entschieden. diff --git a/docs/platform/llm-server/ai/GNAI-009-PLAN_Llama-Model-Evaluation.md b/docs/platform/llm-server/ai/GNAI-009-PLAN_Llama-Model-Evaluation.md index 572181d..ce470f3 100644 --- a/docs/platform/llm-server/ai/GNAI-009-PLAN_Llama-Model-Evaluation.md +++ b/docs/platform/llm-server/ai/GNAI-009-PLAN_Llama-Model-Evaluation.md @@ -2,8 +2,8 @@ **Dokumenten-ID:** GNAI-009-PLAN **Titel:** Modell- und Laufzeitbewertung für `llama.cpp` -**Stand:** 2026-11-01 -**Status:** Nicht finaler Evaluierungsplan; keine Production-Freigabe +**Stand:** 2026-11-05 +**Status:** Evaluierungsplan mit abgeschlossener Entscheidungsgrundlage (v0.10); Betreiberbeschluss 05.11.2026: Swift 1.5 Q6_K als Production-Profil (Abschnitt 10.4) **Referenzen:** [Ansible-Deployment](GNAI-008-PLAN_Ansible-Deployment.md), [technische Sollkonfiguration](GNAI-010-TECH_Llama-Serving.md), [Zielarchitektur](GNAI-004-INFRA_Architecture.md) > Dieses Dokument persistiert die Modellrecherche und legt fest, wie daraus @@ -28,6 +28,7 @@ | 2026-11-03 | 0.8 | spektr / Mistral Vibe | Betreiberentscheidung: GPQA Diamond ersetzt (Abschnitt 5.1) – der Benchmark ist im Frontier-Bereich gesättigt (>90 % bei allen Anbietern) und für die A/B-Trennung lokal nicht mehr trennscharf. Ersatz: Berkeley Function Calling Leaderboard (BFCL, `bfcl-eval` 2026.3.23) als etablierter Tool-Use-Benchmark mit mechanischer Bewertung (AST, ausführbare Calls, Irrelevance-Detection), direkt gegen die OpenAI-kompatible Engine-API lauffähig. Agentic-Benchmarks (τ2-bench, Terminal-Bench) bleiben der späteren Stufe mit der Experimental-Umgebung vorbehalten. | | 2026-11-03 | 0.9 | spektr / Mistral Vibe | IFEval- und MATH500-Serie über alle drei Profile abgeschlossen (Abschnitte 10.2/10.3): Swift 1.0 gewinnt beide (IFEval 0,76 vs. 0,70/0,63; MATH500 math_verify 0,32 vs. 0,27/0,28) – Swift 1.5 bleibt nur auf AIME vorn. Das Bild ist damit differenziert: 1.5 für harte Reasoning-/Agentenaufgaben, 1.0 für Instruction-Following und Mathematik. Methodikbefunde: minerva exact_match ist bei allen Profilen 0 (Format-Artefakt der Reasoning-Trennung), math_verify ist die gültige Metrik; die Score-Extraktion des eigenen Effizienzskripts ist je Task-Schema zu korrigieren (aggregate Scores aus results.json sind autoritativ). | | 2026-11-05 | 0.10 | spektr / Mistral Vibe | BFCL-Serie abgeschlossen (Abschnitt 10.4): Swift 1.0 im FC-Modus nachweislich unbrauchbar (~3.500 Thinking-Token je Tool-Call-Request, ~21 min/Testfall, Abbruch nach 3/840 mit Projektion ~275 h – Teilrohdaten als Beweis erhalten). Swift 1.5 und Unsloth praktisch gleichauf in der AST-Genauigkeit (92,0/91,5 vs. 93,0/92,0), Swift 1.5 klar vorn bei der Irrelevance-Detection (82,92 vs. 78,33 %).Gesamtempfehlung: Swift 1.5 als Production-Profil, Unsloth als Testing-Vergleich, Swift 1.0 aus dem aktiven Betrieb. | +| 2026-11-05 | 0.11 | spektr / Mistral Vibe | Betreiberbeschluss zur Empfehlung aus 10.4 („ja"): Swift 1.5 Q6_K als Production-Profil angenommen; Testing-Betrieb noch am selben Tag auf Swift 1.5 umgestellt und funktional verifiziert (Thinking-Request korrekt, `reasoning_content` vorhanden). Offen bleibt die Nutzerakzeptanzprüfung (Abschnitt 5.3) auf dem Siegerprofil sowie die Lizenz-/Nutzungsrahmen-Prüfung vor externer Freigabe. | --- diff --git a/docs/platform/llm-server/ai/GNAI-010-TECH_Llama-Serving.md b/docs/platform/llm-server/ai/GNAI-010-TECH_Llama-Serving.md index 34691d5..6cbee44 100644 --- a/docs/platform/llm-server/ai/GNAI-010-TECH_Llama-Serving.md +++ b/docs/platform/llm-server/ai/GNAI-010-TECH_Llama-Serving.md @@ -2,13 +2,14 @@ **Dokumenten-ID:** GNAI-010-TECH **Titel:** `llama.cpp`-Serving mit ROCm und rootless Podman -**Stand:** 2026-09-21 -**Status:** Technische Sollkonfiguration für Testing; noch nicht implementiert +**Stand:** 2026-11-05 +**Status:** Sollkonfiguration umgesetzt und in Testing abgenommen (Abschnitt 10.5–10.10); Production-Lauf über `ai_environment_switch` (GNAI-008 14.6) **Referenzen:** [Modellbewertung](GNAI-009-PLAN_Llama-Model-Evaluation.md), [Ansible-Deployment](GNAI-008-PLAN_Ansible-Deployment.md), [Zielarchitektur](GNAI-004-INFRA_Architecture.md), [Ansible-Anleitung](../../../../llm-server/host/ansible/README.md) -> Dieses Dokument beschreibt den vorgesehenen technischen Sollzustand. Es ist -> keine Betriebs-SOP und kein Nachweis, dass Modell, Quadlet oder Inferenz -> bereits eingerichtet wurden. Abweichungen aus der Implementierung werden vor +> Dieses Dokument beschreibt den technischen Sollzustand. Die Sollkonfiguration +> ist inzwischen umgesetzt und in Testing abgenommen (Abschnitt 10.5–10.10); +> Production läuft seit 06.11.2026 über `ai_environment_switch` (GNAI-008 14.6). +> Es ist keine Betriebs-SOP. Abweichungen aus der Implementierung werden vor > einer Production-Freigabe hier nachgeführt. --- diff --git a/docs/platform/llm-server/ai/README.md b/docs/platform/llm-server/ai/README.md index 64c56c8..a511807 100644 --- a/docs/platform/llm-server/ai/README.md +++ b/docs/platform/llm-server/ai/README.md @@ -12,8 +12,8 @@ Video-Encoding-Workload besitzt einen | [GNAI-001](../../../GNAI-001-PLAN_Project-Roadmap.md) | priorisierter High-Level-Implementierungsplan mit Entscheidungstoren und Abnahmekriterien | | [GNAI-004](GNAI-004-INFRA_Architecture.md) | Zielarchitektur, Komponenten und Datenwege des KI-Stacks | | [GNAI-008](GNAI-008-PLAN_Ansible-Deployment.md) | nicht finaler Arbeitsentwurf für Ansible- und Gitea-Deployment | -| [GNAI-009](GNAI-009-PLAN_Llama-Model-Evaluation.md) | nicht finaler A/B-Plan für Swift, Unsloth, Reasoning-, Kontext- und MTP-Abnahme | -| [GNAI-010](GNAI-010-TECH_Llama-Serving.md) | technische Sollkonfiguration für zwei geprüfte Modellprofile auf rootless `llama.cpp` mit ROCm | +| [GNAI-009](GNAI-009-PLAN_Llama-Model-Evaluation.md) | Modellbewertung für Swift/Unsloth; Betreiberbeschluss 05.11.2026: Swift 1.5 Q6_K als Production-Profil (Abschnitt 10.4) | +| [GNAI-010](GNAI-010-TECH_Llama-Serving.md) | technische Sollkonfiguration für die Modellprofile auf rootless `llama.cpp` mit ROCm; Testing abgenommen (10.5–10.10), Production live seit 06.11.2026 | Der übergreifende Projektstand steht im [zentralen Dokumentationsindex](../../../GNAI-000-DOC_Index.md). diff --git a/docs/platform/llm-server/encoding/GNENC-000-DOC_Index.md b/docs/platform/llm-server/encoding/GNENC-000-DOC_Index.md index cb3be89..7be962b 100644 --- a/docs/platform/llm-server/encoding/GNENC-000-DOC_Index.md +++ b/docs/platform/llm-server/encoding/GNENC-000-DOC_Index.md @@ -1,8 +1,8 @@ # Video-Encoding – Dokumentationsindex und Projektstand **Dokumenten-ID:** GNENC-000-DOC -**Stand:** 2026-10-30 -**Status:** Planungsabschluss; externe Abhängigkeiten (CT-101, PVE-Host-NFS) umgesetzt; Implementierung auf ghostnet-ki noch nicht begonnen +**Stand:** 2026-11-09 +**Status:** Planungsabschluss; externe Abhängigkeiten (CT-101, PVE-Host-NFS) umgesetzt; Monitoring-Bereich produktiv (GNMON-000 M1–M5); Encoding-Implementierung auf ghostnet-ki noch nicht begonnen ## Dokumente @@ -46,8 +46,9 @@ beschrieben. gn-dashboard). Legacy-Medien-Cron auf dem PVE-Host entfernt (`pve_media_cron`, GNAI-017 Abschnitt 6.11). - Verzeichnislayout: `input//*.dlc`, `jd/`, `queue///`, - `work/`, `output///` + `output/_failed/`, `state/jobs/` + - `state/system.json`. + `work/`, `output///` + `output/_failed/`, `state/jobs/` + (`state/system.json` entfällt seit GNMON-001 v2.0 — Systemmetriken laufen + über node_exporter/VictoriaMetrics, siehe GNMON-000). - Konten: `gn-encoding` (982, eingerichtet und verifiziert), `gn-download` (983, jDownloader2 + VPN-Sidecar), `gn-dashboard` (984, Dashboard, Monitoring-Bereich); gemeinsame Gruppe `gn-media` (GID 970, auch auf CT-101). @@ -68,8 +69,8 @@ beschrieben. `ghost`; Entnahme per `mv` räumt auf; optionaler Clean-Job nach 30 Tagen); `.dlc`-Drop über Share `[Encode-In]`; kein smbd auf `ghostnet-ki`. - Statusmodell: JSON pro Videodatei in `state/jobs/`, atomar geschrieben; - Systemmetriken in `state/system.json` (Metrics-Collector des - Monitoring-Bereichs). + Systemmetriken über node_exporter/VictoriaMetrics (GNMON-001 v2.0, + `state/system.json` entfällt). - Ressourcenlimits: Quadlet/cgroup (Worker MemoryMax 16G, Nice 10, IOWeight 50; jDownloader2 MemoryMax 2G, CPUWeight 50, IOWeight 20; VPN-Sidecar 256M). - Images: Worker als Eigenbau auf Basis des gepinnten HandBrake-Digests @@ -90,5 +91,5 @@ beschrieben. unter gleichzeitiger Inferenzlast. 3. Rootless-TUN-Verifizierung für den VPN-Sidecar auf dem Host. 4. Implementierung auf ghostnet-ki: Image-Bauten, Quadlet-Units (inkl. - VPN-Sidecar), Worker-Skript, JD2-Event-Scripter, Monitoring-Bereich - (Collector, Dashboard). + VPN-Sidecar), Worker-Skript, JD2-Event-Scripter. Der Monitoring-Bereich + (Collector, Dashboard, Alerting) ist mit GNMON-000 M1–M5 umgesetzt. diff --git a/docs/platform/llm-server/encoding/GNENC-001-PLAN_Architecture.md b/docs/platform/llm-server/encoding/GNENC-001-PLAN_Architecture.md index c0d3ff0..05940c2 100644 --- a/docs/platform/llm-server/encoding/GNENC-001-PLAN_Architecture.md +++ b/docs/platform/llm-server/encoding/GNENC-001-PLAN_Architecture.md @@ -2,8 +2,8 @@ **Dokumenten-ID:** GNENC-001-PLAN **Titel:** CPU-basiertes Video-Encoding auf dem KI-Server -**Stand:** 2026-10-30 -**Status:** Finaler Plan nach Planungsabschluss am 19.10.2026; externe Abhängigkeiten (CT-101, PVE-Host-NFS) umgesetzt (GNAI-019); die operative Pipeline ist in GNENC-002 spezifiziert, das host-weite Monitoring in GNMON-001 +**Stand:** 2026-11-09 +**Status:** Finaler Plan nach Planungsabschluss am 19.10.2026; externe Abhängigkeiten (CT-101, PVE-Host-NFS) umgesetzt (GNAI-019); die operative Pipeline ist in GNENC-002 spezifiziert, das host-weite Monitoring in GNMON-001 (v2.0, M1–M5 produktiv — `state/system.json` entfällt) ## 1. Zweck und Abgrenzung @@ -50,8 +50,8 @@ beschrieben. | Validierung | HandBrakeCLI-Exit 0, nicht-leere Zieldatei, vorhandener Videostream, fehlerfreie ffmpeg-Volldecodierung (leere stderr) und ffprobe-Dauerabweichung ≤ 1 s | Betreiberentscheidung 19.10.2026 | | Fehlerbehandlung | fehlerhafte Zieldatei löschen, Quelldatei nach `output/_failed//` verschieben (Quarantäne pro Datei); erfolgreiche Dateien desselben Releases bleiben verschont | Betreiberentscheidung 19.10.2026; geändert gegenüber nächtlichem Retry | | Aufbewahrung | Quelldatei wird nach erfolgreichem Encoding und Validierung gelöscht; Output bleibt bis zur Abholung; `work/` wird pro Lauf geleert; `done`-Status wird nach 30 Tagen gelöscht | Betreiberentscheidung 19.10.2026 | -| Statusmodell | eine JSON-Datei pro Videodatei unter `state/jobs/`, atomar geschrieben (Encoding); Systemmetriken in `state/system.json` werden vom Metrics-Collector des Monitoring-Bereichs bereitgestellt | Betreiberentscheidung 19.10.2026 | -| Statusanzeige | Dashboard im Monitoring-Bereich (GNMON-001): Container unter `gn-dashboard` (Python/Flask), nur lesende Mounts; erreichbar über NPM (CT-103) mit Keycloak-Absicherung | Betreiberentscheidung 19.10.2026 | +| Statusmodell | eine JSON-Datei pro Videodatei unter `state/jobs/`, atomar geschrieben (Encoding); Systemmetriken laufen seit GNMON-001 v2.0 über node_exporter/VictoriaMetrics (`state/system.json` entfällt) | Betreiberentscheidung 19.10.2026; geändert durch GNMON-001 v2.0 (03.11.2026) | +| Statusanzeige | Dashboard im Monitoring-Bereich (GNMON-001 v2.0): Blazor Server (.NET 10) unter `gn-dashboard`, nur lesende Mounts; erreichbar über NPM (CT-103, `mon.ghostnet.selfhost.eu`) mit Keycloak-OIDC | Betreiberentscheidung 19.10.2026; geändert durch GNMON-001 v2.0 (03.11.2026) | | Ressourcenlimits | Quadlet-/cgroup-Limits: Worker MemoryMax 16G, Nice 10, IOWeight 50; jDownloader2 MemoryMax 2G, CPUWeight 50, IOWeight 20, Nice 10; VPN-Sidecar MemoryMax 256M, CPUWeight 50; keine CPU-Obergrenze fürs Encoding | Betreiberentscheidung 19.10.2026; Feinjustierung nach Lasttest offen | | Zugangsdaten | jDownloader2-Credentials und VPN-WireGuard-Config liegen server-lokal unter `/etc/ghostnet-download/` (`jdownloader/`, `vpn.env`; root-owned, nicht in git); im Repository nur Platzhalter/Beispiele | Betreiberentscheidung 19.10.2026 | diff --git a/docs/platform/llm-server/encoding/GNENC-002-PLAN_Pipeline.md b/docs/platform/llm-server/encoding/GNENC-002-PLAN_Pipeline.md index ba4ced4..324a59e 100644 --- a/docs/platform/llm-server/encoding/GNENC-002-PLAN_Pipeline.md +++ b/docs/platform/llm-server/encoding/GNENC-002-PLAN_Pipeline.md @@ -2,8 +2,8 @@ **Dokumenten-ID:** GNENC-002-PLAN **Titel:** Encoding-Pipeline: Komponenten, Konten, Verzeichnislayout und Datenfluss -**Stand:** 2026-10-30 -**Status:** Finaler Plan nach Betreiberentscheidungen vom 19.10.2026; externe Abhängigkeiten umgesetzt (GNAI-019) +**Stand:** 2026-11-09 +**Status:** Finaler Plan nach Betreiberentscheidungen vom 19.10.2026; externe Abhängigkeiten umgesetzt (GNAI-019); Monitoring-Schnittstelle an GNMON-001 v2.0 angepasst (`state/system.json` entfällt) **Vorgänger:** [GNENC-001-PLAN_Architecture.md](GNENC-001-PLAN_Architecture.md) **Monitoring:** [GNMON-001-PLAN_Architecture.md](../monitoring/GNMON-001-PLAN_Architecture.md) **Samba/NFS:** [GNAI-017](../../proxmox-server/lxc/ct-101-samba/GNAI-017-PLAN_Samba-NFS-Export.md), [GNAI-019](../../proxmox-server/lxc/ct-101-samba/GNAI-019-DEC_Ansible-Migration.md) — SMB auf CT-101, Kernel-NFS auf dem PVE-Host @@ -69,14 +69,13 @@ World-Write (Mode 2777), nicht über Gruppen-Abgleich; siehe Abschnitt 4. │ └── _failed// gn-media 2777 Quarantäne └── state/ gn-media 2750 Status (Dashboard liest) ├── jobs/.json gn-encoding 0750 Status pro Videodatei - ├── tmp/ gn-encoding 0750 atomare Schreib-Zwischenlage - └── system.json Collector 0644 Systemmetriken (Monitoring) + └── tmp/ gn-encoding 0750 atomare Schreib-Zwischenlage ``` `state/` ist `gn-encoding:gn-media` mit Mode `2750`, damit `gn-dashboard` lesen kann; `state/jobs/` und `state/tmp/` bleiben `0750` (nur Worker). -`state/system.json` wird vom Metrics-Collector des Monitoring-Bereichs mit -`0644` geschrieben. +`state/system.json` entfällt seit GNMON-001 v2.0 (03.11.2026): Systemmetriken +werden über node_exporter/VictoriaMetrics bereitgestellt (GNMON-000). Handover-Regeln: @@ -224,8 +223,8 @@ Lebenszyklus: `queued` → `encoding` → `verifying` → `done` | `failed`. Aufbewahrung: `done` nach 30 Tagen gelöscht; `failed` bis zur manuellen Prüfung. -`state/system.json` (Systemmetriken) wird vom Metrics-Collector des -Monitoring-Bereichs bereitgestellt (GNMON-001). +Systemmetriken werden seit GNMON-001 v2.0 über node_exporter/VictoriaMetrics +bereitgestellt (GNMON-000); `state/system.json` entfällt. ## 8. Ressourcenlimits @@ -243,10 +242,11 @@ Lasttest unter Inferenzlast (GNENC-001 Abschnitt 4). ## 9. Monitoring (Auslagerung) -Dashboard und Metrics-Collector werden im Monitoring-Bereich geplant und -betrieben (GNMON-001, `llm-server/monitoring/`). Die Encoding-Pipeline stellt -`state/jobs/*.json` bereit; der Collector schreibt `state/system.json`; das -Dashboard mountet `state/` und `queue/` read-only und zeigt Ressourcen sowie +Dashboard und Metriken werden im Monitoring-Bereich betrieben (GNMON-001 v2.0, +`llm-server/monitoring/`; M1–M5 produktiv, GNMON-000). Die Encoding-Pipeline +stellt `state/jobs/*.json` bereit; Systemmetriken laufen über den +GNMON-Metrikpfad (`state/system.json` entfällt seit v2.0); das Dashboard liest +`state/` und `queue/` read-only und zeigt Ressourcen sowie Encoding-Übersicht. Das Dashboard hat keinen GPU- und keinen Schreibzugriff. ## 10. Images diff --git a/docs/platform/llm-server/host/GNAI-002-INFRA_BaseSystem.md b/docs/platform/llm-server/host/GNAI-002-INFRA_BaseSystem.md index 519bd12..e3a38cb 100644 --- a/docs/platform/llm-server/host/GNAI-002-INFRA_BaseSystem.md +++ b/docs/platform/llm-server/host/GNAI-002-INFRA_BaseSystem.md @@ -18,6 +18,7 @@ | 2026-09-19 | 1.4 | spektr | Getrennte SSH-Zugänge für `ghost` und `ghost-agent` als erfolgreich getestet übernommen. | | 2026-09-22 | 1.5 | Codex | In die hostbezogene Struktur `platform/ghostnet-ai/` verschoben und Geltungsbereich präzisiert. | | 2026-10-31 | 1.6 | spektr / Mistral Vibe | Betreiberentscheidung IPv4-only: IPv6 wird auf dem Host über die `host_baseline`-Rolle systematisch deaktiviert (Abschnitt 6); Anlass war der hängende Modell-Download am 31.10.2026 durch den Halbdual-Stack-Zustand. | +| 2026-11-09 | 1.7 | Mistral Vibe | Abschnitt 7 ergänzt: Systemdienst `gnai-gpu-fan-control` (Rolle `gpu_fan_control`, 05.11.2026) als Dauerlösung nach dem thermischen Vorfall vom 03.11.2026 (GNAI-010 Abschnitt 10.10); live verifiziert am 09.11.2026 (`active (running)` nach Host-Neustart). | --- @@ -201,3 +202,21 @@ kleiner Schritt und kein Bestandteil dieser Entscheidung. Drop-in-Datei, wendet sie bei Änderung über `sysctl --system` an und verifiziert den Laufzeitwert `net.ipv6.conf.all.disable_ipv6 = 1`. Ein zweiter Lauf muss `changed=0` melden. + +--- + +## 7. Dauerhafte Systemdienste auf dem Host + +**`gnai-gpu-fan-control` (seit 05.11.2026):** Die Rolle `gpu_fan_control` +(`llm-server/host/ansible/`) installiert den Systemdienst +`gnai-gpu-fan-control` als Dauerlösung nach dem thermischen Vorfall vom +03.11.2026 (GNAI-010 Abschnitt 10.10): PCI-stabile Adressierung beider +RX 6900 XT, Junction-Kurve 50/58/66/72/76 °C → 0/80/140/200/255 PWM, +5-s-Zyklus, fallende Hysterese, Failsafe auf Werksteuerung. Live verifiziert +am 09.11.2026: nach Host-Neustart `active (running)` ohne manuelles Zutun. + +**Weitere belegte Dienste (verifiziert 09.11.2026):** `gnmon-node-exporter`, +`gnmon-alloy` (GNMON-000), `gnai-environment-recovery.timer`, +`gnai-environment-metrics.timer`, `gnai-ai-backup.timer` (GNAI-008 14.6). +Befund zum Backup-Timer siehe GNAI-008 14.6 (Exit 21 nach Boot wegen fehlender +Mount-Reihenfolge). diff --git a/docs/platform/llm-server/host/GNAI-003-INFRA_Users.md b/docs/platform/llm-server/host/GNAI-003-INFRA_Users.md index ad375ae..a832316 100644 --- a/docs/platform/llm-server/host/GNAI-003-INFRA_Users.md +++ b/docs/platform/llm-server/host/GNAI-003-INFRA_Users.md @@ -18,6 +18,7 @@ | 2026-09-20 | 1.5 | spektr / Codex | Deployment- und getrennte rootless Workload-Konten mit festen IDs und Zuständigkeiten ergänzt. | | 2026-09-20 | 1.6 | spektr / Codex | `render`-Mitgliedschaft und geprüfte AMD-Geräterechte der beiden KI-Konten ergänzt. | | 2026-09-22 | 1.7 | Codex | In die hostbezogene Struktur `platform/ghostnet-ai/` verschoben und Geltungsbereich präzisiert. | +| 2026-11-09 | 1.8 | Mistral Vibe | Kontentabelle um `gn-download` (983), `gn-dashboard` (984), `gn-monitor` (986) und Gruppe `gn-media` (GID 970) ergänzt (angelegt 30.10./05.11.2026, GNENC-000/GNMON-000); per `getent` am 09.11.2026 gegen den Live-Host verifiziert. | --- @@ -71,13 +72,19 @@ Ansible-Projekt verwaltet: | `gnai-production` | 980 | rootless AI Production | gesperrtes Passwort, `/usr/sbin/nologin`, kein sudo | | `gnai-testing` | 981 | rootless AI Testing | gesperrtes Passwort, `/usr/sbin/nologin`, kein sudo | | `gn-encoding` | 982 | rootless CPU-Encoding | gesperrtes Passwort, `/usr/sbin/nologin`, kein sudo | +| `gn-download` | 983 | rootless Download (jDownloader2 + VPN-Sidecar) | gesperrtes Passwort, `/usr/sbin/nologin`, kein sudo | +| `gn-dashboard` | 984 | rootless Monitoring-Dashboard (Web-App) | gesperrtes Passwort, `/usr/sbin/nologin`, kein sudo | +| `gn-monitor` | 986 | rootless Monitoring-Datenhaltung (VictoriaMetrics, Loki, vmalert, Alertmanager) | gesperrtes Passwort, `/usr/sbin/nologin`, kein sudo | -Die drei Workload-Konten besitzen nicht überlappende SubUID-/SubGID-Bereiche, -eigene Daten- und Podman-Stores sowie persistente systemd-User-Manager. Ihre -rootverwalteten Quadlet-Verzeichnisse liegen unter +Die Gruppe `gn-media` (GID 970) ist die primäre Gruppe von `gn-encoding`, +`gn-download` und `gn-dashboard` (NFSv4-AUTH_SYS, Befund 30.10.2026, GNENC-002 +Abschnitt 3). Die Workload-Konten besitzen nicht überlappende +SubUID-/SubGID-Bereiche, eigene Daten- und Podman-Stores sowie persistente +systemd-User-Manager. Ihre rootverwalteten Quadlet-Verzeichnisse liegen unter `/etc/containers/systemd/users/`. Direkte SSH-Schlüssel werden dort nicht hinterlegt. `gnai-production` und `gnai-testing` gehören zusätzlich zur -Gerätegruppe `render`; `gn-encoding` erhält keinen GPU-Zugriff. +Gerätegruppe `render`; `gn-encoding` erhält keinen GPU-Zugriff. `gn-monitor` +gehört zur Gruppe `systemd-journal` (Alloy-Journal-Quelle, GNMON-001). --- diff --git a/docs/platform/proxmox-server/README.md b/docs/platform/proxmox-server/README.md index 0fc20b8..e728163 100644 --- a/docs/platform/proxmox-server/README.md +++ b/docs/platform/proxmox-server/README.md @@ -13,6 +13,7 @@ Hypervisors selbst. | [CT-102-Automation](../../../proxmox/lxc/ct-102-keycloak/README.md) | produktives Keycloak-Ansible-Projekt und CT-spezifische PVE-Helfer | | [CT-104-Rückfallartefakte](../../../proxmox/lxc/ct-104-keycloak/README.md) | erhaltene Blue/Green-Referenz unter `10.0.0.16` | | [GNAI-006 / CT 103](lxc/ct-103-reverse-proxy/GNAI-006-SEC_Reverse-Proxy.md) | `10.0.0.10`: Reverse Proxy, Keycloak-Adminpfad und Fail2Ban | +| [CT-103-Automation](../../../proxmox/lxc/ct-103-reverse-proxy/ansible/README.md) | produktives NPM-/Fail2Ban-Ansible-Projekt für CT 103 (adoptiert 07.11.2026) | | [GNAI-007 / CT 105](lxc/ct-105-wireguard/GNAI-007-SEC_VPN.md) | `10.0.0.15`: WireGuard-Gateway, Rollen-Firewall und Clientverfahren | | [GNAI-017 / CT 101](lxc/ct-101-samba/GNAI-017-PLAN_Samba-NFS-Export.md) | `10.0.0.9`: Samba-Dateiserver, NFS-Export und Encoding-Shares | | [GNAI-018 / CT 101](lxc/ct-101-samba/GNAI-018-REQ_Encoding-Pipeline-Integration.md) | Requirements der Encoding-Pipeline an CT 101 für den Ansible-Rebuild (Übergabe) | diff --git a/docs/platform/proxmox-server/lxc/ct-103-reverse-proxy/GNAI-006-SEC_Reverse-Proxy.md b/docs/platform/proxmox-server/lxc/ct-103-reverse-proxy/GNAI-006-SEC_Reverse-Proxy.md index 6b4bc56..37115e3 100644 --- a/docs/platform/proxmox-server/lxc/ct-103-reverse-proxy/GNAI-006-SEC_Reverse-Proxy.md +++ b/docs/platform/proxmox-server/lxc/ct-103-reverse-proxy/GNAI-006-SEC_Reverse-Proxy.md @@ -34,6 +34,7 @@ | 2026-10-05 | 2.7 | Codex | Keycloak-Adminpfade, Split-DNS, internen TLS-vHost und wirksame öffentliche Hostname-/Issuer-Weiterleitungen erneut geprüft. | | 2026-10-14 | 2.8 | Codex | NPM auf den reproduzierten CT 102 umgeschaltet; öffentliche Admin-Sperre 403, interner Admin-vHost 200, Discovery/OIDC und realer Vaultwarden-Login abgenommen. | | 2026-10-31 | 2.9 | spektr / Mistral Vibe | Lesenden Infrastruktur-Audit vor dem LLM-Ausbau durchgeführt (Abschnitt 2.4): Dienste, Image-Pins, SSH- und Dateihärtung, Firewall-Verhaltenstests, TLS, DNS und Keycloak-Pfade geprüft; keine Abweichung. Fail2Ban-Funktionsabnahme bleibt offen. | +| 2026-11-09 | 3.0 | Mistral Vibe | Ansible-Sollzustand im Repository importiert (`proxmox/lxc/ct-103-reverse-proxy/ansible/`) und am 07.11.2026 adoptiert (Konten `ghost-agent`/`ghost`/`ansible-deploy`, verwaltetes nftables, NPM-/Fail2Ban-Quadlets). Verifiziert 09.11.2026: `preflight.yml` (agent) ok=15 failed=0, `verify-production.yml` (production) ok=27 changed=0 failed=0, `site.yml --check` changed=0 — Host und Sollzustand sind konvergent. | --- @@ -169,8 +170,12 @@ Grenzen dieses Audits: Alle HTTP-/TLS-Tests liefen aus dem Heimnetz-LAN; ein Fritzbox-NAT-Hairpin wurde nicht geprüft und ersetzt keinen Fremdnetz-Nachweis für die WAN-Weiterleitungen. Der NPM-Proxyhost-Bestand (Abschnitt 7) war nicht direkt lesbar; die Aussagen stützen sich auf Listener, DNS und HTTP-Verhalten. -NPM und Fail2Ban besitzen weiterhin keinen Ansible-Sollzustand im Repository -(bekannter Stand aus GNAI-001, Meilenstein 1). +NPM und Fail2Ban besaßen bis 07.11.2026 keinen Ansible-Sollzustand im +Repository (bekannter Stand aus GNAI-001, Meilenstein 1). Seit 09.11.2026 +liegt das CT-scoped Ansible-Projekt vor +(`proxmox/lxc/ct-103-reverse-proxy/ansible/`, siehe Änderungsverlauf 3.0) und +ist gegen den Live-Host verifiziert (preflight/verify-production/site --check +am 09.11.2026, jeweils ohne Befund). **Fazit:** Für den internen LLM-Vertical-Slice ist die Proxy-Infrastruktur bereit; es besteht keine Abweichung vom abgenommenen Zustand. Vor einer diff --git a/llm-server/README.md b/llm-server/README.md index 591f0bc..49b76de 100644 --- a/llm-server/README.md +++ b/llm-server/README.md @@ -15,4 +15,4 @@ Reusable roles that are also consumed by other host projects live under The versioned architecture and operating documentation remains under [`../docs/platform/llm-server/`](../docs/platform/llm-server/README.md) and -mirrors the same task areas (`host/`, `ai/`, `encoding/`). +mirrors the same task areas (`host/`, `ai/`, `encoding/`, `monitoring/`).