Files
infrastructure/docs/GNAI-000-DOC_Index.md
T
spektr 148104de4e gnai-ai-backup: Boot-Rennen um den NFS-Mount beheben (RequiresMountsFor)
Befund 09.11.2026: Beim Host-Neustart lief gnai-ai-backup.service um
05:05:45 mit Exit 21, weil /var/lib/ghostnet-pipeline noch nicht gemountet
war. Ursache: Die Service-Unit enthielt After=var-lib-ghostnet-pipeline.mount
- systemd escapt das '-' als \x2d, die reale Mount-Unit heisst
var-lib-ghostnet\x2dpipeline.mount; der literale Name existierte nie
(not-found) und ein blosses After= zieht die Mount-Unit ohne Requires auch
nicht in die Timer-Start-Transaktion.

Fix: RequiresMountsFor={{ ai_backup_nfs_mountpoint }} in der Service-Unit
(ergibt Requires=+After= auf die korrekt escapte Mount-Unit; systemd leitet
den Unit-Namen aus dem Pfad ab). Bei NFS-Ausfall nach Boot schlaegt jetzt die
Mount-Unit fehl und der Service mit Dependency-Fehler statt stillem Exit 21.

Verifiziert 09.11.2026 (Deploy via playbooks/backup.yml, production-Inventar,
ansible-deploy): systemctl show/list-dependencies listen die Mount-Unit unter
Requires=/After=; manueller systemctl start -> Result=success, Archiv
ghostnet-ai-backup-20261109-0544.tar.gz auf dem NFS-Share mit sha256-Sidecar
(sha256sum -c OK, 123 Members, keine *.gguf); Rollen-Zweitlauf changed=0.
Doku: ai_backup-README, GNAI-008 14.6 (Befund als geloest markiert) + Changelog
0.21, GNAI-000 KI-Host-Zeile aktualisiert.

Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
2026-11-09 05:45:55 +01:00

16 KiB
Raw Blame History

Ghostnet.AI – Dokumentationsindex und Projektstand

Stand: 2026-11-09

Status: Plattformgrundlage vorhanden; KI-Stack intern bis M4 abgenommen (Testing und Production live auf 10.0.0.90, Monitoring produktiv); Sicherheitsabschluss-Restpunkte und externe KI-Freigabe (M6) offen

Dieses Dokument ist der zentrale Einstieg, nicht das technische Nachweisprotokoll. Details, historische Laufdaten und Bedienverfahren stehen ausschließlich in den jeweiligen Fachdokumenten. Die priorisierte weitere Umsetzung beschreibt der High-Level-Implementierungsplan.

1. Dokumente

Projektsteuerung

Dokument Verbindlicher Inhalt
GNAI-001 priorisierte nächste Schritte, Entscheidungstore und Abnahmekriterien
GNAI-013 aktive Checkliste für Sicherheitsabschluss, Repository-Struktur und Übergang zum LLM-Stack

Plattform und Sicherheit

Dokument Verbindlicher Inhalt
Bereichsindex Einstieg in Host-, Zugriffs-, Reverse-Proxy- und VPN-Dokumentation
LLM-Server Geräteindex für Host, AI-Serving und Encoding auf 10.0.0.90
Ghostnet.AI-Host GNAI-002 Hardware und Debian-Basis des KI-Servers 10.0.0.90
Ghostnet.AI-Zugänge GNAI-003 Benutzer, Hostnetz, Resolver und SSH des KI-Servers
GNAI-005 Rollen- und Zugriffsziel
Proxmox-Server Geräteindex für den Hypervisor-Kontext und seine LXCs
Proxmox-LXC-SSH GNAI-011 gemeinsame SSH-Sicherheitsarchitektur der LXCs; Hypervisor ausgenommen
GNAI-012 implementierter Pi-hole-LXC, FRITZ!Box-DNS, Split-DNS, Abnahme und Rückfallstand
CT 102 / GNAI-014 Keycloak-LXC, sichere SSH-Zugänge und Trennung von öffentlichem OIDC und interner Administration
GNAI-015 Blue/Green-Migration von Keycloak/H2 auf Podman, PostgreSQL und aktuelle 26.x-Version
GNAI-016 nachgelagerter reproduzierbarer Neuaufbau von CT 102 mit Ansible und zweiter Blue/Green-Cutover von CT 104
CT 103 / GNAI-006 NPM, Fail2Ban und Keycloak-Adminpfad
CT 105 / GNAI-007 WireGuard-Gateway und Rollen-Firewall
VPN-Client-Verwaltung Ausgabe, Änderung und Widerruf von Geräteprofilen
Windows 11 / Linux Client-SOPs
VPN-Implementation-Log historische Umsetzung und datierte Evidenz
CT 101 / GNAI-017 Samba-Dateiserver 10.0.0.9: Aufnahme ins Repository, NFS-Export und Encoding-Shares
CT 101 / GNAI-018 Requirements der Encoding-Pipeline an CT 101 — Übergabe an den Ansible-Rebuild
CT 101 / GNAI-019 Entwurfsentscheidungen der CT-101-Ansible-Migration: natives Samba, NFS-Ganesha als Quadlet, Fresh-State-Rebuild

KI und Deployment

Dokument Verbindlicher Inhalt
Bereichsindex Einstieg in die KI-Dokumentation
GNAI-004 Zielarchitektur und Vertrauensgrenzen
GNAI-008 detaillierter Ansible-/Gitea-Planungsstand und Implementierungshistorie
GNAI-009 reproduzierbarer Modellvergleich
GNAI-010 technische Sollkonfiguration des Testing-Servings
LLM-Server-Host-Ansible ausführbare Host-/ROCm-Playbooks und Rollen für 10.0.0.90
LLM-Stack-Ansible ausführbares Ansible-Projekt für den LLM-Stack auf 10.0.0.90 (Production/Testing, Umschaltung, Backup)
Encoding-Ansible ausführbares Ansible-Projekt für den CPU-Encoding-Workload auf 10.0.0.90
Keycloak-Ansible ausführbare Provisionierungs-, Restore- und Prüfautomation für CT 102
Samba-Ansible ausführbare Provisionierungs-, Backup- und Prüfautomation für CT 101
Reverse-Proxy-Ansible ausführbare NPM-/Fail2Ban-Automation für CT 103 (adoptiert 07.11.2026, verifiziert 09.11.2026)

Video-Encoding und Monitoring

Dokument Verbindlicher Inhalt
GNENC-000 Bereichsstatus und offene Festlegungen
GNENC-001 finale Architektur des CPU-Encoding-Workloads
GNENC-002 operative Encoding-Pipeline: Komponenten, Verzeichnislayout, Validierung, Statusmodell
GNMON-000 Monitoring-Bereichsstatus: M1–M5 produktiv auf dem KI-Server, M6 vorbereitet
GNMON-001 Host-Monitoring-Plan v2.0 (umgesetzt M1–M5, belegter Stand in GNMON-000)
Monitoring-Projekt ausführbares Monitoring-Projekt (Rollen, Dashboard-App) für 10.0.0.90

Die Dokumente wurden am 21.09.2026 neu geordnet: Die Roadmap belegt GNAI-001; die zuvor bestehenden Dokumente GNAI-001 bis GNAI-009 wurden unter Beibehaltung ihrer Reihenfolge zu GNAI-002 bis GNAI-010. Am 22.09.2026 wurden KI-Host und Proxmox-LXCs in getrennte Unterverzeichnisse überführt; GNAI-011 beschreibt die gemeinsame SSH-Architektur der LXCs. Am 05.10.2026 wurde die Dokumentation geräteorientiert neu geordnet: platform/proxmox-server/ bildet den Proxmox-Kontext und seine LXCs ab, platform/llm-server/ den physischen KI-Server mit AI und Encoding. Am 19.10.2026 wurde das ausführbare LLM-Server-Projekt in die fachlichen Hauptverzeichnisse llm-server/host/ (Grundkonfiguration des Servers), llm-server/llm/ (LLM-Stack), llm-server/encoding/ (Encoding) und llm-server/monitoring/ (Monitoring) aufgeteilt; die Dokumentation folgt derselben Aufteilung (host/, ai/, encoding/, monitoring/).

2. Belegter Stand

Bereich Nachgewiesen Noch nicht nachgewiesen
KI-Host Debian 13.6, Deployment-Zugang, Podman 5.4.2, getrennte rootless Konten, Gerätezugriff für beide KI-Konten; IPv4-only (31.10., GNAI-002 6); Lüftersteuerungs-Dienst gnai-gpu-fan-control als Dauerlösung (05.11., GNAI-010 10.10); Backup/Restore praktisch belegt (06.11., GNAI-008 14.6) und Backup-Unit per RequiresMountsFor boot-sicher (Fix 09.11., GNAI-008 14.6/0.21); Host-Neustart mit automatischem Production-Recovery (06.11. und erneut 09.11.2026, GNAI-008 14.6) Host-/Treiber-Upgradepfad
GPU/ROCm beide RX 6900 XT als gfx1030, ROCm0 und ROCm1 im gepinnten Testing-Image erkannt; Modellladen, Layer-Verteilung und reale Inferenz auf beiden GPUs; 64k- und 128k-Stabilität in Testing (GNAI-010 10.5–10.9); GPU-Sensoren im Monitoring mit Alarmgrenzen (GNMON-000 M4/M5, verifiziert 09.11.2026) Hardware-Ursache des thermischen Defekts an Slot 03:00.0 (GNAI-010 10.10) — Lüfterkurven-Service überbrückt als Dauerlösung
LLM-Serving drei gepinnte Profile (Swift 1.0, Swift 1.5, Unsloth); Testing-Abnahme 64k/128k je Profil (GNAI-010 10.5–10.9); Production-Umgebung live mit Swift 1.5 Q6_K seit 06.11.2026 (Betreiberbeschluss 05.11., GNAI-009 10.4) inklusive Health, Alias und Inferenztest; exklusive Umschaltmechanik mit Recovery (GNAI-008 14.6, T1–T7; nach Neustart 09.11.2026 gn_ai_active_env{env="production"}=1 verifiziert) öffentlicher Nutzerpfad (M6), LLM-Metriken jenseits gn_ai_active_env, Nutzerakzeptanzprüfung (GNAI-009 5.3)
Deployment lokales Ansible-Control-Projekt und idempotente Hostrollen; Production-Inventar mit Referenz- und Rollback-Profil, ai_environment_switch und Backup-Timer deployt und abgenommen (GNAI-008 14.6) statische CI, Runner, geschützte Freigaben und automatisierter Rollback über die Delivery-Kette
VPN wg-easy v15.4.0; einziger Peer ghost-laptop als Server Admin; native nftables-Zielpolicy und NAT, Legacy-Bereinigung, Fremdnetz-, Positiv-/Negativ-, Dienst- und LXC-Wiederanlauftests bestanden; CT 104 am 07.10.2026 als zwölftes Ziel praktisch abgenommen WAN-/IPv6-Managementport-Isolation, Backup-Restore, wg-easy-GUI-HTTPS und KI-Server-Test bei eingeschaltetem Host
DNS / Pi-hole CT 100 unter 10.0.0.14 mit digest-gepinntem Pi-hole 2026.09.0 als Podman-Quadlet; SSH/nftables, UDP/TCP-DNS, Split-DNS, Blocking/Allowlist, FRITZ!Box-Cutover, LXC-Reboot und Stop-Mode-Backup am 01.10.2026 abgenommen; Ansible-Projekt vorhanden, Split-DNS-Record mon.ghostnet.selfhost.eu → 10.0.0.10 vorbereitet (Deploy blockiert: noch kein ansible-deploy auf CT 100, Stand 09.11.2026) vollständige App-/OIDC-Regression, praktischer FRITZ!Box-Rollback, mobile DuckDuckGo-/IPv6-Strategie, WireGuard-Profile, hostunabhängiger Restore-Test und die Production-Adoption des Ansible-Projekts
Reverse Proxy CT-103-Zugänge, SSH-/Firewall-Baseline, Reboot und lokales Backup abgenommen; NPM 2.15.1 routet öffentlichen OIDC- und internen Admin-vHost getrennt; öffentliche Keycloak-Administration liefert 403; vollständiger Ansible-Sollzustand importiert und adoptiert (07.11.2026; preflight/verify-production/site.yml --check am 09.11.2026 ohne Befund, changed=0) Fail2Ban-Jails/Bans und Wiederanlauf; hostunabhängige Backupkopie/Restore-Test; NPM-Proxyhost mon.ghostnet.selfhost.eu für das Monitoring-Dashboard (M6)
Keycloak CT 102 unter 10.0.0.4 reproduzierbar per Ansible aufgebaut; gepinntes Keycloak 26.2.4 und PostgreSQL 16.15, Restore von CT 104, Container-/DB-Härtung, NPM-Cutover, interner Adminzugang, öffentliche Admin-Sperre, realer Vaultwarden-OIDC-Login und LXC-Neustart abgenommen 14-tägige Stabilisierungsphase, praktischer NPM-Rückfall auf CT 104, Betriebs-/Backup-/Restore-SOP und anschließende Rückfallbereinigung
Encoding Konto, Pfade, eigener rootless Store und CPU-Isolation per Ansible verwaltet und verifiziert; NFS-Mount /var/lib/ghostnet-pipeline aktiv (verifiziert 09.11.2026); Planungsabschluss 19.10.2026 (Pipeline GNENC-002, Speicher auf CT-101); Monitoring-Anbindung umgesetzt (GNMON-000 M1–M5) Implementierung (Images, Quadlets, Skripte, Worker); Lasttest und Limit-Feintuning; SMB-Output-Pickup als geschlossener Ablauf
Monitoring M1–M5 produktiv auf 10.0.0.90 (System-Scope, Konten gn-monitor 986 / gn-dashboard 984): node_exporter + AMD-Textfile-Collector, VictoriaMetrics, Loki + Alloy, vmalert + Alertmanager (inkl. Regelgruppe gnmon-ai mit GnAiEnvironmentDown), Dashboard v0.2.0 host-lokal auf 127.0.0.1:8080; alle Dienst-Ports host-lokal; nach Host-Neustart 09.11.2026 wieder vollständig aktiv verifiziert (GNMON-000) M6 externe Freigabe (NPM mon.ghostnet.selfhost.eu + Keycloak-OIDC-Client gn-dashboard), echter SMTP-Versand, LLM-Metriken jenseits gn_ai_active_env, Retention-Feintuning
Samba (CT 101) Share-Bestand in GNAI-017 dokumentiert; Ansible-Projekt nach GNAI-019 gebaut und lokal verifiziert; Runbooks vorhanden; In-Place-Upgrade auf Debian 13 am 21.10.2026; smb.conf-Verlust beim Upgrade aus vzdump-Backup wiederhergestellt, Media-Shares und Workstation-Mounts verifiziert produktive Adoption (Platzhalter, Schlüssel, Convergence, Verifikation), NFS-Export und Encoding-Shares produktiv, UID/GID-Abgleich produktiv, Backup-/Restore-Test

Ein Zielbild, eine Betreiberangabe oder ein erfolgreicher Teiltest gilt nicht als vollständige Abnahme. Datierte Details stehen im zuständigen Fachdokument.

3. Bestätigte Leitentscheidungen

  • Ein Infrastructure-Repository verwaltet den Sollzustand des gemeinsamen Hosts.
  • AI Production und AI Testing verwenden bereits getrennte Konten, Datenpfade und Podman-Stores; ihre späteren Units und Netze bleiben ebenfalls getrennt. Host, Kernel und GPUs teilen sie dennoch. Sie sind daher keine getrennten Fehlerdomänen und laufen GPU-seitig nicht gleichzeitig.
  • Video-Encoding bleibt CPU-basiert, besitzt keinen GPU-Zugriff und wird erst nach einem gemeinsamen Lasttest parallel freigegeben.
  • Container- und Modellartefakte werden unveränderlich über Version, Revision, Digest beziehungsweise SHA-256 festgelegt; latest ist kein Deploymentziel.
  • llama.cpp bleibt ein internes Backend ohne Host-Port. Eine öffentliche Schnittstelle benötigt eine eigene Authentifizierungs-, Quota- und Veröffentlichungsentscheidung.
  • Production läuft als eigene Umgebung (gnai-production, Swift 1.5 Q6_K); der Wechsel zwischen Production und Testing erfolgt exklusiv über ai_environment_switch mit automatischem Rückfall auf Production (GNAI-008 14.6). Der Sollzustand wird am 09.11.2026 nach einem Host-Neustart automatisch wiederhergestellt (verifiziert: gn_ai_active_env{env="production"}=1).
  • Monitoring-Dienste binden ausschließlich an 127.0.0.1; eine externe Freigabe des Dashboards erfolgt erst über NPM + Keycloak-OIDC (GNMON-000 M6).
  • Managementzugriff erfolgt über WireGuard plus Dienstauthentifizierung. Client-Routing allein ist keine serverseitige Autorisierung.
  • Der Schlüssel von ansible-deploy ist wegen NOPASSWD: ALL root-äquivalent und darf nicht ungeprüft an Pull-Request-Workflows weitergegeben werden.

4. Offene Sicherheits- und Entscheidungsgrenzen

Vor einer neuen öffentlichen KI-Schnittstelle müssen mindestens diese Befunde geschlossen sein:

  1. Fail2Ban-Jails, kontrollierten Ban und Wiederanlauf nachweisen;
  2. öffentliche IPv4-/IPv6-Exposure erneut erfassen;
  3. die Keycloak-Stabilisierungsphase sowie den praktischen NPM-Rückfall auf CT 104 abschließen;
  4. für DNS, Reverse Proxy und Keycloak hostunabhängige Backups und mindestens einen praktisch getesteten Restorepfad festlegen.

Die öffentliche Keycloak-Administration, der Vaultwarden-OIDC-Pfad und die serverseitigen WireGuard-Rollengrenzen sind zum Stand 14.10.2026 bereits positiv und negativ abgenommen. Sie bleiben Regressionstest, sind aber keine offenen Erstimplementierungen mehr.

Noch zu entscheiden sind insbesondere:

  • API-only oder zusätzlich Weboberfläche als erstes Nutzerprodukt;
  • ob LiteLLM in der ersten Veröffentlichung für individuelle Keys, Quoten oder Routing tatsächlich benötigt wird;
  • Freigabe- und Secret-Modell für einen späteren privilegierten Runner.

Bereits entschieden (nicht mehr offen): Das Backupziel ist die bestehende NFS-Anbindung der Encoding-Pipeline (pve:/media/datenhdd3/Encoding), die Aufbewahrung beträgt 8 Archive und der Restore ist praktisch belegt (Betreiberentscheidungen 06.11.2026, GNAI-008 14.6). Die Kontextfrage ist mit dem M3-Beschluss vom 05.11.2026 geklärt: 128k ist das Zielprofil und in Testing technisch abgenommen (GNAI-010 10.6), Production-Profil ist Swift 1.5 Q6_K (GNAI-009 10.4). Der interne LLM-Vertical-Slice (M2) ist abgenommen und läuft produktiv; die Entscheidung „Sicherheitsabschluss vor oder parallel zum LLM-Ausbau" betrifft daher nur noch die externe Freigabe (M6).

5. Pflegeprinzip

Neue technische Evidenz wird zuerst im ausführbaren Projekt beziehungsweise im zuständigen Fachdokument aktualisiert. Dieser Index wird nur geändert, wenn sich ein bereichsübergreifender Status, eine Leitentscheidung oder die Priorisierung ändert. Dadurch werden lange Laufprotokolle und Sollparameter nicht mehr an mehreren Stellen dupliziert.