Befund 09.11.2026: Beim Host-Neustart lief gnai-ai-backup.service um
05:05:45 mit Exit 21, weil /var/lib/ghostnet-pipeline noch nicht gemountet
war. Ursache: Die Service-Unit enthielt After=var-lib-ghostnet-pipeline.mount
- systemd escapt das '-' als \x2d, die reale Mount-Unit heisst
var-lib-ghostnet\x2dpipeline.mount; der literale Name existierte nie
(not-found) und ein blosses After= zieht die Mount-Unit ohne Requires auch
nicht in die Timer-Start-Transaktion.
Fix: RequiresMountsFor={{ ai_backup_nfs_mountpoint }} in der Service-Unit
(ergibt Requires=+After= auf die korrekt escapte Mount-Unit; systemd leitet
den Unit-Namen aus dem Pfad ab). Bei NFS-Ausfall nach Boot schlaegt jetzt die
Mount-Unit fehl und der Service mit Dependency-Fehler statt stillem Exit 21.
Verifiziert 09.11.2026 (Deploy via playbooks/backup.yml, production-Inventar,
ansible-deploy): systemctl show/list-dependencies listen die Mount-Unit unter
Requires=/After=; manueller systemctl start -> Result=success, Archiv
ghostnet-ai-backup-20261109-0544.tar.gz auf dem NFS-Share mit sha256-Sidecar
(sha256sum -c OK, 123 Members, keine *.gguf); Rollen-Zweitlauf changed=0.
Doku: ai_backup-README, GNAI-008 14.6 (Befund als geloest markiert) + Changelog
0.21, GNAI-000 KI-Host-Zeile aktualisiert.
Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
16 KiB
Ghostnet.AI – Dokumentationsindex und Projektstand
Stand: 2026-11-09
Status: Plattformgrundlage vorhanden; KI-Stack intern bis M4 abgenommen (Testing und Production live auf 10.0.0.90, Monitoring produktiv); Sicherheitsabschluss-Restpunkte und externe KI-Freigabe (M6) offen
Dieses Dokument ist der zentrale Einstieg, nicht das technische Nachweisprotokoll. Details, historische Laufdaten und Bedienverfahren stehen ausschließlich in den jeweiligen Fachdokumenten. Die priorisierte weitere Umsetzung beschreibt der High-Level-Implementierungsplan.
1. Dokumente
Projektsteuerung
| Dokument | Verbindlicher Inhalt |
|---|---|
| GNAI-001 | priorisierte nächste Schritte, Entscheidungstore und Abnahmekriterien |
| GNAI-013 | aktive Checkliste für Sicherheitsabschluss, Repository-Struktur und Übergang zum LLM-Stack |
Plattform und Sicherheit
| Dokument | Verbindlicher Inhalt |
|---|---|
| Bereichsindex | Einstieg in Host-, Zugriffs-, Reverse-Proxy- und VPN-Dokumentation |
| LLM-Server | Geräteindex für Host, AI-Serving und Encoding auf 10.0.0.90 |
| Ghostnet.AI-Host | GNAI-002 Hardware und Debian-Basis des KI-Servers 10.0.0.90 |
| Ghostnet.AI-Zugänge | GNAI-003 Benutzer, Hostnetz, Resolver und SSH des KI-Servers |
| GNAI-005 | Rollen- und Zugriffsziel |
| Proxmox-Server | Geräteindex für den Hypervisor-Kontext und seine LXCs |
| Proxmox-LXC-SSH | GNAI-011 gemeinsame SSH-Sicherheitsarchitektur der LXCs; Hypervisor ausgenommen |
| GNAI-012 | implementierter Pi-hole-LXC, FRITZ!Box-DNS, Split-DNS, Abnahme und Rückfallstand |
| CT 102 / GNAI-014 | Keycloak-LXC, sichere SSH-Zugänge und Trennung von öffentlichem OIDC und interner Administration |
| GNAI-015 | Blue/Green-Migration von Keycloak/H2 auf Podman, PostgreSQL und aktuelle 26.x-Version |
| GNAI-016 | nachgelagerter reproduzierbarer Neuaufbau von CT 102 mit Ansible und zweiter Blue/Green-Cutover von CT 104 |
| CT 103 / GNAI-006 | NPM, Fail2Ban und Keycloak-Adminpfad |
| CT 105 / GNAI-007 | WireGuard-Gateway und Rollen-Firewall |
| VPN-Client-Verwaltung | Ausgabe, Änderung und Widerruf von Geräteprofilen |
| Windows 11 / Linux | Client-SOPs |
| VPN-Implementation-Log | historische Umsetzung und datierte Evidenz |
| CT 101 / GNAI-017 | Samba-Dateiserver 10.0.0.9: Aufnahme ins Repository, NFS-Export und Encoding-Shares |
| CT 101 / GNAI-018 | Requirements der Encoding-Pipeline an CT 101 — Übergabe an den Ansible-Rebuild |
| CT 101 / GNAI-019 | Entwurfsentscheidungen der CT-101-Ansible-Migration: natives Samba, NFS-Ganesha als Quadlet, Fresh-State-Rebuild |
KI und Deployment
| Dokument | Verbindlicher Inhalt |
|---|---|
| Bereichsindex | Einstieg in die KI-Dokumentation |
| GNAI-004 | Zielarchitektur und Vertrauensgrenzen |
| GNAI-008 | detaillierter Ansible-/Gitea-Planungsstand und Implementierungshistorie |
| GNAI-009 | reproduzierbarer Modellvergleich |
| GNAI-010 | technische Sollkonfiguration des Testing-Servings |
| LLM-Server-Host-Ansible | ausführbare Host-/ROCm-Playbooks und Rollen für 10.0.0.90 |
| LLM-Stack-Ansible | ausführbares Ansible-Projekt für den LLM-Stack auf 10.0.0.90 (Production/Testing, Umschaltung, Backup) |
| Encoding-Ansible | ausführbares Ansible-Projekt für den CPU-Encoding-Workload auf 10.0.0.90 |
| Keycloak-Ansible | ausführbare Provisionierungs-, Restore- und Prüfautomation für CT 102 |
| Samba-Ansible | ausführbare Provisionierungs-, Backup- und Prüfautomation für CT 101 |
| Reverse-Proxy-Ansible | ausführbare NPM-/Fail2Ban-Automation für CT 103 (adoptiert 07.11.2026, verifiziert 09.11.2026) |
Video-Encoding und Monitoring
| Dokument | Verbindlicher Inhalt |
|---|---|
| GNENC-000 | Bereichsstatus und offene Festlegungen |
| GNENC-001 | finale Architektur des CPU-Encoding-Workloads |
| GNENC-002 | operative Encoding-Pipeline: Komponenten, Verzeichnislayout, Validierung, Statusmodell |
| GNMON-000 | Monitoring-Bereichsstatus: M1–M5 produktiv auf dem KI-Server, M6 vorbereitet |
| GNMON-001 | Host-Monitoring-Plan v2.0 (umgesetzt M1–M5, belegter Stand in GNMON-000) |
| Monitoring-Projekt | ausführbares Monitoring-Projekt (Rollen, Dashboard-App) für 10.0.0.90 |
Die Dokumente wurden am 21.09.2026 neu geordnet: Die Roadmap belegt
GNAI-001; die zuvor bestehenden Dokumente GNAI-001 bis GNAI-009 wurden
unter Beibehaltung ihrer Reihenfolge zu GNAI-002 bis GNAI-010.
Am 22.09.2026 wurden KI-Host und Proxmox-LXCs in getrennte Unterverzeichnisse
überführt; GNAI-011 beschreibt die gemeinsame SSH-Architektur der LXCs.
Am 05.10.2026 wurde die Dokumentation geräteorientiert neu geordnet:
platform/proxmox-server/ bildet den Proxmox-Kontext und seine LXCs ab,
platform/llm-server/ den physischen KI-Server mit AI und Encoding.
Am 19.10.2026 wurde das ausführbare LLM-Server-Projekt in die fachlichen
Hauptverzeichnisse llm-server/host/ (Grundkonfiguration des Servers),
llm-server/llm/ (LLM-Stack), llm-server/encoding/ (Encoding) und
llm-server/monitoring/ (Monitoring) aufgeteilt; die Dokumentation folgt derselben Aufteilung (host/, ai/, encoding/, monitoring/).
2. Belegter Stand
| Bereich | Nachgewiesen | Noch nicht nachgewiesen |
|---|---|---|
| KI-Host | Debian 13.6, Deployment-Zugang, Podman 5.4.2, getrennte rootless Konten, Gerätezugriff für beide KI-Konten; IPv4-only (31.10., GNAI-002 6); Lüftersteuerungs-Dienst gnai-gpu-fan-control als Dauerlösung (05.11., GNAI-010 10.10); Backup/Restore praktisch belegt (06.11., GNAI-008 14.6) und Backup-Unit per RequiresMountsFor boot-sicher (Fix 09.11., GNAI-008 14.6/0.21); Host-Neustart mit automatischem Production-Recovery (06.11. und erneut 09.11.2026, GNAI-008 14.6) |
Host-/Treiber-Upgradepfad |
| GPU/ROCm | beide RX 6900 XT als gfx1030, ROCm0 und ROCm1 im gepinnten Testing-Image erkannt; Modellladen, Layer-Verteilung und reale Inferenz auf beiden GPUs; 64k- und 128k-Stabilität in Testing (GNAI-010 10.5–10.9); GPU-Sensoren im Monitoring mit Alarmgrenzen (GNMON-000 M4/M5, verifiziert 09.11.2026) |
Hardware-Ursache des thermischen Defekts an Slot 03:00.0 (GNAI-010 10.10) — Lüfterkurven-Service überbrückt als Dauerlösung |
| LLM-Serving | drei gepinnte Profile (Swift 1.0, Swift 1.5, Unsloth); Testing-Abnahme 64k/128k je Profil (GNAI-010 10.5–10.9); Production-Umgebung live mit Swift 1.5 Q6_K seit 06.11.2026 (Betreiberbeschluss 05.11., GNAI-009 10.4) inklusive Health, Alias und Inferenztest; exklusive Umschaltmechanik mit Recovery (GNAI-008 14.6, T1–T7; nach Neustart 09.11.2026 gn_ai_active_env{env="production"}=1 verifiziert) |
öffentlicher Nutzerpfad (M6), LLM-Metriken jenseits gn_ai_active_env, Nutzerakzeptanzprüfung (GNAI-009 5.3) |
| Deployment | lokales Ansible-Control-Projekt und idempotente Hostrollen; Production-Inventar mit Referenz- und Rollback-Profil, ai_environment_switch und Backup-Timer deployt und abgenommen (GNAI-008 14.6) |
statische CI, Runner, geschützte Freigaben und automatisierter Rollback über die Delivery-Kette |
| VPN | wg-easy v15.4.0; einziger Peer ghost-laptop als Server Admin; native nftables-Zielpolicy und NAT, Legacy-Bereinigung, Fremdnetz-, Positiv-/Negativ-, Dienst- und LXC-Wiederanlauftests bestanden; CT 104 am 07.10.2026 als zwölftes Ziel praktisch abgenommen |
WAN-/IPv6-Managementport-Isolation, Backup-Restore, wg-easy-GUI-HTTPS und KI-Server-Test bei eingeschaltetem Host |
| DNS / Pi-hole | CT 100 unter 10.0.0.14 mit digest-gepinntem Pi-hole 2026.09.0 als Podman-Quadlet; SSH/nftables, UDP/TCP-DNS, Split-DNS, Blocking/Allowlist, FRITZ!Box-Cutover, LXC-Reboot und Stop-Mode-Backup am 01.10.2026 abgenommen; Ansible-Projekt vorhanden, Split-DNS-Record mon.ghostnet.selfhost.eu → 10.0.0.10 vorbereitet (Deploy blockiert: noch kein ansible-deploy auf CT 100, Stand 09.11.2026) |
vollständige App-/OIDC-Regression, praktischer FRITZ!Box-Rollback, mobile DuckDuckGo-/IPv6-Strategie, WireGuard-Profile, hostunabhängiger Restore-Test und die Production-Adoption des Ansible-Projekts |
| Reverse Proxy | CT-103-Zugänge, SSH-/Firewall-Baseline, Reboot und lokales Backup abgenommen; NPM 2.15.1 routet öffentlichen OIDC- und internen Admin-vHost getrennt; öffentliche Keycloak-Administration liefert 403; vollständiger Ansible-Sollzustand importiert und adoptiert (07.11.2026; preflight/verify-production/site.yml --check am 09.11.2026 ohne Befund, changed=0) |
Fail2Ban-Jails/Bans und Wiederanlauf; hostunabhängige Backupkopie/Restore-Test; NPM-Proxyhost mon.ghostnet.selfhost.eu für das Monitoring-Dashboard (M6) |
| Keycloak | CT 102 unter 10.0.0.4 reproduzierbar per Ansible aufgebaut; gepinntes Keycloak 26.2.4 und PostgreSQL 16.15, Restore von CT 104, Container-/DB-Härtung, NPM-Cutover, interner Adminzugang, öffentliche Admin-Sperre, realer Vaultwarden-OIDC-Login und LXC-Neustart abgenommen |
14-tägige Stabilisierungsphase, praktischer NPM-Rückfall auf CT 104, Betriebs-/Backup-/Restore-SOP und anschließende Rückfallbereinigung |
| Encoding | Konto, Pfade, eigener rootless Store und CPU-Isolation per Ansible verwaltet und verifiziert; NFS-Mount /var/lib/ghostnet-pipeline aktiv (verifiziert 09.11.2026); Planungsabschluss 19.10.2026 (Pipeline GNENC-002, Speicher auf CT-101); Monitoring-Anbindung umgesetzt (GNMON-000 M1–M5) |
Implementierung (Images, Quadlets, Skripte, Worker); Lasttest und Limit-Feintuning; SMB-Output-Pickup als geschlossener Ablauf |
| Monitoring | M1–M5 produktiv auf 10.0.0.90 (System-Scope, Konten gn-monitor 986 / gn-dashboard 984): node_exporter + AMD-Textfile-Collector, VictoriaMetrics, Loki + Alloy, vmalert + Alertmanager (inkl. Regelgruppe gnmon-ai mit GnAiEnvironmentDown), Dashboard v0.2.0 host-lokal auf 127.0.0.1:8080; alle Dienst-Ports host-lokal; nach Host-Neustart 09.11.2026 wieder vollständig aktiv verifiziert (GNMON-000) |
M6 externe Freigabe (NPM mon.ghostnet.selfhost.eu + Keycloak-OIDC-Client gn-dashboard), echter SMTP-Versand, LLM-Metriken jenseits gn_ai_active_env, Retention-Feintuning |
| Samba (CT 101) | Share-Bestand in GNAI-017 dokumentiert; Ansible-Projekt nach GNAI-019 gebaut und lokal verifiziert; Runbooks vorhanden; In-Place-Upgrade auf Debian 13 am 21.10.2026; smb.conf-Verlust beim Upgrade aus vzdump-Backup wiederhergestellt, Media-Shares und Workstation-Mounts verifiziert | produktive Adoption (Platzhalter, Schlüssel, Convergence, Verifikation), NFS-Export und Encoding-Shares produktiv, UID/GID-Abgleich produktiv, Backup-/Restore-Test |
Ein Zielbild, eine Betreiberangabe oder ein erfolgreicher Teiltest gilt nicht als vollständige Abnahme. Datierte Details stehen im zuständigen Fachdokument.
3. Bestätigte Leitentscheidungen
- Ein Infrastructure-Repository verwaltet den Sollzustand des gemeinsamen Hosts.
- AI Production und AI Testing verwenden bereits getrennte Konten, Datenpfade und Podman-Stores; ihre späteren Units und Netze bleiben ebenfalls getrennt. Host, Kernel und GPUs teilen sie dennoch. Sie sind daher keine getrennten Fehlerdomänen und laufen GPU-seitig nicht gleichzeitig.
- Video-Encoding bleibt CPU-basiert, besitzt keinen GPU-Zugriff und wird erst nach einem gemeinsamen Lasttest parallel freigegeben.
- Container- und Modellartefakte werden unveränderlich über Version, Revision,
Digest beziehungsweise SHA-256 festgelegt;
latestist kein Deploymentziel. llama.cppbleibt ein internes Backend ohne Host-Port. Eine öffentliche Schnittstelle benötigt eine eigene Authentifizierungs-, Quota- und Veröffentlichungsentscheidung.- Production läuft als eigene Umgebung (
gnai-production, Swift 1.5 Q6_K); der Wechsel zwischen Production und Testing erfolgt exklusiv überai_environment_switchmit automatischem Rückfall auf Production (GNAI-008 14.6). Der Sollzustand wird am 09.11.2026 nach einem Host-Neustart automatisch wiederhergestellt (verifiziert:gn_ai_active_env{env="production"}=1). - Monitoring-Dienste binden ausschließlich an 127.0.0.1; eine externe Freigabe des Dashboards erfolgt erst über NPM + Keycloak-OIDC (GNMON-000 M6).
- Managementzugriff erfolgt über WireGuard plus Dienstauthentifizierung. Client-Routing allein ist keine serverseitige Autorisierung.
- Der Schlüssel von
ansible-deployist wegenNOPASSWD: ALLroot-äquivalent und darf nicht ungeprüft an Pull-Request-Workflows weitergegeben werden.
4. Offene Sicherheits- und Entscheidungsgrenzen
Vor einer neuen öffentlichen KI-Schnittstelle müssen mindestens diese Befunde geschlossen sein:
- Fail2Ban-Jails, kontrollierten Ban und Wiederanlauf nachweisen;
- öffentliche IPv4-/IPv6-Exposure erneut erfassen;
- die Keycloak-Stabilisierungsphase sowie den praktischen NPM-Rückfall auf CT 104 abschließen;
- für DNS, Reverse Proxy und Keycloak hostunabhängige Backups und mindestens einen praktisch getesteten Restorepfad festlegen.
Die öffentliche Keycloak-Administration, der Vaultwarden-OIDC-Pfad und die serverseitigen WireGuard-Rollengrenzen sind zum Stand 14.10.2026 bereits positiv und negativ abgenommen. Sie bleiben Regressionstest, sind aber keine offenen Erstimplementierungen mehr.
Noch zu entscheiden sind insbesondere:
- API-only oder zusätzlich Weboberfläche als erstes Nutzerprodukt;
- ob LiteLLM in der ersten Veröffentlichung für individuelle Keys, Quoten oder Routing tatsächlich benötigt wird;
- Freigabe- und Secret-Modell für einen späteren privilegierten Runner.
Bereits entschieden (nicht mehr offen): Das Backupziel ist die bestehende
NFS-Anbindung der Encoding-Pipeline (pve:/media/datenhdd3/Encoding), die
Aufbewahrung beträgt 8 Archive und der Restore ist praktisch belegt
(Betreiberentscheidungen 06.11.2026, GNAI-008 14.6). Die Kontextfrage ist
mit dem M3-Beschluss vom 05.11.2026 geklärt: 128k ist das Zielprofil und in
Testing technisch abgenommen (GNAI-010 10.6), Production-Profil ist
Swift 1.5 Q6_K (GNAI-009 10.4). Der interne LLM-Vertical-Slice (M2) ist
abgenommen und läuft produktiv; die Entscheidung „Sicherheitsabschluss vor
oder parallel zum LLM-Ausbau" betrifft daher nur noch die externe Freigabe (M6).
5. Pflegeprinzip
Neue technische Evidenz wird zuerst im ausführbaren Projekt beziehungsweise im zuständigen Fachdokument aktualisiert. Dieser Index wird nur geändert, wenn sich ein bereichsübergreifender Status, eine Leitentscheidung oder die Priorisierung ändert. Dadurch werden lange Laufprotokolle und Sollparameter nicht mehr an mehreren Stellen dupliziert.