Generated by Mistral Vibe. Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
20 KiB
Ghostnet.AI – Dokumentationsindex und Projektstand
Stand: 2026-11-10
Status: Plattformgrundlage vorhanden; KI-Stack intern bis M4 abgenommen (Testing und Production live auf 10.0.0.90, Monitoring produktiv); Sicherheitsabschluss: Fail2Ban-Abnahme und hostunabhängige Backups/Restore am 10.11.2026 geschlossen, WAN/IPv6-Fremdnetz-Rescan, NPM-Rückfalltest CT 104 und FRITZ!Box-Rollback noch offen; externe KI-Freigabe (M6) offen
Dieses Dokument ist der zentrale Einstieg, nicht das technische Nachweisprotokoll. Details, historische Laufdaten und Bedienverfahren stehen ausschließlich in den jeweiligen Fachdokumenten. Die priorisierte weitere Umsetzung beschreibt der High-Level-Implementierungsplan.
1. Dokumente
Projektsteuerung
| Dokument | Verbindlicher Inhalt |
|---|---|
| GNAI-001 | priorisierte nächste Schritte, Entscheidungstore und Abnahmekriterien |
| GNAI-013 | aktive Checkliste für Sicherheitsabschluss, Repository-Struktur und Übergang zum LLM-Stack |
Plattform und Sicherheit
| Dokument | Verbindlicher Inhalt |
|---|---|
| Bereichsindex | Einstieg in Host-, Zugriffs-, Reverse-Proxy- und VPN-Dokumentation |
| LLM-Server | Geräteindex für Host, AI-Serving und Encoding auf 10.0.0.90 |
| Ghostnet.AI-Host | GNAI-002 Hardware und Debian-Basis des KI-Servers 10.0.0.90 |
| Ghostnet.AI-Zugänge | GNAI-003 Benutzer, Hostnetz, Resolver und SSH des KI-Servers |
| GNAI-005 | Rollen- und Zugriffsziel |
| Proxmox-Server | Geräteindex für den Hypervisor-Kontext und seine LXCs |
| Proxmox-LXC-SSH | GNAI-011 gemeinsame SSH-Sicherheitsarchitektur der LXCs; Hypervisor ausgenommen |
| GNAI-012 | implementierter Pi-hole-LXC, FRITZ!Box-DNS, Split-DNS, Abnahme und Rückfallstand |
| CT 102 / GNAI-014 | Keycloak-LXC, sichere SSH-Zugänge und Trennung von öffentlichem OIDC und interner Administration |
| GNAI-015 | Blue/Green-Migration von Keycloak/H2 auf Podman, PostgreSQL und aktuelle 26.x-Version |
| GNAI-016 | nachgelagerter reproduzierbarer Neuaufbau von CT 102 mit Ansible und zweiter Blue/Green-Cutover von CT 104 |
| CT 103 / GNAI-006 | NPM, Fail2Ban und Keycloak-Adminpfad |
| CT 105 / GNAI-007 | WireGuard-Gateway und Rollen-Firewall |
| VPN-Client-Verwaltung | Ausgabe, Änderung und Widerruf von Geräteprofilen |
| Windows 11 / Linux | Client-SOPs |
| VPN-Implementation-Log | historische Umsetzung und datierte Evidenz |
| CT 101 / GNAI-017 | Samba-Dateiserver 10.0.0.9: Aufnahme ins Repository, NFS-Export und Encoding-Shares |
| CT 101 / GNAI-018 | Requirements der Encoding-Pipeline an CT 101 — Übergabe an den Ansible-Rebuild |
| CT 101 / GNAI-019 | Entwurfsentscheidungen der CT-101-Ansible-Migration: natives Samba, NFS-Ganesha als Quadlet, Fresh-State-Rebuild |
KI und Deployment
| Dokument | Verbindlicher Inhalt |
|---|---|
| Bereichsindex | Einstieg in die KI-Dokumentation |
| GNAI-004 | Zielarchitektur und Vertrauensgrenzen |
| GNAI-008 | detaillierter Ansible-/Gitea-Planungsstand und Implementierungshistorie |
| GNAI-009 | reproduzierbarer Modellvergleich |
| GNAI-010 | technische Sollkonfiguration des Testing-Servings |
| LLM-Server-Host-Ansible | ausführbare Host-/ROCm-Playbooks und Rollen für 10.0.0.90 |
| LLM-Stack-Ansible | ausführbares Ansible-Projekt für den LLM-Stack auf 10.0.0.90 (Production/Testing, Umschaltung, Backup) |
| Encoding-Ansible | ausführbares Ansible-Projekt für den CPU-Encoding-Workload auf 10.0.0.90 |
| Keycloak-Ansible | ausführbare Provisionierungs-, Restore- und Prüfautomation für CT 102 |
| Samba-Ansible | ausführbare Provisionierungs-, Backup- und Prüfautomation für CT 101 |
| Reverse-Proxy-Ansible | ausführbare NPM-/Fail2Ban-Automation für CT 103 (adoptiert 07.11.2026, verifiziert 09.11.2026) |
Video-Encoding und Monitoring
| Dokument | Verbindlicher Inhalt |
|---|---|
| GNENC-000 | Bereichsstatus und offene Festlegungen |
| GNENC-001 | finale Architektur des CPU-Encoding-Workloads |
| GNENC-002 | operative Encoding-Pipeline: Komponenten, Verzeichnislayout, Validierung, Statusmodell |
| GNMON-000 | Monitoring-Bereichsstatus: M1–M5 produktiv auf dem KI-Server, M6 vorbereitet |
| GNMON-001 | Host-Monitoring-Plan v2.0 (umgesetzt M1–M5, belegter Stand in GNMON-000) |
| Monitoring-Projekt | ausführbares Monitoring-Projekt (Rollen, Dashboard-App) für 10.0.0.90 |
Die Dokumente wurden am 21.09.2026 neu geordnet: Die Roadmap belegt
GNAI-001; die zuvor bestehenden Dokumente GNAI-001 bis GNAI-009 wurden
unter Beibehaltung ihrer Reihenfolge zu GNAI-002 bis GNAI-010.
Am 22.09.2026 wurden KI-Host und Proxmox-LXCs in getrennte Unterverzeichnisse
überführt; GNAI-011 beschreibt die gemeinsame SSH-Architektur der LXCs.
Am 05.10.2026 wurde die Dokumentation geräteorientiert neu geordnet:
platform/proxmox-server/ bildet den Proxmox-Kontext und seine LXCs ab,
platform/llm-server/ den physischen KI-Server mit AI und Encoding.
Am 19.10.2026 wurde das ausführbare LLM-Server-Projekt in die fachlichen
Hauptverzeichnisse llm-server/host/ (Grundkonfiguration des Servers),
llm-server/llm/ (LLM-Stack), llm-server/encoding/ (Encoding) und
llm-server/monitoring/ (Monitoring) aufgeteilt; die Dokumentation folgt derselben Aufteilung (host/, ai/, encoding/, monitoring/).
2. Belegter Stand
| Bereich | Nachgewiesen | Noch nicht nachgewiesen |
|---|---|---|
| KI-Host | Debian 13.6, Deployment-Zugang, Podman 5.4.2, getrennte rootless Konten, Gerätezugriff für beide KI-Konten; IPv4-only (31.10., GNAI-002 6); Lüftersteuerungs-Dienst gnai-gpu-fan-control als Dauerlösung (05.11., GNAI-010 10.10); Backup/Restore praktisch belegt (06.11., GNAI-008 14.6) und Backup-Unit per RequiresMountsFor boot-sicher (Fix 09.11., GNAI-008 14.6/0.21); Host-Neustart mit automatischem Production-Recovery (06.11. und erneut 09.11.2026, GNAI-008 14.6) |
Host-/Treiber-Upgradepfad |
| GPU/ROCm | beide RX 6900 XT als gfx1030, ROCm0 und ROCm1 im gepinnten Testing-Image erkannt; Modellladen, Layer-Verteilung und reale Inferenz auf beiden GPUs; 64k- und 128k-Stabilität in Testing (GNAI-010 10.5–10.9); GPU-Sensoren im Monitoring mit Alarmgrenzen (GNMON-000 M4/M5, verifiziert 09.11.2026) |
Hardware-Ursache des thermischen Defekts an Slot 03:00.0 (GNAI-010 10.10) — Lüfterkurven-Service überbrückt als Dauerlösung |
| LLM-Serving | drei gepinnte Profile (Swift 1.0, Swift 1.5, Unsloth); Testing-Abnahme 64k/128k je Profil (GNAI-010 10.5–10.9); Production-Umgebung live mit Swift 1.5 Q6_K seit 06.11.2026 (Betreiberbeschluss 05.11., GNAI-009 10.4) inklusive Health, Alias und Inferenztest; exklusive Umschaltmechanik mit Recovery (GNAI-008 14.6, T1–T7; nach Neustart 09.11.2026 gn_ai_active_env{env="production"}=1 verifiziert); OpenWebUI v0.13.3 (digest-gepinnt) intern produktiv seit 10.11.2026 — Health 200, Model-Liste, reale Chat-Completion via OpenWebUI → llama.cpp (Rolle open_webui, Playbook webui.yml, Ingress 10.0.0.90:8081 nur von NPM, Split-DNS chat.ghostnet.selfhost.eu live) |
LLM-Metriken jenseits gn_ai_active_env, Nutzerakzeptanzprüfung (GNAI-009 5.3). Öffentlicher Nutzerpfad M6 live seit 11.11.2026: https://chat.ghostnet.selfhost.eu (OpenWebUI v0.13.3, NPM → 10.0.0.90:8081, Keycloak-OIDC Client gnai-openwebui public+PKCE; Negativtests: 8081/Engine-Ports von außen geblockt, /admin/ 403, keine AAAA; OIDC-Redirect-Kette verifiziert) |
| Deployment | lokales Ansible-Control-Projekt und idempotente Hostrollen; Production-Inventar mit Referenz- und Rollback-Profil, ai_environment_switch und Backup-Timer deployt und abgenommen (GNAI-008 14.6) |
statische CI, Runner, geschützte Freigaben und automatisierter Rollback über die Delivery-Kette |
| VPN | wg-easy v15.4.0; einziger Peer ghost-laptop als Server Admin; native nftables-Zielpolicy und NAT, Legacy-Bereinigung, Fremdnetz-, Positiv-/Negativ-, Dienst- und LXC-Wiederanlauftests bestanden; CT 104 am 07.10.2026 als zwölftes Ziel praktisch abgenommen; WAN-Exposure-Erfassung 10.11.2026: nur TCP 80/443 offen, keine AAAA (GNAI-007 7); frischer Stop-Mode-vzdump + hostunabhängige Kopie auf ghostnet-ki am 10.11.2026 |
Fremdnetz-WAN-Rescan vom Hotspot (UDP 51820, TCP-Portmatrix), FRITZ!Box-Forward-/IPv6-Abgleich, wg-easy-GUI-HTTPS und KI-Server-Test bei eingeschaltetem Host |
| DNS / Pi-hole | CT 100 unter 10.0.0.14 mit digest-gepinntem Pi-hole 2026.09.0 als Podman-Quadlet; SSH/nftables, UDP/TCP-DNS, Split-DNS, Blocking/Allowlist, FRITZ!Box-Cutover, LXC-Reboot und Stop-Mode-Backup am 01.10.2026 abgenommen; Ansible-Projekt am 09.11.2026 adoptiert (ansible-deploy via pct; site.yml/verify-production changed=0) und Split-DNS-Record mon.ghostnet.selfhost.eu → 10.0.0.10 live (verifiziert per dig @10.0.0.14); frischer Stop-Mode-vzdump + hostunabhängige Kopie auf ghostnet-ki + praktischer Restore-Test (CT 150) am 10.11.2026 (GNAI-012 10.2) |
vollständige App-/OIDC-Regression, praktischer FRITZ!Box-Rollback, mobile DuckDuckGo-/IPv6-Strategie, WireGuard-Profile |
| Reverse Proxy | CT-103-Zugänge, SSH-/Firewall-Baseline, Reboot und lokales Backup abgenommen; NPM 2.15.1 routet öffentlichen OIDC- und internen Admin-vHost getrennt; öffentliche Keycloak-Administration liefert 403; vollständiger Ansible-Sollzustand importiert und adoptiert (07.11.2026; preflight/verify-production/site.yml --check am 09.11.2026 ohne Befund, changed=0); Fail2Ban-Funktionsabnahme (Jails, kontrollierter Ban/Unban, nftables-Nachweis, Dienstneustart, LXC-Reboot) am 10.11.2026 bestanden, frischer Rollback-vzdump + hostunabhängige Kopie auf ghostnet-ki (GNAI-006 10/12) |
Fremdnetz-WAN-Rescan (Hotspot) und FRITZ!Box-Abgleich; NPM-Proxyhost mon.ghostnet.selfhost.eu für das Monitoring-Dashboard (M6) |
| Keycloak | CT 102 unter 10.0.0.4 reproduzierbar per Ansible aufgebaut; gepinntes Keycloak 26.2.4 und PostgreSQL 16.15, Restore von CT 104, Container-/DB-Härtung, NPM-Cutover, interner Adminzugang, öffentliche Admin-Sperre, realer Vaultwarden-OIDC-Login und LXC-Neustart abgenommen; Stabilisierungsphase + praktischer NPM-Rückfalltest auf CT 104 am 10.11.2026 bestanden, CT 104 danach nach Betreiberfreigabe entfernt (GNAI-016 Phase F); Ansible-Drift CT 102 changed=0; frischer Stop-Mode-vzdump + hostunabhängige Kopie auf ghostnet-ki am 10.11.2026 |
Betriebs-/Backup-/Restore-SOP |
| Encoding | Konto, Pfade, eigener rootless Store und CPU-Isolation per Ansible verwaltet und verifiziert; NFS-Mount /var/lib/ghostnet-pipeline aktiv (verifiziert 09.11.2026); Planungsabschluss 19.10.2026 (Pipeline GNENC-002, Speicher auf CT-101); Monitoring-Anbindung umgesetzt (GNMON-000 M1–M5) |
Implementierung (Images, Quadlets, Skripte, Worker); Lasttest und Limit-Feintuning; SMB-Output-Pickup als geschlossener Ablauf |
| Monitoring | M1–M6 produktiv auf 10.0.0.90 (System-Scope, Konten gn-monitor 986 / gn-dashboard 984): node_exporter + AMD-Textfile-Collector, VictoriaMetrics, Loki + Alloy, vmalert + Alertmanager (inkl. gnmon-ai/GnAiEnvironmentDown), Dashboard v0.3.2 öffentlich über https://mon.ghostnet.selfhost.eu (NPM CT-103 ID 14, LE-TLS; Keycloak-OIDC Realm Ghost.net, Client gnai-dashboard, Rollen gnai-dashboard-user/-admin; 8080 per nftables nur von 10.0.0.10; E2E inkl. 403-Negativtest und WebSocket-Circuit bestanden 09.11.2026, GNMON-000 M6) |
echter SMTP-Versand, LLM-Metriken jenseits gn_ai_active_env, Retention-Feintuning, externer WireGuard-Zugriff auf mon (DNS/TLS öffentlich, praktisch ungetestet) |
| Samba (CT 101) | Share-Bestand in GNAI-017 dokumentiert; Ansible-Projekt nach GNAI-019 gebaut und lokal verifiziert; Runbooks vorhanden; In-Place-Upgrade auf Debian 13 am 21.10.2026; smb.conf-Verlust beim Upgrade aus vzdump-Backup wiederhergestellt, Media-Shares und Workstation-Mounts verifiziert | produktive Adoption (Platzhalter, Schlüssel, Convergence, Verifikation), NFS-Export und Encoding-Shares produktiv, UID/GID-Abgleich produktiv, Backup-/Restore-Test |
Ein Zielbild, eine Betreiberangabe oder ein erfolgreicher Teiltest gilt nicht als vollständige Abnahme. Datierte Details stehen im zuständigen Fachdokument.
3. Bestätigte Leitentscheidungen
- Ein Infrastructure-Repository verwaltet den Sollzustand des gemeinsamen Hosts.
- AI Production und AI Testing verwenden bereits getrennte Konten, Datenpfade und Podman-Stores; ihre späteren Units und Netze bleiben ebenfalls getrennt. Host, Kernel und GPUs teilen sie dennoch. Sie sind daher keine getrennten Fehlerdomänen und laufen GPU-seitig nicht gleichzeitig.
- Video-Encoding bleibt CPU-basiert, besitzt keinen GPU-Zugriff und wird erst nach einem gemeinsamen Lasttest parallel freigegeben.
- Container- und Modellartefakte werden unveränderlich über Version, Revision,
Digest beziehungsweise SHA-256 festgelegt;
latestist kein Deploymentziel. llama.cppbleibt ein internes Backend ohne Host-Port. Eine öffentliche Schnittstelle benötigt eine eigene Authentifizierungs-, Quota- und Veröffentlichungsentscheidung.- Production läuft als eigene Umgebung (
gnai-production, Swift 1.5 Q6_K); der Wechsel zwischen Production und Testing erfolgt exklusiv überai_environment_switchmit automatischem Rückfall auf Production (GNAI-008 14.6). Der Sollzustand wird am 09.11.2026 nach einem Host-Neustart automatisch wiederhergestellt (verifiziert:gn_ai_active_env{env="production"}=1). - Monitoring-Dienste binden ausschließlich an 127.0.0.1; eine externe Freigabe des Dashboards erfolgt erst über NPM + Keycloak-OIDC (GNMON-000 M6).
- Managementzugriff erfolgt über WireGuard plus Dienstauthentifizierung. Client-Routing allein ist keine serverseitige Autorisierung.
- Der Schlüssel von
ansible-deployist wegenNOPASSWD: ALLroot-äquivalent und darf nicht ungeprüft an Pull-Request-Workflows weitergegeben werden.
4. Offene Sicherheits- und Entscheidungsgrenzen
Vor einer neuen öffentlichen KI-Schnittstelle müssen mindestens diese Befunde geschlossen sein:
- Fail2Ban-Jails, kontrollierten Ban und Wiederanlauf nachweisen — am
10.11.2026 geschlossen (GNAI-006 Abschnitt 12: Image/Digest, Config-Test,
Jails, Filter-Dry-Run, kontrollierter Ban/Unban mit nftables-Nachweis,
Dienstneustart, LXC-Reboot; Befund: neuer Proxy-Host
proxy-host-14war bis zum f2b-Restart nicht im Jail-Glob — SOP ergänzt); - öffentliche IPv4-/IPv6-Exposure erneut erfassen — teilweise 10.11.2026 (WAN-TCP-Scan: nur 80/443 offen; keine AAAA-Records; GNAI-007 Abschnitt 7); Fremdnetz-Rescan vom Hotspot, FRITZ!Box-Forward-Abgleich und FRITZ!Box-IPv6-Status bleiben Betreiberschritt;
- die Keycloak-Stabilisierungsphase sowie den praktischen NPM-Rückfall auf
CT 104 abschließen — am 10.11.2026 geschlossen: Stabilisierungsphase
nachgewiesen (26 Tage,
NRestarts=0, keine Fehler) und praktischer NPM-Rückfalltest bestanden (Hosts 7/13 auf10.0.0.16:8080, Discovery 200- kanonischer Issuer,
/admin/öffentlich 403, auth-admin 302, Rückschaltung auf10.0.0.4erneut positiv; CT 104 danach wieder gestoppt). Bekannte Einschränkung des CT-104-Rückfallstands (Datenstand 13.10., neuere OIDC-Clients fehlen) in GNAI-016 dokumentiert. CT 104 am 10.11.2026 nach ausdrücklicher Betreiberfreigabe entfernt (Archiv + historische Altbackups SHA-256-verifiziert aufghostnet-kiarchiviert, dann auf PVE gelöscht; Details GNAI-016 Phase F);
- kanonischer Issuer,
- für DNS, Reverse Proxy und Keycloak hostunabhängige Backups und mindestens
einen praktisch getesteten Restorepfad festlegen — am 10.11.2026
geschlossen (frische Stop-Mode-vzdumps CT 100/102/103/105,
hostunabhängige Kopie auf
ghostnet-kimit SHA-256-Verifikation, nächtlicher Sync-Timer auf dem PVE-Host, praktischer Restore-Test CT 100 → CT 150 bestanden; GNAI-012 Abschnitt 10.2, GNAI-006 Abschnitt 10). Offen bleibt nur der praktisch durchgespielte FRITZ!Box-DNS-Rollback auf einem Testclient.
Die öffentliche Keycloak-Administration, der Vaultwarden-OIDC-Pfad und die serverseitigen WireGuard-Rollengrenzen sind zum Stand 14.10.2026 bereits positiv und negativ abgenommen. Sie bleiben Regressionstest, sind aber keine offenen Erstimplementierungen mehr.
Noch zu entscheiden sind insbesondere:
- Freigabe- und Secret-Modell für einen späteren privilegierten Runner.
Entsieden am 10.11.2026 (Betreiber): Erstes Nutzerprodukt (M6) ist
API plus Weboberfläche via OpenWebUI — OpenWebUI sitzt im
Production-Netz auf ghostnet-ki (10.0.0.90:8081, nur NPM darf durch),
reicht die Engine über http://llama-cpp:8080/v1 an und wird öffentlich über
NPM + Keycloak-OIDC freigegeben (chat.ghostnet.selfhost.eu). LiteLLM
fällt für M6 weg (Entscheidungstor GNAI-001 M6 geschlossen): individuelle
API-Keys und Rollen macht OpenWebUI selbst, Rate-Limits kommen auf
NPM-Ebene; LiteLLM bleibt Zielbild-Kandidat, falls später Quotas/Routing
pro Backend nötig werden. Interner Slice abgenommen 10.11.2026 (Health,
Model-Liste, reale Chat-Completion durch OpenWebUI → llama.cpp mit
Token-Usage).
Bereits entschieden (nicht mehr offen): Das Backupziel ist die bestehende
NFS-Anbindung der Encoding-Pipeline (pve:/media/datenhdd3/Encoding), die
Aufbewahrung beträgt 8 Archive und der Restore ist praktisch belegt
(Betreiberentscheidungen 06.11.2026, GNAI-008 14.6). Die Kontextfrage ist
mit dem M3-Beschluss vom 05.11.2026 geklärt: 128k ist das Zielprofil und in
Testing technisch abgenommen (GNAI-010 10.6), Production-Profil ist
Swift 1.5 Q6_K (GNAI-009 10.4). Der interne LLM-Vertical-Slice (M2) ist
abgenommen und läuft produktiv; die Entscheidung „Sicherheitsabschluss vor
oder parallel zum LLM-Ausbau" betrifft daher nur noch die externe Freigabe (M6).
5. Pflegeprinzip
Neue technische Evidenz wird zuerst im ausführbaren Projekt beziehungsweise im zuständigen Fachdokument aktualisiert. Dieser Index wird nur geändert, wenn sich ein bereichsübergreifender Status, eine Leitentscheidung oder die Priorisierung ändert. Dadurch werden lange Laufprotokolle und Sollparameter nicht mehr an mehreren Stellen dupliziert.