- GNAI-000: Stand 14.11.; M6 öffentlich live seit 11.11. (Websuche 12.11., Theme 14.11.); mon-Proxyhost als eingerichtet (09.11., ID 14); Deployment um M5-Fortschritt 10.11. (statische CI, CT-116-Runner, Branch-Protection) ergänzt; Dashboard v0.3.6 - GNAI-001: Kopf-Status aktualisiert; M1-Rest an GNAI-000 §4 angeglichen (Restore-Pfad CT 100→CT 150 belegt); CT-100-Adoption 09.11. nachgetragen; M5-Ausführungsstand 10.11.; M6 live mit offenen Nacharbeiten (u. a. Lizenz-/Nutzungsrahmen-Nachweis GNAI-009 10.4) - GNAI-013: Stand 14.11.; Zielstruktur um CT 116 und monitoring/ ergänzt; CT 104 als entfernt (10.11.) korrigiert; Abschnitt E: KI-Server/LLM-Slice abgehakt, Resolver-Abstimmung offen - GNMON-000: Stand 14.11.; Workstation-Journald-Schritt erledigt; Dashboard v0.3.6 (Favicon-Revert 14.11.) - GNENC-000: GNMON M1–M6, Stand 14.11. - GNAI-008: Kopf-Stand 14.11., v0.19 (M5-Fortschritt §12, M6-Verweis GNAI-020/021) Link-Check: OK (252 relative Links in 101 Dateien) Generated by Mistral Vibe. Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
18 KiB
High-Level-Implementierungsplan
Dokumenten-ID: GNAI-001-PLAN
Titel: Priorisierte Roadmap für Ghostnet.AI
Stand: 2026-11-14
Status: Arbeitsgrundlage; M1 bis auf Fremdnetz-Rescan/FRITZ!Box-Rollback geschlossen (10.11.), M2–M4 abgenommen, M5 statische CI/Runner/Branch-Protection umgesetzt (10.11.), M6 öffentlich live seit 11.11. (inkl. Websuche 12.11., Theme 14.11.), M7 offen
Referenzen: Projektstand, Zielarchitektur, Ansible-Plan, Modellbewertung, llama.cpp-Sollkonfiguration
1. Ziel und Planungsprinzip
Die nächste Ausbaustufe soll zuerst die bekannten externen Risiken schließen und danach einen kleinen, reproduzierbaren LLM-Pfad von Ansible bis zur realen Inferenz liefern. Weitere Plattformkomponenten werden erst ergänzt, wenn der vorherige Meilenstein messbar abgenommen ist.
Jeder Meilenstein endet mit einem überprüfbaren Ergebnis. Detailaufgaben und Befehle gehören in Rollen und SOPs; diese Roadmap enthält weder lange Laufprotokolle noch duplizierte Sollparameter.
2. Kritisch überprüfte Entscheidungen
| Entscheidung | Bewertung | Konsequenz für die Roadmap |
|---|---|---|
| Bekannte Sicherheitsbefunde versus sofortiger LLM-Ausbau | Eine neue Anwendung zu bauen, während öffentliche Admin- und Netzwerkgrenzen offen sind, vergrößert die Angriffsfläche und erschwert spätere Abnahmen. | Empfehlung: Sicherheitsabschluss ist Meilenstein 1. Ein rein interner LLM-Test darf nur bewusst parallelisiert werden und erzeugt noch keine öffentliche Route. |
| Privilegierter Gitea-Runner vor erster Anwendung | Der vorhandene Deployment-Schlüssel ist root-äquivalent. Veränderbarer PR-Code und Production-Secrets dürfen diese Grenze nicht teilen. Der Runner würde vor dem ersten Vertical-Slice mehr Sicherheits- als Produktnutzen erzeugen. | Zuerst lokal kontrolliert deployen. Statische CI ohne Serverzugang kann früh kommen; privilegierte Deployment-Automation erst nach stabilem Rollen- und Recovery-Verfahren. |
| LiteLLM als bereits feststehende Pflichtkomponente | llama.cpp stellt die interne Inferenz bereit; der Mehrwert von LiteLLM entsteht erst durch konkrete Anforderungen an individuelle API-Keys, Quoten, Policy oder Routing. Ohne diese Anforderungen ist es eine zusätzliche Betriebs- und Fehlerdomäne. |
LiteLLM bleibt Zielbild-Kandidat, aber Entscheidungstor vor Meilenstein 6. Der Testing-Vertical-Slice hängt nicht davon ab. |
| 128k als erste harte Betriebsgrenze | Die VRAM-Rechnung ist plausibel, aber noch ungemessen. Ein zwingendes 128k-Ergebnis würde Modell-, ROCm- und Integrationsfehler unnötig mit Speicherdruck vermischen. | 64k ist die technische Basisabnahme; 128k bleibt das Zielprofil und wird separat freigegeben. |
| Production und Testing auf demselben Host | Konten und Stores trennen Konfiguration und Daten, nicht Kernel, Treiber oder Ausfallrisiko. Echte Hochverfügbarkeit oder sichere Host-Upgrade-Tests entstehen dadurch nicht. | Bewusst als Single-Host-Betrieb mit Wartungsfenstern führen; keine HA-Aussage treffen. Umschalt- und Recovery-Mechanismus vor Production abnehmen. |
| Zwei feste Modell-Quadlets | Die Lösung ist leicht prüfbar und vermeidet eine dynamische Verwaltungs-API, kann aber bei kopierter Konfiguration driften. | Beide Units aus einem gemeinsamen Profiltemplate rendern und den gegenseitigen Ausschluss automatisiert testen. Router-Modus erst später bewerten. |
| Encoding parallel zur Inferenz | Die Trennung der Konten verhindert keine CPU-, RAM- oder I/O-Konkurrenz. „Nur nachts“ ist allein keine Ressourcenkontrolle. | Encoding bleibt nachgelagert, bis Limits und ein gemeinsamer Lasttest vorhanden sind. |
3. Roadmap
Meilenstein 0 – Prioritäten und Produktgrenze bestätigen
Ergebnis: Der erste Nutzerpfad und die Sicherheitsreihenfolge sind eindeutig.
- festlegen, ob Sicherheits-Meilenstein 1 den internen LLM-Test blockiert oder kontrolliert parallel läuft;
- erstes Produkt als API-only oder API plus Weboberfläche festlegen — entschieden 10.11.2026: API plus Weboberfläche (OpenWebUI), siehe GNAI-000 Abschnitt 4;
- 64k-Basis und 128k-Ziel als Abnahmemodell bestätigen;
- Verantwortliche für Review, Deployment und Sicherheitsabnahme benennen.
Fertig, wenn: Die vier Entscheidungen im Projektstand vermerkt sind und kein nachfolgender Meilenstein eine stillschweigende Annahme dazu benötigt.
Meilenstein 1 – Bestehende externe Risiken schließen
Ergebnis: Die aktuelle Plattform besitzt belegte Management- und Netzwerkgrenzen, bevor weitere öffentliche Dienste hinzukommen.
- Keycloak-Adminpfad extern sperren und Vaultwarden-OIDC regressionsprüfen;
- VPN-Peers Rollen zuordnen, Per-Client-Regeln sowie Gateway-INPUT umsetzen und erlaubte wie verbotene Ziele aktiv testen;
- Fail2Ban-Image, Jails, kontrollierten Ban/Unban und Dienst-/LXC-Wiederanlauf prüfen;
- WAN- und IPv6-Exposure für Managementports erfassen;
- Ergebnisse mit Datum und Negativtests in GNAI-006/GNAI-007 dokumentieren.
Ausführungsstand 14.10.2026: Pi-hole stellt unter 10.0.0.14 den
LAN-Resolver und den internen Split-DNS-Namen für die Keycloak-Administration
bereit. CT 102 wurde reproduzierbar mit Ansible, Keycloak 26.2.4 und
PostgreSQL 16.15 neu aufgebaut, aus CT 104 wiederhergestellt und über NPM in
Betrieb genommen. Öffentlicher Adminzugriff wird abgewiesen; interner
Adminzugriff, Vaultwarden-OIDC und LXC-Neustart sind abgenommen. Die
WireGuard-Rollenpolicy einschließlich Positiv-, Negativ-, Gateway-INPUT- und
Wiederanlauftests ist ebenfalls nachgewiesen. Aktualisierung 10.11.2026:
Fail2Ban-Funktionsabnahme bestanden (GNAI-006 12), hostunabhängige Backups
mit praktischem Restore-Test für CT 100/102/103/105 auf ghostnet-ki
eingerichtet (GNAI-012 10.2, GNAI-006 10, PVE-Rolle pve_lxc_backup_sync),
Keycloak-Stabilisierungsphase nachgewiesen (26 Tage, GNAI-016 Phase F) und
WAN/IPv6-Exposure teilweise erfasst (nur TCP 80/443 offen, keine AAAA;
GNAI-007 7). Aktualisierung 10.11.2026 (später): praktischer
NPM-Rückfalltest auf CT 104 bestanden und CT 104 nach ausdrücklicher
Betreiberfreigabe entfernt (pct destroy 104 --purge, Archiv SHA-256-verifiziert
auf ghostnet-ki; GNAI-016 Phase F). Offen bleiben der Fremdnetz-WAN-Rescan
vom Hotspot mit FRITZ!Box-Forward-/IPv6-Abgleich und der praktisch
durchgespielte FRITZ!Box-DNS-Rollback auf einem Testclient. Der
hostunabhängige Restore-Pfad ist praktisch belegt (CT 100 → CT 150 am
10.11.2026, GNAI-012 10.2); damit ist Befund 4 des zentralen Index
(GNAI-000 Abschnitt 4) geschlossen — die frühere Restnotiz zu separaten
Restore-Tests für CT 102/103 entfällt.
Aktualisierung 09.11.2026: Der vollständige Ansible-Sollzustand beider
Hosts liegt inzwischen im Repository — CT 100 (proxmox/lxc/ct-100-dns/ansible/,
am 09.11.2026 adoptiert: ansible-deploy per pct exec, danach
verify-deploy-access ok=5, site.yml konvergent changed=0,
verify-production ok=32 changed=0; GNMON-000 M6, GNAI-012 10.2) und
CT 103 (proxmox/lxc/ct-103-reverse-proxy/ansible/, am 07.11.2026
adoptiert und am 09.11.2026 verifiziert: preflight ok=15, verify-production
ok=27 changed=0, site.yml --check changed=0).
Fertig, wenn: Die vier priorisierten Sicherheitsbefunde im zentralen Index als bestanden oder mit ausdrücklich akzeptiertem Restrisiko dokumentiert sind.
Meilenstein 2 – Internes LLM-Serving als Vertical-Slice
Ergebnis: Ein reproduzierbarer, nicht öffentlich erreichbarer
llama.cpp-Dienst führt reale Inferenz auf beiden GPUs aus.
- Ansible-Rolle
llama_cppmit validiertem Profilmanifest, atomarem Download, Prüfsummen, gepinntem Image, rootless Netzwerk und zwei aus einem Template erzeugten Quadlets implementieren; - Image- und Modellbereitstellung vom Start beziehungsweise Profilwechsel trennen;
- Swift zunächst bei 64k, danach bei 128k abnehmen;
- Unsloth mit demselben technischen Verfahren abnehmen;
- Health, Modellalias, Tool-Call, Reasoning-Trennung, GPU-Verteilung, CPU-Offload, VRAM und Neustartverhalten protokollieren;
- zweiten identischen Ansible-Lauf mit
changed=0nachweisen.
Fertig, wenn: Beide Profile die technische Abnahme aus GNAI-010 bestehen oder ein dokumentierter Messwert eine Profilanpassung auslöst. Es existiert weiterhin kein Host-Port und keine NPM-Route.
Meilenstein 3 – Modellprofil auswählen
Ergebnis: Ein durch lokale Aufgaben belegtes Standardprofil und ein Rollbackprofil sind festgelegt.
- kleine versionierte Testsuite mit automatischen Erwartungen und manueller Bewertungsrubrik erstellen;
- Swift und Unsloth zunächst mit identischen
xhigh-Parametern vergleichen; - anschließend Swift
xhighgegen Unslothmediumals Praxisprofile messen; - Qualität, Tool-Zuverlässigkeit, Tokenverbrauch, Laufzeit und Ressourcen gemeinsam bewerten;
- MTP und Vision nur als getrennte optionale Experimente nach der Baseline ausführen;
- Lizenz und Nutzungsrahmen vor einer externen Freigabe bestätigen.
Fertig, wenn: Ein datierter Evaluierungsbericht das bevorzugte Profil, zulässigen Kontext, Ausgabegrenze und Rollbackprofil benennt.
Meilenstein 4 – Production- und Recovery-Fähigkeit
Ergebnis: Der ausgewählte interne Dienst kann kontrolliert als Production betrieben und nach Fehlern wiederhergestellt werden.
- Production-Inventar und dieselbe Rollenlogik mit getrennten Variablen, Konten, Stores, Netzen und Units einführen;
- exklusiven Environment-Lock, Stop-vor-Start, Timeout und hostseitigen Rückfall auf den letzten Production-Stand implementieren;
- Backupumfang, Ziel, Aufbewahrung und Restore-SOP festlegen;
- Konfiguration und mindestens einen zustandsbehafteten Testbestand sichern und praktisch wiederherstellen;
- Hostreboot, fehlgeschlagenen Testing-Start, Rollback und Idempotenz testen;
- minimales Health-/Ressourcenmonitoring mit klarer Alarmgrenze einführen.
Fertig, wenn: Ein abgebrochener Testlauf Production ohne Zugriff auf Production-Secrets wiederherstellen kann und Backup/Restore praktisch belegt sind.
Meilenstein 5 – Delivery-Kette absichern
Ergebnis: Änderungen werden reproduzierbar geprüft und bewusst freigegeben, ohne PR-Code root-äquivalente Secrets zu geben.
- Gitea-Version, Actions, Branch-/Tag-Schutz und Runner-Semantik live erfassen;
- zunächst repository-spezifische statische CI ohne Serverzugang einführen;
- Werkzeug- und Collection-Versionen pinnen;
- Secret-Store, Schlüsselrotation und getrennte Testing-/Production-Rechte festlegen;
- privilegierten Deploymentpfad erst mit unveränderlichem, geprüftem Commit, Parallelität eins und bewusstem Freigabeschritt abnehmen;
- keinen Production-Schlüssel in Pull-Request-Workflows bereitstellen;
- Deploymentnachweis mit Commit, Artefaktdigests und Prüfergebnis erzeugen.
Ausführungsstand 10.11.2026: Statische CI ohne Serverzugang eingeführt
(.gitea/workflows/ci-static.yml, 4 Jobs: secret-scan, yamllint,
ansible-syntax, markdown-links; erster Lauf grün), dedizierter
Runner-LXC CT 116 (act_runner v0.2.13, repo-scoped Runner ci-static-01
online, keine Server-Zugangsdaten auf dem Runner-LXC) und Branch-Protection
main gesetzt (enable_push=false, required status checks
ci-static / <job> (pull_request), required_approvals=1); erster
PR-Durchlauf (PR #2) mit squash-merge nach main bestanden (Commit
962b387; Details und Token-Hygiene in GNAI-008 Abschnitt 12). Offen:
Fragen 3–5 aus GNAI-008 Abschnitt 12 (Review-/Freigabe-Rechte, Secret-Store,
Promotion-Tag), privilegierter Deployment-Runner, Secret-Scan über die
Git-Historie, act_runner-Label self-hosted per Config nachziehen.
Fertig, wenn: Ein ungefährliches Testdeployment und anschließend ein freigegebenes Production-Deployment einschließlich fehlgeschlagenem Lauf und Recovery reproduzierbar nachgewiesen sind.
Meilenstein 6 – Ersten Nutzerpfad veröffentlichen
Status: live seit 11.11.2026; Nacharbeiten offen (siehe Ende des Abschnitts).
Ausführungsstand 14.11.2026: OpenWebUI v0.13.3 (digest-gepinnt) ist als
öffentlicher Nutzerpfad live: https://chat.ghostnet.selfhost.eu (NPM →
10.0.0.90:8081, nur NPM darf auf den KI-Host durch), Keycloak-OIDC über
Client gnai-openwebui (public + PKCE S256, Realm Ghost.net). LiteLLM-Gate
geschlossen: für M6 nicht nötig (OpenWebUI-Keys/Rollen, Rate-Limits auf
NPM-/Fail2Ban-Ebene). Positiv: OIDC-Redirect-Kette chat → auth → callback
(302 mit client_id=gnai-openwebui, code_challenge_method=S256),
Health 200, interne E2E-Inferenz bestanden. Negativ: WAN-Scan nur 80/443,
8081/Engine-Ports geblockt, /admin/ 403, keine AAAA. Reale Browser-Anmeldung des Betreibers am 11.11.2026 bestanden (OIDC-Session
oidc in OpenWebUI-DB, User ma-koenig@gmx.net provisioniert); öffentlicher
Chat-Test via https://chat.ghostnet.selfhost.eu/api/chat/completions → 200
mit Token-Usage. Websuche live seit 12.11.2026 (GNAI-020): SearXNG mit
kuratierten Engines + OpenWebUI Native/Agentic Mode, E2E-Tool-Loop via API
(server-seitig, mit Quellen) verifiziert; Workspace-Tool gnai-web-search
für API-Agenten via tool_ids geseeded; NPM-Proxy-Timeouts auf chat.*
(600 s) für lange Research-Loops durch Betreiber gesetzt (12.11.2026,
GNAI-020 Abschnitt 6). Theme „gnai-catppuccin-mocha" live seit 14.11.2026
(GNAI-021). Offen: Rate-Limit-Doku, LLM-Metriken im Monitoring,
Betriebs-SOP, API-Key-Freigabe für Agenten (auth.enable_api_keys),
Nutzerakzeptanzprüfung auf dem Siegerprofil (GNAI-009 5.3) sowie der
Lizenz-/Nutzungsrahmen-Nachweis (GNAI-009 10.4 — vor der externen Freigabe
gefordert, als abgeschlossen noch nicht dokumentiert).
Ergebnis: Genau ein klar definierter, authentifizierter Nutzerpfad ist öffentlich nutzbar; Backend- und Managementports bleiben intern.
- anhand der Produktentscheidung LiteLLM einführen oder den alternativen API-Gateway-Pfad ausdrücklich spezifizieren;
- individuelle Credentials, Widerruf, Quoten/Rate Limits, Logging und Missbrauchsgrenzen umsetzen;
- NPM-Route, TLS und Health getrennt vom Backend abnehmen;
- bei Weboberfläche OIDC-Endpunkte und Rollen minimal freigeben;
- externe Positiv- und Negativtests für API, Adminpfade, Backendports sowie IPv4/IPv6 durchführen;
- Betriebs-, Schlüsselwiderrufs- und Störungs-SOP fertigstellen.
Fertig, wenn: Der Nutzerpfad funktioniert, direkte llama.cpp- und
Managementzugriffe extern scheitern und Widerruf sowie Rate Limit getestet
sind.
Meilenstein 7 – Nachgelagerte Workloads
Ergebnis: Zusätzliche Anwendungen beeinträchtigen den freigegebenen LLM-Betrieb nicht.
- OpenWebUI, GPT Researcher oder weitere Anwendungen einzeln nach Nutzen, Datenhaltung und Vertrauensgrenze priorisieren;
- Encoding-Produktanforderungen festlegen, CPU-/RAM-/I/O-Limits implementieren und unter gleichzeitiger Inferenzlast testen;
- erst danach Zeitplan, Queue, Benachrichtigung und Nutzer-SOP freigeben.
Stand 14.11.2026
- M1 weitgehend geschlossen (10.11.2026): Fail2Ban-Funktionsabnahme, hostunabhängige Backups mit praktischem Restore-Test (CT 100 → CT 150), Keycloak-Stabilisierungsphase (26 Tage), praktischer NPM-Rückfalltest auf CT 104 und CT-104-Entfernung bestanden (GNAI-006 10/12, GNAI-012 10.2, GNAI-016 Phase F); WAN/IPv6-Exposure teilweise erfasst (nur TCP 80/443 offen, keine AAAA). Offen: Fremdnetz-WAN-Rescan vom Hotspot, FRITZ!Box-Forward-/IPv6-Abgleich, praktischer FRITZ!Box-DNS-Rollback.
- M2 abgenommen: Testing-Vertical-Slice mit drei gepinnten Profilen (Swift 1.0, Swift 1.5, Unsloth), 64k- und 128k-Abnahme, Idempotenz, Profilwechsel und Host-Reboot-Test bestanden (GNAI-010 Abschnitte 10.5–10.9, Reboot 01.11.2026).
- M3 entschieden (05.11.2026): Production-Profil Swift 1.5 Q6_K, Unsloth als Testing-Vergleich, Swift 1.0 aus dem aktiven Betrieb (Betreiberbeschluss, GNAI-009 Abschnitt 10.4).
- M4 abgenommen (06.11.2026): Production-Inventar mit Referenz- und
Rollback-Profil, exklusive Umschaltmechanik
ai_environment_switch(T1–T7), Backup/Restore-Nachweise R1/R2, Alarmgrenzen — siehe GNAI-008 Abschnitt 14.6. Erneut verifiziert am 09.11.2026 nach einem Host-Neustart: automatisches Recovery auf Production ohne Zutun. - Monitoring: GNMON-000 M1–M6 produktiv auf dem KI-Server inklusive
Verfügbarkeitsregel
GnAiEnvironmentDownund öffentlichem Dashboardhttps://mon.ghostnet.selfhost.eu(seit 09.11.2026). - M5 teilweise umgesetzt (10.11.2026): statische CI + Runner CT 116 +
Branch-Protection
main(GNAI-008 Abschnitt 12). Offen: privilegierter Deployment-Runner, Promotion-Tag-Freigabe, Secret-Modell (Fragen 3–5). - M6 live seit 11.11.2026:
https://chat.ghostnet.selfhost.eu(OpenWebUI v0.13.3 + Keycloak-OIDCgnai-openwebui), Websuche seit 12.11. (GNAI-020), Theme seit 14.11. (GNAI-021). Offen: Nacharbeiten laut M6-Abschnitt (Rate-Limit-Doku, LLM-Metriken, Betriebs-SOP, API-Key-Freigabe, Nutzerakzeptanz- und Lizenz-Nachweis). - M7 offen: Encoding-Implementierung (Images, Quadlets, Worker-Skript), SMB-Output-Pickup als geschlossener Ablauf, Lasttest unter Inferenzlast (GNENC-000 „Noch offen“).
4. Bewusst nicht Teil der nächsten Ausbaustufe
- dynamischer
llama.cpp-Router; - gleichzeitiger GPU-Betrieb von Production und Testing;
- Vision und MTP vor stabiler Text-/Tool-Baseline;
- automatische Production-Updates über bewegliche Tags;
- Hochverfügbarkeitsversprechen auf dem einzelnen Host;
- neue VLAN-/Netzarchitektur ohne eigenen Netzwerk-Sprint;
- umfassende Anwendungssuite vor dem ersten abgenommenen Nutzerpfad.
5. Pflege und Steuerung
Der jeweils aktive Meilenstein erhält ein kleines umsetzbares Arbeitspaket mit Owner, Risiken und Abnahmeevidenz. Neue Detaildokumente werden nur erstellt, wenn Zielgruppe oder Betriebsverfahren wirklich eigenständig sind; ansonsten wird das zuständige Rollen-README oder die bestehende SOP erweitert.
Eine Phase gilt nicht wegen implementierter Tasks als abgeschlossen, sondern erst nach ihren Abnahmekriterien. Abweichungen ändern zuerst das zuständige Fachdokument und anschließend nur bei bereichsübergreifender Wirkung diese Roadmap und den zentralen Index.