M6: OpenWebUI intern produktiv + Produktentscheidung (API+WebUI, LiteLLM nicht fuer M6) (#4)
Co-authored-by: vibe-agent <vibe-agent@ghostnet.local>
This commit was merged in pull request #4.
This commit is contained in:
@@ -88,7 +88,7 @@ Hauptverzeichnisse `llm-server/host/` (Grundkonfiguration des Servers),
|
||||
| --- | --- | --- |
|
||||
| KI-Host | Debian 13.6, Deployment-Zugang, Podman 5.4.2, getrennte rootless Konten, Gerätezugriff für beide KI-Konten; IPv4-only (31.10., GNAI-002 6); Lüftersteuerungs-Dienst `gnai-gpu-fan-control` als Dauerlösung (05.11., GNAI-010 10.10); Backup/Restore praktisch belegt (06.11., GNAI-008 14.6) und Backup-Unit per `RequiresMountsFor` boot-sicher (Fix 09.11., GNAI-008 14.6/0.21); Host-Neustart mit automatischem Production-Recovery (06.11. und erneut 09.11.2026, GNAI-008 14.6) | Host-/Treiber-Upgradepfad |
|
||||
| GPU/ROCm | beide RX 6900 XT als `gfx1030`, `ROCm0` und `ROCm1` im gepinnten Testing-Image erkannt; Modellladen, Layer-Verteilung und reale Inferenz auf beiden GPUs; 64k- und 128k-Stabilität in Testing (GNAI-010 10.5–10.9); GPU-Sensoren im Monitoring mit Alarmgrenzen (GNMON-000 M4/M5, verifiziert 09.11.2026) | Hardware-Ursache des thermischen Defekts an Slot `03:00.0` (GNAI-010 10.10) — Lüfterkurven-Service überbrückt als Dauerlösung |
|
||||
| LLM-Serving | drei gepinnte Profile (Swift 1.0, Swift 1.5, Unsloth); Testing-Abnahme 64k/128k je Profil (GNAI-010 10.5–10.9); Production-Umgebung live mit Swift 1.5 Q6_K seit 06.11.2026 (Betreiberbeschluss 05.11., GNAI-009 10.4) inklusive Health, Alias und Inferenztest; exklusive Umschaltmechanik mit Recovery (GNAI-008 14.6, T1–T7; nach Neustart 09.11.2026 `gn_ai_active_env{env="production"}=1` verifiziert) | öffentlicher Nutzerpfad (M6), LLM-Metriken jenseits `gn_ai_active_env`, Nutzerakzeptanzprüfung (GNAI-009 5.3) |
|
||||
| LLM-Serving | drei gepinnte Profile (Swift 1.0, Swift 1.5, Unsloth); Testing-Abnahme 64k/128k je Profil (GNAI-010 10.5–10.9); Production-Umgebung live mit Swift 1.5 Q6_K seit 06.11.2026 (Betreiberbeschluss 05.11., GNAI-009 10.4) inklusive Health, Alias und Inferenztest; exklusive Umschaltmechanik mit Recovery (GNAI-008 14.6, T1–T7; nach Neustart 09.11.2026 `gn_ai_active_env{env="production"}=1` verifiziert); **OpenWebUI v0.13.3 (digest-gepinnt) intern produktiv seit 10.11.2026** — Health 200, Model-Liste, reale Chat-Completion via OpenWebUI → llama.cpp (Rolle `open_webui`, Playbook `webui.yml`, Ingress `10.0.0.90:8081` nur von NPM, Split-DNS `chat.ghostnet.selfhost.eu` live) | öffentlicher Nutzerpfad (M6: NPM-Route + Keycloak-OIDC für chat.*, externe Pos/Neg-Tests), LLM-Metriken jenseits `gn_ai_active_env`, Nutzerakzeptanzprüfung (GNAI-009 5.3) |
|
||||
| Deployment | lokales Ansible-Control-Projekt und idempotente Hostrollen; Production-Inventar mit Referenz- und Rollback-Profil, `ai_environment_switch` und Backup-Timer deployt und abgenommen (GNAI-008 14.6) | statische CI, Runner, geschützte Freigaben und automatisierter Rollback über die Delivery-Kette |
|
||||
| VPN | wg-easy v15.4.0; einziger Peer `ghost-laptop` als Server Admin; native nftables-Zielpolicy und NAT, Legacy-Bereinigung, Fremdnetz-, Positiv-/Negativ-, Dienst- und LXC-Wiederanlauftests bestanden; CT 104 am 07.10.2026 als zwölftes Ziel praktisch abgenommen; WAN-Exposure-Erfassung 10.11.2026: nur TCP 80/443 offen, keine AAAA (GNAI-007 7); frischer Stop-Mode-vzdump + hostunabhängige Kopie auf `ghostnet-ki` am 10.11.2026 | Fremdnetz-WAN-Rescan vom Hotspot (UDP 51820, TCP-Portmatrix), FRITZ!Box-Forward-/IPv6-Abgleich, wg-easy-GUI-HTTPS und KI-Server-Test bei eingeschaltetem Host |
|
||||
| DNS / Pi-hole | CT 100 unter `10.0.0.14` mit digest-gepinntem Pi-hole 2026.09.0 als Podman-Quadlet; SSH/nftables, UDP/TCP-DNS, Split-DNS, Blocking/Allowlist, FRITZ!Box-Cutover, LXC-Reboot und Stop-Mode-Backup am 01.10.2026 abgenommen; Ansible-Projekt am 09.11.2026 adoptiert (ansible-deploy via pct; `site.yml`/`verify-production` `changed=0`) und Split-DNS-Record `mon.ghostnet.selfhost.eu → 10.0.0.10` live (verifiziert per `dig @10.0.0.14`); frischer Stop-Mode-vzdump + hostunabhängige Kopie auf `ghostnet-ki` + praktischer Restore-Test (CT 150) am 10.11.2026 (GNAI-012 10.2) | vollständige App-/OIDC-Regression, praktischer FRITZ!Box-Rollback, mobile DuckDuckGo-/IPv6-Strategie, WireGuard-Profile |
|
||||
@@ -167,11 +167,20 @@ offenen Erstimplementierungen mehr.
|
||||
|
||||
Noch zu entscheiden sind insbesondere:
|
||||
|
||||
- API-only oder zusätzlich Weboberfläche als erstes Nutzerprodukt;
|
||||
- ob LiteLLM in der ersten Veröffentlichung für individuelle Keys, Quoten oder
|
||||
Routing tatsächlich benötigt wird;
|
||||
- Freigabe- und Secret-Modell für einen späteren privilegierten Runner.
|
||||
|
||||
**Entsieden am 10.11.2026 (Betreiber):** Erstes Nutzerprodukt (M6) ist
|
||||
**API plus Weboberfläche via OpenWebUI** — OpenWebUI sitzt im
|
||||
Production-Netz auf `ghostnet-ki` (`10.0.0.90:8081`, nur NPM darf durch),
|
||||
reicht die Engine über `http://llama-cpp:8080/v1` an und wird öffentlich über
|
||||
NPM + Keycloak-OIDC freigegeben (`chat.ghostnet.selfhost.eu`). **LiteLLM
|
||||
fällt für M6 weg** (Entscheidungstor GNAI-001 M6 geschlossen): individuelle
|
||||
API-Keys und Rollen macht OpenWebUI selbst, Rate-Limits kommen auf
|
||||
NPM-Ebene; LiteLLM bleibt Zielbild-Kandidat, falls später Quotas/Routing
|
||||
pro Backend nötig werden. Interner Slice abgenommen 10.11.2026 (Health,
|
||||
Model-Liste, reale Chat-Completion durch OpenWebUI → llama.cpp mit
|
||||
Token-Usage).
|
||||
|
||||
Bereits entschieden (nicht mehr offen): Das Backupziel ist die bestehende
|
||||
NFS-Anbindung der Encoding-Pipeline (`pve:/media/datenhdd3/Encoding`), die
|
||||
Aufbewahrung beträgt 8 Archive und der Restore ist praktisch belegt
|
||||
|
||||
@@ -41,7 +41,9 @@ Laufprotokolle noch duplizierte Sollparameter.
|
||||
|
||||
- festlegen, ob Sicherheits-Meilenstein 1 den internen LLM-Test blockiert oder
|
||||
kontrolliert parallel läuft;
|
||||
- erstes Produkt als API-only oder API plus Weboberfläche festlegen;
|
||||
- erstes Produkt als API-only oder API plus Weboberfläche festlegen
|
||||
— **entschieden 10.11.2026: API plus Weboberfläche (OpenWebUI)**, siehe
|
||||
GNAI-000 Abschnitt 4;
|
||||
- 64k-Basis und 128k-Ziel als Abnahmemodell bestätigen;
|
||||
- Verantwortliche für Review, Deployment und Sicherheitsabnahme benennen.
|
||||
|
||||
|
||||
Reference in New Issue
Block a user