Doku-Abgleich 2026-11-09: Staende, Widersprueche und CT-103-Referenzen

- GNAI-000: Stand 09.11., Belegter-Stand-Tabelle um Monitoring-Zeile und
  aktualisierte KI-Host/GPU/LLM-Serving/Deployment-Zeilen ergaenzt,
  Ansible-Projekt-Tabelle um LLM-Stack, Monitoring und CT-103 ergaenzt,
  Reverse-Proxy-/DNS-Zeilen um Ansible-Import bzw. mon-Record ergaenzt,
  Leitentscheidungen (Production via ai_environment_switch, Monitoring
  host-lokal) aufgenommen, bereits erledigte Entscheidungstore
  (Backupziel, 64k/128k, M2/M3) aus der Offenen-Liste genommen
- GNAI-001: Ausführungsstand 09.11.2026 (M2 abgenommen, M3 beschlossen
  05.11., M4 abgenommen 06.11. und nach Neustart 09.11. erneut verifiziert);
  M1-Hinweis: CT-100/CT-103 besitzen inzwischen Ansible-Sollzustand
- GNAI-008: Stand 09.11., Abgrenzung Planung vs. belegter Stand (Abschnitt 14),
  Changelog 0.19/0.20, Abschnitt 15 an M4-Realitaet angepasst, Frage 6 als
  umgesetzt markiert, Re-Verifikation nach Host-Neustart 09.11. inkl. Befund
  gnai-ai-backup Exit 21 nach Boot (fehlende Mount-Reihenfolge; offen:
  RequiresMountsFor in ai_backup), gnai-experimental UID 983 -> 985
- GNAI-009/010: Statuszeilen an Betreiberbeschluss 05.11. bzw. umgesetzte
  Sollkonfiguration angepasst, Changelog 0.11
- GNENC-000/001/002: state/system.json als entfallen markiert (GNMON-001 v2.0),
  Flask -> Blazor, Monitoring-Status aktualisiert
- GNMON-001 v2.1 und planning-Snapshot: Umsetzungsabweichungen nachgefuehrt
- GNAI-002/003: gpu_fan_control bzw. Konten gn-download/gn-dashboard/
  gn-monitor/gn-media ergaenzt (live per getent verifiziert 09.11.)
- GNAI-006 v3.0: Ansible-Sollzustand importiert/adoptiert, Verifikation 09.11.
- GNAI-013, proxmox-server/README.md: CT-103-Automation-Referenz
- AGENTS.md: CT-103 nicht mehr "root-only" (ghost-agent/ghost seit 22.09.2026,
  ansible-deploy seit 07.11.2026; live geprueft 09.11.2026)
- llm-server/README.md: Doku-Spiegel um monitoring/ ergaenzt

Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
This commit is contained in:
2026-11-09 05:40:57 +01:00
parent bf0ec37fc1
commit 8ed62ec978
17 changed files with 201 additions and 99 deletions
@@ -1,8 +1,8 @@
# Video-Encoding – Dokumentationsindex und Projektstand
**Dokumenten-ID:** GNENC-000-DOC
**Stand:** 2026-10-30
**Status:** Planungsabschluss; externe Abhängigkeiten (CT-101, PVE-Host-NFS) umgesetzt; Implementierung auf ghostnet-ki noch nicht begonnen
**Stand:** 2026-11-09
**Status:** Planungsabschluss; externe Abhängigkeiten (CT-101, PVE-Host-NFS) umgesetzt; Monitoring-Bereich produktiv (GNMON-000 M1–M5); Encoding-Implementierung auf ghostnet-ki noch nicht begonnen
## Dokumente
@@ -46,8 +46,9 @@ beschrieben.
gn-dashboard). Legacy-Medien-Cron auf dem PVE-Host entfernt
(`pve_media_cron`, GNAI-017 Abschnitt 6.11).
- Verzeichnislayout: `input/<Profil>/*.dlc`, `jd/`, `queue/<Profil>/<Release>/`,
`work/`, `output/<Profil>/<Release>/` + `output/_failed/`, `state/jobs/` +
`state/system.json`.
`work/`, `output/<Profil>/<Release>/` + `output/_failed/`, `state/jobs/`
(`state/system.json` entfällt seit GNMON-001 v2.0 — Systemmetriken laufen
über node_exporter/VictoriaMetrics, siehe GNMON-000).
- Konten: `gn-encoding` (982, eingerichtet und verifiziert), `gn-download`
(983, jDownloader2 + VPN-Sidecar), `gn-dashboard` (984, Dashboard,
Monitoring-Bereich); gemeinsame Gruppe `gn-media` (GID 970, auch auf CT-101).
@@ -68,8 +69,8 @@ beschrieben.
`ghost`; Entnahme per `mv` räumt auf; optionaler Clean-Job nach 30 Tagen);
`.dlc`-Drop über Share `[Encode-In]`; kein smbd auf `ghostnet-ki`.
- Statusmodell: JSON pro Videodatei in `state/jobs/`, atomar geschrieben;
Systemmetriken in `state/system.json` (Metrics-Collector des
Monitoring-Bereichs).
Systemmetriken über node_exporter/VictoriaMetrics (GNMON-001 v2.0,
`state/system.json` entfällt).
- Ressourcenlimits: Quadlet/cgroup (Worker MemoryMax 16G, Nice 10, IOWeight 50;
jDownloader2 MemoryMax 2G, CPUWeight 50, IOWeight 20; VPN-Sidecar 256M).
- Images: Worker als Eigenbau auf Basis des gepinnten HandBrake-Digests
@@ -90,5 +91,5 @@ beschrieben.
unter gleichzeitiger Inferenzlast.
3. Rootless-TUN-Verifizierung für den VPN-Sidecar auf dem Host.
4. Implementierung auf ghostnet-ki: Image-Bauten, Quadlet-Units (inkl.
VPN-Sidecar), Worker-Skript, JD2-Event-Scripter, Monitoring-Bereich
(Collector, Dashboard).
VPN-Sidecar), Worker-Skript, JD2-Event-Scripter. Der Monitoring-Bereich
(Collector, Dashboard, Alerting) ist mit GNMON-000 M1–M5 umgesetzt.
@@ -2,8 +2,8 @@
**Dokumenten-ID:** GNENC-001-PLAN
**Titel:** CPU-basiertes Video-Encoding auf dem KI-Server
**Stand:** 2026-10-30
**Status:** Finaler Plan nach Planungsabschluss am 19.10.2026; externe Abhängigkeiten (CT-101, PVE-Host-NFS) umgesetzt (GNAI-019); die operative Pipeline ist in GNENC-002 spezifiziert, das host-weite Monitoring in GNMON-001
**Stand:** 2026-11-09
**Status:** Finaler Plan nach Planungsabschluss am 19.10.2026; externe Abhängigkeiten (CT-101, PVE-Host-NFS) umgesetzt (GNAI-019); die operative Pipeline ist in GNENC-002 spezifiziert, das host-weite Monitoring in GNMON-001 (v2.0, M1–M5 produktiv — `state/system.json` entfällt)
## 1. Zweck und Abgrenzung
@@ -50,8 +50,8 @@ beschrieben.
| Validierung | HandBrakeCLI-Exit 0, nicht-leere Zieldatei, vorhandener Videostream, fehlerfreie ffmpeg-Volldecodierung (leere stderr) und ffprobe-Dauerabweichung ≤ 1 s | Betreiberentscheidung 19.10.2026 |
| Fehlerbehandlung | fehlerhafte Zieldatei löschen, Quelldatei nach `output/_failed/<Release>/` verschieben (Quarantäne pro Datei); erfolgreiche Dateien desselben Releases bleiben verschont | Betreiberentscheidung 19.10.2026; geändert gegenüber nächtlichem Retry |
| Aufbewahrung | Quelldatei wird nach erfolgreichem Encoding und Validierung gelöscht; Output bleibt bis zur Abholung; `work/` wird pro Lauf geleert; `done`-Status wird nach 30 Tagen gelöscht | Betreiberentscheidung 19.10.2026 |
| Statusmodell | eine JSON-Datei pro Videodatei unter `state/jobs/`, atomar geschrieben (Encoding); Systemmetriken in `state/system.json` werden vom Metrics-Collector des Monitoring-Bereichs bereitgestellt | Betreiberentscheidung 19.10.2026 |
| Statusanzeige | Dashboard im Monitoring-Bereich (GNMON-001): Container unter `gn-dashboard` (Python/Flask), nur lesende Mounts; erreichbar über NPM (CT-103) mit Keycloak-Absicherung | Betreiberentscheidung 19.10.2026 |
| Statusmodell | eine JSON-Datei pro Videodatei unter `state/jobs/`, atomar geschrieben (Encoding); Systemmetriken laufen seit GNMON-001 v2.0 über node_exporter/VictoriaMetrics (`state/system.json` entfällt) | Betreiberentscheidung 19.10.2026; geändert durch GNMON-001 v2.0 (03.11.2026) |
| Statusanzeige | Dashboard im Monitoring-Bereich (GNMON-001 v2.0): Blazor Server (.NET 10) unter `gn-dashboard`, nur lesende Mounts; erreichbar über NPM (CT-103, `mon.ghostnet.selfhost.eu`) mit Keycloak-OIDC | Betreiberentscheidung 19.10.2026; geändert durch GNMON-001 v2.0 (03.11.2026) |
| Ressourcenlimits | Quadlet-/cgroup-Limits: Worker MemoryMax 16G, Nice 10, IOWeight 50; jDownloader2 MemoryMax 2G, CPUWeight 50, IOWeight 20, Nice 10; VPN-Sidecar MemoryMax 256M, CPUWeight 50; keine CPU-Obergrenze fürs Encoding | Betreiberentscheidung 19.10.2026; Feinjustierung nach Lasttest offen |
| Zugangsdaten | jDownloader2-Credentials und VPN-WireGuard-Config liegen server-lokal unter `/etc/ghostnet-download/` (`jdownloader/`, `vpn.env`; root-owned, nicht in git); im Repository nur Platzhalter/Beispiele | Betreiberentscheidung 19.10.2026 |
@@ -2,8 +2,8 @@
**Dokumenten-ID:** GNENC-002-PLAN
**Titel:** Encoding-Pipeline: Komponenten, Konten, Verzeichnislayout und Datenfluss
**Stand:** 2026-10-30
**Status:** Finaler Plan nach Betreiberentscheidungen vom 19.10.2026; externe Abhängigkeiten umgesetzt (GNAI-019)
**Stand:** 2026-11-09
**Status:** Finaler Plan nach Betreiberentscheidungen vom 19.10.2026; externe Abhängigkeiten umgesetzt (GNAI-019); Monitoring-Schnittstelle an GNMON-001 v2.0 angepasst (`state/system.json` entfällt)
**Vorgänger:** [GNENC-001-PLAN_Architecture.md](GNENC-001-PLAN_Architecture.md)
**Monitoring:** [GNMON-001-PLAN_Architecture.md](../monitoring/GNMON-001-PLAN_Architecture.md)
**Samba/NFS:** [GNAI-017](../../proxmox-server/lxc/ct-101-samba/GNAI-017-PLAN_Samba-NFS-Export.md), [GNAI-019](../../proxmox-server/lxc/ct-101-samba/GNAI-019-DEC_Ansible-Migration.md) — SMB auf CT-101, Kernel-NFS auf dem PVE-Host
@@ -69,14 +69,13 @@ World-Write (Mode 2777), nicht über Gruppen-Abgleich; siehe Abschnitt 4.
│ └── _failed/<Release>/ gn-media 2777 Quarantäne
└── state/ gn-media 2750 Status (Dashboard liest)
├── jobs/<job_id>.json gn-encoding 0750 Status pro Videodatei
├── tmp/ gn-encoding 0750 atomare Schreib-Zwischenlage
└── system.json Collector 0644 Systemmetriken (Monitoring)
└── tmp/ gn-encoding 0750 atomare Schreib-Zwischenlage
```
`state/` ist `gn-encoding:gn-media` mit Mode `2750`, damit `gn-dashboard` lesen
kann; `state/jobs/` und `state/tmp/` bleiben `0750` (nur Worker).
`state/system.json` wird vom Metrics-Collector des Monitoring-Bereichs mit
`0644` geschrieben.
`state/system.json` entfällt seit GNMON-001 v2.0 (03.11.2026): Systemmetriken
werden über node_exporter/VictoriaMetrics bereitgestellt (GNMON-000).
Handover-Regeln:
@@ -224,8 +223,8 @@ Lebenszyklus: `queued` → `encoding` → `verifying` → `done` | `failed`.
Aufbewahrung: `done` nach 30 Tagen gelöscht; `failed` bis zur manuellen
Prüfung.
`state/system.json` (Systemmetriken) wird vom Metrics-Collector des
Monitoring-Bereichs bereitgestellt (GNMON-001).
Systemmetriken werden seit GNMON-001 v2.0 über node_exporter/VictoriaMetrics
bereitgestellt (GNMON-000); `state/system.json` entfällt.
## 8. Ressourcenlimits
@@ -243,10 +242,11 @@ Lasttest unter Inferenzlast (GNENC-001 Abschnitt 4).
## 9. Monitoring (Auslagerung)
Dashboard und Metrics-Collector werden im Monitoring-Bereich geplant und
betrieben (GNMON-001, `llm-server/monitoring/`). Die Encoding-Pipeline stellt
`state/jobs/*.json` bereit; der Collector schreibt `state/system.json`; das
Dashboard mountet `state/` und `queue/` read-only und zeigt Ressourcen sowie
Dashboard und Metriken werden im Monitoring-Bereich betrieben (GNMON-001 v2.0,
`llm-server/monitoring/`; M1–M5 produktiv, GNMON-000). Die Encoding-Pipeline
stellt `state/jobs/*.json` bereit; Systemmetriken laufen über den
GNMON-Metrikpfad (`state/system.json` entfällt seit v2.0); das Dashboard liest
`state/` und `queue/` read-only und zeigt Ressourcen sowie
Encoding-Übersicht. Das Dashboard hat keinen GPU- und keinen Schreibzugriff.
## 10. Images