Files
infrastructure/docs/platform/llm-server/encoding/GNENC-000-DOC_Index.md
T
spektr 8ed62ec978 Doku-Abgleich 2026-11-09: Staende, Widersprueche und CT-103-Referenzen
- GNAI-000: Stand 09.11., Belegter-Stand-Tabelle um Monitoring-Zeile und
  aktualisierte KI-Host/GPU/LLM-Serving/Deployment-Zeilen ergaenzt,
  Ansible-Projekt-Tabelle um LLM-Stack, Monitoring und CT-103 ergaenzt,
  Reverse-Proxy-/DNS-Zeilen um Ansible-Import bzw. mon-Record ergaenzt,
  Leitentscheidungen (Production via ai_environment_switch, Monitoring
  host-lokal) aufgenommen, bereits erledigte Entscheidungstore
  (Backupziel, 64k/128k, M2/M3) aus der Offenen-Liste genommen
- GNAI-001: Ausführungsstand 09.11.2026 (M2 abgenommen, M3 beschlossen
  05.11., M4 abgenommen 06.11. und nach Neustart 09.11. erneut verifiziert);
  M1-Hinweis: CT-100/CT-103 besitzen inzwischen Ansible-Sollzustand
- GNAI-008: Stand 09.11., Abgrenzung Planung vs. belegter Stand (Abschnitt 14),
  Changelog 0.19/0.20, Abschnitt 15 an M4-Realitaet angepasst, Frage 6 als
  umgesetzt markiert, Re-Verifikation nach Host-Neustart 09.11. inkl. Befund
  gnai-ai-backup Exit 21 nach Boot (fehlende Mount-Reihenfolge; offen:
  RequiresMountsFor in ai_backup), gnai-experimental UID 983 -> 985
- GNAI-009/010: Statuszeilen an Betreiberbeschluss 05.11. bzw. umgesetzte
  Sollkonfiguration angepasst, Changelog 0.11
- GNENC-000/001/002: state/system.json als entfallen markiert (GNMON-001 v2.0),
  Flask -> Blazor, Monitoring-Status aktualisiert
- GNMON-001 v2.1 und planning-Snapshot: Umsetzungsabweichungen nachgefuehrt
- GNAI-002/003: gpu_fan_control bzw. Konten gn-download/gn-dashboard/
  gn-monitor/gn-media ergaenzt (live per getent verifiziert 09.11.)
- GNAI-006 v3.0: Ansible-Sollzustand importiert/adoptiert, Verifikation 09.11.
- GNAI-013, proxmox-server/README.md: CT-103-Automation-Referenz
- AGENTS.md: CT-103 nicht mehr "root-only" (ghost-agent/ghost seit 22.09.2026,
  ansible-deploy seit 07.11.2026; live geprueft 09.11.2026)
- llm-server/README.md: Doku-Spiegel um monitoring/ ergaenzt

Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
2026-11-09 05:40:57 +01:00

96 lines
5.8 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Video-Encoding – Dokumentationsindex und Projektstand
**Dokumenten-ID:** GNENC-000-DOC
**Stand:** 2026-11-09
**Status:** Planungsabschluss; externe Abhängigkeiten (CT-101, PVE-Host-NFS) umgesetzt; Monitoring-Bereich produktiv (GNMON-000 M1–M5); Encoding-Implementierung auf ghostnet-ki noch nicht begonnen
## Dokumente
| Dokument | Zweck / Zielgruppe |
| --- | --- |
| [GNENC-001-PLAN_Architecture.md](GNENC-001-PLAN_Architecture.md) | finale Architektur, Repository-Grenzen, Ressourcenmodell und offene Entscheidungen; Infrastrukturadministratoren |
| [GNENC-002-PLAN_Pipeline.md](GNENC-002-PLAN_Pipeline.md) | operative Pipeline: Komponenten, Konten, Verzeichnislayout, Datenfluss, Validierung, Statusmodell; Infrastrukturadministratoren und Betreiber |
Dashboard und Systemmetriken sind in den Monitoring-Bereich ausgelagert:
[Monitoring → GNMON-000](../monitoring/GNMON-000-DOC_Index.md).
Die Samba-/NFS-Anbindung auf CT-101 ist in
[GNAI-017](../../proxmox-server/lxc/ct-101-samba/GNAI-017-PLAN_Samba-NFS-Export.md)
beschrieben.
## Bestätigter Stand
- Planungsabschluss am 19.10.2026: Die Pipeline besteht aus VPN-Sidecar
(ProtonVPN), jDownloader2 (Download), Encoding-Worker (HandBrakeCLI +
ffmpeg); Handover ausschließlich über das Filesystem, In-Progress-Schutz
über Work-Ordner und atomares `mv`.
- Speicherort: PVE-Host-Medienverbund `/media/datenhdd3` (per LXC-Mount auch
in CT-101 sichtbar) — NFS-Export `10.0.0.2:/media/datenhdd3/Encoding`,
gemountet auf `/var/lib/ghostnet-encoding` (ghostnet-ki hat nur eine
2-TB-NVMe; die Medienbibliothek liegt auf dem PVE-Host/CT-101).
- CT-101 per Ansible adoptiert und PVE-Host-NFS umgesetzt (GNAI-019);
Verifikation 30.10.2026: CT-101 `verify-production` `ok=47 changed=0`;
PVE-Host nach autorisierter Konvergenz: Export-Root `100000:970 2775`,
NFSv4-only wirksam (`-3`), `verify-production` `ok=17 changed=0`,
Idempotenz `changed=0`. Berechtigungsmodell entschieden: Mode 2777 auf den
SMB-berührten Verzeichnissen (GNENC-002 Abschnitt 4).
- Implementierung 30.10.2026: Konten `gn-download` (983), `gn-dashboard` (984)
und Gruppe `gn-media` (GID 970) per `workload_accounts` angelegt — `gn-media`
als **primäre** Gruppe der drei Pipeline-Konten (AUTH_SYS über NFSv4 wirkte
serverseitig nicht mit Supplementary-Gruppen; Befund 30.10.2026,
GNENC-002 Abschnitt 3); Sudoers des Deploy-Kontos auf `(ALL:ALL)` verbreitert
(`become_user` für die Dienstkonten). NFS-Mount auf
`/var/lib/ghostnet-pipeline` aktiv (außerhalb der Homes); Layout auf dem
Export erzeugt und verifiziert; Handover-Simulation
(`verify-pipeline-handover.yml`) einmal vollständig bestanden
(CT-101-`.dlc`-Drop → gn-download → queue → gn-encoding → output/state →
gn-dashboard). Legacy-Medien-Cron auf dem PVE-Host entfernt
(`pve_media_cron`, GNAI-017 Abschnitt 6.11).
- Verzeichnislayout: `input/<Profil>/*.dlc`, `jd/`, `queue/<Profil>/<Release>/`,
`work/`, `output/<Profil>/<Release>/` + `output/_failed/`, `state/jobs/`
(`state/system.json` entfällt seit GNMON-001 v2.0 — Systemmetriken laufen
über node_exporter/VictoriaMetrics, siehe GNMON-000).
- Konten: `gn-encoding` (982, eingerichtet und verifiziert), `gn-download`
(983, jDownloader2 + VPN-Sidecar), `gn-dashboard` (984, Dashboard,
Monitoring-Bereich); gemeinsame Gruppe `gn-media` (GID 970, auch auf CT-101).
- VPN: gesamter jDownloader2-Verkehr über ProtonVPN-WireGuard
(gluetun-Sidecar mit Kill Switch); WireGuard-Credentials server-lokal in
`/etc/ghostnet-download/vpn.env`, nicht in git.
- Profile: drei versionierte HandBrake-Presets (SVT-AV1 10-bit, MKV,
Audio-Passthrough) unter `llm-server/encoding/profiles/`; Auswahl über
gleichnamige Ordner, keine Auto-Detection.
- Zeitplan: dauerhaft laufende Dienste; der Worker startet neue Releases nur
00:00–06:00 Uhr Europe/Berlin, laufende Jobs laufen über das Fenster hinaus
(kein Abbruch am Fensterende).
- Validierung: Exit 0, nicht-leere Zieldatei, Videostream vorhanden,
ffmpeg-Volldecodierung ohne stderr-Fehler, Dauerabweichung ≤ 1 s.
- Fehlerbehandlung: Quarantäne pro Datei nach `output/_failed/`; Status
`failed` bis zur manuellen Prüfung.
- Abholung: fertige Outputs per SMB über CT-101 (Share `[Encode]`, RW für
`ghost`; Entnahme per `mv` räumt auf; optionaler Clean-Job nach 30 Tagen);
`.dlc`-Drop über Share `[Encode-In]`; kein smbd auf `ghostnet-ki`.
- Statusmodell: JSON pro Videodatei in `state/jobs/`, atomar geschrieben;
Systemmetriken über node_exporter/VictoriaMetrics (GNMON-001 v2.0,
`state/system.json` entfällt).
- Ressourcenlimits: Quadlet/cgroup (Worker MemoryMax 16G, Nice 10, IOWeight 50;
jDownloader2 MemoryMax 2G, CPUWeight 50, IOWeight 20; VPN-Sidecar 256M).
- Images: Worker als Eigenbau auf Basis des gepinnten HandBrake-Digests
(`linuxserver/handbrake:1.11.2-ls48`, `sha256:fda92bd1…48a3c7`) mit python3
und ffmpeg; `jlesage/jdownloader-2` und `qmcgaw/gluetun` gepinnt.
- Credentials: server-lokal unter `/etc/ghostnet-download/` (`jdownloader/`,
`vpn.env`), nicht in git; Platzhalter im Repository.
- Der Ansible-Grundzustand für `gn-encoding` ist eingerichtet und verifiziert
(Check-Mode und Idempotenzlauf `changed=0`); es existieren noch keine
Quadlets, Container oder Timer für den Encoding-Workload.
## Noch offen
1. Output-Pickup über CT-101 (SMB) einmal als geschlossener Ablauf
nachweisen (Nachtest zum 30.10.2026 — der Durchlauf wurde durch den
Server-Shutdown unterbrochen; GNENC-002 Abschnitt 11).
2. Feinjustierung der Ressourcenlimits nach einem repräsentativen Encoding-Test
unter gleichzeitiger Inferenzlast.
3. Rootless-TUN-Verifizierung für den VPN-Sidecar auf dem Host.
4. Implementierung auf ghostnet-ki: Image-Bauten, Quadlet-Units (inkl.
VPN-Sidecar), Worker-Skript, JD2-Event-Scripter. Der Monitoring-Bereich
(Collector, Dashboard, Alerting) ist mit GNMON-000 M1–M5 umgesetzt.