Files
infrastructure/docs/platform/llm-server/encoding/GNENC-000-DOC_Index.md
T
spektrandMistral Vibe b9b7a982ea Doku-Abgleich 2026-11-14: Planungsstände auf M5/M6-Stand gebracht, Widersprüche beseitigt
- GNAI-000: Stand 14.11.; M6 öffentlich live seit 11.11. (Websuche 12.11., Theme 14.11.); mon-Proxyhost als eingerichtet (09.11., ID 14); Deployment um M5-Fortschritt 10.11. (statische CI, CT-116-Runner, Branch-Protection) ergänzt; Dashboard v0.3.6
- GNAI-001: Kopf-Status aktualisiert; M1-Rest an GNAI-000 §4 angeglichen (Restore-Pfad CT 100→CT 150 belegt); CT-100-Adoption 09.11. nachgetragen; M5-Ausführungsstand 10.11.; M6 live mit offenen Nacharbeiten (u. a. Lizenz-/Nutzungsrahmen-Nachweis GNAI-009 10.4)
- GNAI-013: Stand 14.11.; Zielstruktur um CT 116 und monitoring/ ergänzt; CT 104 als entfernt (10.11.) korrigiert; Abschnitt E: KI-Server/LLM-Slice abgehakt, Resolver-Abstimmung offen
- GNMON-000: Stand 14.11.; Workstation-Journald-Schritt erledigt; Dashboard v0.3.6 (Favicon-Revert 14.11.)
- GNENC-000: GNMON M1–M6, Stand 14.11.
- GNAI-008: Kopf-Stand 14.11., v0.19 (M5-Fortschritt §12, M6-Verweis GNAI-020/021)

Link-Check: OK (252 relative Links in 101 Dateien)

Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
2026-11-14 14:19:45 +01:00

96 lines
5.8 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Video-Encoding – Dokumentationsindex und Projektstand
**Dokumenten-ID:** GNENC-000-DOC
**Stand:** 2026-11-14
**Status:** Planungsabschluss; externe Abhängigkeiten (CT-101, PVE-Host-NFS) umgesetzt; Monitoring-Bereich produktiv (GNMON-000 M1–M6); Encoding-Implementierung auf ghostnet-ki noch nicht begonnen
## Dokumente
| Dokument | Zweck / Zielgruppe |
| --- | --- |
| [GNENC-001-PLAN_Architecture.md](GNENC-001-PLAN_Architecture.md) | finale Architektur, Repository-Grenzen, Ressourcenmodell und offene Entscheidungen; Infrastrukturadministratoren |
| [GNENC-002-PLAN_Pipeline.md](GNENC-002-PLAN_Pipeline.md) | operative Pipeline: Komponenten, Konten, Verzeichnislayout, Datenfluss, Validierung, Statusmodell; Infrastrukturadministratoren und Betreiber |
Dashboard und Systemmetriken sind in den Monitoring-Bereich ausgelagert:
[Monitoring → GNMON-000](../monitoring/GNMON-000-DOC_Index.md).
Die Samba-/NFS-Anbindung auf CT-101 ist in
[GNAI-017](../../proxmox-server/lxc/ct-101-samba/GNAI-017-PLAN_Samba-NFS-Export.md)
beschrieben.
## Bestätigter Stand
- Planungsabschluss am 19.10.2026: Die Pipeline besteht aus VPN-Sidecar
(ProtonVPN), jDownloader2 (Download), Encoding-Worker (HandBrakeCLI +
ffmpeg); Handover ausschließlich über das Filesystem, In-Progress-Schutz
über Work-Ordner und atomares `mv`.
- Speicherort: PVE-Host-Medienverbund `/media/datenhdd3` (per LXC-Mount auch
in CT-101 sichtbar) — NFS-Export `10.0.0.2:/media/datenhdd3/Encoding`,
gemountet auf `/var/lib/ghostnet-encoding` (ghostnet-ki hat nur eine
2-TB-NVMe; die Medienbibliothek liegt auf dem PVE-Host/CT-101).
- CT-101 per Ansible adoptiert und PVE-Host-NFS umgesetzt (GNAI-019);
Verifikation 30.10.2026: CT-101 `verify-production` `ok=47 changed=0`;
PVE-Host nach autorisierter Konvergenz: Export-Root `100000:970 2775`,
NFSv4-only wirksam (`-3`), `verify-production` `ok=17 changed=0`,
Idempotenz `changed=0`. Berechtigungsmodell entschieden: Mode 2777 auf den
SMB-berührten Verzeichnissen (GNENC-002 Abschnitt 4).
- Implementierung 30.10.2026: Konten `gn-download` (983), `gn-dashboard` (984)
und Gruppe `gn-media` (GID 970) per `workload_accounts` angelegt — `gn-media`
als **primäre** Gruppe der drei Pipeline-Konten (AUTH_SYS über NFSv4 wirkte
serverseitig nicht mit Supplementary-Gruppen; Befund 30.10.2026,
GNENC-002 Abschnitt 3); Sudoers des Deploy-Kontos auf `(ALL:ALL)` verbreitert
(`become_user` für die Dienstkonten). NFS-Mount auf
`/var/lib/ghostnet-pipeline` aktiv (außerhalb der Homes); Layout auf dem
Export erzeugt und verifiziert; Handover-Simulation
(`verify-pipeline-handover.yml`) einmal vollständig bestanden
(CT-101-`.dlc`-Drop → gn-download → queue → gn-encoding → output/state →
gn-dashboard). Legacy-Medien-Cron auf dem PVE-Host entfernt
(`pve_media_cron`, GNAI-017 Abschnitt 6.11).
- Verzeichnislayout: `input/<Profil>/*.dlc`, `jd/`, `queue/<Profil>/<Release>/`,
`work/`, `output/<Profil>/<Release>/` + `output/_failed/`, `state/jobs/`
(`state/system.json` entfällt seit GNMON-001 v2.0 — Systemmetriken laufen
über node_exporter/VictoriaMetrics, siehe GNMON-000).
- Konten: `gn-encoding` (982, eingerichtet und verifiziert), `gn-download`
(983, jDownloader2 + VPN-Sidecar), `gn-dashboard` (984, Dashboard,
Monitoring-Bereich); gemeinsame Gruppe `gn-media` (GID 970, auch auf CT-101).
- VPN: gesamter jDownloader2-Verkehr über ProtonVPN-WireGuard
(gluetun-Sidecar mit Kill Switch); WireGuard-Credentials server-lokal in
`/etc/ghostnet-download/vpn.env`, nicht in git.
- Profile: drei versionierte HandBrake-Presets (SVT-AV1 10-bit, MKV,
Audio-Passthrough) unter `llm-server/encoding/profiles/`; Auswahl über
gleichnamige Ordner, keine Auto-Detection.
- Zeitplan: dauerhaft laufende Dienste; der Worker startet neue Releases nur
00:00–06:00 Uhr Europe/Berlin, laufende Jobs laufen über das Fenster hinaus
(kein Abbruch am Fensterende).
- Validierung: Exit 0, nicht-leere Zieldatei, Videostream vorhanden,
ffmpeg-Volldecodierung ohne stderr-Fehler, Dauerabweichung ≤ 1 s.
- Fehlerbehandlung: Quarantäne pro Datei nach `output/_failed/`; Status
`failed` bis zur manuellen Prüfung.
- Abholung: fertige Outputs per SMB über CT-101 (Share `[Encode]`, RW für
`ghost`; Entnahme per `mv` räumt auf; optionaler Clean-Job nach 30 Tagen);
`.dlc`-Drop über Share `[Encode-In]`; kein smbd auf `ghostnet-ki`.
- Statusmodell: JSON pro Videodatei in `state/jobs/`, atomar geschrieben;
Systemmetriken über node_exporter/VictoriaMetrics (GNMON-001 v2.0,
`state/system.json` entfällt).
- Ressourcenlimits: Quadlet/cgroup (Worker MemoryMax 16G, Nice 10, IOWeight 50;
jDownloader2 MemoryMax 2G, CPUWeight 50, IOWeight 20; VPN-Sidecar 256M).
- Images: Worker als Eigenbau auf Basis des gepinnten HandBrake-Digests
(`linuxserver/handbrake:1.11.2-ls48`, `sha256:fda92bd1…48a3c7`) mit python3
und ffmpeg; `jlesage/jdownloader-2` und `qmcgaw/gluetun` gepinnt.
- Credentials: server-lokal unter `/etc/ghostnet-download/` (`jdownloader/`,
`vpn.env`), nicht in git; Platzhalter im Repository.
- Der Ansible-Grundzustand für `gn-encoding` ist eingerichtet und verifiziert
(Check-Mode und Idempotenzlauf `changed=0`); es existieren noch keine
Quadlets, Container oder Timer für den Encoding-Workload.
## Noch offen
1. Output-Pickup über CT-101 (SMB) einmal als geschlossener Ablauf
nachweisen (Nachtest zum 30.10.2026 — der Durchlauf wurde durch den
Server-Shutdown unterbrochen; GNENC-002 Abschnitt 11).
2. Feinjustierung der Ressourcenlimits nach einem repräsentativen Encoding-Test
unter gleichzeitiger Inferenzlast.
3. Rootless-TUN-Verifizierung für den VPN-Sidecar auf dem Host.
4. Implementierung auf ghostnet-ki: Image-Bauten, Quadlet-Units (inkl.
VPN-Sidecar), Worker-Skript, JD2-Event-Scripter. Der Monitoring-Bereich
(Collector, Dashboard, Alerting) ist mit GNMON-000 M1–M6 umgesetzt.