- GNAI-000: Stand 14.11.; M6 öffentlich live seit 11.11. (Websuche 12.11., Theme 14.11.); mon-Proxyhost als eingerichtet (09.11., ID 14); Deployment um M5-Fortschritt 10.11. (statische CI, CT-116-Runner, Branch-Protection) ergänzt; Dashboard v0.3.6 - GNAI-001: Kopf-Status aktualisiert; M1-Rest an GNAI-000 §4 angeglichen (Restore-Pfad CT 100→CT 150 belegt); CT-100-Adoption 09.11. nachgetragen; M5-Ausführungsstand 10.11.; M6 live mit offenen Nacharbeiten (u. a. Lizenz-/Nutzungsrahmen-Nachweis GNAI-009 10.4) - GNAI-013: Stand 14.11.; Zielstruktur um CT 116 und monitoring/ ergänzt; CT 104 als entfernt (10.11.) korrigiert; Abschnitt E: KI-Server/LLM-Slice abgehakt, Resolver-Abstimmung offen - GNMON-000: Stand 14.11.; Workstation-Journald-Schritt erledigt; Dashboard v0.3.6 (Favicon-Revert 14.11.) - GNENC-000: GNMON M1–M6, Stand 14.11. - GNAI-008: Kopf-Stand 14.11., v0.19 (M5-Fortschritt §12, M6-Verweis GNAI-020/021) Link-Check: OK (252 relative Links in 101 Dateien) Generated by Mistral Vibe. Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
5.8 KiB
5.8 KiB
Video-Encoding – Dokumentationsindex und Projektstand
Dokumenten-ID: GNENC-000-DOC Stand: 2026-11-14 Status: Planungsabschluss; externe Abhängigkeiten (CT-101, PVE-Host-NFS) umgesetzt; Monitoring-Bereich produktiv (GNMON-000 M1–M6); Encoding-Implementierung auf ghostnet-ki noch nicht begonnen
Dokumente
| Dokument | Zweck / Zielgruppe |
|---|---|
| GNENC-001-PLAN_Architecture.md | finale Architektur, Repository-Grenzen, Ressourcenmodell und offene Entscheidungen; Infrastrukturadministratoren |
| GNENC-002-PLAN_Pipeline.md | operative Pipeline: Komponenten, Konten, Verzeichnislayout, Datenfluss, Validierung, Statusmodell; Infrastrukturadministratoren und Betreiber |
Dashboard und Systemmetriken sind in den Monitoring-Bereich ausgelagert: Monitoring → GNMON-000. Die Samba-/NFS-Anbindung auf CT-101 ist in GNAI-017 beschrieben.
Bestätigter Stand
- Planungsabschluss am 19.10.2026: Die Pipeline besteht aus VPN-Sidecar
(ProtonVPN), jDownloader2 (Download), Encoding-Worker (HandBrakeCLI +
ffmpeg); Handover ausschließlich über das Filesystem, In-Progress-Schutz
über Work-Ordner und atomares
mv. - Speicherort: PVE-Host-Medienverbund
/media/datenhdd3(per LXC-Mount auch in CT-101 sichtbar) — NFS-Export10.0.0.2:/media/datenhdd3/Encoding, gemountet auf/var/lib/ghostnet-encoding(ghostnet-ki hat nur eine 2-TB-NVMe; die Medienbibliothek liegt auf dem PVE-Host/CT-101). - CT-101 per Ansible adoptiert und PVE-Host-NFS umgesetzt (GNAI-019);
Verifikation 30.10.2026: CT-101
verify-productionok=47 changed=0; PVE-Host nach autorisierter Konvergenz: Export-Root100000:970 2775, NFSv4-only wirksam (-3),verify-productionok=17 changed=0, Idempotenzchanged=0. Berechtigungsmodell entschieden: Mode 2777 auf den SMB-berührten Verzeichnissen (GNENC-002 Abschnitt 4). - Implementierung 30.10.2026: Konten
gn-download(983),gn-dashboard(984) und Gruppegn-media(GID 970) perworkload_accountsangelegt —gn-mediaals primäre Gruppe der drei Pipeline-Konten (AUTH_SYS über NFSv4 wirkte serverseitig nicht mit Supplementary-Gruppen; Befund 30.10.2026, GNENC-002 Abschnitt 3); Sudoers des Deploy-Kontos auf(ALL:ALL)verbreitert (become_userfür die Dienstkonten). NFS-Mount auf/var/lib/ghostnet-pipelineaktiv (außerhalb der Homes); Layout auf dem Export erzeugt und verifiziert; Handover-Simulation (verify-pipeline-handover.yml) einmal vollständig bestanden (CT-101-.dlc-Drop → gn-download → queue → gn-encoding → output/state → gn-dashboard). Legacy-Medien-Cron auf dem PVE-Host entfernt (pve_media_cron, GNAI-017 Abschnitt 6.11). - Verzeichnislayout:
input/<Profil>/*.dlc,jd/,queue/<Profil>/<Release>/,work/,output/<Profil>/<Release>/+output/_failed/,state/jobs/(state/system.jsonentfällt seit GNMON-001 v2.0 — Systemmetriken laufen über node_exporter/VictoriaMetrics, siehe GNMON-000). - Konten:
gn-encoding(982, eingerichtet und verifiziert),gn-download(983, jDownloader2 + VPN-Sidecar),gn-dashboard(984, Dashboard, Monitoring-Bereich); gemeinsame Gruppegn-media(GID 970, auch auf CT-101). - VPN: gesamter jDownloader2-Verkehr über ProtonVPN-WireGuard
(gluetun-Sidecar mit Kill Switch); WireGuard-Credentials server-lokal in
/etc/ghostnet-download/vpn.env, nicht in git. - Profile: drei versionierte HandBrake-Presets (SVT-AV1 10-bit, MKV,
Audio-Passthrough) unter
llm-server/encoding/profiles/; Auswahl über gleichnamige Ordner, keine Auto-Detection. - Zeitplan: dauerhaft laufende Dienste; der Worker startet neue Releases nur 00:00–06:00 Uhr Europe/Berlin, laufende Jobs laufen über das Fenster hinaus (kein Abbruch am Fensterende).
- Validierung: Exit 0, nicht-leere Zieldatei, Videostream vorhanden, ffmpeg-Volldecodierung ohne stderr-Fehler, Dauerabweichung ≤ 1 s.
- Fehlerbehandlung: Quarantäne pro Datei nach
output/_failed/; Statusfailedbis zur manuellen Prüfung. - Abholung: fertige Outputs per SMB über CT-101 (Share
[Encode], RW fürghost; Entnahme permvräumt auf; optionaler Clean-Job nach 30 Tagen);.dlc-Drop über Share[Encode-In]; kein smbd aufghostnet-ki. - Statusmodell: JSON pro Videodatei in
state/jobs/, atomar geschrieben; Systemmetriken über node_exporter/VictoriaMetrics (GNMON-001 v2.0,state/system.jsonentfällt). - Ressourcenlimits: Quadlet/cgroup (Worker MemoryMax 16G, Nice 10, IOWeight 50; jDownloader2 MemoryMax 2G, CPUWeight 50, IOWeight 20; VPN-Sidecar 256M).
- Images: Worker als Eigenbau auf Basis des gepinnten HandBrake-Digests
(
linuxserver/handbrake:1.11.2-ls48,sha256:fda92bd1…48a3c7) mit python3 und ffmpeg;jlesage/jdownloader-2undqmcgaw/gluetungepinnt. - Credentials: server-lokal unter
/etc/ghostnet-download/(jdownloader/,vpn.env), nicht in git; Platzhalter im Repository. - Der Ansible-Grundzustand für
gn-encodingist eingerichtet und verifiziert (Check-Mode und Idempotenzlaufchanged=0); es existieren noch keine Quadlets, Container oder Timer für den Encoding-Workload.
Noch offen
- Output-Pickup über CT-101 (SMB) einmal als geschlossener Ablauf nachweisen (Nachtest zum 30.10.2026 — der Durchlauf wurde durch den Server-Shutdown unterbrochen; GNENC-002 Abschnitt 11).
- Feinjustierung der Ressourcenlimits nach einem repräsentativen Encoding-Test unter gleichzeitiger Inferenzlast.
- Rootless-TUN-Verifizierung für den VPN-Sidecar auf dem Host.
- Implementierung auf ghostnet-ki: Image-Bauten, Quadlet-Units (inkl. VPN-Sidecar), Worker-Skript, JD2-Event-Scripter. Der Monitoring-Bereich (Collector, Dashboard, Alerting) ist mit GNMON-000 M1–M6 umgesetzt.