Files
infrastructure/docs/platform/llm-server/encoding/GNENC-000-DOC_Index.md
spektr 8ed62ec978 Doku-Abgleich 2026-11-09: Staende, Widersprueche und CT-103-Referenzen
- GNAI-000: Stand 09.11., Belegter-Stand-Tabelle um Monitoring-Zeile und
  aktualisierte KI-Host/GPU/LLM-Serving/Deployment-Zeilen ergaenzt,
  Ansible-Projekt-Tabelle um LLM-Stack, Monitoring und CT-103 ergaenzt,
  Reverse-Proxy-/DNS-Zeilen um Ansible-Import bzw. mon-Record ergaenzt,
  Leitentscheidungen (Production via ai_environment_switch, Monitoring
  host-lokal) aufgenommen, bereits erledigte Entscheidungstore
  (Backupziel, 64k/128k, M2/M3) aus der Offenen-Liste genommen
- GNAI-001: Ausführungsstand 09.11.2026 (M2 abgenommen, M3 beschlossen
  05.11., M4 abgenommen 06.11. und nach Neustart 09.11. erneut verifiziert);
  M1-Hinweis: CT-100/CT-103 besitzen inzwischen Ansible-Sollzustand
- GNAI-008: Stand 09.11., Abgrenzung Planung vs. belegter Stand (Abschnitt 14),
  Changelog 0.19/0.20, Abschnitt 15 an M4-Realitaet angepasst, Frage 6 als
  umgesetzt markiert, Re-Verifikation nach Host-Neustart 09.11. inkl. Befund
  gnai-ai-backup Exit 21 nach Boot (fehlende Mount-Reihenfolge; offen:
  RequiresMountsFor in ai_backup), gnai-experimental UID 983 -> 985
- GNAI-009/010: Statuszeilen an Betreiberbeschluss 05.11. bzw. umgesetzte
  Sollkonfiguration angepasst, Changelog 0.11
- GNENC-000/001/002: state/system.json als entfallen markiert (GNMON-001 v2.0),
  Flask -> Blazor, Monitoring-Status aktualisiert
- GNMON-001 v2.1 und planning-Snapshot: Umsetzungsabweichungen nachgefuehrt
- GNAI-002/003: gpu_fan_control bzw. Konten gn-download/gn-dashboard/
  gn-monitor/gn-media ergaenzt (live per getent verifiziert 09.11.)
- GNAI-006 v3.0: Ansible-Sollzustand importiert/adoptiert, Verifikation 09.11.
- GNAI-013, proxmox-server/README.md: CT-103-Automation-Referenz
- AGENTS.md: CT-103 nicht mehr "root-only" (ghost-agent/ghost seit 22.09.2026,
  ansible-deploy seit 07.11.2026; live geprueft 09.11.2026)
- llm-server/README.md: Doku-Spiegel um monitoring/ ergaenzt

Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
2026-11-09 05:40:57 +01:00

5.8 KiB
Raw Permalink Blame History

Video-Encoding – Dokumentationsindex und Projektstand

Dokumenten-ID: GNENC-000-DOC Stand: 2026-11-09 Status: Planungsabschluss; externe Abhängigkeiten (CT-101, PVE-Host-NFS) umgesetzt; Monitoring-Bereich produktiv (GNMON-000 M1–M5); Encoding-Implementierung auf ghostnet-ki noch nicht begonnen

Dokumente

Dokument Zweck / Zielgruppe
GNENC-001-PLAN_Architecture.md finale Architektur, Repository-Grenzen, Ressourcenmodell und offene Entscheidungen; Infrastrukturadministratoren
GNENC-002-PLAN_Pipeline.md operative Pipeline: Komponenten, Konten, Verzeichnislayout, Datenfluss, Validierung, Statusmodell; Infrastrukturadministratoren und Betreiber

Dashboard und Systemmetriken sind in den Monitoring-Bereich ausgelagert: Monitoring → GNMON-000. Die Samba-/NFS-Anbindung auf CT-101 ist in GNAI-017 beschrieben.

Bestätigter Stand

  • Planungsabschluss am 19.10.2026: Die Pipeline besteht aus VPN-Sidecar (ProtonVPN), jDownloader2 (Download), Encoding-Worker (HandBrakeCLI + ffmpeg); Handover ausschließlich über das Filesystem, In-Progress-Schutz über Work-Ordner und atomares mv.
  • Speicherort: PVE-Host-Medienverbund /media/datenhdd3 (per LXC-Mount auch in CT-101 sichtbar) — NFS-Export 10.0.0.2:/media/datenhdd3/Encoding, gemountet auf /var/lib/ghostnet-encoding (ghostnet-ki hat nur eine 2-TB-NVMe; die Medienbibliothek liegt auf dem PVE-Host/CT-101).
  • CT-101 per Ansible adoptiert und PVE-Host-NFS umgesetzt (GNAI-019); Verifikation 30.10.2026: CT-101 verify-production ok=47 changed=0; PVE-Host nach autorisierter Konvergenz: Export-Root 100000:970 2775, NFSv4-only wirksam (-3), verify-production ok=17 changed=0, Idempotenz changed=0. Berechtigungsmodell entschieden: Mode 2777 auf den SMB-berührten Verzeichnissen (GNENC-002 Abschnitt 4).
  • Implementierung 30.10.2026: Konten gn-download (983), gn-dashboard (984) und Gruppe gn-media (GID 970) per workload_accounts angelegt — gn-media als primäre Gruppe der drei Pipeline-Konten (AUTH_SYS über NFSv4 wirkte serverseitig nicht mit Supplementary-Gruppen; Befund 30.10.2026, GNENC-002 Abschnitt 3); Sudoers des Deploy-Kontos auf (ALL:ALL) verbreitert (become_user für die Dienstkonten). NFS-Mount auf /var/lib/ghostnet-pipeline aktiv (außerhalb der Homes); Layout auf dem Export erzeugt und verifiziert; Handover-Simulation (verify-pipeline-handover.yml) einmal vollständig bestanden (CT-101-.dlc-Drop → gn-download → queue → gn-encoding → output/state → gn-dashboard). Legacy-Medien-Cron auf dem PVE-Host entfernt (pve_media_cron, GNAI-017 Abschnitt 6.11).
  • Verzeichnislayout: input/<Profil>/*.dlc, jd/, queue/<Profil>/<Release>/, work/, output/<Profil>/<Release>/ + output/_failed/, state/jobs/ (state/system.json entfällt seit GNMON-001 v2.0 — Systemmetriken laufen über node_exporter/VictoriaMetrics, siehe GNMON-000).
  • Konten: gn-encoding (982, eingerichtet und verifiziert), gn-download (983, jDownloader2 + VPN-Sidecar), gn-dashboard (984, Dashboard, Monitoring-Bereich); gemeinsame Gruppe gn-media (GID 970, auch auf CT-101).
  • VPN: gesamter jDownloader2-Verkehr über ProtonVPN-WireGuard (gluetun-Sidecar mit Kill Switch); WireGuard-Credentials server-lokal in /etc/ghostnet-download/vpn.env, nicht in git.
  • Profile: drei versionierte HandBrake-Presets (SVT-AV1 10-bit, MKV, Audio-Passthrough) unter llm-server/encoding/profiles/; Auswahl über gleichnamige Ordner, keine Auto-Detection.
  • Zeitplan: dauerhaft laufende Dienste; der Worker startet neue Releases nur 00:00–06:00 Uhr Europe/Berlin, laufende Jobs laufen über das Fenster hinaus (kein Abbruch am Fensterende).
  • Validierung: Exit 0, nicht-leere Zieldatei, Videostream vorhanden, ffmpeg-Volldecodierung ohne stderr-Fehler, Dauerabweichung ≤ 1 s.
  • Fehlerbehandlung: Quarantäne pro Datei nach output/_failed/; Status failed bis zur manuellen Prüfung.
  • Abholung: fertige Outputs per SMB über CT-101 (Share [Encode], RW für ghost; Entnahme per mv räumt auf; optionaler Clean-Job nach 30 Tagen); .dlc-Drop über Share [Encode-In]; kein smbd auf ghostnet-ki.
  • Statusmodell: JSON pro Videodatei in state/jobs/, atomar geschrieben; Systemmetriken über node_exporter/VictoriaMetrics (GNMON-001 v2.0, state/system.json entfällt).
  • Ressourcenlimits: Quadlet/cgroup (Worker MemoryMax 16G, Nice 10, IOWeight 50; jDownloader2 MemoryMax 2G, CPUWeight 50, IOWeight 20; VPN-Sidecar 256M).
  • Images: Worker als Eigenbau auf Basis des gepinnten HandBrake-Digests (linuxserver/handbrake:1.11.2-ls48, sha256:fda92bd1…48a3c7) mit python3 und ffmpeg; jlesage/jdownloader-2 und qmcgaw/gluetun gepinnt.
  • Credentials: server-lokal unter /etc/ghostnet-download/ (jdownloader/, vpn.env), nicht in git; Platzhalter im Repository.
  • Der Ansible-Grundzustand für gn-encoding ist eingerichtet und verifiziert (Check-Mode und Idempotenzlauf changed=0); es existieren noch keine Quadlets, Container oder Timer für den Encoding-Workload.

Noch offen

  1. Output-Pickup über CT-101 (SMB) einmal als geschlossener Ablauf nachweisen (Nachtest zum 30.10.2026 — der Durchlauf wurde durch den Server-Shutdown unterbrochen; GNENC-002 Abschnitt 11).
  2. Feinjustierung der Ressourcenlimits nach einem repräsentativen Encoding-Test unter gleichzeitiger Inferenzlast.
  3. Rootless-TUN-Verifizierung für den VPN-Sidecar auf dem Host.
  4. Implementierung auf ghostnet-ki: Image-Bauten, Quadlet-Units (inkl. VPN-Sidecar), Worker-Skript, JD2-Event-Scripter. Der Monitoring-Bereich (Collector, Dashboard, Alerting) ist mit GNMON-000 M1–M5 umgesetzt.