Doku-Abgleich 2026-11-09: Staende, Widersprueche und CT-103-Referenzen
- GNAI-000: Stand 09.11., Belegter-Stand-Tabelle um Monitoring-Zeile und aktualisierte KI-Host/GPU/LLM-Serving/Deployment-Zeilen ergaenzt, Ansible-Projekt-Tabelle um LLM-Stack, Monitoring und CT-103 ergaenzt, Reverse-Proxy-/DNS-Zeilen um Ansible-Import bzw. mon-Record ergaenzt, Leitentscheidungen (Production via ai_environment_switch, Monitoring host-lokal) aufgenommen, bereits erledigte Entscheidungstore (Backupziel, 64k/128k, M2/M3) aus der Offenen-Liste genommen - GNAI-001: Ausführungsstand 09.11.2026 (M2 abgenommen, M3 beschlossen 05.11., M4 abgenommen 06.11. und nach Neustart 09.11. erneut verifiziert); M1-Hinweis: CT-100/CT-103 besitzen inzwischen Ansible-Sollzustand - GNAI-008: Stand 09.11., Abgrenzung Planung vs. belegter Stand (Abschnitt 14), Changelog 0.19/0.20, Abschnitt 15 an M4-Realitaet angepasst, Frage 6 als umgesetzt markiert, Re-Verifikation nach Host-Neustart 09.11. inkl. Befund gnai-ai-backup Exit 21 nach Boot (fehlende Mount-Reihenfolge; offen: RequiresMountsFor in ai_backup), gnai-experimental UID 983 -> 985 - GNAI-009/010: Statuszeilen an Betreiberbeschluss 05.11. bzw. umgesetzte Sollkonfiguration angepasst, Changelog 0.11 - GNENC-000/001/002: state/system.json als entfallen markiert (GNMON-001 v2.0), Flask -> Blazor, Monitoring-Status aktualisiert - GNMON-001 v2.1 und planning-Snapshot: Umsetzungsabweichungen nachgefuehrt - GNAI-002/003: gpu_fan_control bzw. Konten gn-download/gn-dashboard/ gn-monitor/gn-media ergaenzt (live per getent verifiziert 09.11.) - GNAI-006 v3.0: Ansible-Sollzustand importiert/adoptiert, Verifikation 09.11. - GNAI-013, proxmox-server/README.md: CT-103-Automation-Referenz - AGENTS.md: CT-103 nicht mehr "root-only" (ghost-agent/ghost seit 22.09.2026, ansible-deploy seit 07.11.2026; live geprueft 09.11.2026) - llm-server/README.md: Doku-Spiegel um monitoring/ ergaenzt Generated by Mistral Vibe. Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
This commit is contained in:
@@ -1,8 +1,8 @@
|
||||
# Video-Encoding – Dokumentationsindex und Projektstand
|
||||
|
||||
**Dokumenten-ID:** GNENC-000-DOC
|
||||
**Stand:** 2026-10-30
|
||||
**Status:** Planungsabschluss; externe Abhängigkeiten (CT-101, PVE-Host-NFS) umgesetzt; Implementierung auf ghostnet-ki noch nicht begonnen
|
||||
**Stand:** 2026-11-09
|
||||
**Status:** Planungsabschluss; externe Abhängigkeiten (CT-101, PVE-Host-NFS) umgesetzt; Monitoring-Bereich produktiv (GNMON-000 M1–M5); Encoding-Implementierung auf ghostnet-ki noch nicht begonnen
|
||||
|
||||
## Dokumente
|
||||
|
||||
@@ -46,8 +46,9 @@ beschrieben.
|
||||
gn-dashboard). Legacy-Medien-Cron auf dem PVE-Host entfernt
|
||||
(`pve_media_cron`, GNAI-017 Abschnitt 6.11).
|
||||
- Verzeichnislayout: `input/<Profil>/*.dlc`, `jd/`, `queue/<Profil>/<Release>/`,
|
||||
`work/`, `output/<Profil>/<Release>/` + `output/_failed/`, `state/jobs/` +
|
||||
`state/system.json`.
|
||||
`work/`, `output/<Profil>/<Release>/` + `output/_failed/`, `state/jobs/`
|
||||
(`state/system.json` entfällt seit GNMON-001 v2.0 — Systemmetriken laufen
|
||||
über node_exporter/VictoriaMetrics, siehe GNMON-000).
|
||||
- Konten: `gn-encoding` (982, eingerichtet und verifiziert), `gn-download`
|
||||
(983, jDownloader2 + VPN-Sidecar), `gn-dashboard` (984, Dashboard,
|
||||
Monitoring-Bereich); gemeinsame Gruppe `gn-media` (GID 970, auch auf CT-101).
|
||||
@@ -68,8 +69,8 @@ beschrieben.
|
||||
`ghost`; Entnahme per `mv` räumt auf; optionaler Clean-Job nach 30 Tagen);
|
||||
`.dlc`-Drop über Share `[Encode-In]`; kein smbd auf `ghostnet-ki`.
|
||||
- Statusmodell: JSON pro Videodatei in `state/jobs/`, atomar geschrieben;
|
||||
Systemmetriken in `state/system.json` (Metrics-Collector des
|
||||
Monitoring-Bereichs).
|
||||
Systemmetriken über node_exporter/VictoriaMetrics (GNMON-001 v2.0,
|
||||
`state/system.json` entfällt).
|
||||
- Ressourcenlimits: Quadlet/cgroup (Worker MemoryMax 16G, Nice 10, IOWeight 50;
|
||||
jDownloader2 MemoryMax 2G, CPUWeight 50, IOWeight 20; VPN-Sidecar 256M).
|
||||
- Images: Worker als Eigenbau auf Basis des gepinnten HandBrake-Digests
|
||||
@@ -90,5 +91,5 @@ beschrieben.
|
||||
unter gleichzeitiger Inferenzlast.
|
||||
3. Rootless-TUN-Verifizierung für den VPN-Sidecar auf dem Host.
|
||||
4. Implementierung auf ghostnet-ki: Image-Bauten, Quadlet-Units (inkl.
|
||||
VPN-Sidecar), Worker-Skript, JD2-Event-Scripter, Monitoring-Bereich
|
||||
(Collector, Dashboard).
|
||||
VPN-Sidecar), Worker-Skript, JD2-Event-Scripter. Der Monitoring-Bereich
|
||||
(Collector, Dashboard, Alerting) ist mit GNMON-000 M1–M5 umgesetzt.
|
||||
|
||||
@@ -2,8 +2,8 @@
|
||||
|
||||
**Dokumenten-ID:** GNENC-001-PLAN
|
||||
**Titel:** CPU-basiertes Video-Encoding auf dem KI-Server
|
||||
**Stand:** 2026-10-30
|
||||
**Status:** Finaler Plan nach Planungsabschluss am 19.10.2026; externe Abhängigkeiten (CT-101, PVE-Host-NFS) umgesetzt (GNAI-019); die operative Pipeline ist in GNENC-002 spezifiziert, das host-weite Monitoring in GNMON-001
|
||||
**Stand:** 2026-11-09
|
||||
**Status:** Finaler Plan nach Planungsabschluss am 19.10.2026; externe Abhängigkeiten (CT-101, PVE-Host-NFS) umgesetzt (GNAI-019); die operative Pipeline ist in GNENC-002 spezifiziert, das host-weite Monitoring in GNMON-001 (v2.0, M1–M5 produktiv — `state/system.json` entfällt)
|
||||
|
||||
## 1. Zweck und Abgrenzung
|
||||
|
||||
@@ -50,8 +50,8 @@ beschrieben.
|
||||
| Validierung | HandBrakeCLI-Exit 0, nicht-leere Zieldatei, vorhandener Videostream, fehlerfreie ffmpeg-Volldecodierung (leere stderr) und ffprobe-Dauerabweichung ≤ 1 s | Betreiberentscheidung 19.10.2026 |
|
||||
| Fehlerbehandlung | fehlerhafte Zieldatei löschen, Quelldatei nach `output/_failed/<Release>/` verschieben (Quarantäne pro Datei); erfolgreiche Dateien desselben Releases bleiben verschont | Betreiberentscheidung 19.10.2026; geändert gegenüber nächtlichem Retry |
|
||||
| Aufbewahrung | Quelldatei wird nach erfolgreichem Encoding und Validierung gelöscht; Output bleibt bis zur Abholung; `work/` wird pro Lauf geleert; `done`-Status wird nach 30 Tagen gelöscht | Betreiberentscheidung 19.10.2026 |
|
||||
| Statusmodell | eine JSON-Datei pro Videodatei unter `state/jobs/`, atomar geschrieben (Encoding); Systemmetriken in `state/system.json` werden vom Metrics-Collector des Monitoring-Bereichs bereitgestellt | Betreiberentscheidung 19.10.2026 |
|
||||
| Statusanzeige | Dashboard im Monitoring-Bereich (GNMON-001): Container unter `gn-dashboard` (Python/Flask), nur lesende Mounts; erreichbar über NPM (CT-103) mit Keycloak-Absicherung | Betreiberentscheidung 19.10.2026 |
|
||||
| Statusmodell | eine JSON-Datei pro Videodatei unter `state/jobs/`, atomar geschrieben (Encoding); Systemmetriken laufen seit GNMON-001 v2.0 über node_exporter/VictoriaMetrics (`state/system.json` entfällt) | Betreiberentscheidung 19.10.2026; geändert durch GNMON-001 v2.0 (03.11.2026) |
|
||||
| Statusanzeige | Dashboard im Monitoring-Bereich (GNMON-001 v2.0): Blazor Server (.NET 10) unter `gn-dashboard`, nur lesende Mounts; erreichbar über NPM (CT-103, `mon.ghostnet.selfhost.eu`) mit Keycloak-OIDC | Betreiberentscheidung 19.10.2026; geändert durch GNMON-001 v2.0 (03.11.2026) |
|
||||
| Ressourcenlimits | Quadlet-/cgroup-Limits: Worker MemoryMax 16G, Nice 10, IOWeight 50; jDownloader2 MemoryMax 2G, CPUWeight 50, IOWeight 20, Nice 10; VPN-Sidecar MemoryMax 256M, CPUWeight 50; keine CPU-Obergrenze fürs Encoding | Betreiberentscheidung 19.10.2026; Feinjustierung nach Lasttest offen |
|
||||
| Zugangsdaten | jDownloader2-Credentials und VPN-WireGuard-Config liegen server-lokal unter `/etc/ghostnet-download/` (`jdownloader/`, `vpn.env`; root-owned, nicht in git); im Repository nur Platzhalter/Beispiele | Betreiberentscheidung 19.10.2026 |
|
||||
|
||||
|
||||
@@ -2,8 +2,8 @@
|
||||
|
||||
**Dokumenten-ID:** GNENC-002-PLAN
|
||||
**Titel:** Encoding-Pipeline: Komponenten, Konten, Verzeichnislayout und Datenfluss
|
||||
**Stand:** 2026-10-30
|
||||
**Status:** Finaler Plan nach Betreiberentscheidungen vom 19.10.2026; externe Abhängigkeiten umgesetzt (GNAI-019)
|
||||
**Stand:** 2026-11-09
|
||||
**Status:** Finaler Plan nach Betreiberentscheidungen vom 19.10.2026; externe Abhängigkeiten umgesetzt (GNAI-019); Monitoring-Schnittstelle an GNMON-001 v2.0 angepasst (`state/system.json` entfällt)
|
||||
**Vorgänger:** [GNENC-001-PLAN_Architecture.md](GNENC-001-PLAN_Architecture.md)
|
||||
**Monitoring:** [GNMON-001-PLAN_Architecture.md](../monitoring/GNMON-001-PLAN_Architecture.md)
|
||||
**Samba/NFS:** [GNAI-017](../../proxmox-server/lxc/ct-101-samba/GNAI-017-PLAN_Samba-NFS-Export.md), [GNAI-019](../../proxmox-server/lxc/ct-101-samba/GNAI-019-DEC_Ansible-Migration.md) — SMB auf CT-101, Kernel-NFS auf dem PVE-Host
|
||||
@@ -69,14 +69,13 @@ World-Write (Mode 2777), nicht über Gruppen-Abgleich; siehe Abschnitt 4.
|
||||
│ └── _failed/<Release>/ gn-media 2777 Quarantäne
|
||||
└── state/ gn-media 2750 Status (Dashboard liest)
|
||||
├── jobs/<job_id>.json gn-encoding 0750 Status pro Videodatei
|
||||
├── tmp/ gn-encoding 0750 atomare Schreib-Zwischenlage
|
||||
└── system.json Collector 0644 Systemmetriken (Monitoring)
|
||||
└── tmp/ gn-encoding 0750 atomare Schreib-Zwischenlage
|
||||
```
|
||||
|
||||
`state/` ist `gn-encoding:gn-media` mit Mode `2750`, damit `gn-dashboard` lesen
|
||||
kann; `state/jobs/` und `state/tmp/` bleiben `0750` (nur Worker).
|
||||
`state/system.json` wird vom Metrics-Collector des Monitoring-Bereichs mit
|
||||
`0644` geschrieben.
|
||||
`state/system.json` entfällt seit GNMON-001 v2.0 (03.11.2026): Systemmetriken
|
||||
werden über node_exporter/VictoriaMetrics bereitgestellt (GNMON-000).
|
||||
|
||||
Handover-Regeln:
|
||||
|
||||
@@ -224,8 +223,8 @@ Lebenszyklus: `queued` → `encoding` → `verifying` → `done` | `failed`.
|
||||
Aufbewahrung: `done` nach 30 Tagen gelöscht; `failed` bis zur manuellen
|
||||
Prüfung.
|
||||
|
||||
`state/system.json` (Systemmetriken) wird vom Metrics-Collector des
|
||||
Monitoring-Bereichs bereitgestellt (GNMON-001).
|
||||
Systemmetriken werden seit GNMON-001 v2.0 über node_exporter/VictoriaMetrics
|
||||
bereitgestellt (GNMON-000); `state/system.json` entfällt.
|
||||
|
||||
## 8. Ressourcenlimits
|
||||
|
||||
@@ -243,10 +242,11 @@ Lasttest unter Inferenzlast (GNENC-001 Abschnitt 4).
|
||||
|
||||
## 9. Monitoring (Auslagerung)
|
||||
|
||||
Dashboard und Metrics-Collector werden im Monitoring-Bereich geplant und
|
||||
betrieben (GNMON-001, `llm-server/monitoring/`). Die Encoding-Pipeline stellt
|
||||
`state/jobs/*.json` bereit; der Collector schreibt `state/system.json`; das
|
||||
Dashboard mountet `state/` und `queue/` read-only und zeigt Ressourcen sowie
|
||||
Dashboard und Metriken werden im Monitoring-Bereich betrieben (GNMON-001 v2.0,
|
||||
`llm-server/monitoring/`; M1–M5 produktiv, GNMON-000). Die Encoding-Pipeline
|
||||
stellt `state/jobs/*.json` bereit; Systemmetriken laufen über den
|
||||
GNMON-Metrikpfad (`state/system.json` entfällt seit v2.0); das Dashboard liest
|
||||
`state/` und `queue/` read-only und zeigt Ressourcen sowie
|
||||
Encoding-Übersicht. Das Dashboard hat keinen GPU- und keinen Schreibzugriff.
|
||||
|
||||
## 10. Images
|
||||
|
||||
Reference in New Issue
Block a user