Doku-Abgleich 2026-11-09: Staende, Widersprueche und CT-103-Referenzen
- GNAI-000: Stand 09.11., Belegter-Stand-Tabelle um Monitoring-Zeile und aktualisierte KI-Host/GPU/LLM-Serving/Deployment-Zeilen ergaenzt, Ansible-Projekt-Tabelle um LLM-Stack, Monitoring und CT-103 ergaenzt, Reverse-Proxy-/DNS-Zeilen um Ansible-Import bzw. mon-Record ergaenzt, Leitentscheidungen (Production via ai_environment_switch, Monitoring host-lokal) aufgenommen, bereits erledigte Entscheidungstore (Backupziel, 64k/128k, M2/M3) aus der Offenen-Liste genommen - GNAI-001: Ausführungsstand 09.11.2026 (M2 abgenommen, M3 beschlossen 05.11., M4 abgenommen 06.11. und nach Neustart 09.11. erneut verifiziert); M1-Hinweis: CT-100/CT-103 besitzen inzwischen Ansible-Sollzustand - GNAI-008: Stand 09.11., Abgrenzung Planung vs. belegter Stand (Abschnitt 14), Changelog 0.19/0.20, Abschnitt 15 an M4-Realitaet angepasst, Frage 6 als umgesetzt markiert, Re-Verifikation nach Host-Neustart 09.11. inkl. Befund gnai-ai-backup Exit 21 nach Boot (fehlende Mount-Reihenfolge; offen: RequiresMountsFor in ai_backup), gnai-experimental UID 983 -> 985 - GNAI-009/010: Statuszeilen an Betreiberbeschluss 05.11. bzw. umgesetzte Sollkonfiguration angepasst, Changelog 0.11 - GNENC-000/001/002: state/system.json als entfallen markiert (GNMON-001 v2.0), Flask -> Blazor, Monitoring-Status aktualisiert - GNMON-001 v2.1 und planning-Snapshot: Umsetzungsabweichungen nachgefuehrt - GNAI-002/003: gpu_fan_control bzw. Konten gn-download/gn-dashboard/ gn-monitor/gn-media ergaenzt (live per getent verifiziert 09.11.) - GNAI-006 v3.0: Ansible-Sollzustand importiert/adoptiert, Verifikation 09.11. - GNAI-013, proxmox-server/README.md: CT-103-Automation-Referenz - AGENTS.md: CT-103 nicht mehr "root-only" (ghost-agent/ghost seit 22.09.2026, ansible-deploy seit 07.11.2026; live geprueft 09.11.2026) - llm-server/README.md: Doku-Spiegel um monitoring/ ergaenzt Generated by Mistral Vibe. Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
This commit is contained in:
@@ -2,15 +2,16 @@
|
||||
|
||||
**Dokumenten-ID:** GNAI-008-PLAN
|
||||
**Titel:** Ansible-Deployment für den KI-Server – Planungsstand
|
||||
**Stand:** 2026-10-31
|
||||
**Status:** Nicht finaler Arbeitsentwurf zur Persistierung des aktuellen Planungsstands
|
||||
**Stand:** 2026-11-09
|
||||
**Status:** Nicht finaler Arbeitsentwurf zur Persistierung des Planungsstands; der belegte Implementierungsstand bis einschließlich M4 steht in Abschnitt 14 (14.6)
|
||||
**Referenzen:** [Projektstand](../../../GNAI-000-DOC_Index.md), [Zielarchitektur](GNAI-004-INFRA_Architecture.md), [Modellbewertung](GNAI-009-PLAN_Llama-Model-Evaluation.md), [llama.cpp-Sollkonfiguration](GNAI-010-TECH_Llama-Serving.md), [Zugriffskonzept](../../GNAI-005-SEC_Access-Control.md)
|
||||
|
||||
> **Abgrenzung:** Dieses Dokument hält die Ergebnisse der am 19.09.2026
|
||||
> begonnenen und bis zum 21.09.2026 fortgeschriebenen Planungssession fest. Es ist
|
||||
> **Abgrenzung:** Die Abschnitte 1–13 halten die Ergebnisse der am 19.09.2026
|
||||
> begonnenen und bis zum 31.10.2026 fortgeschriebenen Planungssession fest. Sie sind
|
||||
> weder eine freigegebene technische Spezifikation noch
|
||||
> eine Installationsanleitung oder ein Nachweis über bereits umgesetzte
|
||||
> Komponenten. Entscheidungen, die noch geprüft oder bestätigt werden müssen,
|
||||
> eine Installationsanleitung. Abschnitt 14 (inkl. 14.6) dokumentiert dagegen den
|
||||
> belegten, live umgesetzten Ansible-Stand bis einschließlich M4 (06.11.2026).
|
||||
> Entscheidungen, die noch geprüft oder bestätigt werden müssen,
|
||||
> sind ausdrücklich als vorläufig oder offen gekennzeichnet.
|
||||
|
||||
---
|
||||
@@ -37,6 +38,8 @@
|
||||
| 2026-09-21 | 0.16 | spektr / Codex | überholten Phasen- und Dokumentenbacklog konsolidiert, Umsetzungsreihenfolge an GNAI-001 delegiert und privilegierten Runner nach Recovery verschoben |
|
||||
| 2026-10-19 | 0.17 | spektr / Mistral Vibe | LLM-Server-Projekt in die fachlichen Hauptverzeichnisse `host/`, `llm/` und `encoding/` aufgeteilt; Abschnitte 6 und 7.4 an die neue Struktur angepasst |
|
||||
| 2026-10-31 | 0.18 | spektr / Mistral Vibe | Deployment-Plan mit Betreiberentscheidungen vom 31.10.2026 überarbeitet: dritte Umgebung Experimental, exklusives GPU-Scheduling mit schnellem Umschalter und kommunizierten Zeitfenstern, Wartungsseite/transparenter Endpunktwechsel für nutzerseitige Dienste, Model-Store als Kernrolle, verallgemeinerte Engine-Rolle, Gitea-Actions-Kette mit reduziertem Production-Scope, Strata als erster Experimental-Kandidat (Abschnitt 7.6) |
|
||||
| 2026-11-06 | 0.19 | spektr / Mistral Vibe | M4 umgesetzt und abgenommen (Abschnitt 14.6): Production-Inventar mit Referenz- (Swift 1.5) und Rollback-Profil (Unsloth), Rolle `ai_environment_switch` (Abschnitt 7.3) mit Recovery-Timer, Rolle `ai_backup` (Wochen-Timer auf NFS-Pipeline-Share), Verfügbarkeitsmetrik `gn_ai_active_env`; Abnahme T1–T7, echter Hostreboot, Restore-Nachweise R1/R2 |
|
||||
| 2026-11-09 | 0.20 | Mistral Vibe | Re-Verifikation nach Host-Neustart (09.11.2026, ~05:05 CET): Recovery-Service stellte Production automatisch wieder her (`gn_ai_active_env{env="production"}=1`, Engine `gnai-production-llama-swift15` aktiv). Befund: `gnai-ai-backup.service` lief beim Boot mit Exit 21 (NFS-Mountpoint zu diesem Zeitpunkt noch nicht gemountet) — Timer (Persistent) und Service haben keine Mount-Abhängigkeit; offen: `RequiresMountsFor=/var/lib/ghostnet-pipeline` in der `ai_backup`-Rolle (Abschnitt 14.6) |
|
||||
|
||||
---
|
||||
|
||||
@@ -435,8 +438,9 @@ Unterverzeichnisse, Eigentümer sowie Unit- und Container-Namen werden mit den
|
||||
jeweiligen Fachrollen festgelegt. Die Konten `gnai-production` und
|
||||
`gnai-testing` besitzen inzwischen ihre Datenwurzeln und getrennten rootless
|
||||
Podman-Stores; Konfiguration bleibt rootverwaltet und für die jeweilige Gruppe
|
||||
lesbar. `gnai-experimental` (983) wird analog über `workload_accounts`
|
||||
nachgezogen. Der Encoding-Workload verwendet entsprechend
|
||||
lesbar. `gnai-experimental` wird analog über `workload_accounts`
|
||||
nachgezogen (geplante UID 985; die 983 ist inzwischen an `gn-download`
|
||||
vergeben, siehe GNAI-003). Der Encoding-Workload verwendet entsprechend
|
||||
`/etc/ghostnet-encoding` und `/var/lib/ghostnet-encoding`.
|
||||
|
||||
### 7.5 ROCm- und `llama.cpp`-Ausgangskonfiguration
|
||||
@@ -750,6 +754,12 @@ Frage 6 – der Umschaltmechanismus ist die exklusive hostseitige Rolle
|
||||
Timeout- und Recovery-Details bleiben offen. Die übrigen Fragen gelten
|
||||
unverändert.
|
||||
|
||||
Stand 06.11.2026: Frage 6 ist umgesetzt und abgenommen — `ai_environment_switch`
|
||||
inkl. flock-Lock, Stop-vor-Start, GPU-Freigabenachweis, Health-Warte, atomarer
|
||||
Zustandsdatei und Recovery-Timer (Abschnitt 14.6, T1–T7 bestanden; nach
|
||||
Host-Neustart am 09.11.2026 automatisches Recovery auf Production verifiziert).
|
||||
Frage 5 bleibt bis zur Delivery-Kette (Gitea Actions, Meilenstein 5) offen.
|
||||
|
||||
---
|
||||
|
||||
## 13. Referenzstand der Planung
|
||||
@@ -998,34 +1008,45 @@ abgebrochener Testlauf wird hostseitig ohne Production-Secrets
|
||||
rückgerollt (Timer/Service), Backup/Restore sind praktisch belegt und
|
||||
Alarmgrenzen stehen.
|
||||
|
||||
**Re-Verifikation 09.11.2026 (Mistral Vibe, read-only via `ghost-agent`):**
|
||||
Host-Neustart am 09.11.2026 gegen 05:05 CET; der Recovery-Service brachte
|
||||
Production ohne Zutun hoch (`gn_ai_active_env{env="production"}=1` in
|
||||
VictoriaMetrics, `llama-server` als `gnai-production` mit
|
||||
`gnai-production-llama-swift15` aktiv, Dashboard HTTP 200, vmalert gesund
|
||||
mit geladener Regelgruppe `gnmon-ai`, Alertmanager leer, Loki nach kurzer
|
||||
WAL-Replay-Phase `/ready` 200). **Befund:** `gnai-ai-backup.service` lief
|
||||
beim Boot um 05:05:45 mit Exit 21 (NFS-Mountpoint `/var/lib/ghostnet-pipeline`
|
||||
zu diesem Zeitpunkt noch nicht gemountet), weil Timer (`Persistent=true`) und
|
||||
Service keine Mount-Abhängigkeit deklarieren; nächster planmäßiger Lauf
|
||||
So 15.11.2026 03:30. Offen: `RequiresMountsFor=/var/lib/ghostnet-pipeline`
|
||||
(oder `After=` auf die Mount-Unit) in der Rolle `ai_backup` ergänzen.
|
||||
|
||||
---
|
||||
|
||||
## 15. Abschlussgrenze dieses Entwurfs
|
||||
|
||||
Mit Version 0.15 sind der aktuelle Planungsstand, der ausdrücklich begrenzte
|
||||
Ansible-Preflight, der verifizierte Deployment-Account und die angewendete
|
||||
minimale Host-Baseline, die Podman-/Quadlet-Grundruntime und die getrennten
|
||||
Workload-Konten, deren begrenzter AMD-Gerätezugriff sowie der rootless
|
||||
ROCm-/`llama.cpp`-Gerätenachweis für Testing persistiert.
|
||||
Insbesondere wurden noch nicht:
|
||||
Mit Version 0.15 waren der Planungsstand, der begrenzte Ansible-Preflight, der
|
||||
verifizierte Deployment-Account, die Host-Baseline, die Podman-/Quadlet-
|
||||
Grundruntime, die getrennten Workload-Konten und der rootless ROCm-/`llama.cpp`-
|
||||
Gerätenachweis für Testing persistiert.
|
||||
|
||||
- ein Gitea Runner angelegt,
|
||||
- Gitea Actions oder Schutzregeln konfiguriert,
|
||||
- eine dauerhafte `llama.cpp`-Anwendungsrolle, ein Production-Inventar oder ein
|
||||
Vault erstellt,
|
||||
- eine Production- oder Testing-Umgebung eingerichtet oder voneinander
|
||||
abgenommen,
|
||||
- ein dauerhafter GPU-Container, ein Modell oder eine Anwendung auf dem
|
||||
KI-Server eingerichtet,
|
||||
- Backups oder Rollbacks praktisch getestet oder
|
||||
- die geplante Deploymentkette technisch abgenommen.
|
||||
Mit Abschnitt 14.6 (Revision 0.19, 06.11.2026) sind inzwischen zusätzlich
|
||||
belegt: die verallgemeinerte Engine-Rolle mit gepinntem Image, der gemeinsame
|
||||
Model-Store, die Testing-Abnahme der Profile (GNAI-010 10.5–10.9), das
|
||||
Production-Inventar mit Referenz- und Rollback-Profil, die Production- und
|
||||
Testing-Umgebung inklusive gegenseitigem Ausschluss, die Umschaltmechanik
|
||||
`ai_environment_switch` mit Recovery sowie Backups und Rollbacks mit praktischem
|
||||
Restore-Nachweis. Ein dauerhafter GPU-Container mit geladenem Modell läuft als
|
||||
Production (`gnai-production-llama-swift15`).
|
||||
|
||||
Mit Revision 0.18 ist der nächste KI-spezifische Schritt die verallgemeinerte
|
||||
Rolle `inference_engine` (erstes Profil: `llama.cpp` für Testing) zusammen mit
|
||||
der Rolle `model_store` für den gemeinsamen gepinnten Modellbestand;
|
||||
anschließend folgen `gnai-experimental` samt Strata-Profil (Abschnitt 7.6) und
|
||||
die Gitea-Actions-Kette mit reduziertem Production-Scope (Abschnitt 11). Die
|
||||
bereichsübergreifende Priorität und die Abhängigkeit von den offenen
|
||||
Weiterhin **nicht** umgesetzt:
|
||||
|
||||
- ein Gitea Runner, Gitea Actions oder Schutzregeln,
|
||||
- ein Vault / Secret-Store jenseits der host-lokalen Dateien,
|
||||
- die geplante Deploymentkette (Abschnitt 11) mit Promotion-Tag,
|
||||
- die Umgebung `gnai-experimental` samt Strata-Profil (Abschnitt 7.6).
|
||||
|
||||
Die bereichsübergreifende Priorität und die Abhängigkeit von den offenen
|
||||
Sicherheitsbefunden legt GNAI-001 fest. LiteLLM ist nicht länger automatisch
|
||||
der Folgeschritt, sondern wird vor einer Veröffentlichung anhand der benötigten
|
||||
API-Policies entschieden.
|
||||
|
||||
@@ -2,8 +2,8 @@
|
||||
|
||||
**Dokumenten-ID:** GNAI-009-PLAN
|
||||
**Titel:** Modell- und Laufzeitbewertung für `llama.cpp`
|
||||
**Stand:** 2026-11-01
|
||||
**Status:** Nicht finaler Evaluierungsplan; keine Production-Freigabe
|
||||
**Stand:** 2026-11-05
|
||||
**Status:** Evaluierungsplan mit abgeschlossener Entscheidungsgrundlage (v0.10); Betreiberbeschluss 05.11.2026: Swift 1.5 Q6_K als Production-Profil (Abschnitt 10.4)
|
||||
**Referenzen:** [Ansible-Deployment](GNAI-008-PLAN_Ansible-Deployment.md), [technische Sollkonfiguration](GNAI-010-TECH_Llama-Serving.md), [Zielarchitektur](GNAI-004-INFRA_Architecture.md)
|
||||
|
||||
> Dieses Dokument persistiert die Modellrecherche und legt fest, wie daraus
|
||||
@@ -28,6 +28,7 @@
|
||||
| 2026-11-03 | 0.8 | spektr / Mistral Vibe | Betreiberentscheidung: GPQA Diamond ersetzt (Abschnitt 5.1) – der Benchmark ist im Frontier-Bereich gesättigt (>90 % bei allen Anbietern) und für die A/B-Trennung lokal nicht mehr trennscharf. Ersatz: Berkeley Function Calling Leaderboard (BFCL, `bfcl-eval` 2026.3.23) als etablierter Tool-Use-Benchmark mit mechanischer Bewertung (AST, ausführbare Calls, Irrelevance-Detection), direkt gegen die OpenAI-kompatible Engine-API lauffähig. Agentic-Benchmarks (τ2-bench, Terminal-Bench) bleiben der späteren Stufe mit der Experimental-Umgebung vorbehalten. |
|
||||
| 2026-11-03 | 0.9 | spektr / Mistral Vibe | IFEval- und MATH500-Serie über alle drei Profile abgeschlossen (Abschnitte 10.2/10.3): Swift 1.0 gewinnt beide (IFEval 0,76 vs. 0,70/0,63; MATH500 math_verify 0,32 vs. 0,27/0,28) – Swift 1.5 bleibt nur auf AIME vorn. Das Bild ist damit differenziert: 1.5 für harte Reasoning-/Agentenaufgaben, 1.0 für Instruction-Following und Mathematik. Methodikbefunde: minerva exact_match ist bei allen Profilen 0 (Format-Artefakt der Reasoning-Trennung), math_verify ist die gültige Metrik; die Score-Extraktion des eigenen Effizienzskripts ist je Task-Schema zu korrigieren (aggregate Scores aus results.json sind autoritativ). |
|
||||
| 2026-11-05 | 0.10 | spektr / Mistral Vibe | BFCL-Serie abgeschlossen (Abschnitt 10.4): Swift 1.0 im FC-Modus nachweislich unbrauchbar (~3.500 Thinking-Token je Tool-Call-Request, ~21 min/Testfall, Abbruch nach 3/840 mit Projektion ~275 h – Teilrohdaten als Beweis erhalten). Swift 1.5 und Unsloth praktisch gleichauf in der AST-Genauigkeit (92,0/91,5 vs. 93,0/92,0), Swift 1.5 klar vorn bei der Irrelevance-Detection (82,92 vs. 78,33 %).Gesamtempfehlung: Swift 1.5 als Production-Profil, Unsloth als Testing-Vergleich, Swift 1.0 aus dem aktiven Betrieb. |
|
||||
| 2026-11-05 | 0.11 | spektr / Mistral Vibe | Betreiberbeschluss zur Empfehlung aus 10.4 („ja"): Swift 1.5 Q6_K als Production-Profil angenommen; Testing-Betrieb noch am selben Tag auf Swift 1.5 umgestellt und funktional verifiziert (Thinking-Request korrekt, `reasoning_content` vorhanden). Offen bleibt die Nutzerakzeptanzprüfung (Abschnitt 5.3) auf dem Siegerprofil sowie die Lizenz-/Nutzungsrahmen-Prüfung vor externer Freigabe. |
|
||||
|
||||
---
|
||||
|
||||
|
||||
@@ -2,13 +2,14 @@
|
||||
|
||||
**Dokumenten-ID:** GNAI-010-TECH
|
||||
**Titel:** `llama.cpp`-Serving mit ROCm und rootless Podman
|
||||
**Stand:** 2026-09-21
|
||||
**Status:** Technische Sollkonfiguration für Testing; noch nicht implementiert
|
||||
**Stand:** 2026-11-05
|
||||
**Status:** Sollkonfiguration umgesetzt und in Testing abgenommen (Abschnitt 10.5–10.10); Production-Lauf über `ai_environment_switch` (GNAI-008 14.6)
|
||||
**Referenzen:** [Modellbewertung](GNAI-009-PLAN_Llama-Model-Evaluation.md), [Ansible-Deployment](GNAI-008-PLAN_Ansible-Deployment.md), [Zielarchitektur](GNAI-004-INFRA_Architecture.md), [Ansible-Anleitung](../../../../llm-server/host/ansible/README.md)
|
||||
|
||||
> Dieses Dokument beschreibt den vorgesehenen technischen Sollzustand. Es ist
|
||||
> keine Betriebs-SOP und kein Nachweis, dass Modell, Quadlet oder Inferenz
|
||||
> bereits eingerichtet wurden. Abweichungen aus der Implementierung werden vor
|
||||
> Dieses Dokument beschreibt den technischen Sollzustand. Die Sollkonfiguration
|
||||
> ist inzwischen umgesetzt und in Testing abgenommen (Abschnitt 10.5–10.10);
|
||||
> Production läuft seit 06.11.2026 über `ai_environment_switch` (GNAI-008 14.6).
|
||||
> Es ist keine Betriebs-SOP. Abweichungen aus der Implementierung werden vor
|
||||
> einer Production-Freigabe hier nachgeführt.
|
||||
|
||||
---
|
||||
|
||||
@@ -12,8 +12,8 @@ Video-Encoding-Workload besitzt einen
|
||||
| [GNAI-001](../../../GNAI-001-PLAN_Project-Roadmap.md) | priorisierter High-Level-Implementierungsplan mit Entscheidungstoren und Abnahmekriterien |
|
||||
| [GNAI-004](GNAI-004-INFRA_Architecture.md) | Zielarchitektur, Komponenten und Datenwege des KI-Stacks |
|
||||
| [GNAI-008](GNAI-008-PLAN_Ansible-Deployment.md) | nicht finaler Arbeitsentwurf für Ansible- und Gitea-Deployment |
|
||||
| [GNAI-009](GNAI-009-PLAN_Llama-Model-Evaluation.md) | nicht finaler A/B-Plan für Swift, Unsloth, Reasoning-, Kontext- und MTP-Abnahme |
|
||||
| [GNAI-010](GNAI-010-TECH_Llama-Serving.md) | technische Sollkonfiguration für zwei geprüfte Modellprofile auf rootless `llama.cpp` mit ROCm |
|
||||
| [GNAI-009](GNAI-009-PLAN_Llama-Model-Evaluation.md) | Modellbewertung für Swift/Unsloth; Betreiberbeschluss 05.11.2026: Swift 1.5 Q6_K als Production-Profil (Abschnitt 10.4) |
|
||||
| [GNAI-010](GNAI-010-TECH_Llama-Serving.md) | technische Sollkonfiguration für die Modellprofile auf rootless `llama.cpp` mit ROCm; Testing abgenommen (10.5–10.10), Production live seit 06.11.2026 |
|
||||
|
||||
Der übergreifende Projektstand steht im
|
||||
[zentralen Dokumentationsindex](../../../GNAI-000-DOC_Index.md).
|
||||
|
||||
Reference in New Issue
Block a user