From 148104de4e482a23900f200c8f62bc0aa9583a4e Mon Sep 17 00:00:00 2001 From: spektr Date: Mon, 9 Nov 2026 05:45:55 +0100 Subject: [PATCH] gnai-ai-backup: Boot-Rennen um den NFS-Mount beheben (RequiresMountsFor) Befund 09.11.2026: Beim Host-Neustart lief gnai-ai-backup.service um 05:05:45 mit Exit 21, weil /var/lib/ghostnet-pipeline noch nicht gemountet war. Ursache: Die Service-Unit enthielt After=var-lib-ghostnet-pipeline.mount - systemd escapt das '-' als \x2d, die reale Mount-Unit heisst var-lib-ghostnet\x2dpipeline.mount; der literale Name existierte nie (not-found) und ein blosses After= zieht die Mount-Unit ohne Requires auch nicht in die Timer-Start-Transaktion. Fix: RequiresMountsFor={{ ai_backup_nfs_mountpoint }} in der Service-Unit (ergibt Requires=+After= auf die korrekt escapte Mount-Unit; systemd leitet den Unit-Namen aus dem Pfad ab). Bei NFS-Ausfall nach Boot schlaegt jetzt die Mount-Unit fehl und der Service mit Dependency-Fehler statt stillem Exit 21. Verifiziert 09.11.2026 (Deploy via playbooks/backup.yml, production-Inventar, ansible-deploy): systemctl show/list-dependencies listen die Mount-Unit unter Requires=/After=; manueller systemctl start -> Result=success, Archiv ghostnet-ai-backup-20261109-0544.tar.gz auf dem NFS-Share mit sha256-Sidecar (sha256sum -c OK, 123 Members, keine *.gguf); Rollen-Zweitlauf changed=0. Doku: ai_backup-README, GNAI-008 14.6 (Befund als geloest markiert) + Changelog 0.21, GNAI-000 KI-Host-Zeile aktualisiert. Generated by Mistral Vibe. Co-Authored-By: Mistral Vibe --- docs/GNAI-000-DOC_Index.md | 2 +- .../ai/GNAI-008-PLAN_Ansible-Deployment.md | 22 ++++++++++++++----- .../llm/ansible/roles/ai_backup/README.md | 11 ++++++++++ .../templates/gnai-ai-backup.service.j2 | 12 +++++++++- 4 files changed, 40 insertions(+), 7 deletions(-) diff --git a/docs/GNAI-000-DOC_Index.md b/docs/GNAI-000-DOC_Index.md index dd0fad2..45a243c 100644 --- a/docs/GNAI-000-DOC_Index.md +++ b/docs/GNAI-000-DOC_Index.md @@ -86,7 +86,7 @@ Hauptverzeichnisse `llm-server/host/` (Grundkonfiguration des Servers), | Bereich | Nachgewiesen | Noch nicht nachgewiesen | | --- | --- | --- | -| KI-Host | Debian 13.6, Deployment-Zugang, Podman 5.4.2, getrennte rootless Konten, Gerätezugriff für beide KI-Konten; IPv4-only (31.10., GNAI-002 6); Lüftersteuerungs-Dienst `gnai-gpu-fan-control` als Dauerlösung (05.11., GNAI-010 10.10); Backup/Restore praktisch belegt (06.11., GNAI-008 14.6); Host-Neustart mit automatischem Production-Recovery (06.11. und erneut 09.11.2026, GNAI-008 14.6) | Host-/Treiber-Upgradepfad; Backup-Unit ohne Mount-Reihenfolge (Befund 09.11.2026: Exit 21 nach Boot, GNAI-008 14.6) | +| KI-Host | Debian 13.6, Deployment-Zugang, Podman 5.4.2, getrennte rootless Konten, Gerätezugriff für beide KI-Konten; IPv4-only (31.10., GNAI-002 6); Lüftersteuerungs-Dienst `gnai-gpu-fan-control` als Dauerlösung (05.11., GNAI-010 10.10); Backup/Restore praktisch belegt (06.11., GNAI-008 14.6) und Backup-Unit per `RequiresMountsFor` boot-sicher (Fix 09.11., GNAI-008 14.6/0.21); Host-Neustart mit automatischem Production-Recovery (06.11. und erneut 09.11.2026, GNAI-008 14.6) | Host-/Treiber-Upgradepfad | | GPU/ROCm | beide RX 6900 XT als `gfx1030`, `ROCm0` und `ROCm1` im gepinnten Testing-Image erkannt; Modellladen, Layer-Verteilung und reale Inferenz auf beiden GPUs; 64k- und 128k-Stabilität in Testing (GNAI-010 10.5–10.9); GPU-Sensoren im Monitoring mit Alarmgrenzen (GNMON-000 M4/M5, verifiziert 09.11.2026) | Hardware-Ursache des thermischen Defekts an Slot `03:00.0` (GNAI-010 10.10) — Lüfterkurven-Service überbrückt als Dauerlösung | | LLM-Serving | drei gepinnte Profile (Swift 1.0, Swift 1.5, Unsloth); Testing-Abnahme 64k/128k je Profil (GNAI-010 10.5–10.9); Production-Umgebung live mit Swift 1.5 Q6_K seit 06.11.2026 (Betreiberbeschluss 05.11., GNAI-009 10.4) inklusive Health, Alias und Inferenztest; exklusive Umschaltmechanik mit Recovery (GNAI-008 14.6, T1–T7; nach Neustart 09.11.2026 `gn_ai_active_env{env="production"}=1` verifiziert) | öffentlicher Nutzerpfad (M6), LLM-Metriken jenseits `gn_ai_active_env`, Nutzerakzeptanzprüfung (GNAI-009 5.3) | | Deployment | lokales Ansible-Control-Projekt und idempotente Hostrollen; Production-Inventar mit Referenz- und Rollback-Profil, `ai_environment_switch` und Backup-Timer deployt und abgenommen (GNAI-008 14.6) | statische CI, Runner, geschützte Freigaben und automatisierter Rollback über die Delivery-Kette | diff --git a/docs/platform/llm-server/ai/GNAI-008-PLAN_Ansible-Deployment.md b/docs/platform/llm-server/ai/GNAI-008-PLAN_Ansible-Deployment.md index 252ae68..86185a5 100644 --- a/docs/platform/llm-server/ai/GNAI-008-PLAN_Ansible-Deployment.md +++ b/docs/platform/llm-server/ai/GNAI-008-PLAN_Ansible-Deployment.md @@ -40,6 +40,7 @@ | 2026-10-31 | 0.18 | spektr / Mistral Vibe | Deployment-Plan mit Betreiberentscheidungen vom 31.10.2026 überarbeitet: dritte Umgebung Experimental, exklusives GPU-Scheduling mit schnellem Umschalter und kommunizierten Zeitfenstern, Wartungsseite/transparenter Endpunktwechsel für nutzerseitige Dienste, Model-Store als Kernrolle, verallgemeinerte Engine-Rolle, Gitea-Actions-Kette mit reduziertem Production-Scope, Strata als erster Experimental-Kandidat (Abschnitt 7.6) | | 2026-11-06 | 0.19 | spektr / Mistral Vibe | M4 umgesetzt und abgenommen (Abschnitt 14.6): Production-Inventar mit Referenz- (Swift 1.5) und Rollback-Profil (Unsloth), Rolle `ai_environment_switch` (Abschnitt 7.3) mit Recovery-Timer, Rolle `ai_backup` (Wochen-Timer auf NFS-Pipeline-Share), Verfügbarkeitsmetrik `gn_ai_active_env`; Abnahme T1–T7, echter Hostreboot, Restore-Nachweise R1/R2 | | 2026-11-09 | 0.20 | Mistral Vibe | Re-Verifikation nach Host-Neustart (09.11.2026, ~05:05 CET): Recovery-Service stellte Production automatisch wieder her (`gn_ai_active_env{env="production"}=1`, Engine `gnai-production-llama-swift15` aktiv). Befund: `gnai-ai-backup.service` lief beim Boot mit Exit 21 (NFS-Mountpoint zu diesem Zeitpunkt noch nicht gemountet) — Timer (Persistent) und Service haben keine Mount-Abhängigkeit; offen: `RequiresMountsFor=/var/lib/ghostnet-pipeline` in der `ai_backup`-Rolle (Abschnitt 14.6) | +| 2026-11-09 | 0.21 | Mistral Vibe | Befund aus 0.20 behoben: `ai_backup`-Service-Unit nutzt jetzt `RequiresMountsFor={{ ai_backup_nfs_mountpoint }}` (die bisherige `After=var-lib-ghostnet-pipeline.mount` passte nicht zur escapten Unit `var-lib-ghostnet\x2dpipeline.mount`). Deploy via `backup.yml` (production), verifiziert: systemd-Requires/After auf die Mount-Unit, manueller Lauf `Result=success` mit sha256-verifiziertem Archiv auf dem NFS-Share, Rollen-Zweitlauf `changed=0` (Abschnitt 14.6) | --- @@ -1014,12 +1015,23 @@ Production ohne Zutun hoch (`gn_ai_active_env{env="production"}=1` in VictoriaMetrics, `llama-server` als `gnai-production` mit `gnai-production-llama-swift15` aktiv, Dashboard HTTP 200, vmalert gesund mit geladener Regelgruppe `gnmon-ai`, Alertmanager leer, Loki nach kurzer -WAL-Replay-Phase `/ready` 200). **Befund:** `gnai-ai-backup.service` lief +WAL-Replay-Phase `/ready` 200). **Befund (gelöst noch am 09.11.2026):** `gnai-ai-backup.service` lief beim Boot um 05:05:45 mit Exit 21 (NFS-Mountpoint `/var/lib/ghostnet-pipeline` -zu diesem Zeitpunkt noch nicht gemountet), weil Timer (`Persistent=true`) und -Service keine Mount-Abhängigkeit deklarieren; nächster planmäßiger Lauf -So 15.11.2026 03:30. Offen: `RequiresMountsFor=/var/lib/ghostnet-pipeline` -(oder `After=` auf die Mount-Unit) in der Rolle `ai_backup` ergänzen. +zu diesem Zeitpunkt noch nicht gemountet). Ursache: Die Service-Unit enthielt +`After=var-lib-ghostnet-pipeline.mount` — systemd escapt das `-` im Pfad als +`\x2d`, die reale Mount-Unit heißt `var-lib-ghostnet\x2dpipeline.mount`; der +literale Name existierte nie (`systemctl` zeigte ihn als `not-found`), die +Ordering griff also nicht, und ein bloßes `After=` zieht die Mount-Unit ohne +`Requires` ohnehin nicht in die Start-Transaktion des Timers. Fix in der Rolle +`ai_backup`: `RequiresMountsFor={{ ai_backup_nfs_mountpoint }}` (ergibt +`Requires=` + `After=` auf die korrekt escapte Mount-Unit). Verifiziert +09.11.2026 nach Deploy via `playbooks/backup.yml` (production): `systemctl +show` listet `var-lib-ghostnet\x2dpipeline.mount` unter Requires=/After=, +manuelles `systemctl start gnai-ai-backup.service` → `Result=success` +(Archiv `ghostnet-ai-backup-20261109-0544.tar.gz` auf dem Share, +`sha256sum -c` OK, 123 Members, keine `*.gguf`), Zweitlauf der Rolle +`changed=0`. Bei nicht erreichbarem NFS-Export nach Boot schlägt die Mount-Unit +fehl und der Service mit Dependency-Fehler — sichtbar statt stillem Exit 21. --- diff --git a/llm-server/llm/ansible/roles/ai_backup/README.md b/llm-server/llm/ansible/roles/ai_backup/README.md index 0b8a328..d099627 100644 --- a/llm-server/llm/ansible/roles/ai_backup/README.md +++ b/llm-server/llm/ansible/roles/ai_backup/README.md @@ -26,6 +26,17 @@ before it replaces the last good file; retention keeps the newest (the timer does this weekly; `systemctl list-timers gnai-ai-backup*` shows the next run). - Watch: `journalctl -u gnai-ai-backup.service -n 20`. +- Boot ordering: the service unit carries + `RequiresMountsFor=/var/lib/ghostnet-pipeline`, so every start (including + the Persistent timer run after a reboot) pulls in and waits for the + escaped mount unit `var-lib-ghostnet\x2dpipeline.mount`. The earlier + literal `After=var-lib-ghostnet-pipeline.mount` never matched the escaped + unit name and therefore never ordered anything — at boot on 09.11.2026 the + timer raced the mount and the script exited 21 (GNAI-008 14.6). Fixed and + verified 09.11.2026: `systemctl show` lists the mount unit under + Requires=/After=, a manual `systemctl start` finished with + `Result=success` and produced a sha256-verified archive on the share, and + a second role run reports `changed=0`. ## Restore SOP diff --git a/llm-server/llm/ansible/roles/ai_backup/templates/gnai-ai-backup.service.j2 b/llm-server/llm/ansible/roles/ai_backup/templates/gnai-ai-backup.service.j2 index 0311ec6..0117532 100644 --- a/llm-server/llm/ansible/roles/ai_backup/templates/gnai-ai-backup.service.j2 +++ b/llm-server/llm/ansible/roles/ai_backup/templates/gnai-ai-backup.service.j2 @@ -2,8 +2,18 @@ [Unit] # GNAI-001 M4 configuration backup; target is the NFS pipeline share. Description=Ghostnet AI configuration backup -After=network-online.target var-lib-ghostnet-pipeline.mount +# RequiresMountsFor derives the correctly escaped mount unit +# (var-lib-ghostnet\x2dpipeline.mount) from the path and adds Requires=+After=, +# so the mount is pulled into every start transaction. A literal +# After=var-lib-ghostnet-pipeline.mount does NOT match the escaped unit name +# and never ordered anything: at boot the Persistent timer raced the mount +# and the script exited 21 (Befund 09.11.2026, GNAI-008 14.6). +RequiresMountsFor={{ ai_backup_nfs_mountpoint }} +After=network-online.target Wants=network-online.target +# If the NFS export is unreachable at boot, the mount unit fails and this +# service fails with a dependency error instead of silently exiting 21; +# the weekly timer retries on the next scheduled run. [Service] Type=oneshot