gnai-ai-backup: Boot-Rennen um den NFS-Mount beheben (RequiresMountsFor)
Befund 09.11.2026: Beim Host-Neustart lief gnai-ai-backup.service um
05:05:45 mit Exit 21, weil /var/lib/ghostnet-pipeline noch nicht gemountet
war. Ursache: Die Service-Unit enthielt After=var-lib-ghostnet-pipeline.mount
- systemd escapt das '-' als \x2d, die reale Mount-Unit heisst
var-lib-ghostnet\x2dpipeline.mount; der literale Name existierte nie
(not-found) und ein blosses After= zieht die Mount-Unit ohne Requires auch
nicht in die Timer-Start-Transaktion.
Fix: RequiresMountsFor={{ ai_backup_nfs_mountpoint }} in der Service-Unit
(ergibt Requires=+After= auf die korrekt escapte Mount-Unit; systemd leitet
den Unit-Namen aus dem Pfad ab). Bei NFS-Ausfall nach Boot schlaegt jetzt die
Mount-Unit fehl und der Service mit Dependency-Fehler statt stillem Exit 21.
Verifiziert 09.11.2026 (Deploy via playbooks/backup.yml, production-Inventar,
ansible-deploy): systemctl show/list-dependencies listen die Mount-Unit unter
Requires=/After=; manueller systemctl start -> Result=success, Archiv
ghostnet-ai-backup-20261109-0544.tar.gz auf dem NFS-Share mit sha256-Sidecar
(sha256sum -c OK, 123 Members, keine *.gguf); Rollen-Zweitlauf changed=0.
Doku: ai_backup-README, GNAI-008 14.6 (Befund als geloest markiert) + Changelog
0.21, GNAI-000 KI-Host-Zeile aktualisiert.
Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
This commit is contained in:
@@ -86,7 +86,7 @@ Hauptverzeichnisse `llm-server/host/` (Grundkonfiguration des Servers),
|
|||||||
|
|
||||||
| Bereich | Nachgewiesen | Noch nicht nachgewiesen |
|
| Bereich | Nachgewiesen | Noch nicht nachgewiesen |
|
||||||
| --- | --- | --- |
|
| --- | --- | --- |
|
||||||
| KI-Host | Debian 13.6, Deployment-Zugang, Podman 5.4.2, getrennte rootless Konten, Gerätezugriff für beide KI-Konten; IPv4-only (31.10., GNAI-002 6); Lüftersteuerungs-Dienst `gnai-gpu-fan-control` als Dauerlösung (05.11., GNAI-010 10.10); Backup/Restore praktisch belegt (06.11., GNAI-008 14.6); Host-Neustart mit automatischem Production-Recovery (06.11. und erneut 09.11.2026, GNAI-008 14.6) | Host-/Treiber-Upgradepfad; Backup-Unit ohne Mount-Reihenfolge (Befund 09.11.2026: Exit 21 nach Boot, GNAI-008 14.6) |
|
| KI-Host | Debian 13.6, Deployment-Zugang, Podman 5.4.2, getrennte rootless Konten, Gerätezugriff für beide KI-Konten; IPv4-only (31.10., GNAI-002 6); Lüftersteuerungs-Dienst `gnai-gpu-fan-control` als Dauerlösung (05.11., GNAI-010 10.10); Backup/Restore praktisch belegt (06.11., GNAI-008 14.6) und Backup-Unit per `RequiresMountsFor` boot-sicher (Fix 09.11., GNAI-008 14.6/0.21); Host-Neustart mit automatischem Production-Recovery (06.11. und erneut 09.11.2026, GNAI-008 14.6) | Host-/Treiber-Upgradepfad |
|
||||||
| GPU/ROCm | beide RX 6900 XT als `gfx1030`, `ROCm0` und `ROCm1` im gepinnten Testing-Image erkannt; Modellladen, Layer-Verteilung und reale Inferenz auf beiden GPUs; 64k- und 128k-Stabilität in Testing (GNAI-010 10.5–10.9); GPU-Sensoren im Monitoring mit Alarmgrenzen (GNMON-000 M4/M5, verifiziert 09.11.2026) | Hardware-Ursache des thermischen Defekts an Slot `03:00.0` (GNAI-010 10.10) — Lüfterkurven-Service überbrückt als Dauerlösung |
|
| GPU/ROCm | beide RX 6900 XT als `gfx1030`, `ROCm0` und `ROCm1` im gepinnten Testing-Image erkannt; Modellladen, Layer-Verteilung und reale Inferenz auf beiden GPUs; 64k- und 128k-Stabilität in Testing (GNAI-010 10.5–10.9); GPU-Sensoren im Monitoring mit Alarmgrenzen (GNMON-000 M4/M5, verifiziert 09.11.2026) | Hardware-Ursache des thermischen Defekts an Slot `03:00.0` (GNAI-010 10.10) — Lüfterkurven-Service überbrückt als Dauerlösung |
|
||||||
| LLM-Serving | drei gepinnte Profile (Swift 1.0, Swift 1.5, Unsloth); Testing-Abnahme 64k/128k je Profil (GNAI-010 10.5–10.9); Production-Umgebung live mit Swift 1.5 Q6_K seit 06.11.2026 (Betreiberbeschluss 05.11., GNAI-009 10.4) inklusive Health, Alias und Inferenztest; exklusive Umschaltmechanik mit Recovery (GNAI-008 14.6, T1–T7; nach Neustart 09.11.2026 `gn_ai_active_env{env="production"}=1` verifiziert) | öffentlicher Nutzerpfad (M6), LLM-Metriken jenseits `gn_ai_active_env`, Nutzerakzeptanzprüfung (GNAI-009 5.3) |
|
| LLM-Serving | drei gepinnte Profile (Swift 1.0, Swift 1.5, Unsloth); Testing-Abnahme 64k/128k je Profil (GNAI-010 10.5–10.9); Production-Umgebung live mit Swift 1.5 Q6_K seit 06.11.2026 (Betreiberbeschluss 05.11., GNAI-009 10.4) inklusive Health, Alias und Inferenztest; exklusive Umschaltmechanik mit Recovery (GNAI-008 14.6, T1–T7; nach Neustart 09.11.2026 `gn_ai_active_env{env="production"}=1` verifiziert) | öffentlicher Nutzerpfad (M6), LLM-Metriken jenseits `gn_ai_active_env`, Nutzerakzeptanzprüfung (GNAI-009 5.3) |
|
||||||
| Deployment | lokales Ansible-Control-Projekt und idempotente Hostrollen; Production-Inventar mit Referenz- und Rollback-Profil, `ai_environment_switch` und Backup-Timer deployt und abgenommen (GNAI-008 14.6) | statische CI, Runner, geschützte Freigaben und automatisierter Rollback über die Delivery-Kette |
|
| Deployment | lokales Ansible-Control-Projekt und idempotente Hostrollen; Production-Inventar mit Referenz- und Rollback-Profil, `ai_environment_switch` und Backup-Timer deployt und abgenommen (GNAI-008 14.6) | statische CI, Runner, geschützte Freigaben und automatisierter Rollback über die Delivery-Kette |
|
||||||
|
|||||||
@@ -40,6 +40,7 @@
|
|||||||
| 2026-10-31 | 0.18 | spektr / Mistral Vibe | Deployment-Plan mit Betreiberentscheidungen vom 31.10.2026 überarbeitet: dritte Umgebung Experimental, exklusives GPU-Scheduling mit schnellem Umschalter und kommunizierten Zeitfenstern, Wartungsseite/transparenter Endpunktwechsel für nutzerseitige Dienste, Model-Store als Kernrolle, verallgemeinerte Engine-Rolle, Gitea-Actions-Kette mit reduziertem Production-Scope, Strata als erster Experimental-Kandidat (Abschnitt 7.6) |
|
| 2026-10-31 | 0.18 | spektr / Mistral Vibe | Deployment-Plan mit Betreiberentscheidungen vom 31.10.2026 überarbeitet: dritte Umgebung Experimental, exklusives GPU-Scheduling mit schnellem Umschalter und kommunizierten Zeitfenstern, Wartungsseite/transparenter Endpunktwechsel für nutzerseitige Dienste, Model-Store als Kernrolle, verallgemeinerte Engine-Rolle, Gitea-Actions-Kette mit reduziertem Production-Scope, Strata als erster Experimental-Kandidat (Abschnitt 7.6) |
|
||||||
| 2026-11-06 | 0.19 | spektr / Mistral Vibe | M4 umgesetzt und abgenommen (Abschnitt 14.6): Production-Inventar mit Referenz- (Swift 1.5) und Rollback-Profil (Unsloth), Rolle `ai_environment_switch` (Abschnitt 7.3) mit Recovery-Timer, Rolle `ai_backup` (Wochen-Timer auf NFS-Pipeline-Share), Verfügbarkeitsmetrik `gn_ai_active_env`; Abnahme T1–T7, echter Hostreboot, Restore-Nachweise R1/R2 |
|
| 2026-11-06 | 0.19 | spektr / Mistral Vibe | M4 umgesetzt und abgenommen (Abschnitt 14.6): Production-Inventar mit Referenz- (Swift 1.5) und Rollback-Profil (Unsloth), Rolle `ai_environment_switch` (Abschnitt 7.3) mit Recovery-Timer, Rolle `ai_backup` (Wochen-Timer auf NFS-Pipeline-Share), Verfügbarkeitsmetrik `gn_ai_active_env`; Abnahme T1–T7, echter Hostreboot, Restore-Nachweise R1/R2 |
|
||||||
| 2026-11-09 | 0.20 | Mistral Vibe | Re-Verifikation nach Host-Neustart (09.11.2026, ~05:05 CET): Recovery-Service stellte Production automatisch wieder her (`gn_ai_active_env{env="production"}=1`, Engine `gnai-production-llama-swift15` aktiv). Befund: `gnai-ai-backup.service` lief beim Boot mit Exit 21 (NFS-Mountpoint zu diesem Zeitpunkt noch nicht gemountet) — Timer (Persistent) und Service haben keine Mount-Abhängigkeit; offen: `RequiresMountsFor=/var/lib/ghostnet-pipeline` in der `ai_backup`-Rolle (Abschnitt 14.6) |
|
| 2026-11-09 | 0.20 | Mistral Vibe | Re-Verifikation nach Host-Neustart (09.11.2026, ~05:05 CET): Recovery-Service stellte Production automatisch wieder her (`gn_ai_active_env{env="production"}=1`, Engine `gnai-production-llama-swift15` aktiv). Befund: `gnai-ai-backup.service` lief beim Boot mit Exit 21 (NFS-Mountpoint zu diesem Zeitpunkt noch nicht gemountet) — Timer (Persistent) und Service haben keine Mount-Abhängigkeit; offen: `RequiresMountsFor=/var/lib/ghostnet-pipeline` in der `ai_backup`-Rolle (Abschnitt 14.6) |
|
||||||
|
| 2026-11-09 | 0.21 | Mistral Vibe | Befund aus 0.20 behoben: `ai_backup`-Service-Unit nutzt jetzt `RequiresMountsFor={{ ai_backup_nfs_mountpoint }}` (die bisherige `After=var-lib-ghostnet-pipeline.mount` passte nicht zur escapten Unit `var-lib-ghostnet\x2dpipeline.mount`). Deploy via `backup.yml` (production), verifiziert: systemd-Requires/After auf die Mount-Unit, manueller Lauf `Result=success` mit sha256-verifiziertem Archiv auf dem NFS-Share, Rollen-Zweitlauf `changed=0` (Abschnitt 14.6) |
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
@@ -1014,12 +1015,23 @@ Production ohne Zutun hoch (`gn_ai_active_env{env="production"}=1` in
|
|||||||
VictoriaMetrics, `llama-server` als `gnai-production` mit
|
VictoriaMetrics, `llama-server` als `gnai-production` mit
|
||||||
`gnai-production-llama-swift15` aktiv, Dashboard HTTP 200, vmalert gesund
|
`gnai-production-llama-swift15` aktiv, Dashboard HTTP 200, vmalert gesund
|
||||||
mit geladener Regelgruppe `gnmon-ai`, Alertmanager leer, Loki nach kurzer
|
mit geladener Regelgruppe `gnmon-ai`, Alertmanager leer, Loki nach kurzer
|
||||||
WAL-Replay-Phase `/ready` 200). **Befund:** `gnai-ai-backup.service` lief
|
WAL-Replay-Phase `/ready` 200). **Befund (gelöst noch am 09.11.2026):** `gnai-ai-backup.service` lief
|
||||||
beim Boot um 05:05:45 mit Exit 21 (NFS-Mountpoint `/var/lib/ghostnet-pipeline`
|
beim Boot um 05:05:45 mit Exit 21 (NFS-Mountpoint `/var/lib/ghostnet-pipeline`
|
||||||
zu diesem Zeitpunkt noch nicht gemountet), weil Timer (`Persistent=true`) und
|
zu diesem Zeitpunkt noch nicht gemountet). Ursache: Die Service-Unit enthielt
|
||||||
Service keine Mount-Abhängigkeit deklarieren; nächster planmäßiger Lauf
|
`After=var-lib-ghostnet-pipeline.mount` — systemd escapt das `-` im Pfad als
|
||||||
So 15.11.2026 03:30. Offen: `RequiresMountsFor=/var/lib/ghostnet-pipeline`
|
`\x2d`, die reale Mount-Unit heißt `var-lib-ghostnet\x2dpipeline.mount`; der
|
||||||
(oder `After=` auf die Mount-Unit) in der Rolle `ai_backup` ergänzen.
|
literale Name existierte nie (`systemctl` zeigte ihn als `not-found`), die
|
||||||
|
Ordering griff also nicht, und ein bloßes `After=` zieht die Mount-Unit ohne
|
||||||
|
`Requires` ohnehin nicht in die Start-Transaktion des Timers. Fix in der Rolle
|
||||||
|
`ai_backup`: `RequiresMountsFor={{ ai_backup_nfs_mountpoint }}` (ergibt
|
||||||
|
`Requires=` + `After=` auf die korrekt escapte Mount-Unit). Verifiziert
|
||||||
|
09.11.2026 nach Deploy via `playbooks/backup.yml` (production): `systemctl
|
||||||
|
show` listet `var-lib-ghostnet\x2dpipeline.mount` unter Requires=/After=,
|
||||||
|
manuelles `systemctl start gnai-ai-backup.service` → `Result=success`
|
||||||
|
(Archiv `ghostnet-ai-backup-20261109-0544.tar.gz` auf dem Share,
|
||||||
|
`sha256sum -c` OK, 123 Members, keine `*.gguf`), Zweitlauf der Rolle
|
||||||
|
`changed=0`. Bei nicht erreichbarem NFS-Export nach Boot schlägt die Mount-Unit
|
||||||
|
fehl und der Service mit Dependency-Fehler — sichtbar statt stillem Exit 21.
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
|
|||||||
@@ -26,6 +26,17 @@ before it replaces the last good file; retention keeps the newest
|
|||||||
(the timer does this weekly; `systemctl list-timers gnai-ai-backup*`
|
(the timer does this weekly; `systemctl list-timers gnai-ai-backup*`
|
||||||
shows the next run).
|
shows the next run).
|
||||||
- Watch: `journalctl -u gnai-ai-backup.service -n 20`.
|
- Watch: `journalctl -u gnai-ai-backup.service -n 20`.
|
||||||
|
- Boot ordering: the service unit carries
|
||||||
|
`RequiresMountsFor=/var/lib/ghostnet-pipeline`, so every start (including
|
||||||
|
the Persistent timer run after a reboot) pulls in and waits for the
|
||||||
|
escaped mount unit `var-lib-ghostnet\x2dpipeline.mount`. The earlier
|
||||||
|
literal `After=var-lib-ghostnet-pipeline.mount` never matched the escaped
|
||||||
|
unit name and therefore never ordered anything — at boot on 09.11.2026 the
|
||||||
|
timer raced the mount and the script exited 21 (GNAI-008 14.6). Fixed and
|
||||||
|
verified 09.11.2026: `systemctl show` lists the mount unit under
|
||||||
|
Requires=/After=, a manual `systemctl start` finished with
|
||||||
|
`Result=success` and produced a sha256-verified archive on the share, and
|
||||||
|
a second role run reports `changed=0`.
|
||||||
|
|
||||||
## Restore SOP
|
## Restore SOP
|
||||||
|
|
||||||
|
|||||||
@@ -2,8 +2,18 @@
|
|||||||
[Unit]
|
[Unit]
|
||||||
# GNAI-001 M4 configuration backup; target is the NFS pipeline share.
|
# GNAI-001 M4 configuration backup; target is the NFS pipeline share.
|
||||||
Description=Ghostnet AI configuration backup
|
Description=Ghostnet AI configuration backup
|
||||||
After=network-online.target var-lib-ghostnet-pipeline.mount
|
# RequiresMountsFor derives the correctly escaped mount unit
|
||||||
|
# (var-lib-ghostnet\x2dpipeline.mount) from the path and adds Requires=+After=,
|
||||||
|
# so the mount is pulled into every start transaction. A literal
|
||||||
|
# After=var-lib-ghostnet-pipeline.mount does NOT match the escaped unit name
|
||||||
|
# and never ordered anything: at boot the Persistent timer raced the mount
|
||||||
|
# and the script exited 21 (Befund 09.11.2026, GNAI-008 14.6).
|
||||||
|
RequiresMountsFor={{ ai_backup_nfs_mountpoint }}
|
||||||
|
After=network-online.target
|
||||||
Wants=network-online.target
|
Wants=network-online.target
|
||||||
|
# If the NFS export is unreachable at boot, the mount unit fails and this
|
||||||
|
# service fails with a dependency error instead of silently exiting 21;
|
||||||
|
# the weekly timer retries on the next scheduled run.
|
||||||
|
|
||||||
[Service]
|
[Service]
|
||||||
Type=oneshot
|
Type=oneshot
|
||||||
|
|||||||
Reference in New Issue
Block a user