Befund 11.11.2026: Leistungsgraph der GPUs zeigte nur zwei einzelne Linien.
Ursache: .braille-chart war als Flex-Item in .gpu-chart (display:flex) mit
overflow:hidden auf min-width 0 kollabiert; der ResizeObserver maß die
kollabierte Breite, jede GPU-Kurve erschien als eine einzelne Spalte.
Fix: .gpu-chart display:block + .braille-chart max-width:100%. Verifiziert
per Headless-Chromium/CDP gegen das Live-Dashboard: 249 px breite Charts,
16 Zeilen x 21 Zeichen, 15 Zeilen Kurvendaten, Inferenz-Spitzen sichtbar;
Dataseite unauffällig (121 Punkte/Karte in VM). Test-Debug-Log entfernt.
Auth__Enabled wieder true (302 unauth verifiziert), Image-Store aufgeraeumt
(v0.3.6 + Rollback v0.2.0/v0.1.0), monitor.yml gesamt ok=84 changed=0.
Doku: GNMON-000 Befundsvermerk.
Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
Befund 09.11.2026: Beim Host-Neustart lief gnai-ai-backup.service um
05:05:45 mit Exit 21, weil /var/lib/ghostnet-pipeline noch nicht gemountet
war. Ursache: Die Service-Unit enthielt After=var-lib-ghostnet-pipeline.mount
- systemd escapt das '-' als \x2d, die reale Mount-Unit heisst
var-lib-ghostnet\x2dpipeline.mount; der literale Name existierte nie
(not-found) und ein blosses After= zieht die Mount-Unit ohne Requires auch
nicht in die Timer-Start-Transaktion.
Fix: RequiresMountsFor={{ ai_backup_nfs_mountpoint }} in der Service-Unit
(ergibt Requires=+After= auf die korrekt escapte Mount-Unit; systemd leitet
den Unit-Namen aus dem Pfad ab). Bei NFS-Ausfall nach Boot schlaegt jetzt die
Mount-Unit fehl und der Service mit Dependency-Fehler statt stillem Exit 21.
Verifiziert 09.11.2026 (Deploy via playbooks/backup.yml, production-Inventar,
ansible-deploy): systemctl show/list-dependencies listen die Mount-Unit unter
Requires=/After=; manueller systemctl start -> Result=success, Archiv
ghostnet-ai-backup-20261109-0544.tar.gz auf dem NFS-Share mit sha256-Sidecar
(sha256sum -c OK, 123 Members, keine *.gguf); Rollen-Zweitlauf changed=0.
Doku: ai_backup-README, GNAI-008 14.6 (Befund als geloest markiert) + Changelog
0.21, GNAI-000 KI-Host-Zeile aktualisiert.
Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
gnmon_dashboard-Rolle (Rootless-Quadlet unter gn-dashboard 984,
ASPNETCORE_URLS=127.0.0.1:8080), Containerfile aus MCR-Basisimages,
Image-Transport per podman save/load (v0.1.0, ID 1b71e6d35069).
keep-id verworfen (crun-Overlay-Rechtebefund), Default-Mapping wie alle
GNMON-Dienste. GnAiEnvironmentDown-Regel (gn_ai_active_env == 0, 2m,
critical) aus GNAI-001 M4 integriert; Suite gruen und idempotent.
Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
Produktionsumgebung und ai_environment_switch am 06.11.2026 abgenommen:
Verweigerung ohne Fenster, Playbook-Wechsel in beide Richtungen,
Runner-Abbruch-Szenario mit automatischem Recovery-Timer-Rueckfall,
simulierter Ausfall, Idempotenz changed=0. changed_when des bereits
aktiven Ziels korrigiert (ok statt changed). offen: echter Hostreboot,
Backup-/Restore-SOP, Alarmgrenzen-Pruefung.
Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
Das getent-Modul ueberschreibt seine Fakten je Aufruf und kollidiert mit
dem Loop; Ersatz durch getent-passwd-Kommandos mit gesammelten Ergebnissen.
switch-to-production ohne Fensterargument crashte unter set -u ($2);
nun mit Default. Verifikation: state-Datei aktiv, Timer enabled+active,
Recovery-Timer hat den Initialzustand selbst gesetzt.
Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
Rolle deployt das privilegierte Host-Skript gnai-environment-switch
(flock-Lock, Stop-vor-Start, GPU-Freigabenachweis je UID, Health-Warte,
atomare Zustandsdatei), Environment-Mapping, Recovery-Service und
Recovery-Timer (1 Min): Boot-Wiederanlauf und Rueckfall auf Production
nach abgelaufenem Wartungsfenster unabhaengig von CI. Non-Fallback-
Wechsel verlangen ein Wartungsfenster. Ausfuehrung ueber
playbooks/switch-environment.yml.
Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
inventories/production: eigener Workload-Account gnai-production (980),
Quadlet-Verzeichnis, Unit-Praefix gnai-production-llama und Podman-Netz.
Als Profile nur der freigegebene Referenz Swift 1.5 Q6_K (Betreiber-
beschluss 05.11.2026, GNAI-009 10.4) sowie Unsloth UD-Q6_K als Rollback.
Preview: production changed=2, testing-Regressionslauf changed=0.
Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
Rolle gpu_fan_control im Host-Projekt: Systemdienst gnai-gpu-fan-control
steuert beide Karten PCI-stabil aus der Junction-Temperatur (Anker
50/58/66/72/76C -> 0/80/140/200/255 PWM, 5s-Zyklus, fallende Hysterese,
EXIT-Failsafe auf Werksteuerung, Re-Assert je Zyklus). Preview, Deploy,
Idempotenz und Kurzlastsanity bestanden. BFCL-Restserie laeuft wieder
unter Luefterschutz.
Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
Lokis /label/<name>/values antwortet mit dem Array direkt unter data,
nicht als {data:{values:[...]}} — der Parser warf InvalidOperationException,
die den Live-Tail-Loop still toetete (0 Treffer ohne Fehlermeldung) und
ueber den verworfenen Task des Aktualisieren-Buttons den kompletten
Circuit abschoss. Parser korrigiert; Refresh-Button als echter async
Handler mit eigenem Catch; Loop-Tick mit breitem Catch und sichtbarer
Fehlernote statt dem stillen Tod.
Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
Logs-Seite mit Quelle-Filter, Zeilen-Suche und Live-Tail (3-s-Takt);
Alerts-Seite listet aktive Alerts mit Severity-Farben. Neue Clients:
LokiClient (query_range, Label-Values) und AlertmanagerClient (v2).
Journal-Pipeline: der dokumentierte relabel_rules-Handoff am
loki.source.journal uebertraeg __journal_* in v1.21.3/User-Scope nicht
in stabile Labels (verifiziert); Ersatz format_as_json +
loki.process (stage.json/labels/output) extrahiert unit, user_unit,
syslog_identifier, priority deterministisch. Expliziter Journal-Pfad
notwendig (User-Scope oeffnet sonst nur das User-Journal), als
Inventory-Variable parametrisiert. Fünf Befunde in GNMON-000.
Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
Betreiberlayout final: Overlay-Kacheln (CPU/RAM/Disk mit Chart hinter
den Controls, Fade-Maske links, dichter Text-Halo) plus GPU-Kacheln mit
kompakter Werteliste (max-content-Grid), Trennlinie und bündigem
GPU-Util-Chart (AutoRows via Hoehenmessung, Y-Achse 0/25/50/75/100%,
rechtsbuendig vor der Diagrammflaeche). ResizeObserver haelt Breite und
Zeilenzahl beim Fenster-Resize aktuell (JS-Interop, dispose-safe).
Erklaerungs-/Dev-Texte entfernt, Experimentseite RessourcenNeu geloescht,
Layout-Metadaten aus der Statuszeile gestrichen. Komponente: ShowYLabels,
YUnit, AutoRows, GridStyle(dots25), ResizeObserver-Support.
Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
Separates gepinntes Image gnai-bench:bfcl-2026.3.23 (python:3.10-slim per
Digest, bfcl-eval 2026.3.23 - Python 3.10 wegen BFCL-Zielumgebung), Runner
run-bfcl.sh mit Remote-Modus gegen die OpenAI-kompatible Engine-API
(REMOTE_OPENAI_BASE_URL=http://llama-cpp:8080/v1). Kategorien: simple,
multiple, irrelevance (Irrelevance-Detection: Modell soll bei unpassenden
Anfragen NICHT rufen). Smoke und Serienlauf bewusst NACH Abschluss der
laufenden IFEval/MATH-Serie - Engine-Kontakt waehrend eines Benchmark-Laufs
wuerde die Messung kontaminieren.
Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
lm-eval[api,math] plus langdetect und immutabledict: minerva_math500 braucht
sympy/math_verify/antlr4, leaderboard_ifeval langdetect und immutabledict.
Beide Tasks per Smoke-Test gegen die Engine verifiziert (Datensatz-Download,
Generierung, Scoring, Sample-Speicherung).
Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
Swift 1.0 xhigh Thinking lief auf einer AIME-Aufgabe ueber 30 Minuten und
sprengte lm-evals Request-Timeout: die 32768-Token-Ausgabegrenze des Profils
benoetigt bei ~18 t/s etwa 30,2 Minuten. 2700 s deckt Cap-Grenzen plus
Prefill ab; max_retries auf 1 reduziert (sequenzielle Requests, ein
Timeout-Wiederholungsversuch wuerde nur die gleiche Generierung wiederholen).
Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
eval-efficiency.py/.sh in der benchmark-Rolle: liest die Per-Sample-Logs
von lm-eval, zaehlt die exakt generierten Tokens je Antwort ueber den
/tokenize-Endpunkt der Engine (Qwen-Tokenizer, keine Schaetzung), zieht
den Score und aggregiert Score, Median/Mean/Max-Tokens sowie die
Effizienzkennzahl Score je Median-Token. Smoke-Test auf den AIME-2-Ergebnissen:
Score 1.0, Median 645 generierte Tokens je Aufgabe.
Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
Neue Rolle benchmark (GNAI-009 5.1/5.2): Egress-Netzwerk-Quadlet
gnai-testing-bench (dokumentierte Ausnahme nur fuer Datensatz-Downloads),
persistentes results/- und HF-Cache-Verzeichnis, gepinntes Image
gnai-bench:lm-eval-0.4.13 (python:3.13-slim per Digest, lm-eval[api]-Pin,
bewusst ohne Torch), Runner-Skript mit Network-Unit-Absicherung.
Live-Funde aus dem Smoke-Test (2 AIME-Samples gegen Swift 1.5):
- lokale Chat-Completions brauchen --apply_chat_template (Server wendet
sein --jinja-Template an, kein lokaler Tokenizer noetig)
- Request-Timeout 1800 s statt lm-eval-Default 300 s (xhigh-Thinking bei
~18 t/s)
- Quadlet-Netzwerke materialisieren erst mit gestarteter Unit; Rolle und
Runner starten sie explizit
- Ergebnis: exact_match 1.0, Per-Sample-Logs in results/; Tokenzaehlung
erfolgt nachtraglich exakt ueber die /tokenize-Endpunkte der Engine
Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
Betreiberbeschluss 01.11.2026: Swift 1.5 Q6_K aufgenommen (GNAI-009 3.4,
Artefakt gepinnt: Revision 14bfe4b, SHA-256 cd2eb65 aus HF-Blob-Metadaten,
22,2 GiB). Testmatrix um S-Reihe und AB3/AB4 erweitert (AB3 isoliert die
Thinking-Optimierung Swift 1.0 vs 1.5, AB4 ist der Praxisvergleich).
Benchmark-Design ergaenzt: lm-evaluation-harness gegen die interne Engine-API
(AIME, GPQA Diamond, MATH-500, IFEval) plus Kernkennzahl Score je
Median-Reasoning-Token aus der getrennten reasoning_content.
model_store: drittes Artefakt; inference_engine: Profil swift15
(Unit gnai-testing-llama-swift15, Alias swift-1.5-qwen3.8-27b-q6k).
Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
10.4-Tests bestanden: Idempotenz (changed=0), kontrollierter Neustart
erhaelt Profil/Modell, bewusster Stopp bleibt Stopp, Profilwechsel in beide
Richtungen ueber die Rolle fehlerfrei ohne erneuten Download.
Befundkorrektur 5.3: direkter systemctl start der zweiten Unit fuehrt KEINEN
geordneten Wechsel aus - beide Modelle laden in der UEbergangsphase parallel
(beobachtet 01.11.2026). Conflicts= sichert nur den Endzustand; Before= aus
den Quadlets entfernt. Der geordnete Stop-vor-Start-Wechsel ist
ausschliesslich die Rollen-Umschaltoperation. Host-Reboot-Test an den
Betreiber uebertragen.
Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
inference_engine_ctx_size_override auf null (GNAI-008 7.5, GNAI-010 10.3);
131072 aktiv seit 01.11.2026, kein OOM (VRAM 14,3/14,7 GiB von je 16 GiB).
Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
conmon schreibt mit dem Journald-Treiber ins System-Journal (Syslog-Identifier
= Container-Name, _COMM=conmon); lesbar als root, podman logs bleibt für das
Workload-Konto leer (Journal-Dateirechte, bewusst keine systemd-journal-
Gruppe). Lesewege in GNAI-010 Abschnitt 8.1; 64k-Bring-up-Startlogs sind
protokollfähig (n_slots=1, n_ctx_slot=65536, Listening, MTP-Tensoren nicht
geladen). Zusätzlich dokumentiert: LLAMA_ARG_HOST-Default des Images und die
bewusst akzeptierte API-Key-Lücke des internen Testing-Netzes.
Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
Erster produktiver Start des llama.cpp-Testing-Stacks auf ghostnet-ki
(31.10.2026). Fix-Liste aus den Live-Läufen:
- Quadlet-Exec ohne Binärnamen (AMD-Image hat ENTRYPOINT /app/llama-server;
GNAI-010 v0.6 dokumentiert den Befund)
- Deterministischer daemon-reload vor Unit-Zugriff (Handler allein griff nicht,
wenn ein vorheriger Lauf die Quadlets gerendert hatte)
- Netz-Abhängigkeit Wants/After im Container-Quadlet (Netzwerk-Unit wurde
nie mitgestartet -> network not found)
- Stopp-Bedingung für Profilwechsel korrigiert (nur aktive Units stoppen)
- Health-Tool-Kette curl/wget/bash-/dev/tcp mit Pfad-Normalisierung; curl -f
als Gesundheitssignal (Statuszeile stand nie im stdout)
- chdir für alle runuser-Aufrufe der Health-Checks
Nachweise: Health 200 OK, /v1/models Alias korrekt, Idempotenz changed=0,
VRAM 12,6/13,0 GiB von je 16 GiB auf beiden Karten (Layer-Split 1:1),
echte Chat-Completion mit System-Fingerprint des gepinnten Builds,
Reasoning getrennt von der Antwort.
Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
Betreiberentscheidung 31.10.2026 (GNAI-002 Abschnitt 6): Der KI-Host wird
kohärent IPv4-only betrieben. host_baseline verwaltet
/etc/sysctl.d/99-ghostnet-disable-ipv6.conf (all+default), wendet es bei
Änderung an und verifiziert den Laufzeitwert. Anlass: hängender get_url-
Download durch AAAA-Antworten ohne nutzbare IPv6-Route (Messungen im
Dokument; Pi-hole filtert AAAA nicht, der Host nutzt Pi-hole nicht).
model_store nach Live-Befunden: Swift-Repin auf Repository-Revision
98a6100 (alte Revision entfernt, Datei laut Herausgeber-SHA256SUMS
unverändert; GNAI-010 v0.5) und Download über wget -4 mit expliziter
SHA-256-Verifikation vor dem atomaren Move.
Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
Nach Live-Check-Modus gegen ghostnet-ki (ok=23, changed=4, failed=0):
- Freiraumprüfung auf existierendes Elternelement (df schlägt im Check-Modus
auf dem noch nicht angelegten Store fehl)
- Rechte-Durchsetzung nur über vorhandene Artefakte (file-Modul im Check-Modus)
- assert ohne loop (2.21 lehnt loop auf assert ab); statische Meldungen,
Modell-Anwesenheit im Check-Modus nur informell
- find file_type=any für Character-Devices (renderD*)
- README: Aufruf mit --private-key nach Workstation-Konvention
Preview prognostiziert korrekt: 2 Modellverzeichnisse, 2 SOURCE.yml,
Netz-Quadlet, 2 Container-Quadlets; gepinntes ROCm-Image bereits im Store.
Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
- workload_accounts: gn-media (GID 970), gn-download (983), gn-dashboard (984);
gn-media als primäre Gruppe der Pipeline-Konten — AUTH_SYS ueber NFSv4 wirkte
serverseitig nicht mit Supplementary-Gruppen (Betriebsbefund 30.10.2026);
Sudoers des Deploy-Kontos auf (ALL:ALL) verbreitert (become_user)
- video_encoding: NFS-Client, Mount-Unit und Pipeline-Layout auf dem Export
(10.0.0.2:/media/datenhdd3/Encoding -> /var/lib/ghostnet-pipeline, ausserhalb
der Homes); Layout-Anlage als Dienstkonten wegen root_squash; Verifikation
der Verzeichnisrechte als gn-encoding (2777/2770/0750/2750, Gruppe 970)
- pve_media_cron: Legacy-Crontab (chown root:root + chmod -R 0777 auf allen
Medienplatten, alle 10 min) entfernt — haette jedes echte Berechtigungsmodell
plattgewalzt; Backup unter /var/backups/ghostnet/pve/; verify-production
prueft das Fehlen ab
- verify-pipeline-handover.yml: Handover-Simulation über alle Identitaeten
(CT-101-.dlc-Drop -> gn-download -> queue -> gn-encoding -> output/state ->
gn-dashboard); einmal vollstaendig bestanden (30.10.2026)
- Doku: GNENC-000/001/002, GNAI-017 (6.10/6.11), GNMON-001 auf Stand gebracht
Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>