Erster produktiver Start des llama.cpp-Testing-Stacks auf ghostnet-ki (31.10.2026). Fix-Liste aus den Live-Läufen: - Quadlet-Exec ohne Binärnamen (AMD-Image hat ENTRYPOINT /app/llama-server; GNAI-010 v0.6 dokumentiert den Befund) - Deterministischer daemon-reload vor Unit-Zugriff (Handler allein griff nicht, wenn ein vorheriger Lauf die Quadlets gerendert hatte) - Netz-Abhängigkeit Wants/After im Container-Quadlet (Netzwerk-Unit wurde nie mitgestartet -> network not found) - Stopp-Bedingung für Profilwechsel korrigiert (nur aktive Units stoppen) - Health-Tool-Kette curl/wget/bash-/dev/tcp mit Pfad-Normalisierung; curl -f als Gesundheitssignal (Statuszeile stand nie im stdout) - chdir für alle runuser-Aufrufe der Health-Checks Nachweise: Health 200 OK, /v1/models Alias korrekt, Idempotenz changed=0, VRAM 12,6/13,0 GiB von je 16 GiB auf beiden Karten (Layer-Split 1:1), echte Chat-Completion mit System-Fingerprint des gepinnten Builds, Reasoning getrennt von der Antwort. Generated by Mistral Vibe. Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
KI-Dokumentation
Dieser Bereich enthält die fachliche Zielarchitektur und Deployment-Planung für den KI-Stack auf dem LLM-Server. Gemeinsame Hostgrundlagen liegen im Geräteindex, übergreifende Netzwerk- und Sicherheitsgrundlagen in der Plattformdokumentation. Der CPU-basierte Video-Encoding-Workload besitzt einen eigenen Dokumentationsbereich.
| Dokument | Inhalt |
|---|---|
| GNAI-001 | priorisierter High-Level-Implementierungsplan mit Entscheidungstoren und Abnahmekriterien |
| GNAI-004 | Zielarchitektur, Komponenten und Datenwege des KI-Stacks |
| GNAI-008 | nicht finaler Arbeitsentwurf für Ansible- und Gitea-Deployment |
| GNAI-009 | nicht finaler A/B-Plan für Swift, Unsloth, Reasoning-, Kontext- und MTP-Abnahme |
| GNAI-010 | technische Sollkonfiguration für zwei geprüfte Modellprofile auf rootless llama.cpp mit ROCm |
Der übergreifende Projektstand steht im zentralen Dokumentationsindex.