Files
infrastructure/docs/platform/llm-server/ai
spektr 026c840029 LLM-Server: M2-Vertical-Slice in Betrieb - Swift-Stack läuft, Inferenz nachgewiesen
Erster produktiver Start des llama.cpp-Testing-Stacks auf ghostnet-ki
(31.10.2026). Fix-Liste aus den Live-Läufen:
- Quadlet-Exec ohne Binärnamen (AMD-Image hat ENTRYPOINT /app/llama-server;
  GNAI-010 v0.6 dokumentiert den Befund)
- Deterministischer daemon-reload vor Unit-Zugriff (Handler allein griff nicht,
  wenn ein vorheriger Lauf die Quadlets gerendert hatte)
- Netz-Abhängigkeit Wants/After im Container-Quadlet (Netzwerk-Unit wurde
  nie mitgestartet -> network not found)
- Stopp-Bedingung für Profilwechsel korrigiert (nur aktive Units stoppen)
- Health-Tool-Kette curl/wget/bash-/dev/tcp mit Pfad-Normalisierung; curl -f
  als Gesundheitssignal (Statuszeile stand nie im stdout)
- chdir für alle runuser-Aufrufe der Health-Checks

Nachweise: Health 200 OK, /v1/models Alias korrekt, Idempotenz changed=0,
VRAM 12,6/13,0 GiB von je 16 GiB auf beiden Karten (Layer-Split 1:1),
echte Chat-Completion mit System-Fingerprint des gepinnten Builds,
Reasoning getrennt von der Antwort.

Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
2026-11-01 17:32:17 +01:00
..

KI-Dokumentation

Dieser Bereich enthält die fachliche Zielarchitektur und Deployment-Planung für den KI-Stack auf dem LLM-Server. Gemeinsame Hostgrundlagen liegen im Geräteindex, übergreifende Netzwerk- und Sicherheitsgrundlagen in der Plattformdokumentation. Der CPU-basierte Video-Encoding-Workload besitzt einen eigenen Dokumentationsbereich.

Dokument Inhalt
GNAI-001 priorisierter High-Level-Implementierungsplan mit Entscheidungstoren und Abnahmekriterien
GNAI-004 Zielarchitektur, Komponenten und Datenwege des KI-Stacks
GNAI-008 nicht finaler Arbeitsentwurf für Ansible- und Gitea-Deployment
GNAI-009 nicht finaler A/B-Plan für Swift, Unsloth, Reasoning-, Kontext- und MTP-Abnahme
GNAI-010 technische Sollkonfiguration für zwei geprüfte Modellprofile auf rootless llama.cpp mit ROCm

Der übergreifende Projektstand steht im zentralen Dokumentationsindex.