Files
infrastructure/docs/platform/llm-server
spektr 43f6e72d06 GNAI-010 v0.13: Swift 1.5 Q6_K bereitgestellt und technisch abgenommen (10.9)
Drittes Profil nach GNAI-009 3.4: Download 22,2 GiB SHA-256-verifiziert,
S0-Bring-up 64k, S1 128k (n_ctx_slot=131072, VRAM 15,1/14,9 GiB), Health,
Alias, Thinking- und Tool-Call-Tests bestanden, Prefill-Leiter 684/676/576/423
t/s (Unsloth-Niveau, Swift 1.0 deutlich darunter), Kontext-Negativtest sauber.
Stabilitaetsstunde laeuft parallel; group_vars auf 128k zurueckgestellt.
Swift 1.5 bleibt bis zur AB-Bewertung aktives Profil.

Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
2026-11-02 03:49:39 +01:00
..

LLM-Server ghostnet-ki

Dieser Gerätebereich dokumentiert den physischen Server 10.0.0.90. Er gruppiert die gemeinsame Hostbasis, den eigentlichen LLM-Stack, den davon fachlich getrennten CPU-Encoding-Workload und das host-weite Monitoring. Alle vier Bereiche teilen Hardware, Betriebssystem und Ansible-Control-Projekt.

Bereich Inhalt
Host Hardware, Debian-Basis und GPU-Ausgangslage
Zugänge Benutzer, Netzwerk, Resolver und SSH
AI Architektur, Ansible-Deployment, Modellbewertung und llama.cpp-Serving
Encoding CPU-Encoding-Architektur und Pipeline-Plan
Monitoring Systemmetriken, Collector und Dashboard

Übergreifende Rollen stehen im Zugriffskonzept, der Gesamtstand im zentralen Dokumentationsindex.