Files
infrastructure/docs/platform/llm-server
spektr bc37972a09 GNAI-009 v0.5: Swift 1.5 als dritter Kandidat + Benchmark-Design; Rollen erweitert
Betreiberbeschluss 01.11.2026: Swift 1.5 Q6_K aufgenommen (GNAI-009 3.4,
Artefakt gepinnt: Revision 14bfe4b, SHA-256 cd2eb65 aus HF-Blob-Metadaten,
22,2 GiB). Testmatrix um S-Reihe und AB3/AB4 erweitert (AB3 isoliert die
Thinking-Optimierung Swift 1.0 vs 1.5, AB4 ist der Praxisvergleich).
Benchmark-Design ergaenzt: lm-evaluation-harness gegen die interne Engine-API
(AIME, GPQA Diamond, MATH-500, IFEval) plus Kernkennzahl Score je
Median-Reasoning-Token aus der getrennten reasoning_content.

model_store: drittes Artefakt; inference_engine: Profil swift15
(Unit gnai-testing-llama-swift15, Alias swift-1.5-qwen3.8-27b-q6k).

Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
2026-11-01 17:46:47 +01:00
..

LLM-Server ghostnet-ki

Dieser Gerätebereich dokumentiert den physischen Server 10.0.0.90. Er gruppiert die gemeinsame Hostbasis, den eigentlichen LLM-Stack, den davon fachlich getrennten CPU-Encoding-Workload und das host-weite Monitoring. Alle vier Bereiche teilen Hardware, Betriebssystem und Ansible-Control-Projekt.

Bereich Inhalt
Host Hardware, Debian-Basis und GPU-Ausgangslage
Zugänge Benutzer, Netzwerk, Resolver und SSH
AI Architektur, Ansible-Deployment, Modellbewertung und llama.cpp-Serving
Encoding CPU-Encoding-Architektur und Pipeline-Plan
Monitoring Systemmetriken, Collector und Dashboard

Übergreifende Rollen stehen im Zugriffskonzept, der Gesamtstand im zentralen Dokumentationsindex.