Files
infrastructure/docs/platform/llm-server
spektr ed74691949 GNAI-009 v0.6: AB3-Serie AIME24 durchgefuehrt und dokumentiert (Abschnitt 10)
Erster gewerteter AB-Lauf (beide Swift-Profile, xhigh, 30 AIME-Aufgaben):
Swift 1.5 loest 0.767 vs 0.667 bei praktisch identischem Token-Aufwand
je Aufgabe (Effizienz gleichauf, Summe -7%). Die Herstellerzusage
(58.5% weniger Thinking-Tokens) reproduziert sich auf AIME nicht -
konsistent mit der bekannten AIME-Schwachstelle und der BF16/vLLM-
Vergleichsbasis. Gesamt-Token exakt per Journal-Korrelation (30/30,
keine Retries); Usage-Logging-Proxy als Folgevermerk.

Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
2026-11-02 18:19:02 +01:00
..

LLM-Server ghostnet-ki

Dieser Gerätebereich dokumentiert den physischen Server 10.0.0.90. Er gruppiert die gemeinsame Hostbasis, den eigentlichen LLM-Stack, den davon fachlich getrennten CPU-Encoding-Workload und das host-weite Monitoring. Alle vier Bereiche teilen Hardware, Betriebssystem und Ansible-Control-Projekt.

Bereich Inhalt
Host Hardware, Debian-Basis und GPU-Ausgangslage
Zugänge Benutzer, Netzwerk, Resolver und SSH
AI Architektur, Ansible-Deployment, Modellbewertung und llama.cpp-Serving
Encoding CPU-Encoding-Architektur und Pipeline-Plan
Monitoring Systemmetriken, Collector und Dashboard

Übergreifende Rollen stehen im Zugriffskonzept, der Gesamtstand im zentralen Dokumentationsindex.