Files
infrastructure/docs/platform/llm-server
spektr b723e0ee01 GNAI-009 v0.9: IFEval- und MATH500-Serien abgeschlossen - differenziertes Bild (10.2/10.3)
IFEval (100 Samples, xhigh): Swift 1.0 gewinnt mit 0.76 vor Swift 1.5
(0.70) und Unsloth (0.63), mit niedrigster Token-Summe. MATH500 (math_verify,
da exact_match ein Format-Artefakt der Reasoning-Trennung ist): Swift 1.0
0.32, Unsloth 0.28, Swift 1.5 0.27. Damit gewinnt Swift 1.5 nur AIME;
die breite Thinking-Ersparnis des Herstellers reproduziert sich nicht.
Die Profilentscheidung verschiebt sich auf BFCL und die Praxissuite.

Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
2026-11-03 11:08:07 +01:00
..

LLM-Server ghostnet-ki

Dieser Gerätebereich dokumentiert den physischen Server 10.0.0.90. Er gruppiert die gemeinsame Hostbasis, den eigentlichen LLM-Stack, den davon fachlich getrennten CPU-Encoding-Workload und das host-weite Monitoring. Alle vier Bereiche teilen Hardware, Betriebssystem und Ansible-Control-Projekt.

Bereich Inhalt
Host Hardware, Debian-Basis und GPU-Ausgangslage
Zugänge Benutzer, Netzwerk, Resolver und SSH
AI Architektur, Ansible-Deployment, Modellbewertung und llama.cpp-Serving
Encoding CPU-Encoding-Architektur und Pipeline-Plan
Monitoring Systemmetriken, Collector und Dashboard

Übergreifende Rollen stehen im Zugriffskonzept, der Gesamtstand im zentralen Dokumentationsindex.