Files
infrastructure/docs/platform/llm-server
spektr fc880e4c8a GNAI-009 v0.7: Unsloth-Referenzlauf AIME24 abgeschlossen - Swift 1.5 gewinnt das Dreierduell (10.1)
Unsloth UD-Q6_K (xhigh, 30 AIME-Aufgaben): Score 0.500 (15/30) bei
hoechstem Token-Aufwand (Summe 279.436, Median 7.488) - Overthinking ohne
Thinking-Optimierung. Swift 1.5 gewinnt mit bestem Score (23/30) UND
niedrigster Token-Summe (249.448). AB1-Kriterium fuer Unsloth auf AIME
deutlich verfehlt (8 Erfolge Rueckstand). Ablaufnotiz: transienter
SSH-Abbruch toetete nur die lokale Ansible-Sitzung; der serverseitige
Lauf lief vollstaendig durch, Auswertung manuell nachgeholt.

Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
2026-11-03 05:51:44 +01:00
..

LLM-Server ghostnet-ki

Dieser Gerätebereich dokumentiert den physischen Server 10.0.0.90. Er gruppiert die gemeinsame Hostbasis, den eigentlichen LLM-Stack, den davon fachlich getrennten CPU-Encoding-Workload und das host-weite Monitoring. Alle vier Bereiche teilen Hardware, Betriebssystem und Ansible-Control-Projekt.

Bereich Inhalt
Host Hardware, Debian-Basis und GPU-Ausgangslage
Zugänge Benutzer, Netzwerk, Resolver und SSH
AI Architektur, Ansible-Deployment, Modellbewertung und llama.cpp-Serving
Encoding CPU-Encoding-Architektur und Pipeline-Plan
Monitoring Systemmetriken, Collector und Dashboard

Übergreifende Rollen stehen im Zugriffskonzept, der Gesamtstand im zentralen Dokumentationsindex.