Files
infrastructure/docs/platform/llm-server
spektr 97f739d262 GNAI-009 v0.10: BFCL-Serie abgeschlossen - M3-Entscheidungsgrundlage komplett (10.4)
Swift 1.0 im FC-Modus unbrauchbar (~3.500 Thinking-Token je Request,
~21 min/Testfall, Abbruch nach 3/840, Projektion ~275 h). Swift 1.5 und
Unsloth in der AST-Genauigkeit gleichauf (92,0/91,5 vs. 93,0/92,0);
Swift 1.5 gewinnt die Irrelevance-Detection (82,92 vs. 78,33 %).
Empfehlung: Swift 1.5 Production, Unsloth Testing, Swift 1.0 Rueckzug.

Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
2026-11-05 18:44:29 +01:00
..

LLM-Server ghostnet-ki

Dieser Gerätebereich dokumentiert den physischen Server 10.0.0.90. Er gruppiert die gemeinsame Hostbasis, den eigentlichen LLM-Stack, den davon fachlich getrennten CPU-Encoding-Workload und das host-weite Monitoring. Alle vier Bereiche teilen Hardware, Betriebssystem und Ansible-Control-Projekt.

Bereich Inhalt
Host Hardware, Debian-Basis und GPU-Ausgangslage
Zugänge Benutzer, Netzwerk, Resolver und SSH
AI Architektur, Ansible-Deployment, Modellbewertung und llama.cpp-Serving
Encoding CPU-Encoding-Architektur und Pipeline-Plan
Monitoring Systemmetriken, Collector und Dashboard

Übergreifende Rollen stehen im Zugriffskonzept, der Gesamtstand im zentralen Dokumentationsindex.