Files
infrastructure/docs/platform/llm-server
spektr 3548615b2a GNAI-010 v0.8: 64k-Grundabnahme Swift bestanden (Abschnitt 10.5)
Technische Abnahme nach 10.1/10.2 am 31.10.2026 in Testing gefahren und
bestanden: SHA-256 und System-Fingerprint des gepinnten Builds, kein
PublishPort, Unit stabil, n_ctx_slot=65536, GPU-Offload über beide Karten
(12,7/13,1 GiB von je 16 GiB, kein CPU-Offload), Health 200 OK, korrekter
Alias, Thinking-Request mit getrenntem Reasoning und finaler Antwort,
syntaktisch gültiger Tool-Call (get_weather/Berlin). Offen: 128k-Abnahme
(10.3), Wiederanlauf-/Profilwechseltests (10.4), Unsloth-Wiederholung.
Hinweis dokumentiert: load_tensors-Verteilzeilen bei Verbose 3 nicht
gedruckt.

Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
2026-11-01 17:32:17 +01:00
..

LLM-Server ghostnet-ki

Dieser Gerätebereich dokumentiert den physischen Server 10.0.0.90. Er gruppiert die gemeinsame Hostbasis, den eigentlichen LLM-Stack, den davon fachlich getrennten CPU-Encoding-Workload und das host-weite Monitoring. Alle vier Bereiche teilen Hardware, Betriebssystem und Ansible-Control-Projekt.

Bereich Inhalt
Host Hardware, Debian-Basis und GPU-Ausgangslage
Zugänge Benutzer, Netzwerk, Resolver und SSH
AI Architektur, Ansible-Deployment, Modellbewertung und llama.cpp-Serving
Encoding CPU-Encoding-Architektur und Pipeline-Plan
Monitoring Systemmetriken, Collector und Dashboard

Übergreifende Rollen stehen im Zugriffskonzept, der Gesamtstand im zentralen Dokumentationsindex.