Files
infrastructure/docs/platform/llm-server/ai
spektr 1e1a6788a0 GNAI-010 v0.9: 128k-Abnahme Swift bestanden (Abschnitt 10.6)
Technische Abnahme nach 10.3 am 01.11.2026 in Testing gefahren und bestanden:
n_ctx_slot=131072, kein OOM (14,4/14,8 GiB von je 16 GiB), Prefill-Leiter
7,6k/29k/59,5k/121,9k Tokens mit 624/591/503/396 t/s, langer Request mit
finish=stop, sauberer Kontext-Negativtest (138k Tokens -> HTTP 400) und
62 Minuten gemischte Stabilitätslast ohne Neustart (NRestarts=0).

Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
2026-11-01 17:32:17 +01:00
..

KI-Dokumentation

Dieser Bereich enthält die fachliche Zielarchitektur und Deployment-Planung für den KI-Stack auf dem LLM-Server. Gemeinsame Hostgrundlagen liegen im Geräteindex, übergreifende Netzwerk- und Sicherheitsgrundlagen in der Plattformdokumentation. Der CPU-basierte Video-Encoding-Workload besitzt einen eigenen Dokumentationsbereich.

Dokument Inhalt
GNAI-001 priorisierter High-Level-Implementierungsplan mit Entscheidungstoren und Abnahmekriterien
GNAI-004 Zielarchitektur, Komponenten und Datenwege des KI-Stacks
GNAI-008 nicht finaler Arbeitsentwurf für Ansible- und Gitea-Deployment
GNAI-009 nicht finaler A/B-Plan für Swift, Unsloth, Reasoning-, Kontext- und MTP-Abnahme
GNAI-010 technische Sollkonfiguration für zwei geprüfte Modellprofile auf rootless llama.cpp mit ROCm

Der übergreifende Projektstand steht im zentralen Dokumentationsindex.