Files
infrastructure/docs/platform/llm-server
spektr 8480d53349
ci-static / secret-scan (push) Successful in 21s
ci-static / yamllint (push) Successful in 31s
ci-static / ansible-syntax (push) Successful in 27s
ci-static / markdown-links (push) Successful in 20s
ci-static / secret-scan (pull_request) Successful in 21s
ci-static / yamllint (pull_request) Successful in 44s
ci-static / ansible-syntax (pull_request) Successful in 1m3s
ci-static / markdown-links (pull_request) Successful in 23s
llama.cpp v1.0.0: Image-Pin auf server-rocm-v1.0.0-b12359-b1b770d heben (GNAI-010 0.20)
- inference_engine + rocm_container_probe: Digest sha256:4bbbd2e3... (amd64-Manifest
  sha256:abb28972...), Build b12359, Revision b1b770d90..., OCI-Version
  v1.0.0-b12359-b1b770d. v1.0.0 (Release 13.11.2026) loest ueber nightly-tag.txt
  auf b12359 auf; moving tag server-rocm zeigt auf denselben Digest. Semver-Policy
  upstream ab v1.0.0 — passt zur Digest-Pinning-Konvention.
- Kompatibilitaet gegen b12359 llama-server --help geprueft (Image lokal gepullt):
  alle 26 Exec=-Flags des Quadlets existieren; einzige entfernte Option
  --defrag-thold (#30565) wird nicht verwendet. ENTRYPOINT /app/llama-server
  unveraendert. Server-Haertung #32113/#32115/#32098 greift nicht (kein
  server-seitiges --tools/MCP, keine privaten Media-URLs, OpenWebUI ist
  Non-Browser-Client). libllama.so.1/36 entfernte Symbole betreffen nur native
  Bindings — wir sind HTTP-only.
- Neue Optionen bewertet (GNAI-010 0.20): FP8-KV f8_e4m3 (auf gfx1030 emuliert,
  Benchmark vor Adoption, Default q8_0), --moe-cache-cpu-share (nur MoE),
  --sleep-idle-seconds (kontraproduktiv), --api-key (optional), die Opt-out-Flags
  --allow-unauthenticated-tools/--media-allow-private-urls bleiben aus.
- Doku: GNAI-010 v0.20 + Abschnitt 3.1, GNAI-008 v0.23 + Probe-Abschnitt,
  Host-README Pin-Block (alter Pin als historisch markiert).
- Quadlet Exec bleibt unveraendert. Rollout auf 10.0.0.90 steht noch aus.

Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
2026-11-14 15:04:14 +01:00
..

LLM-Server ghostnet-ki

Dieser Gerätebereich dokumentiert den physischen Server 10.0.0.90. Er gruppiert die gemeinsame Hostbasis, den eigentlichen LLM-Stack, den davon fachlich getrennten CPU-Encoding-Workload und das host-weite Monitoring. Alle vier Bereiche teilen Hardware, Betriebssystem und Ansible-Control-Projekt.

Bereich Inhalt
Host Hardware, Debian-Basis und GPU-Ausgangslage
Zugänge Benutzer, Netzwerk, Resolver und SSH
AI Architektur, Ansible-Deployment, Modellbewertung und llama.cpp-Serving
Encoding CPU-Encoding-Architektur und Pipeline-Plan
Monitoring Systemmetriken, Collector und Dashboard

Übergreifende Rollen stehen im Zugriffskonzept, der Gesamtstand im zentralen Dokumentationsindex.