Files
infrastructure/llm-server/llm
spektr 9a33973fcb LLM-Server: Benchmark-Timeout auf 2700 s angehoben (Befund aus AB3-Phase 1)
Swift 1.0 xhigh Thinking lief auf einer AIME-Aufgabe ueber 30 Minuten und
sprengte lm-evals Request-Timeout: die 32768-Token-Ausgabegrenze des Profils
benoetigt bei ~18 t/s etwa 30,2 Minuten. 2700 s deckt Cap-Grenzen plus
Prefill ab; max_retries auf 1 reduziert (sequenzielle Requests, ein
Timeout-Wiederholungsversuch wuerde nur die gleiche Generierung wiederholen).

Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
2026-11-02 08:17:22 +01:00
..

LLM serving stack

This directory will hold the executable infrastructure for the LLM serving stack on ghostnet-ki: rootless llama.cpp with ROCm, separated into Production and Testing environments.

It is created with the internal LLM vertical slice (roadmap milestone 2 in GNAI-001). The planned architecture, deployment and serving configuration are documented under ../../docs/platform/llm-server/ai/.