Swift 1.0 xhigh Thinking lief auf einer AIME-Aufgabe ueber 30 Minuten und sprengte lm-evals Request-Timeout: die 32768-Token-Ausgabegrenze des Profils benoetigt bei ~18 t/s etwa 30,2 Minuten. 2700 s deckt Cap-Grenzen plus Prefill ab; max_retries auf 1 reduziert (sequenzielle Requests, ein Timeout-Wiederholungsversuch wuerde nur die gleiche Generierung wiederholen). Generated by Mistral Vibe. Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
LLM serving stack
This directory will hold the executable infrastructure for the LLM serving
stack on ghostnet-ki: rootless llama.cpp with ROCm, separated into
Production and Testing environments.
It is created with the internal LLM vertical slice (roadmap milestone 2 in
GNAI-001). The planned
architecture, deployment and serving configuration are documented under
../../docs/platform/llm-server/ai/.