eval-efficiency.py/.sh in der benchmark-Rolle: liest die Per-Sample-Logs von lm-eval, zaehlt die exakt generierten Tokens je Antwort ueber den /tokenize-Endpunkt der Engine (Qwen-Tokenizer, keine Schaetzung), zieht den Score und aggregiert Score, Median/Mean/Max-Tokens sowie die Effizienzkennzahl Score je Median-Token. Smoke-Test auf den AIME-2-Ergebnissen: Score 1.0, Median 645 generierte Tokens je Aufgabe. Generated by Mistral Vibe. Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
LLM serving stack
This directory will hold the executable infrastructure for the LLM serving
stack on ghostnet-ki: rootless llama.cpp with ROCm, separated into
Production and Testing environments.
It is created with the internal LLM vertical slice (roadmap milestone 2 in
GNAI-001). The planned
architecture, deployment and serving configuration are documented under
../../docs/platform/llm-server/ai/.