Files
infrastructure/llm-server/llm/ansible/roles/benchmark/defaults
spektr c6cabd98ef LLM-Server: Benchmark-Harness (lm-eval) aufgesetzt und per Smoke-Test verifiziert
Neue Rolle benchmark (GNAI-009 5.1/5.2): Egress-Netzwerk-Quadlet
gnai-testing-bench (dokumentierte Ausnahme nur fuer Datensatz-Downloads),
persistentes results/- und HF-Cache-Verzeichnis, gepinntes Image
gnai-bench:lm-eval-0.4.13 (python:3.13-slim per Digest, lm-eval[api]-Pin,
bewusst ohne Torch), Runner-Skript mit Network-Unit-Absicherung.

Live-Funde aus dem Smoke-Test (2 AIME-Samples gegen Swift 1.5):
- lokale Chat-Completions brauchen --apply_chat_template (Server wendet
  sein --jinja-Template an, kein lokaler Tokenizer noetig)
- Request-Timeout 1800 s statt lm-eval-Default 300 s (xhigh-Thinking bei
  ~18 t/s)
- Quadlet-Netzwerke materialisieren erst mit gestarteter Unit; Rolle und
  Runner starten sie explizit
- Ergebnis: exact_match 1.0, Per-Sample-Logs in results/; Tokenzaehlung
  erfolgt nachtraglich exakt ueber die /tokenize-Endpunkte der Engine

Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
2026-11-02 05:58:58 +01:00
..