Nach mehreren Live-Funden: - bfcl-eval braucht soundfile (qwen_agent Dependency) - CLI ist zweiteilig: bfcl generate + bfcl evaluate (nur evaluate bewertet vorab generierte Responses) - Kategorien sind sprachspezifisch: simple_python statt simple - Model-Handler muss api_inference sein: gpt-4o-2024-11-20-FC nutzt die OpenAI-SDK und respektiert OPENAI_BASE_URL/OPENAI_API_KEY - Container-Name muss --replace verwenden - Kategorie-Default auf simple_python,multiple,irrelevance korrigiert Smoke-Test gegen unsloth-Engine: 193 Requests in 48 min, laeuft. Generated by Mistral Vibe. Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
LLM serving stack
This directory will hold the executable infrastructure for the LLM serving
stack on ghostnet-ki: rootless llama.cpp with ROCm, separated into
Production and Testing environments.
It is created with the internal LLM vertical slice (roadmap milestone 2 in
GNAI-001). The planned
architecture, deployment and serving configuration are documented under
../../docs/platform/llm-server/ai/.