Files
infrastructure/docs/platform/llm-server
spektr f1dcc8f6a9 GNAI-009 v0.8: GPQA durch BFCL ersetzt (Betreiberentscheidung 03.11.2026)
GPQA Diamond ist im Frontier-Bereich gesattigt (>90% bei allen Anbietern)
und fuer die A/B-Trennung lokal nicht mehr trennscharf. Ersatz: Berkeley
Function Calling Leaderboard (bfcl-eval 2026.3.23) als etablierter
Tool-Use-Benchmark - mechanische Bewertung (AST, ausfuehrbare Calls,
Irrelevance-Detection), direkt gegen die OpenAI-kompatible Engine-API
lauffaehig (REMOTE_OPENAI_BASE_URL). Agentic-Benchmarks (tau2-bench,
Terminal-Bench) bleiben der Experimental-Stufe vorbehalten.

Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
2026-11-03 06:02:49 +01:00
..

LLM-Server ghostnet-ki

Dieser Gerätebereich dokumentiert den physischen Server 10.0.0.90. Er gruppiert die gemeinsame Hostbasis, den eigentlichen LLM-Stack, den davon fachlich getrennten CPU-Encoding-Workload und das host-weite Monitoring. Alle vier Bereiche teilen Hardware, Betriebssystem und Ansible-Control-Projekt.

Bereich Inhalt
Host Hardware, Debian-Basis und GPU-Ausgangslage
Zugänge Benutzer, Netzwerk, Resolver und SSH
AI Architektur, Ansible-Deployment, Modellbewertung und llama.cpp-Serving
Encoding CPU-Encoding-Architektur und Pipeline-Plan
Monitoring Systemmetriken, Collector und Dashboard

Übergreifende Rollen stehen im Zugriffskonzept, der Gesamtstand im zentralen Dokumentationsindex.