Files
infrastructure/docs
spektr f1dcc8f6a9 GNAI-009 v0.8: GPQA durch BFCL ersetzt (Betreiberentscheidung 03.11.2026)
GPQA Diamond ist im Frontier-Bereich gesattigt (>90% bei allen Anbietern)
und fuer die A/B-Trennung lokal nicht mehr trennscharf. Ersatz: Berkeley
Function Calling Leaderboard (bfcl-eval 2026.3.23) als etablierter
Tool-Use-Benchmark - mechanische Bewertung (AST, ausfuehrbare Calls,
Irrelevance-Detection), direkt gegen die OpenAI-kompatible Engine-API
lauffaehig (REMOTE_OPENAI_BASE_URL). Agentic-Benchmarks (tau2-bench,
Terminal-Bench) bleiben der Experimental-Stufe vorbehalten.

Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
2026-11-03 06:02:49 +01:00
..