Files
infrastructure/docs
spektr b723e0ee01 GNAI-009 v0.9: IFEval- und MATH500-Serien abgeschlossen - differenziertes Bild (10.2/10.3)
IFEval (100 Samples, xhigh): Swift 1.0 gewinnt mit 0.76 vor Swift 1.5
(0.70) und Unsloth (0.63), mit niedrigster Token-Summe. MATH500 (math_verify,
da exact_match ein Format-Artefakt der Reasoning-Trennung ist): Swift 1.0
0.32, Unsloth 0.28, Swift 1.5 0.27. Damit gewinnt Swift 1.5 nur AIME;
die breite Thinking-Ersparnis des Herstellers reproduziert sich nicht.
Die Profilentscheidung verschiebt sich auf BFCL und die Praxissuite.

Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
2026-11-03 11:08:07 +01:00
..