Commit Graph
15 Commits
Author SHA1 Message Date
spektr 4fea6f75bc LLM-Server: BFCL-Integration finalisiert - smoke-laufend
Nach mehreren Live-Funden:
- bfcl-eval braucht soundfile (qwen_agent Dependency)
- CLI ist zweiteilig: bfcl generate + bfcl evaluate (nur evaluate bewertet
  vorab generierte Responses)
- Kategorien sind sprachspezifisch: simple_python statt simple
- Model-Handler muss api_inference sein: gpt-4o-2024-11-20-FC nutzt die
  OpenAI-SDK und respektiert OPENAI_BASE_URL/OPENAI_API_KEY
- Container-Name muss --replace verwenden
- Kategorie-Default auf simple_python,multiple,irrelevance korrigiert

Smoke-Test gegen unsloth-Engine: 193 Requests in 48 min, laeuft.

Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
2026-11-03 13:31:37 +01:00
spektr 0c6e302e7b LLM-Server: BFCL-Harness aufgesetzt (GNAI-009 5.1, GPQA-Ersatz)
Separates gepinntes Image gnai-bench:bfcl-2026.3.23 (python:3.10-slim per
Digest, bfcl-eval 2026.3.23 - Python 3.10 wegen BFCL-Zielumgebung), Runner
run-bfcl.sh mit Remote-Modus gegen die OpenAI-kompatible Engine-API
(REMOTE_OPENAI_BASE_URL=http://llama-cpp:8080/v1). Kategorien: simple,
multiple, irrelevance (Irrelevance-Detection: Modell soll bei unpassenden
Anfragen NICHT rufen). Smoke und Serienlauf bewusst NACH Abschluss der
laufenden IFEval/MATH-Serie - Engine-Kontakt waehrend eines Benchmark-Laufs
wuerde die Messung kontaminieren.

Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
2026-11-03 06:17:05 +01:00
spektr efb41d229b LLM-Server: Bench-Image um Task-Extras ergaenzt (math, ifeval)
lm-eval[api,math] plus langdetect und immutabledict: minerva_math500 braucht
sympy/math_verify/antlr4, leaderboard_ifeval langdetect und immutabledict.
Beide Tasks per Smoke-Test gegen die Engine verifiziert (Datensatz-Download,
Generierung, Scoring, Sample-Speicherung).

Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
2026-11-03 06:01:37 +01:00
spektr 9a33973fcb LLM-Server: Benchmark-Timeout auf 2700 s angehoben (Befund aus AB3-Phase 1)
Swift 1.0 xhigh Thinking lief auf einer AIME-Aufgabe ueber 30 Minuten und
sprengte lm-evals Request-Timeout: die 32768-Token-Ausgabegrenze des Profils
benoetigt bei ~18 t/s etwa 30,2 Minuten. 2700 s deckt Cap-Grenzen plus
Prefill ab; max_retries auf 1 reduziert (sequenzielle Requests, ein
Timeout-Wiederholungsversuch wuerde nur die gleiche Generierung wiederholen).

Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
2026-11-02 08:17:22 +01:00
spektr 89e42ecd9b LLM-Server: Effizienz-Auswertung fuer Benchmark-Ergebnisse (GNAI-009 5.2)
eval-efficiency.py/.sh in der benchmark-Rolle: liest die Per-Sample-Logs
von lm-eval, zaehlt die exakt generierten Tokens je Antwort ueber den
/tokenize-Endpunkt der Engine (Qwen-Tokenizer, keine Schaetzung), zieht
den Score und aggregiert Score, Median/Mean/Max-Tokens sowie die
Effizienzkennzahl Score je Median-Token. Smoke-Test auf den AIME-2-Ergebnissen:
Score 1.0, Median 645 generierte Tokens je Aufgabe.

Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
2026-11-02 06:44:44 +01:00
spektr c6cabd98ef LLM-Server: Benchmark-Harness (lm-eval) aufgesetzt und per Smoke-Test verifiziert
Neue Rolle benchmark (GNAI-009 5.1/5.2): Egress-Netzwerk-Quadlet
gnai-testing-bench (dokumentierte Ausnahme nur fuer Datensatz-Downloads),
persistentes results/- und HF-Cache-Verzeichnis, gepinntes Image
gnai-bench:lm-eval-0.4.13 (python:3.13-slim per Digest, lm-eval[api]-Pin,
bewusst ohne Torch), Runner-Skript mit Network-Unit-Absicherung.

Live-Funde aus dem Smoke-Test (2 AIME-Samples gegen Swift 1.5):
- lokale Chat-Completions brauchen --apply_chat_template (Server wendet
  sein --jinja-Template an, kein lokaler Tokenizer noetig)
- Request-Timeout 1800 s statt lm-eval-Default 300 s (xhigh-Thinking bei
  ~18 t/s)
- Quadlet-Netzwerke materialisieren erst mit gestarteter Unit; Rolle und
  Runner starten sie explizit
- Ergebnis: exact_match 1.0, Per-Sample-Logs in results/; Tokenzaehlung
  erfolgt nachtraglich exakt ueber die /tokenize-Endpunkte der Engine

Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
2026-11-02 05:58:58 +01:00
spektr 43f6e72d06 GNAI-010 v0.13: Swift 1.5 Q6_K bereitgestellt und technisch abgenommen (10.9)
Drittes Profil nach GNAI-009 3.4: Download 22,2 GiB SHA-256-verifiziert,
S0-Bring-up 64k, S1 128k (n_ctx_slot=131072, VRAM 15,1/14,9 GiB), Health,
Alias, Thinking- und Tool-Call-Tests bestanden, Prefill-Leiter 684/676/576/423
t/s (Unsloth-Niveau, Swift 1.0 deutlich darunter), Kontext-Negativtest sauber.
Stabilitaetsstunde laeuft parallel; group_vars auf 128k zurueckgestellt.
Swift 1.5 bleibt bis zur AB-Bewertung aktives Profil.

Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
2026-11-02 03:49:39 +01:00
spektr bc37972a09 GNAI-009 v0.5: Swift 1.5 als dritter Kandidat + Benchmark-Design; Rollen erweitert
Betreiberbeschluss 01.11.2026: Swift 1.5 Q6_K aufgenommen (GNAI-009 3.4,
Artefakt gepinnt: Revision 14bfe4b, SHA-256 cd2eb65 aus HF-Blob-Metadaten,
22,2 GiB). Testmatrix um S-Reihe und AB3/AB4 erweitert (AB3 isoliert die
Thinking-Optimierung Swift 1.0 vs 1.5, AB4 ist der Praxisvergleich).
Benchmark-Design ergaenzt: lm-evaluation-harness gegen die interne Engine-API
(AIME, GPQA Diamond, MATH-500, IFEval) plus Kernkennzahl Score je
Median-Reasoning-Token aus der getrennten reasoning_content.

model_store: drittes Artefakt; inference_engine: Profil swift15
(Unit gnai-testing-llama-swift15, Alias swift-1.5-qwen3.8-27b-q6k).

Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
2026-11-01 17:46:47 +01:00
spektr 2f03a7e624 GNAI-010 v0.10: Wiederanlauf-/Profilwechselabnahme; Ausschluss-Befund korrigiert (10.7)
10.4-Tests bestanden: Idempotenz (changed=0), kontrollierter Neustart
erhaelt Profil/Modell, bewusster Stopp bleibt Stopp, Profilwechsel in beide
Richtungen ueber die Rolle fehlerfrei ohne erneuten Download.

Befundkorrektur 5.3: direkter systemctl start der zweiten Unit fuehrt KEINEN
geordneten Wechsel aus - beide Modelle laden in der UEbergangsphase parallel
(beobachtet 01.11.2026). Conflicts= sichert nur den Endzustand; Before= aus
den Quadlets entfernt. Der geordnete Stop-vor-Start-Wechsel ist
ausschliesslich die Rollen-Umschaltoperation. Host-Reboot-Test an den
Betreiber uebertragen.

Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
2026-11-01 17:32:17 +01:00
spektr ca79cc404a LLM-Server: Testing nach bestandener 64k-Abnahme auf 128k-Zielkontext gestellt
inference_engine_ctx_size_override auf null (GNAI-008 7.5, GNAI-010 10.3);
131072 aktiv seit 01.11.2026, kein OOM (VRAM 14,3/14,7 GiB von je 16 GiB).

Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
2026-11-01 17:32:17 +01:00
spektr 060901d104 LLM-Server: Container-Protokollierung geklärt und in GNAI-010 dokumentiert (v0.7)
conmon schreibt mit dem Journald-Treiber ins System-Journal (Syslog-Identifier
= Container-Name, _COMM=conmon); lesbar als root, podman logs bleibt für das
Workload-Konto leer (Journal-Dateirechte, bewusst keine systemd-journal-
Gruppe). Lesewege in GNAI-010 Abschnitt 8.1; 64k-Bring-up-Startlogs sind
protokollfähig (n_slots=1, n_ctx_slot=65536, Listening, MTP-Tensoren nicht
geladen). Zusätzlich dokumentiert: LLAMA_ARG_HOST-Default des Images und die
bewusst akzeptierte API-Key-Lücke des internen Testing-Netzes.

Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
2026-11-01 17:32:17 +01:00
spektr 026c840029 LLM-Server: M2-Vertical-Slice in Betrieb - Swift-Stack läuft, Inferenz nachgewiesen
Erster produktiver Start des llama.cpp-Testing-Stacks auf ghostnet-ki
(31.10.2026). Fix-Liste aus den Live-Läufen:
- Quadlet-Exec ohne Binärnamen (AMD-Image hat ENTRYPOINT /app/llama-server;
  GNAI-010 v0.6 dokumentiert den Befund)
- Deterministischer daemon-reload vor Unit-Zugriff (Handler allein griff nicht,
  wenn ein vorheriger Lauf die Quadlets gerendert hatte)
- Netz-Abhängigkeit Wants/After im Container-Quadlet (Netzwerk-Unit wurde
  nie mitgestartet -> network not found)
- Stopp-Bedingung für Profilwechsel korrigiert (nur aktive Units stoppen)
- Health-Tool-Kette curl/wget/bash-/dev/tcp mit Pfad-Normalisierung; curl -f
  als Gesundheitssignal (Statuszeile stand nie im stdout)
- chdir für alle runuser-Aufrufe der Health-Checks

Nachweise: Health 200 OK, /v1/models Alias korrekt, Idempotenz changed=0,
VRAM 12,6/13,0 GiB von je 16 GiB auf beiden Karten (Layer-Split 1:1),
echte Chat-Completion mit System-Fingerprint des gepinnten Builds,
Reasoning getrennt von der Antwort.

Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
2026-11-01 17:32:17 +01:00
spektr 89787b0e23 LLM-Server: IPv6 deaktiviert (host_baseline) + Swift-Repin und wget-4-Download nach Live-Befunden
Betreiberentscheidung 31.10.2026 (GNAI-002 Abschnitt 6): Der KI-Host wird
kohärent IPv4-only betrieben. host_baseline verwaltet
/etc/sysctl.d/99-ghostnet-disable-ipv6.conf (all+default), wendet es bei
Änderung an und verifiziert den Laufzeitwert. Anlass: hängender get_url-
Download durch AAAA-Antworten ohne nutzbare IPv6-Route (Messungen im
Dokument; Pi-hole filtert AAAA nicht, der Host nutzt Pi-hole nicht).

model_store nach Live-Befunden: Swift-Repin auf Repository-Revision
98a6100 (alte Revision entfernt, Datei laut Herausgeber-SHA256SUMS
unverändert; GNAI-010 v0.5) und Download über wget -4 mit expliziter
SHA-256-Verifikation vor dem atomaren Move.

Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
2026-11-01 17:32:17 +01:00
spektr d53b2400c9 LLM-Server: llm/ansible für Check-Modus und ansible-core 2.21 fit gemacht
Nach Live-Check-Modus gegen ghostnet-ki (ok=23, changed=4, failed=0):
- Freiraumprüfung auf existierendes Elternelement (df schlägt im Check-Modus
  auf dem noch nicht angelegten Store fehl)
- Rechte-Durchsetzung nur über vorhandene Artefakte (file-Modul im Check-Modus)
- assert ohne loop (2.21 lehnt loop auf assert ab); statische Meldungen,
  Modell-Anwesenheit im Check-Modus nur informell
- find file_type=any für Character-Devices (renderD*)
- README: Aufruf mit --private-key nach Workstation-Konvention

Preview prognostiziert korrekt: 2 Modellverzeichnisse, 2 SOURCE.yml,
Netz-Quadlet, 2 Container-Quadlets; gepinntes ROCm-Image bereits im Store.

Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
2026-11-01 17:31:45 +01:00
spektr 7af72785c9 LLM-Server: M2-Vertical-Slice - llm/ansible-Projekt mit model_store und inference_engine
Neues Kontrollprojekt llm-server/llm/ansible (GNAI-008 7.4, GNAI-010):
- Inventar testing (ansible-deploy), Playbook ai.yml
- Rolle model_store: gepinnte Modellartefakte (Swift/Unsloth Q6_K, Revision
  und SHA-256 nach GNAI-010 3.2/3.3), atomare Downloads mit Prüfsummen,
  70-GiB-Freiraumreserve, SOURCE.yml-Herkunftsnachweis je Verzeichnis
- Rolle inference_engine: gepinntes ROCm-Image per Digest, internes
  Quadlet-Netz (Internal=true), zwei gegenseitig ausgeschlossene
  llama-server-Quadlets (Conflicts/Before nach GNAI-010 5.3), 64k-Bring-up-
  Override, Generator-Dry-Run, exklusiver Profilwechsel, Health- und
  Alias-Verifikation; kein Host-Port, kein default.target-Enable
- Syntax-Check und Template-Render-Verifikation bestanden; Live-Check-Modus
  steht aus (KI-Server aktuell ausgeschaltet)

Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
2026-11-01 17:31:45 +01:00