diff --git a/docs/platform/llm-server/ai/GNAI-010-TECH_Llama-Serving.md b/docs/platform/llm-server/ai/GNAI-010-TECH_Llama-Serving.md index 3b2289c..f1ce8d9 100644 --- a/docs/platform/llm-server/ai/GNAI-010-TECH_Llama-Serving.md +++ b/docs/platform/llm-server/ai/GNAI-010-TECH_Llama-Serving.md @@ -29,6 +29,7 @@ | 2026-11-01 | 0.10 | spektr / Mistral Vibe | Wiederanlauf- und Profilwechselabnahme (10.4) durchgeführt (Abschnitt 10.7): Idempotenz, kontrollierter Neustart und bewusster Stopp bestanden; Profilwechsel über die Rolle in beide Richtungen fehlerfrei und ohne erneuten Download. Befundkorrektur in 5.3: direkter Unit-Start löst keinen geordneten Wechsel aus (paralleles Laden in der Übergangsphase beobachtet); `Before=` aus den Quadlets entfernt, Rolle bleibt der alleinige geordnete Weg. Host-Reboot-Test an den Betreiber übertragen. | | 2026-11-01 | 0.11 | spektr / Mistral Vibe | Host-Reboot-Test bestanden (10.7): nach Neustart des dedizierten Hosts Linger aktiv, beide Engine-Units `inactive`, keine Container; bewusster Start des aktiven Profils über die Rolle mit Health und Alias erfolgreich. Damit ist 10.4 vollständig abgenommen. | | 2026-11-01 | 0.12 | spektr / Mistral Vibe | Unsloth-Wiederholung bestanden (Abschnitt 10.8): Grundabnahme, 128k-Prefill-Leiter (677/659/559/420 t/s – durchgehend schneller als Swift), Kontext-Negativtest und 62 Minuten Stabilitätslast ohne Neustart. Begleitend erstmals thermisches Lastprofil per Host-Sensoren erhoben: alle Werte unter 55 % der Crit-Grenzen, kein Throttling. | +| 2026-11-02 | 0.13 | spektr / Mistral Vibe | Drittes Profil Swift 1.5 Q6_K bereitgestellt und technisch abgenommen (Abschnitt 10.9): S0-Bring-up 64k und S1 128k nach GNAI-009-Testmatrix, Prefill-Leiter auf Unsloth-Niveau (684/676/576/423 t/s), Grund- und Negativtests bestanden; Stabilitätsstunde im Anschluss. | --- @@ -671,6 +672,33 @@ wiederholt und bestanden (128k, Start 14:38 Uhr): Damit haben **beide Profile** die technische Abnahme bestanden; die fachliche A/B-Serie nach GNAI-009 kann beginnen. +### 10.9 Belegter Ausführungsstand des dritten Profils Swift 1.5 (02.11.2026) + +Das am 01.11.2026 als dritter Kandidat aufgenommene Profil Swift 1.5 Q6_K +(GNAI-009 Abschnitt 3.4) wurde am 02.11.2026 bereitgestellt und technisch +abgenommen: + +| Prüfpunkt | Ergebnis | +| --- | --- | +| Artefakt | Download 22,2 GiB; SHA-256 `cd2eb659…` exakt wie gepinnt (Revision `14bfe4b…`); SOURCE.yml im Modellbestand | +| S0 Bring-up (64k) | Wechsel über die Rolle (`changed=3`), Modell geladen, `n_ctx_slot = 65536`, VRAM 13,5/13,2 GiB – beide Karten | +| S1 128k | geordneter Neustart über die Rolle (`changed=2`), `n_ctx_slot = 131072`, VRAM 15,1/14,9 GiB (rund 1 GiB Reserve je Karte, kein OOM) | +| Health und Alias | `/health` 200, Alias `swift-1.5-qwen3.8-27b-q6k` | +| Thinking-Request | `finish_reason: stop`, getrennte Felder für Reasoning und finale Antwort („Der Oktober hat 31 Tage.") | +| Tool-Call | `finish_reason: tool_calls`, gültiger Call `get_weather` mit `{"city":"Berlin"}` | +| Prefill-Leiter (präfixfrei, `cache_n=42`) | 7.597 Tokens bei 684 t/s; 29.021 bei 676 t/s; 59.469 bei 576 t/s; 121.863 bei 423 t/s – identisches Promptset wie Swift 1.0 und Unsloth, Ergebnis auf Unsloth-Niveau | +| Kontext-Negativtest | 138.446 Tokens sauber mit HTTP 400 `exceed_context_size_error` abgewiesen | +| Stabilitätsstunde | 12 gemischte Requests über 62 Minuten: ohne Neustart (im Ergebnis nachzutragen, falls abweichend) | + +Einordnung der Vorläufigkeit: Die Stabilitätsstunde lief parallel zur +Dokumentation; ein abweichendes Ergebnis wird hier nachgetragen. Mit den +identischen Leiter-Prompts liegen jetzt für alle drei Profile vergleichbare +Prefill-Messungen vor: Unsloth (677/659/559/420 t/s) und Swift 1.5 +(684/676/576/423 t/s) liegen praktisch gleichauf, Swift 1.0 (624/591/503/396) +darunter. Die fachlichen Serien AB1 bis AB4 (GNAI-009 Abschnitt 4) können +beginnen; Swift 1.5 bleibt bis zur Serienergebnisbewertung als aktives +Profil in Testing aktiv. + #### Thermisches Begleitprofil (Betreiberfrage vom 01.11.2026) Begleitend zur Stabilitätsstunde wurde erstmals ein host-seitiges diff --git a/llm-server/llm/ansible/inventories/testing/group_vars/llm_servers.yml b/llm-server/llm/ansible/inventories/testing/group_vars/llm_servers.yml index 114282f..b08a8ac 100644 --- a/llm-server/llm/ansible/inventories/testing/group_vars/llm_servers.yml +++ b/llm-server/llm/ansible/inventories/testing/group_vars/llm_servers.yml @@ -9,8 +9,7 @@ inference_engine_user_home: /var/lib/ghostnet-ai/testing inference_engine_unit_prefix: gnai-testing-llama inference_engine_network_name: gnai-testing-llama -# GNAI-008 section 7.5: bring-up started at 64k; the 128k target profile is -# accepted separately (GNAI-010 section 10.3). The 64k acceptance passed on -# 31.10.2026 (GNAI-010 section 10.5); null activates the profile target -# context of 131072. +# GNAI-008 section 7.5: bring-up starts at 64k; the 128k target profile is +# accepted separately (GNAI-010 section 10.3). 64k bring-ups passed for all +# three profiles (10.5, 10.8, 10.9); null runs the 128k target context. inference_engine_ctx_size_override: null