From 6f53634f1f592425e2018abf752c9b0aa17858ce Mon Sep 17 00:00:00 2001 From: spektr Date: Tue, 3 Nov 2026 19:43:37 +0100 Subject: [PATCH] GNAI-010 v0.14: Thermischer SW-CTF-Zwischenfall dokumentiert (10.10) MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit GPU0-Not-Shutdown unter BFCL-Last am 03.11.2026; Verdacht Lüfterstillstand der Sapphire Nitro+ (Idle 62 °C bei 0 RPM trotz 41 % PWM). BFCL-Restserie ausgesetzt bis zur physischen Prüfung; Sensorüberwachung (GNMON-001) zur dringenden Anforderung hochgestuft. Generated by Mistral Vibe. Co-Authored-By: Mistral Vibe --- .../ai/GNAI-010-TECH_Llama-Serving.md | 70 +++++++++++++++++++ 1 file changed, 70 insertions(+) diff --git a/docs/platform/llm-server/ai/GNAI-010-TECH_Llama-Serving.md b/docs/platform/llm-server/ai/GNAI-010-TECH_Llama-Serving.md index 97607c7..e4682c4 100644 --- a/docs/platform/llm-server/ai/GNAI-010-TECH_Llama-Serving.md +++ b/docs/platform/llm-server/ai/GNAI-010-TECH_Llama-Serving.md @@ -30,6 +30,7 @@ | 2026-11-01 | 0.11 | spektr / Mistral Vibe | Host-Reboot-Test bestanden (10.7): nach Neustart des dedizierten Hosts Linger aktiv, beide Engine-Units `inactive`, keine Container; bewusster Start des aktiven Profils über die Rolle mit Health und Alias erfolgreich. Damit ist 10.4 vollständig abgenommen. | | 2026-11-01 | 0.12 | spektr / Mistral Vibe | Unsloth-Wiederholung bestanden (Abschnitt 10.8): Grundabnahme, 128k-Prefill-Leiter (677/659/559/420 t/s – durchgehend schneller als Swift), Kontext-Negativtest und 62 Minuten Stabilitätslast ohne Neustart. Begleitend erstmals thermisches Lastprofil per Host-Sensoren erhoben: alle Werte unter 55 % der Crit-Grenzen, kein Throttling. | | 2026-11-02 | 0.13 | spektr / Mistral Vibe | Drittes Profil Swift 1.5 Q6_K bereitgestellt und technisch abgenommen (Abschnitt 10.9): S0-Bring-up 64k und S1 128k nach GNAI-009-Testmatrix, Prefill-Leiter auf Unsloth-Niveau (684/676/576/423 t/s), Grund- und Negativtests bestanden; Stabilitätsstunde im Anschluss. | +| 2026-11-03 | 0.14 | spektr / Mistral Vibe | Thermischer Zwischenfall dokumentiert (Abschnitt 10.10): GPU0 SW CTF unter BFCL-Last um 19:36 Uhr löste geordneten Not-Shutdown aus; BFCL-Restserie ohne Scores abgebrochen. Nach Wiederanlauf idlet GPU0 mit 62 °C bei 0 RPM Lüfter trotz ~41 % PWM-Anforderung – Verdacht Lüfterstillstand der Sapphire Nitro+, physische Prüfung durch Betreiber offen; Benchmark-Aussetzung und Hochstufung der Sensorüberwachung (GNMON-001) beschlossen. | --- @@ -722,6 +723,75 @@ konservativen werkseitigen Lüfterkurve der Sapphire Nitro+ (GPU0 dreht bei Lüfterkurven-Anpassung und die dauerhafte Sensorüberwachung gehören in das Monitoring-Konzept (GNMON-001), nicht in die Serving-Abnahme. +### 10.10 Thermischer Not-Shutdown unter BFCL-Last (03.11.2026) + +Zwischenfall: Während des BFCL-Werkzeugbenutzungs-Benchmarks (GNAI-009 +10.4) für das Swift-1.0-Profil hat der amdgpu-Treiber um 19:36:17 Uhr einen +geordneten Not-Shutdown des Systems ausgelöst: + +``` +kernel: amdgpu 0000:03:00.0: ERROR: GPU over temperature range(SW CTF) detected! +kernel: amdgpu: ERROR: System is going to shutdown due to GPU SW CTF! +``` + +Eine SW CTF (Software Close-To-Failure) ist ein treibergesteuerter, +kontrollierter Not-Shutdown – deshalb ist das Journal des vorherigen Boots +vollständig bis `poweroff.target` protokolliert (kein hartes Abschalten, +kein Dateisystem-Schaden). + +Verlauf aus Journal und Prozess-Logs rekonstruiert: + +1. 19:17 Uhr: Profilwechsel auf Swift 1.0 über die Rolle erfolgreich + (Health grün, Alias verifiziert). +2. Der BFCL-Lauf startete serverseitig trotz des bekannten + SSH-PTY-Abbruchs (lokale Ansible-Session starb, `run-bfcl.sh` lief auf + dem Host weiter; Pattern aus Abschnitt 8.1). Das lokale + Rest-Serien-Skript brach daraufhin mit `set -e` ab (Exit-Code 4) – der + Lauf war zu diesem Zeitpunkt aktiv, nicht gescheitert. +3. Bis 19:36:17 Uhr verarbeitete `gnai-testing-llama-swift` BFCL-Anfragen + (~17,8 t/s; Journal: 20.980 Zeilen im Fenster), dann SW CTF auf GPU0. +4. Der Lauf wurde vom Shutdown abgebrochen; es existiert kein + Score-Verzeichnis für Swift 1.0 (nur das Roh-Verzeichnis + `bfcl-swift-qwen3.8-27b-q6k`). Das Unsloth-Profil wurde nie erreicht. +5. 19:39 Uhr: Betreiber hat den Host manuell wieder eingeschaltet; + Wiederanlauf normal, beide Engine-Units `inactive` wie in 10.7 + dokumentiert (Linger, kein Autostart). + +#### Verdacht GPU0-Lüfterstillstand + +Nach Wiederanlauf (Leerlauf, keine Engine aktiv): + +| Sensor | GPU0 (03:00.0, SW-CTF-Karte) | GPU1 | +| --- | --- | --- | +| Edge / Junction / Memory | 62 / 63 / 62 °C | 45 / 48 / 50 °C | +| Lüfter (fan1_input) | 0 RPM | 0 RPM (werkseitig passiv, vgl. 10.8) | +| PWM-Anforderung (pwm1) | 104/255 (~41 %) | 0/255 | + +GPU0 idlet damit rund 12 °C wärmer, als sie am 01.11.2026 unter +Volllast lief (50–54 °C, Lüfter ~1.800 RPM, Abschnitt 10.8), obwohl der +Treiber ~41 % Lüfter-PWM anfordert. Plausibelster Befund: Der GPU0-Lüfter +der Sapphire Nitro+ dreht trotz PWM-Anforderung nicht (Stillstand, +blockiertes Lager oder defekter Tacho/Anschluss). Eine physische Prüfung +durch den Betreiber steht aus; der Idle-Temperatur-Fund spricht für einen +frisch aufgetretenen Hardwarefehler, da dieselbe Karte zwei Tage zuvor +unter Dauerlast unkritisch lief. + +Konsequenzen und Folgeaktionen: + +- a) Alle Benchmark-Serien (BFCL-Restserie Swift 1.0 und Unsloth) bleiben + so lange ausgesetzt, bis die GPU0-Kühlung geprüft/bestanden ist; unter + Störfall-Kühlung ist mit Wiederholung des SW CTF nach ~20 Minuten + Volllast zu rechnen. +- b) Bis dahin wird kein Engine-Profil gestartet; der Host bleibt im + Leerlauf überwacht. +- c) Die dauerhafte Sensorüberwachung mit Schwellwert-Alarm (insbesondere + GPU-Junction und Lüfterdrehzahl) wird vom Monitoring-Backlog (GNMON-001) + zur dringenden Anforderung hochgestuft; der Zwischenfall zeigt, dass + ein Lastprofil-Status quo ohne Überwachung nicht den Ist-Zustand + absichert. +- d) Entscheidung über RMA/Wartung der GPU0 und ggf. Absenken der + Lastgrenzen (Power Cap) an den Betreiber. + ## 11. Noch nicht festgelegte Werte - genaue Health-Implementierung im gepinnten Containerimage;