GNAI-010 v0.14: Thermischer SW-CTF-Zwischenfall dokumentiert (10.10)

GPU0-Not-Shutdown unter BFCL-Last am 03.11.2026; Verdacht Lüfterstillstand
der Sapphire Nitro+ (Idle 62 °C bei 0 RPM trotz 41 % PWM). BFCL-Restserie
ausgesetzt bis zur physischen Prüfung; Sensorüberwachung (GNMON-001)
zur dringenden Anforderung hochgestuft.

Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
This commit is contained in:
2026-11-03 19:43:37 +01:00
parent 4fea6f75bc
commit 6f53634f1f
@@ -30,6 +30,7 @@
| 2026-11-01 | 0.11 | spektr / Mistral Vibe | Host-Reboot-Test bestanden (10.7): nach Neustart des dedizierten Hosts Linger aktiv, beide Engine-Units `inactive`, keine Container; bewusster Start des aktiven Profils über die Rolle mit Health und Alias erfolgreich. Damit ist 10.4 vollständig abgenommen. | | 2026-11-01 | 0.11 | spektr / Mistral Vibe | Host-Reboot-Test bestanden (10.7): nach Neustart des dedizierten Hosts Linger aktiv, beide Engine-Units `inactive`, keine Container; bewusster Start des aktiven Profils über die Rolle mit Health und Alias erfolgreich. Damit ist 10.4 vollständig abgenommen. |
| 2026-11-01 | 0.12 | spektr / Mistral Vibe | Unsloth-Wiederholung bestanden (Abschnitt 10.8): Grundabnahme, 128k-Prefill-Leiter (677/659/559/420 t/s – durchgehend schneller als Swift), Kontext-Negativtest und 62 Minuten Stabilitätslast ohne Neustart. Begleitend erstmals thermisches Lastprofil per Host-Sensoren erhoben: alle Werte unter 55 % der Crit-Grenzen, kein Throttling. | | 2026-11-01 | 0.12 | spektr / Mistral Vibe | Unsloth-Wiederholung bestanden (Abschnitt 10.8): Grundabnahme, 128k-Prefill-Leiter (677/659/559/420 t/s – durchgehend schneller als Swift), Kontext-Negativtest und 62 Minuten Stabilitätslast ohne Neustart. Begleitend erstmals thermisches Lastprofil per Host-Sensoren erhoben: alle Werte unter 55 % der Crit-Grenzen, kein Throttling. |
| 2026-11-02 | 0.13 | spektr / Mistral Vibe | Drittes Profil Swift 1.5 Q6_K bereitgestellt und technisch abgenommen (Abschnitt 10.9): S0-Bring-up 64k und S1 128k nach GNAI-009-Testmatrix, Prefill-Leiter auf Unsloth-Niveau (684/676/576/423 t/s), Grund- und Negativtests bestanden; Stabilitätsstunde im Anschluss. | | 2026-11-02 | 0.13 | spektr / Mistral Vibe | Drittes Profil Swift 1.5 Q6_K bereitgestellt und technisch abgenommen (Abschnitt 10.9): S0-Bring-up 64k und S1 128k nach GNAI-009-Testmatrix, Prefill-Leiter auf Unsloth-Niveau (684/676/576/423 t/s), Grund- und Negativtests bestanden; Stabilitätsstunde im Anschluss. |
| 2026-11-03 | 0.14 | spektr / Mistral Vibe | Thermischer Zwischenfall dokumentiert (Abschnitt 10.10): GPU0 SW CTF unter BFCL-Last um 19:36 Uhr löste geordneten Not-Shutdown aus; BFCL-Restserie ohne Scores abgebrochen. Nach Wiederanlauf idlet GPU0 mit 62 °C bei 0 RPM Lüfter trotz ~41 % PWM-Anforderung – Verdacht Lüfterstillstand der Sapphire Nitro+, physische Prüfung durch Betreiber offen; Benchmark-Aussetzung und Hochstufung der Sensorüberwachung (GNMON-001) beschlossen. |
--- ---
@@ -722,6 +723,75 @@ konservativen werkseitigen Lüfterkurve der Sapphire Nitro+ (GPU0 dreht bei
Lüfterkurven-Anpassung und die dauerhafte Sensorüberwachung gehören in das Lüfterkurven-Anpassung und die dauerhafte Sensorüberwachung gehören in das
Monitoring-Konzept (GNMON-001), nicht in die Serving-Abnahme. Monitoring-Konzept (GNMON-001), nicht in die Serving-Abnahme.
### 10.10 Thermischer Not-Shutdown unter BFCL-Last (03.11.2026)
Zwischenfall: Während des BFCL-Werkzeugbenutzungs-Benchmarks (GNAI-009
10.4) für das Swift-1.0-Profil hat der amdgpu-Treiber um 19:36:17 Uhr einen
geordneten Not-Shutdown des Systems ausgelöst:
```
kernel: amdgpu 0000:03:00.0: ERROR: GPU over temperature range(SW CTF) detected!
kernel: amdgpu: ERROR: System is going to shutdown due to GPU SW CTF!
```
Eine SW CTF (Software Close-To-Failure) ist ein treibergesteuerter,
kontrollierter Not-Shutdown – deshalb ist das Journal des vorherigen Boots
vollständig bis `poweroff.target` protokolliert (kein hartes Abschalten,
kein Dateisystem-Schaden).
Verlauf aus Journal und Prozess-Logs rekonstruiert:
1. 19:17 Uhr: Profilwechsel auf Swift 1.0 über die Rolle erfolgreich
(Health grün, Alias verifiziert).
2. Der BFCL-Lauf startete serverseitig trotz des bekannten
SSH-PTY-Abbruchs (lokale Ansible-Session starb, `run-bfcl.sh` lief auf
dem Host weiter; Pattern aus Abschnitt 8.1). Das lokale
Rest-Serien-Skript brach daraufhin mit `set -e` ab (Exit-Code 4) – der
Lauf war zu diesem Zeitpunkt aktiv, nicht gescheitert.
3. Bis 19:36:17 Uhr verarbeitete `gnai-testing-llama-swift` BFCL-Anfragen
(~17,8 t/s; Journal: 20.980 Zeilen im Fenster), dann SW CTF auf GPU0.
4. Der Lauf wurde vom Shutdown abgebrochen; es existiert kein
Score-Verzeichnis für Swift 1.0 (nur das Roh-Verzeichnis
`bfcl-swift-qwen3.8-27b-q6k`). Das Unsloth-Profil wurde nie erreicht.
5. 19:39 Uhr: Betreiber hat den Host manuell wieder eingeschaltet;
Wiederanlauf normal, beide Engine-Units `inactive` wie in 10.7
dokumentiert (Linger, kein Autostart).
#### Verdacht GPU0-Lüfterstillstand
Nach Wiederanlauf (Leerlauf, keine Engine aktiv):
| Sensor | GPU0 (03:00.0, SW-CTF-Karte) | GPU1 |
| --- | --- | --- |
| Edge / Junction / Memory | 62 / 63 / 62 °C | 45 / 48 / 50 °C |
| Lüfter (fan1_input) | 0 RPM | 0 RPM (werkseitig passiv, vgl. 10.8) |
| PWM-Anforderung (pwm1) | 104/255 (~41 %) | 0/255 |
GPU0 idlet damit rund 12 °C wärmer, als sie am 01.11.2026 unter
Volllast lief (50–54 °C, Lüfter ~1.800 RPM, Abschnitt 10.8), obwohl der
Treiber ~41 % Lüfter-PWM anfordert. Plausibelster Befund: Der GPU0-Lüfter
der Sapphire Nitro+ dreht trotz PWM-Anforderung nicht (Stillstand,
blockiertes Lager oder defekter Tacho/Anschluss). Eine physische Prüfung
durch den Betreiber steht aus; der Idle-Temperatur-Fund spricht für einen
frisch aufgetretenen Hardwarefehler, da dieselbe Karte zwei Tage zuvor
unter Dauerlast unkritisch lief.
Konsequenzen und Folgeaktionen:
- a) Alle Benchmark-Serien (BFCL-Restserie Swift 1.0 und Unsloth) bleiben
so lange ausgesetzt, bis die GPU0-Kühlung geprüft/bestanden ist; unter
Störfall-Kühlung ist mit Wiederholung des SW CTF nach ~20 Minuten
Volllast zu rechnen.
- b) Bis dahin wird kein Engine-Profil gestartet; der Host bleibt im
Leerlauf überwacht.
- c) Die dauerhafte Sensorüberwachung mit Schwellwert-Alarm (insbesondere
GPU-Junction und Lüfterdrehzahl) wird vom Monitoring-Backlog (GNMON-001)
zur dringenden Anforderung hochgestuft; der Zwischenfall zeigt, dass
ein Lastprofil-Status quo ohne Überwachung nicht den Ist-Zustand
absichert.
- d) Entscheidung über RMA/Wartung der GPU0 und ggf. Absenken der
Lastgrenzen (Power Cap) an den Betreiber.
## 11. Noch nicht festgelegte Werte ## 11. Noch nicht festgelegte Werte
- genaue Health-Implementierung im gepinnten Containerimage; - genaue Health-Implementierung im gepinnten Containerimage;