GNAI-010 v0.14: Thermischer SW-CTF-Zwischenfall dokumentiert (10.10)
GPU0-Not-Shutdown unter BFCL-Last am 03.11.2026; Verdacht Lüfterstillstand der Sapphire Nitro+ (Idle 62 °C bei 0 RPM trotz 41 % PWM). BFCL-Restserie ausgesetzt bis zur physischen Prüfung; Sensorüberwachung (GNMON-001) zur dringenden Anforderung hochgestuft. Generated by Mistral Vibe. Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
This commit is contained in:
@@ -30,6 +30,7 @@
|
||||
| 2026-11-01 | 0.11 | spektr / Mistral Vibe | Host-Reboot-Test bestanden (10.7): nach Neustart des dedizierten Hosts Linger aktiv, beide Engine-Units `inactive`, keine Container; bewusster Start des aktiven Profils über die Rolle mit Health und Alias erfolgreich. Damit ist 10.4 vollständig abgenommen. |
|
||||
| 2026-11-01 | 0.12 | spektr / Mistral Vibe | Unsloth-Wiederholung bestanden (Abschnitt 10.8): Grundabnahme, 128k-Prefill-Leiter (677/659/559/420 t/s – durchgehend schneller als Swift), Kontext-Negativtest und 62 Minuten Stabilitätslast ohne Neustart. Begleitend erstmals thermisches Lastprofil per Host-Sensoren erhoben: alle Werte unter 55 % der Crit-Grenzen, kein Throttling. |
|
||||
| 2026-11-02 | 0.13 | spektr / Mistral Vibe | Drittes Profil Swift 1.5 Q6_K bereitgestellt und technisch abgenommen (Abschnitt 10.9): S0-Bring-up 64k und S1 128k nach GNAI-009-Testmatrix, Prefill-Leiter auf Unsloth-Niveau (684/676/576/423 t/s), Grund- und Negativtests bestanden; Stabilitätsstunde im Anschluss. |
|
||||
| 2026-11-03 | 0.14 | spektr / Mistral Vibe | Thermischer Zwischenfall dokumentiert (Abschnitt 10.10): GPU0 SW CTF unter BFCL-Last um 19:36 Uhr löste geordneten Not-Shutdown aus; BFCL-Restserie ohne Scores abgebrochen. Nach Wiederanlauf idlet GPU0 mit 62 °C bei 0 RPM Lüfter trotz ~41 % PWM-Anforderung – Verdacht Lüfterstillstand der Sapphire Nitro+, physische Prüfung durch Betreiber offen; Benchmark-Aussetzung und Hochstufung der Sensorüberwachung (GNMON-001) beschlossen. |
|
||||
|
||||
---
|
||||
|
||||
@@ -722,6 +723,75 @@ konservativen werkseitigen Lüfterkurve der Sapphire Nitro+ (GPU0 dreht bei
|
||||
Lüfterkurven-Anpassung und die dauerhafte Sensorüberwachung gehören in das
|
||||
Monitoring-Konzept (GNMON-001), nicht in die Serving-Abnahme.
|
||||
|
||||
### 10.10 Thermischer Not-Shutdown unter BFCL-Last (03.11.2026)
|
||||
|
||||
Zwischenfall: Während des BFCL-Werkzeugbenutzungs-Benchmarks (GNAI-009
|
||||
10.4) für das Swift-1.0-Profil hat der amdgpu-Treiber um 19:36:17 Uhr einen
|
||||
geordneten Not-Shutdown des Systems ausgelöst:
|
||||
|
||||
```
|
||||
kernel: amdgpu 0000:03:00.0: ERROR: GPU over temperature range(SW CTF) detected!
|
||||
kernel: amdgpu: ERROR: System is going to shutdown due to GPU SW CTF!
|
||||
```
|
||||
|
||||
Eine SW CTF (Software Close-To-Failure) ist ein treibergesteuerter,
|
||||
kontrollierter Not-Shutdown – deshalb ist das Journal des vorherigen Boots
|
||||
vollständig bis `poweroff.target` protokolliert (kein hartes Abschalten,
|
||||
kein Dateisystem-Schaden).
|
||||
|
||||
Verlauf aus Journal und Prozess-Logs rekonstruiert:
|
||||
|
||||
1. 19:17 Uhr: Profilwechsel auf Swift 1.0 über die Rolle erfolgreich
|
||||
(Health grün, Alias verifiziert).
|
||||
2. Der BFCL-Lauf startete serverseitig trotz des bekannten
|
||||
SSH-PTY-Abbruchs (lokale Ansible-Session starb, `run-bfcl.sh` lief auf
|
||||
dem Host weiter; Pattern aus Abschnitt 8.1). Das lokale
|
||||
Rest-Serien-Skript brach daraufhin mit `set -e` ab (Exit-Code 4) – der
|
||||
Lauf war zu diesem Zeitpunkt aktiv, nicht gescheitert.
|
||||
3. Bis 19:36:17 Uhr verarbeitete `gnai-testing-llama-swift` BFCL-Anfragen
|
||||
(~17,8 t/s; Journal: 20.980 Zeilen im Fenster), dann SW CTF auf GPU0.
|
||||
4. Der Lauf wurde vom Shutdown abgebrochen; es existiert kein
|
||||
Score-Verzeichnis für Swift 1.0 (nur das Roh-Verzeichnis
|
||||
`bfcl-swift-qwen3.8-27b-q6k`). Das Unsloth-Profil wurde nie erreicht.
|
||||
5. 19:39 Uhr: Betreiber hat den Host manuell wieder eingeschaltet;
|
||||
Wiederanlauf normal, beide Engine-Units `inactive` wie in 10.7
|
||||
dokumentiert (Linger, kein Autostart).
|
||||
|
||||
#### Verdacht GPU0-Lüfterstillstand
|
||||
|
||||
Nach Wiederanlauf (Leerlauf, keine Engine aktiv):
|
||||
|
||||
| Sensor | GPU0 (03:00.0, SW-CTF-Karte) | GPU1 |
|
||||
| --- | --- | --- |
|
||||
| Edge / Junction / Memory | 62 / 63 / 62 °C | 45 / 48 / 50 °C |
|
||||
| Lüfter (fan1_input) | 0 RPM | 0 RPM (werkseitig passiv, vgl. 10.8) |
|
||||
| PWM-Anforderung (pwm1) | 104/255 (~41 %) | 0/255 |
|
||||
|
||||
GPU0 idlet damit rund 12 °C wärmer, als sie am 01.11.2026 unter
|
||||
Volllast lief (50–54 °C, Lüfter ~1.800 RPM, Abschnitt 10.8), obwohl der
|
||||
Treiber ~41 % Lüfter-PWM anfordert. Plausibelster Befund: Der GPU0-Lüfter
|
||||
der Sapphire Nitro+ dreht trotz PWM-Anforderung nicht (Stillstand,
|
||||
blockiertes Lager oder defekter Tacho/Anschluss). Eine physische Prüfung
|
||||
durch den Betreiber steht aus; der Idle-Temperatur-Fund spricht für einen
|
||||
frisch aufgetretenen Hardwarefehler, da dieselbe Karte zwei Tage zuvor
|
||||
unter Dauerlast unkritisch lief.
|
||||
|
||||
Konsequenzen und Folgeaktionen:
|
||||
|
||||
- a) Alle Benchmark-Serien (BFCL-Restserie Swift 1.0 und Unsloth) bleiben
|
||||
so lange ausgesetzt, bis die GPU0-Kühlung geprüft/bestanden ist; unter
|
||||
Störfall-Kühlung ist mit Wiederholung des SW CTF nach ~20 Minuten
|
||||
Volllast zu rechnen.
|
||||
- b) Bis dahin wird kein Engine-Profil gestartet; der Host bleibt im
|
||||
Leerlauf überwacht.
|
||||
- c) Die dauerhafte Sensorüberwachung mit Schwellwert-Alarm (insbesondere
|
||||
GPU-Junction und Lüfterdrehzahl) wird vom Monitoring-Backlog (GNMON-001)
|
||||
zur dringenden Anforderung hochgestuft; der Zwischenfall zeigt, dass
|
||||
ein Lastprofil-Status quo ohne Überwachung nicht den Ist-Zustand
|
||||
absichert.
|
||||
- d) Entscheidung über RMA/Wartung der GPU0 und ggf. Absenken der
|
||||
Lastgrenzen (Power Cap) an den Betreiber.
|
||||
|
||||
## 11. Noch nicht festgelegte Werte
|
||||
|
||||
- genaue Health-Implementierung im gepinnten Containerimage;
|
||||
|
||||
Reference in New Issue
Block a user