GNAI-010 v0.19: Luefterkurven-Service gpu_fan_control als Dauerloesung (10.10)

Rolle gpu_fan_control im Host-Projekt: Systemdienst gnai-gpu-fan-control
steuert beide Karten PCI-stabil aus der Junction-Temperatur (Anker
50/58/66/72/76C -> 0/80/140/200/255 PWM, 5s-Zyklus, fallende Hysterese,
EXIT-Failsafe auf Werksteuerung, Re-Assert je Zyklus). Preview, Deploy,
Idempotenz und Kurzlastsanity bestanden. BFCL-Restserie laeuft wieder
unter Luefterschutz.

Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
This commit is contained in:
2026-11-05 13:36:00 +01:00
parent b9606672c2
commit ed446d4b17
8 changed files with 367 additions and 8 deletions
@@ -35,6 +35,7 @@
| 2026-11-04 | 0.16 | spektr / Mistral Vibe | Slot-Tauschprobe korrigiert die Fehleranalyse (Abschnitt 10.10): Der thermische Defekt folgt dem Slot 03:00.0, nicht der Karte (verdächtige Karte im Slot 07:00.0 stabil bei ~60 °C; unauffällige Karte im Slot 03:00.0 bei 86–88 °C nach 5,5 Min bei gleicher Leistung). Beide Slots liegen über dem 01.11.-Referenzniveau – Verdacht auf Luftführungs-Regression am Gehäuse (Filter/Gehäuselüfter/Kabel). Karten-RMA zurückgestellt; Gehäuse-Prüfung und GNMON-001-Anschluss des KI-Servers als Folgeaktion festgelegt. |
| 2026-11-04 | 0.17 | spektr / Mistral Vibe | Deckel-Einflussmessung ergänzt (Abschnitt 10.10): Bei offenem Deckel 89 °C Junction im Slot 03:00.0 nach 6,75 Min statt 86–88 °C nach 5,5 Min geschlossen – Deckel liefert nur ~1–1,5 Min Verzögerung. Hypothese gehäuseweite Luftführungs-Revision verworfen; Engpass ist das Karten-Sandwich lokal. Konfigurative Hebel (PWM-Anhebung, Tensor-Split, Power Cap) als nächster Testschritt nach GNMON-001-Anschluss festgehalten. |
| 2026-11-05 | 0.18 | spektr / Mistral Vibe | PWM-Durchgriffstest ergänzt (Abschnitt 10.10): manueller Lüfter-PWM 255 auf der Karte im Slot 03:00.0 ergibt 3.149 RPM und ein stabiles Junction-Plateau von 76 °C (Peaks 80 °C) bei unverändertem Durchsatz (18,04 t/s) – Vorläufe brachen bei 86–93 °C ab. Werkkurve als Engpass identifiziert; Benchmarks unter Override thermisch wieder zulässig, eigenes Lüfterkurven-Service als Dauerlösung festgelegt, M5-Monitoring als live verifiziert dokumentiert. Override nach Test auf Auto zurückgesetzt. |
| 2026-11-05 | 0.19 | spektr / Mistral Vibe | Dauerlösung deployt (Abschnitt 10.10): Rolle `gpu_fan_control` im Host-Projekt installiert den Systemdienst `gnai-gpu-fan-control` (PCI-stabile Adressierung beider Karten, Junction-Kurve 50/58/66/72/76 °C → 0/80/140/200/255 PWM, 5s-Zyklus, fallende Hysterese, EXIT-Failsafe auf Werksteuerung, Re-Assert des manuellen Modus je Zyklus). Preview/Deploy/Idempotenz bestanden, Kurzlasttest regelt 67–72 °C; BFCL-Restserie läuft wieder unter Lüfterschutz. |
---
@@ -911,16 +912,41 @@ lösung (eigene Lüfterkurve mit Hysterese als kleines Service, da die
Werkurve träge resp. defekt erscheint) ist Folgeaufgabe. Der PWM-Override
wurde nach dem Test auf `pwm1_enable=2` (Auto) zurückgesetzt.
#### Dauerlösung: Lüfterkurven-Service (05.11.2026)
Der manuelle Override ist durch die Rolle `gpu_fan_control` im Host-Projekt
(`llm-server/host/ansible/roles/gpu_fan_control/`, verdrahtet in
`playbooks/host.yml`) ersetzt: der Systemdienst `gnai-gpu-fan-control`
steuert den Lüfter-PWM beider Karten (PCI-stabil adressiert, keine
DRM-Indizierung) aus der Junction-Temperatur über eine lineare Kurve
(Anker 50 °C→0, 58→80, 66→140, 72→200, 76→255 PWM; 5-Sekunden-Zyklus,
fallende Hysterese von zwei Quantisierungsschritten à 16). Designmerkmale:
- a) Der EXIT-Trap stellt `pwm1_enable=2` (Werksteuerung) auf allen Karten
zurück; ein gestoppter Dienst friert kein PWM ein. Der systemd-Stop
nutzt das `sleep & wait`-Muster, damit der Trap auf SIGTERM promptly
läuft.
- b) Der Dienst re-assertiert `pwm1_enable=1` jeden Zyklus; ein
amdgpu-Reload kann die Werkkurve nicht unbemerkt zurückholen.
- c) Kurvenanker sind Rollen-Defaults, anpassbar ohne Skriptänderung.
Abnahme: Preview `--check --diff` sauber, produktiver Deploy, Idempotenz
bestätigt (`changed=0`), Dienst aktiv auf beiden Karten
(`pwm1_enable=1`, Idle PWM 0), Kurzlasttest zeigt Regelung 67–72 °C bei
PWM 144–192 (2.757 RPM) auf der Karte im Slot 03:00.0; die Karte 07:00.0
moduliert um ihre Kurvenanker — kein kritischer Zustand. Damit laufen alle
weiteren Benchmark-Serien standardmäßig unter dem Lüfterschutz; der
PWM-Durchgriffstest von oben ist obsolet.
Konsequenzen und Folgeaktionen:
- a) Die Benchmark-Serien (BFCL-Restserie Swift 1.0 und Unsloth) sind unter
vollem Lüfterdurchgriff (pwm 255) thermisch wieder zulässig; der
Override ist pro Lauf manuell zu setzen und danach auf Auto
zurückzusetzen, bis eine Dauerlösung besteht.
- b) Für den Dauerbetrieb wird ein eigenes Lüfterkurven-Service
(Junction→PWM mit Hysterese) angestrebt, da die Werkkurve träge bzw.
defekt erscheint (Stand 05.11.2026); bis dahin läuft produktive Last
nur mit Override.
- a) Die Benchmark-Serien (BFCL-Restserie Swift 1.0 und Unsloth) sind
wieder aufgenommen und laufen ab 05.11.2026 standardmäßig unter dem
Lüfterschutz des Dienstes (kein manueller Override mehr nötig).
- b) Dauerlösung umgesetzt: Rolle `gpu_fan_control`/Dienst
`gnai-gpu-fan-control` (siehe Abschnitt Dauerlösung oben); Kurven-
Anker sind Rollen-Defaults und bei Bedarf ohne Skriptänderung
nachzusteuern.
- c) Die dauerhafte Sensorüberwachung mit Schwellwert-Alarm wurde mit
GNMON-001 M5 umgesetzt (K1-Collector + Server-VictoriaMetrics,
verifiziert 05.11.2026 über SSH-Tunnel-Abfrage durch den Agenten;