From 57a3c1140a8c8680610d337a34430edaefe859b4 Mon Sep 17 00:00:00 2001 From: spektr Date: Wed, 4 Nov 2026 16:59:45 +0100 Subject: [PATCH] GNAI-010 v0.16: Slot-Tauschprobe - Defekt folgt dem Slot, nicht der Karte (10.10) Verdaechtige Karte im Slot 07:00.0 stabil bei ~60 C; bisher unauffaellige Karte im Slot 03:00.0 bei 86-88 C nach 5,5 Min (gleiche Leistung ~140 W). Beide Slots ueber 01.11.-Referenzniveau: Verdacht Luftfuehrungs-Regression am Gehaeuse. RMA zurueckgestellt; Gehaeuse-Pruefung und GNMON-001-Anschluss des KI-Servers als Folgeaktionen festgelegt. Generated by Mistral Vibe. Co-Authored-By: Mistral Vibe --- .../ai/GNAI-010-TECH_Llama-Serving.md | 58 +++++++++++++++++-- 1 file changed, 53 insertions(+), 5 deletions(-) diff --git a/docs/platform/llm-server/ai/GNAI-010-TECH_Llama-Serving.md b/docs/platform/llm-server/ai/GNAI-010-TECH_Llama-Serving.md index cb4f650..0bbec74 100644 --- a/docs/platform/llm-server/ai/GNAI-010-TECH_Llama-Serving.md +++ b/docs/platform/llm-server/ai/GNAI-010-TECH_Llama-Serving.md @@ -32,6 +32,7 @@ | 2026-11-02 | 0.13 | spektr / Mistral Vibe | Drittes Profil Swift 1.5 Q6_K bereitgestellt und technisch abgenommen (Abschnitt 10.9): S0-Bring-up 64k und S1 128k nach GNAI-009-Testmatrix, Prefill-Leiter auf Unsloth-Niveau (684/676/576/423 t/s), Grund- und Negativtests bestanden; Stabilitätsstunde im Anschluss. | | 2026-11-03 | 0.14 | spektr / Mistral Vibe | Thermischer Zwischenfall dokumentiert (Abschnitt 10.10): GPU0 SW CTF unter BFCL-Last um 19:36 Uhr löste geordneten Not-Shutdown aus; BFCL-Restserie ohne Scores abgebrochen. Nach Wiederanlauf idlet GPU0 mit 62 °C bei 0 RPM Lüfter trotz ~41 % PWM-Anforderung – Verdacht Lüfterstillstand der Sapphire Nitro+, physische Prüfung durch Betreiber offen; Benchmark-Aussetzung und Hochstufung der Sensorüberwachung (GNMON-001) beschlossen. | | 2026-11-03 | 0.15 | spektr / Mistral Vibe | Lasttest mit geschlossenem Gehäuse ergänzt (Abschnitt 10.10): GPU0 erreicht bei drei parallelen Strömen nach 95 Sekunden 93 °C Junction bei nur 28 % PWM/~1.340 RPM (Referenz 01.11.: 54 °C bei 1.800–2.100 RPM). Kühldefekt GPU0 bestätigt (Lüfterlager und/oder Kühlkörperanpressung); Last abgebrochen, Engine gestoppt, Benchmarks bis zur Hardware-Behebung ausgesetzt. | +| 2026-11-04 | 0.16 | spektr / Mistral Vibe | Slot-Tauschprobe korrigiert die Fehleranalyse (Abschnitt 10.10): Der thermische Defekt folgt dem Slot 03:00.0, nicht der Karte (verdächtige Karte im Slot 07:00.0 stabil bei ~60 °C; unauffällige Karte im Slot 03:00.0 bei 86–88 °C nach 5,5 Min bei gleicher Leistung). Beide Slots liegen über dem 01.11.-Referenzniveau – Verdacht auf Luftführungs-Regression am Gehäuse (Filter/Gehäuselüfter/Kabel). Karten-RMA zurückgestellt; Gehäuse-Prüfung und GNMON-001-Anschluss des KI-Servers als Folgeaktion festgelegt. | --- @@ -810,12 +811,52 @@ Throttling vertrug. GPU1 läuft ebenfalls ~17–20 °C wärmer als im Referenzprofil; das kann Folge der GPU0-Abwärme im geschlossenen Gehäuse sein und ist nach Austausch/Reparatur der GPU0 erneut zu messen. +#### Slot-Tauschprobe (03.11.2026, 20:52 Uhr) + +Nach Sichtkontrolle durch den Betreiber (Lüfter aller Karten laufen frei, +keine Geräusche, Kühlrippen sauber) wurden beide Karten physisch getauscht +und der diskriminierende Lasttest bei geschlossenem Gehäuse wiederholt +(gleiche Lastform, kühlere Umgebung, Abbruch weiterhin bei 90 °C Junction): + +| Slot | Karte | Junction-Verlauf | Plateau/Final | Lüfter/PWM | Leistung | +| --- | --- | --- | --- | --- | ---: | +| 03:00.0 | vormals unauffällige Karte | 29 → 52 → 68 °C in 1/3/5 Min | 86–88 °C bei Abbruch (~5,5 Min) | 1.353 RPM / 75 | 140 W | +| 07:00.0 | vormals verdächtige Karte | 29 → 52 °C in 1,5 Min | 58–63 °C (stabiles Plateau) | ~850 RPM / 42 | 132 W | + +Damit korrigiert sich die Fehleranalyse aus der v0.15: Der thermische +Defekt **folgt dem Slot 03:00.0, nicht der Karte**. Die gestrige +Verdachtskarte zeigt im Slot 07:00.0 ein stabiles Plateau bei ~60 °C und ist +gesund; die gestern unauffällige Karte heizt im Slot 03:00.0 mit gleicher +Leistungsaufnahme (~140 W) in fünf Minuten auf 86–88 °C. Zwei zusätzliche +Beobachtungen: + +- a) Auch Slot 07:00.0 liegt mit ~58–63 °C rund 10–15 °C über dem + Referenzprofil vom 01.11 (47–51 °C unter Volllast) – die gesamte + gehäuseinterne Kühlleistung hat sich seit dem 01.11. verschlechtert, + der Slot 03:00.0 katastrophal (54 °C Referenz → 86–88 °C). +- b) Die Lüfter-PWM-Kurven beider Karten rampten in beiden Slots + deutlich träger als im Referenzprofil (01.11.: 1.800–2.100 RPM bei + 54 °C; jetzt 1.353 RPM bei 88 °C bzw. 850 RPM bei 60 °C). Ein + hartes PWM-Deckelungs-Kap (v0.15-Vermutung) hat sich nicht bestätigt; + die Kurve klettert langsam weiter, erreicht aber bei kritischen + Temperaturen nicht die Referenzzahlen. + +Plausibelste Ursache: eine **gehäuse- oder slotbezogene Luftführungs- +regression** (verstopfte Ansaugfilter, ausgefallene/stehende Gehäuse- +lüfter, veränderte Kabelverlegung nach den Gehäuseöffnungen, blockierter +Luftpfad zum Slot 03:00.0), die beide Slots trifft und den Slot 03:00.0 +besonders. Eine karteninterne Ursache (Lüfter, Kühlkörper, Paste) ist +nach Tauschprobe und Sichtkontrolle unwahrscheinlich. Der Unterschied +der gestrigen (93 °C nach 95 s) zu der heutigen Kurve (86–88 °C nach +5,5 Min im gleichen Slot) ist überwiegend auf die kühlere Umgebung und +die Neumontage der Karten zurückzuführen. + Konsequenzen und Folgeaktionen: - a) Alle Benchmark-Serien (BFCL-Restserie Swift 1.0 und Unsloth) bleiben - ausgesetzt, bis die GPU0-Kühlung repariert oder die Karte getauscht ist; - unter dem aktuellen Zustand ist mit SW-CTF-Repetition nach wenigen - Minuten Volllast zu rechnen. + ausgesetzt, bis die Luftführungs-Regression am Gehäuse/Slot 03:00.0 + gefunden und behoben ist; der aktuelle Zustand führt bei Dauerlast + erneut in Richtung SW CTF. - b) Bis dahin wird kein Engine-Profil gestartet; der Host bleibt im Leerlauf überwacht. - c) Die dauerhafte Sensorüberwachung mit Schwellwert-Alarm (insbesondere @@ -823,8 +864,15 @@ Konsequenzen und Folgeaktionen: zur dringenden Anforderung hochgestuft; der Zwischenfall zeigt, dass ein Lastprofil-Status quo ohne Überwachung nicht den Ist-Zustand absichert. -- d) Entscheidung über RMA/Wartung der GPU0 (Lüfter/Cache) und ggf. - Slot-Tauschprobe GPU0 gegen GPU1 zur Defektverfolgung an den Betreiber. +- d) Physische Prüfung durch den Betreiber: Gehäuselüfter (drehen alle? + Drehzahl plausibel?), Ansaugfilter/Staubvliese, Kabelverlegung im + Luftweg zum Slot 03:00.0, Abstand/Panels im Bereich des Slots. Karten- + RMA ist nach der Tauschprobe nicht mehr erste Priorität. +- e) Anschluss des KI-Servers an das Monitoring (GNMON-001 Rollen + `gnmon_collector`/`gnmon_victoria_metrics`) vor Wiederaufnahme des + Lastbetriebs, damit Junction-Temperatur und Lüfterdrehzahl + kontinuierlich mit Alarmierung (Regeln aus GNMON-001 M4) überwacht + werden. ## 11. Noch nicht festgelegte Werte