diff --git a/docs/platform/llm-server/ai/GNAI-010-TECH_Llama-Serving.md b/docs/platform/llm-server/ai/GNAI-010-TECH_Llama-Serving.md index e4682c4..cb4f650 100644 --- a/docs/platform/llm-server/ai/GNAI-010-TECH_Llama-Serving.md +++ b/docs/platform/llm-server/ai/GNAI-010-TECH_Llama-Serving.md @@ -31,6 +31,7 @@ | 2026-11-01 | 0.12 | spektr / Mistral Vibe | Unsloth-Wiederholung bestanden (Abschnitt 10.8): Grundabnahme, 128k-Prefill-Leiter (677/659/559/420 t/s – durchgehend schneller als Swift), Kontext-Negativtest und 62 Minuten Stabilitätslast ohne Neustart. Begleitend erstmals thermisches Lastprofil per Host-Sensoren erhoben: alle Werte unter 55 % der Crit-Grenzen, kein Throttling. | | 2026-11-02 | 0.13 | spektr / Mistral Vibe | Drittes Profil Swift 1.5 Q6_K bereitgestellt und technisch abgenommen (Abschnitt 10.9): S0-Bring-up 64k und S1 128k nach GNAI-009-Testmatrix, Prefill-Leiter auf Unsloth-Niveau (684/676/576/423 t/s), Grund- und Negativtests bestanden; Stabilitätsstunde im Anschluss. | | 2026-11-03 | 0.14 | spektr / Mistral Vibe | Thermischer Zwischenfall dokumentiert (Abschnitt 10.10): GPU0 SW CTF unter BFCL-Last um 19:36 Uhr löste geordneten Not-Shutdown aus; BFCL-Restserie ohne Scores abgebrochen. Nach Wiederanlauf idlet GPU0 mit 62 °C bei 0 RPM Lüfter trotz ~41 % PWM-Anforderung – Verdacht Lüfterstillstand der Sapphire Nitro+, physische Prüfung durch Betreiber offen; Benchmark-Aussetzung und Hochstufung der Sensorüberwachung (GNMON-001) beschlossen. | +| 2026-11-03 | 0.15 | spektr / Mistral Vibe | Lasttest mit geschlossenem Gehäuse ergänzt (Abschnitt 10.10): GPU0 erreicht bei drei parallelen Strömen nach 95 Sekunden 93 °C Junction bei nur 28 % PWM/~1.340 RPM (Referenz 01.11.: 54 °C bei 1.800–2.100 RPM). Kühldefekt GPU0 bestätigt (Lüfterlager und/oder Kühlkörperanpressung); Last abgebrochen, Engine gestoppt, Benchmarks bis zur Hardware-Behebung ausgesetzt. | --- @@ -776,12 +777,45 @@ durch den Betreiber steht aus; der Idle-Temperatur-Fund spricht für einen frisch aufgetretenen Hardwarefehler, da dieselbe Karte zwei Tage zuvor unter Dauerlast unkritisch lief. +#### Lasttest mit geschlossenem Gehäuse (03.11.2026, 19:54 Uhr) + +Nach physischer Inspektion durch den Betreiber (Gehäuse offen, alle sechs +GPU-Lüfter drehten sichtbar) wurde der Lasttest mit geschlossenem Gehäuse +wiederholt: Engine-Profil Swift 1.0, drei parallele Chat-Completion-Ströme +(`max_tokens` 3500), Überwachung im 5-Sekunden-Takt über hwmon, Abbruch bei +90 °C Junction (Schwelle bewusst unterhalb SW CTF ~110 °C): + +| Zeitpunkt | GPU0 Edge / Junction | GPU0 Lüfter / PWM | GPU1 Junction / Lüfter | +| --- | --- | --- | --- | +| Lastbeginn | 41 / 44 °C (nach Warmlauf) | 0 RPM / 0 | 34 °C / 0 RPM | +| +65 s | 67 / 73 °C | 960 RPM / 48 | 64 °C / 959 RPM | +| +95 s | 86 / 93 °C | 1.317 RPM / 71 | 70 °C / 749 RPM | +| Laststopp (bei 93 °C) | 86 / 93 °C | 1.340 RPM / 71 | 70 °C / 719 RPM | +| +50 s nach Stopp | 68 / 71 °C | fallend | 47 °C / 0 RPM | + +Abbruch der Last nach rund 95 Sekunden wegen Erreichens der 90-°C-Schwelle. + +Bewertung: Der Kühldefekt der GPU0 ist damit bestätigt, und er liegt nicht +allein im Lüfterstillstand. Zum Referenzprofil vom 01.11. (Abschnitt 10.8: +54 °C Junction unter Volllast, Lüfter 1.800–2.100 RPM) erreicht die Karte +heute bei gleicher Lastklasse nach 95 Sekunden 93 °C Junction, während der +Lüfteraggregate-PWM bei nur 71/255 (~28 %) und ~1.340 RPM bleibt – bei +93 °C Junction müsste die Karte auf 100 % PWM stehen. Das Muster (0 RPM bei +41 % PWM-Anforderung direkt nach dem Reboot; sichtbar drehende, aber zu +langsame Lüfter unter Last) spricht für Lagerschaden/Festlaufen mehrerer +GPU0-Lüfter oder eine gestörte Kühlkörperanpressung (Paste/Pads); beides +erklärt, warum der SW CTF am 03.11. nach ~19 Minuten BFCL-Dauerlast +auslöste, während die identische Karte am 01.11. 55 Minuten Dauerlast ohne +Throttling vertrug. GPU1 läuft ebenfalls ~17–20 °C wärmer als im +Referenzprofil; das kann Folge der GPU0-Abwärme im geschlossenen Gehäuse +sein und ist nach Austausch/Reparatur der GPU0 erneut zu messen. + Konsequenzen und Folgeaktionen: - a) Alle Benchmark-Serien (BFCL-Restserie Swift 1.0 und Unsloth) bleiben - so lange ausgesetzt, bis die GPU0-Kühlung geprüft/bestanden ist; unter - Störfall-Kühlung ist mit Wiederholung des SW CTF nach ~20 Minuten - Volllast zu rechnen. + ausgesetzt, bis die GPU0-Kühlung repariert oder die Karte getauscht ist; + unter dem aktuellen Zustand ist mit SW-CTF-Repetition nach wenigen + Minuten Volllast zu rechnen. - b) Bis dahin wird kein Engine-Profil gestartet; der Host bleibt im Leerlauf überwacht. - c) Die dauerhafte Sensorüberwachung mit Schwellwert-Alarm (insbesondere @@ -789,8 +823,8 @@ Konsequenzen und Folgeaktionen: zur dringenden Anforderung hochgestuft; der Zwischenfall zeigt, dass ein Lastprofil-Status quo ohne Überwachung nicht den Ist-Zustand absichert. -- d) Entscheidung über RMA/Wartung der GPU0 und ggf. Absenken der - Lastgrenzen (Power Cap) an den Betreiber. +- d) Entscheidung über RMA/Wartung der GPU0 (Lüfter/Cache) und ggf. + Slot-Tauschprobe GPU0 gegen GPU1 zur Defektverfolgung an den Betreiber. ## 11. Noch nicht festgelegte Werte