LLM-Server: ausführbares Projekt in die Hauptverzeichnisse host/, llm/ und encoding/ aufgeteilt.
Grundkonfiguration des Servers liegt nun unter llm-server/host/ansible/ (vorher llm-server/ansible/), der LLM-Stack-Platzhalter unter llm-server/llm/ und der Encoding-Workload unter llm-server/encoding/. Dokumentation und Pfadverweise (ansible.cfg roles_path, .venv-Tiefe, Markdown-Links) angepasst; Linkvalidator meldet broken_local_links=0. Generated by Mistral Vibe. Co-Authored-By: Mistral Vibe <vibe@mistral.ai>
This commit is contained in:
@@ -35,6 +35,7 @@
|
||||
| 2026-09-21 | 0.14 | spektr / Codex | Unsloth UD-Q6_K als zweites installiertes 128k-Profil und A/B-Kandidat festgelegt |
|
||||
| 2026-09-21 | 0.15 | spektr / Codex | je Modell ein festes, gegenseitig ausgeschlossenes Quadlet vorgesehen und dynamischen llama.cpp-Router zurückgestellt |
|
||||
| 2026-09-21 | 0.16 | spektr / Codex | überholten Phasen- und Dokumentenbacklog konsolidiert, Umsetzungsreihenfolge an GNAI-001 delegiert und privilegierten Runner nach Recovery verschoben |
|
||||
| 2026-10-19 | 0.17 | spektr / Mistral Vibe | LLM-Server-Projekt in die fachlichen Hauptverzeichnisse `host/`, `llm/` und `encoding/` aufgeteilt; Abschnitte 6 und 7.4 an die neue Struktur angepasst |
|
||||
|
||||
---
|
||||
|
||||
@@ -190,25 +191,34 @@ Laufzeitumgebungen und die zugehörigen Workflows besitzen. Damit verändern
|
||||
nicht mehrere unabhängige Deployment-Repositories denselben Host.
|
||||
|
||||
Die ursprünglich vorgesehene Struktur wurde am 14.10.2026 unter einen eigenen
|
||||
Host-Root verschoben. Innerhalb des LLM-Server-Projekts bleibt die bewährte
|
||||
Ansible-Gliederung erhalten:
|
||||
Host-Root verschoben und am 19.10.2026 fachlich in ein Hauptverzeichnis pro
|
||||
Aufgabe aufgeteilt (analog zu `docs/platform/llm-server/`):
|
||||
|
||||
```text
|
||||
llm-server/ansible/
|
||||
├── ansible.cfg
|
||||
├── collections/
|
||||
│ └── requirements.yml
|
||||
├── inventories/
|
||||
│ ├── production/
|
||||
│ └── testing/
|
||||
├── playbooks/
|
||||
│ ├── host.yml
|
||||
│ ├── environment.yml
|
||||
│ └── verify.yml
|
||||
└── roles/
|
||||
├── host_baseline/
|
||||
├── environment_stack/
|
||||
└── weitere_fachrollen/
|
||||
llm-server/
|
||||
├── host/ansible/ # gemeinsame Plattform des physischen Servers
|
||||
│ ├── ansible.cfg
|
||||
│ ├── inventories/
|
||||
│ │ ├── bootstrap/
|
||||
│ │ ├── host/
|
||||
│ │ └── testing/
|
||||
│ ├── playbooks/
|
||||
│ │ ├── host.yml
|
||||
│ │ ├── preflight.yml
|
||||
│ │ ├── bootstrap-deploy-account.yml
|
||||
│ │ ├── verify-deploy-access.yml
|
||||
│ │ └── verify-rocm-container.yml
|
||||
│ └── roles/
|
||||
│ ├── host_baseline/
|
||||
│ ├── workload_accounts/
|
||||
│ ├── amd_gpu_access/
|
||||
│ └── rocm_container_probe/
|
||||
├── llm/ # LLM-Stack; entsteht mit dem AI-Vertical-Slice
|
||||
└── encoding/ansible/ # CPU-Encoding-Workload
|
||||
├── playbooks/
|
||||
│ └── video-encoding.yml
|
||||
└── roles/
|
||||
└── video_encoding/
|
||||
|
||||
.gitea/workflows/
|
||||
├── validate.yml
|
||||
@@ -216,11 +226,12 @@ llm-server/ansible/
|
||||
└── deploy-production.yml
|
||||
```
|
||||
|
||||
Innerhalb jedes Projekts bleibt die bewährte Ansible-Gliederung erhalten.
|
||||
Diese Struktur ist ein Ausgangspunkt und noch keine Festlegung aller Rollen.
|
||||
`host.yml` und `environment.yml` sollen gemeinsam den unterstützten
|
||||
Gesamtzustand herstellen. Ansible-Tags können Diagnose und gezielte Wartung
|
||||
unterstützen, dürfen aber nicht zu ungetesteten alternativen Installationswegen
|
||||
führen.
|
||||
`host.yml` und ein künftiges `ai.yml` im `llm/`-Projekt sollen gemeinsam den
|
||||
unterstützten Gesamtzustand herstellen. Ansible-Tags können Diagnose und
|
||||
gezielte Wartung unterstützen, dürfen aber nicht zu ungetesteten alternativen
|
||||
Installationswegen führen.
|
||||
|
||||
Unveränderte Drittanbieterkomponenten wie `llama.cpp`, LiteLLM oder OpenWebUI
|
||||
erhalten derzeit kein eigenes Repository. Ihre freigegebenen Versionen oder
|
||||
@@ -351,22 +362,32 @@ ein allgemeines Hostwartungsfenster kann weiterhin alle Workloads stoppen.
|
||||
### 7.4 Vorgesehene Ansible-Abbildung
|
||||
|
||||
Gemeinsame Hostaufgaben und umgebungsspezifische Anwendungsaufgaben werden
|
||||
getrennt:
|
||||
getrennt. Seit dem 19.10.2026 liegt pro fachlicher Aufgabe ein Hauptverzeichnis
|
||||
unter `llm-server/`:
|
||||
|
||||
```text
|
||||
llm-server/ansible/
|
||||
├── playbooks/
|
||||
│ ├── host.yml
|
||||
│ ├── ai.yml
|
||||
│ ├── video-encoding.yml
|
||||
│ └── site.yml
|
||||
└── roles/
|
||||
├── host_baseline/
|
||||
├── podman_runtime/
|
||||
├── workload_accounts/
|
||||
├── ai_stack/
|
||||
├── ai_environment_switch/
|
||||
└── video_encoding/
|
||||
llm-server/
|
||||
├── host/ansible/
|
||||
│ ├── playbooks/
|
||||
│ │ ├── host.yml
|
||||
│ │ └── verify-rocm-container.yml
|
||||
│ └── roles/
|
||||
│ ├── host_baseline/
|
||||
│ ├── workload_accounts/
|
||||
│ └── amd_gpu_access/
|
||||
├── llm/ansible/ # geplant; entsteht mit dem AI-Vertical-Slice
|
||||
│ ├── playbooks/
|
||||
│ │ ├── ai.yml
|
||||
│ │ └── site.yml
|
||||
│ └── roles/
|
||||
│ ├── ai_stack/
|
||||
│ ├── ai_environment_switch/
|
||||
│ └── llama_cpp/
|
||||
└── encoding/ansible/
|
||||
├── playbooks/
|
||||
│ └── video-encoding.yml
|
||||
└── roles/
|
||||
└── video_encoding/
|
||||
```
|
||||
|
||||
`host.yml` verwaltet gemeinsame Pakete, Treiber, Benutzer und
|
||||
|
||||
@@ -4,7 +4,7 @@
|
||||
**Titel:** `llama.cpp`-Serving mit ROCm und rootless Podman
|
||||
**Stand:** 2026-09-21
|
||||
**Status:** Technische Sollkonfiguration für Testing; noch nicht implementiert
|
||||
**Referenzen:** [Modellbewertung](GNAI-009-PLAN_Llama-Model-Evaluation.md), [Ansible-Deployment](GNAI-008-PLAN_Ansible-Deployment.md), [Zielarchitektur](GNAI-004-INFRA_Architecture.md), [Ansible-Anleitung](../../../../llm-server/ansible/README.md)
|
||||
**Referenzen:** [Modellbewertung](GNAI-009-PLAN_Llama-Model-Evaluation.md), [Ansible-Deployment](GNAI-008-PLAN_Ansible-Deployment.md), [Zielarchitektur](GNAI-004-INFRA_Architecture.md), [Ansible-Anleitung](../../../../llm-server/host/ansible/README.md)
|
||||
|
||||
> Dieses Dokument beschreibt den vorgesehenen technischen Sollzustand. Es ist
|
||||
> keine Betriebs-SOP und kein Nachweis, dass Modell, Quadlet oder Inferenz
|
||||
|
||||
Reference in New Issue
Block a user