Files

T

spektr 7af72785c9 LLM-Server: M2-Vertical-Slice - llm/ansible-Projekt mit model_store und inference_engine

Neues Kontrollprojekt llm-server/llm/ansible (GNAI-008 7.4, GNAI-010):
- Inventar testing (ansible-deploy), Playbook ai.yml
- Rolle model_store: gepinnte Modellartefakte (Swift/Unsloth Q6_K, Revision
  und SHA-256 nach GNAI-010 3.2/3.3), atomare Downloads mit Prüfsummen,
  70-GiB-Freiraumreserve, SOURCE.yml-Herkunftsnachweis je Verzeichnis
- Rolle inference_engine: gepinntes ROCm-Image per Digest, internes
  Quadlet-Netz (Internal=true), zwei gegenseitig ausgeschlossene
  llama-server-Quadlets (Conflicts/Before nach GNAI-010 5.3), 64k-Bring-up-
  Override, Generator-Dry-Run, exklusiver Profilwechsel, Health- und
  Alias-Verifikation; kein Host-Port, kein default.target-Enable
- Syntax-Check und Template-Render-Verifikation bestanden; Live-Check-Modus
  steht aus (KI-Server aktuell ausgeschaltet)

Generated by Mistral Vibe.
Co-Authored-By: Mistral Vibe <vibe@mistral.ai>

2026-11-01 17:31:45 +01:00

ansible

LLM-Server: M2-Vertical-Slice - llm/ansible-Projekt mit model_store und inference_engine

2026-11-01 17:31:45 +01:00

README.md

LLM-Server: ausführbares Projekt in die Hauptverzeichnisse host/, llm/ und encoding/ aufgeteilt.

2026-10-19 14:42:14 +02:00

README.md

LLM serving stack

This directory will hold the executable infrastructure for the LLM serving stack on ghostnet-ki: rootless llama.cpp with ROCm, separated into Production and Testing environments.

It is created with the internal LLM vertical slice (roadmap milestone 2 in GNAI-001). The planned architecture, deployment and serving configuration are documented under ../../docs/platform/llm-server/ai/.