Kursbeschreibung
Die vLLM-Schulung führt ein GPU-basiertes LLM-Deployment bis zu einem getesteten Serving-Endpunkt. Du installierst vLLM in einer isolierten Linux-Umgebung, stellst ein Open-Source-Modell über den vLLM-Server bereit und prüfst die OpenAI-kompatible API mit Chat-Completions und Streaming. Das Ergebnis ist kein reiner Prototyp: Am Ende stehen gemessene Werte für Durchsatz, Time to First Token, Token-Latenz und VRAM-Auslastung sowie dokumentierte Startparameter für ein definiertes Lastprofil.
An drei Tagen untersuchst du, wie Continuous Batching, KV-Cache und PagedAttention das Serving-Verhalten beeinflussen. Lasttests zeigen, wie sich parallele Requests und lange Kontexte auf Antwortzeit und GPU-Speicher auswirken. Bei der Quantisierung vergleichst du Modellvarianten anhand ihres Speicherbedarfs, ihres Antwortverhaltens und des nötigen Prüfaufwands. Aus der Modellgröße, der Kontextlänge und der Ziellatenz leitest du anschließend ein begründetes GPU-Sizing ab.
Monitoring gehört zum Deployment. Prometheus-Metriken, die GPU-Auslastung und Server-Logs zeigen, wann ein Endpunkt an seine Grenzen stößt. Auch Fehlerraten und Health-Checks weisen auf diese Grenzen hin. In der kleinen Gruppe von 2 bis 8 Personen kannst du Konfigurationen nachvollziehen, Messwerte vergleichen und Fehler systematisch untersuchen. Weitere technische KI-Themen findest du bei den KI-Schulungen für Entwickler und Administratoren. Als Anwendungsschicht für den bereitgestellten Endpunkt eignet sich anschließend die Open-WebUI-Schulung für Self-Hosted-KI. Frag den passenden Termin für dich oder dein Team an und nenne dabei Modell, GPU-Umgebung und gewünschtes Lastprofil.
Die wichtigsten Themen im Überblick
- vLLM-Endpunkt selbst bereitstellen
- Latenz und Durchsatz messen
- VRAM-Bedarf dokumentieren
- GPU-Sizing aus Lastprofilen ableiten
- Serving mit Metriken überwachen
- Parallelisierung und Batch-Verarbeitung einsetzen
- Deployment in Cloud- und On-Premises-Umgebungen
- Best Practices für den produktiven Betrieb
Zielgruppe
- KI- und Machine-Learning-Engineers
- Data Scientists
- MLOps-Engineers
- DevOps-Engineers
- Softwareentwicklerinnen und Softwareentwickler
- Plattform- und Infrastrukturverantwortliche
- Technische Projektleitungen im KI-Umfeld
- IT-Architektinnen und IT-Architekten
Voraussetzung für die Schulung
- Sicherer Umgang mit Linux-Shell und HTTP-APIs
- Grundkenntnisse in Python und Container-Technik
- Grundverständnis von LLMs und Kontextlängen
- Kenntnisse über GPU-Ressourcen, VRAM und CUDA
- Bei fehlender GPU-Erfahrung empfiehlt sich die Linux-Administration für KI-Workloads mit GPUs
Kursinhalte
Grundlagen von vLLM
- Einordnung von vLLM im LLM-Ökosystem
- Architektur und Komponenten
- Vorteile gegenüber klassischen Inferenzlösungen
- Unterstützte Modelltypen und Frameworks
- Einsatzszenarien in Unternehmen
Installation und Inbetriebnahme
- Aufbau einer geeigneten Laufzeitumgebung
- Installation und Konfiguration
- Anbindung von Modellen
- Starten und Verwalten von Inferenzdiensten
- Erste Tests und Validierung
Performance-Optimierung
- Funktionsweise von Paged Attention
- Speicheroptimierung für große Modelle
- GPU-Auslastung verbessern
- Batch-Verarbeitung effizient einsetzen
- Analyse von Latenz und Durchsatz
APIs und Deployment
- Bereitstellung kompatibler Inferenzschnittstellen
- Integration in bestehende Anwendungen
- Containerisierung und Deployment
- Cloud- und On-Premises-Szenarien
- Hochverfügbarkeit und Skalierung
Betrieb und Monitoring
- Überwachung von Inferenzsystemen
- Protokollierung und Fehleranalyse
- Ressourcenmanagement
- Kapazitätsplanung
- Wartung produktiver Systeme
Best Practices für produktive LLM-Plattformen
- Sicherheitsaspekte beim Modellbetrieb
- Wirtschaftliche Nutzung von GPU-Ressourcen
- Auswahl geeigneter Modelle
- Skalierungsstrategien für wachsende Lasten
- Praxisnahe Architektur- und Betriebsempfehlungen
