Kursbeschreibung
Lokale Open-Source-LLMs sind dann stark, wenn du Kontrolle über Daten, Kosten und Verfügbarkeit brauchst. In diesem Seminar lernst du, wie du solche Modelle sauber zum Laufen bringst und wie du sie so steuerst, dass sie im Alltag verlässlich arbeiten. Du verstehst die Kernkonzepte hinter LLM-Ausgaben: Tokens, Kontextfenster, Sampling und warum Quantisierung ein Trade-off zwischen Geschwindigkeit, Speicher und Qualität ist. Außerdem ordnest du gängige Modellformate ein und lernst, worauf es bei der Wahl der Inferenz-Laufzeit ankommt. Im nächsten Schritt baust du eine lokale Umgebung auf und testest Modelle anhand praktischer Aufgaben. Dabei geht es um messbare Kriterien wie Latenz, Durchsatz, Konsistenz und Fehlerraten. Du lernst, wie du Parameter sinnvoll setzt und welche Einstellungen für Analyseaufgaben, Textentwürfe oder strukturierte Antworten typischerweise funktionieren. Ein eigener Abschnitt behandelt Risiken und Gegenmaßnahmen: Halluzinationen, Prompt Injection und der Umgang mit sensiblen Daten. Danach setzt du eine lokale RAG-Integration um, damit das Modell mit deinen Dokumenten arbeitet. Du lernst, wie Chunking, Embeddings, Retrieval und optionales Re-Ranking zusammenspielen und wie du die Qualität der Treffer bewertest. Zum Abschluss bekommst du eine praxistaugliche Betriebscheckliste: Logging, Datenschutz, Versionierung von Modellen und Prompts sowie einfache Evaluationsroutinen, die Updates sicher machen.
Die wichtigsten Themen im Überblick
- Open-Source-LLMs mit Ollama und llama.cpp lokal einrichten
- Modelle nach Qualität, Latenz, RAM und VRAM vergleichen
- GGUF, safetensors und Quantisierung sicher einordnen
- Prompts mit JSON und festen Schemas reproduzierbar gestalten
- Lokale RAG-Pipelines mit Embeddings und Vektordatenbanken bauen
- Halluzinationen und Prompt Injection zuverlässig erkennen
- LLM-Workflows mit Benchmarks und Regressionstests prüfen
- Datenschutz, Logging und Versionierung für den Betrieb planen
Zielgruppe
- IT-Administratoren und DevOps-Verantwortliche, die lokale KI-Services bereitstellen
- Softwareentwicklerinnen und Softwareentwickler, die LLMs in Tools integrieren
- Data- und AI-Engineers, die RAG und Evaluation aufsetzen
- IT-Sicherheitsverantwortliche, die Datenschutz und Risiken bewerten
- Für alle, die Open-Source-LLMs lokal betreiben und produktiv nutzen wollen
Voraussetzung für die Schulung
- Grundverständnis von IT-Systemen (Dateisystem, Prozesse, Netzwerk) und sicherer Umgang mit der Kommandozeile.
- Hilfreich sind Basiskenntnisse in Python oder einer Skriptsprache, aber nicht zwingend.
Kursinhalte
- LLM-Grundlagen für Open-Source-Stacks
- Transformer, Token, Kontextfenster, Sampling verständlich einordnen
- Inferenz vs. Training, Quantisierung und ihre Grenzen
- Modellformate und Laufzeit-Ökosystem: GGUF, safetensors
- Lokale Laufzeit einrichten und vergleichen
- llama.cpp und Ollama: Installation, Modelle, Updates
- CPU vs. GPU: VRAM, RAM, Durchsatz, Latenz
- Basis-Tuning: Kontext, Temperatur, Top-p, Wiederholungsstrafen
- Prompting, das reproduzierbar funktioniert
- System-, Entwickler- und Nutzer-Prompts sauber trennen
- Strukturierte Ausgaben: JSON, Tabellen, feste Schemas
- Fehlerbilder: Halluzinationen, Prompt Injection, Overconfidence
- RAG lokal: Wissen anbinden statt raten
- Chunking, Embeddings, Retrieval, Re-Ranking als Pipeline
- Lokale Vektordatenbanken und Dateiquellen (PDF, Markdown)
- Qualität messen: Trefferquote, Zitierbarkeit, Kontextbudget
- Evaluation und Betrieb
- Qualitätskriterien: Faktentreue, Konsistenz, Stil, Sicherheit
- Testsets, Prompt-Regression, einfache Benchmarks
- Logging, Datenschutz, Modell- und Prompt-Versionierung
- Use-Cases, Grenzen, ächste Schritte
- Assistenz für Schreiben, Analyse, Code-Reviews, Support-Entwürfe
- Wann Cloud-Modelle sinnvoller sind, wann lokal gewinnt
- Roadmap: Tools, Fine-Tuning-Optionen, Governance
