Kursbeschreibung
Wenn Du GLM-5 als Open Source LLM nutzen willst, brauchst Du mehr als einen Demo-Chat. In diesem Seminar baust Du die Grundlagen, um GLM-5 technisch sauber und organisatorisch verantwortbar einzusetzen. Du beginnst mit einer Einordnung: Welche Aufgaben sind sinnvoll, welche Grenzen musst Du kennen und welche Lizenz- und Betriebsfragen sind vorab zu klären. Danach arbeitest Du an einem realistischen Setup. Du lernst die gängigen Deployment-Optionen kennen, verstehst die Unterschiede zwischen CPU- und GPU-Inference und bekommst ein praxistaugliches Vorgehen, um Performance, Latenz und Kapazität zu planen. Quantisierung wird dabei als konkreter Hebel behandelt, um Ressourcenbedarf zu senken. Damit GLM-5 in Prozessen zuverlässig Ergebnisse liefert, entwickelst Du Prompts und Systemprompts mit klaren Regeln. Du übst, strukturierte Ausgaben zu erzwingen, damit Automatisierung möglich wird, und lernst, wie Du Halluzinationen und inkonsistente Antworten erkennst und reduzierst. Anschließend setzt Du eine RAG-Basis mit eigenen Daten auf: Dokument-Pipeline, Chunking, Metadaten, Embeddings, Vektorsuche und Re-Ranking. Du baust eine einfache, aber wirksame Evaluation auf, inklusive Testsets und Regressionstests. Abschließend geht es um Sicherheit, Compliance und Betrieb: Schutz vor Prompt Injection, Logging, Monitoring, Audit-Trails sowie eine Go-Live-Checkliste. So kannst Du GLM-5 kontrolliert integrieren und langfristig betreiben.
Die wichtigsten Themen im Überblick
- GLM-5.1 als Open Source LLM sicher einordnen
- Deployment lokal, On-Prem oder in Private Clouds planen
- GLM-5.1 selbst hosten und Inference performant betreiben
- GPU- und CPU-Inference für Latenz und Durchsatz optimieren
- Prompts, Systemprompts und JSON-Ausgaben zuverlässig steuern
- RAG mit eigenen Daten, Vektorsuche und Re-Ranking aufbauen
- Evaluation mit Testsets, Golden Answers und Metriken umsetzen
- GLM-5.1 per API in Produkte und Workflows integrieren
Zielgruppe
- Machine-Learning Engineers und AI Engineers
- Softwareentwicklerinnen und Softwareentwickler mit Integrationsaufgaben
- IT-Architektinnen und IT-Architekten, die LLM-Betrieb planen
- IT-Security- und Compliance-Verantwortliche mit GenAI-Bezug
- Alle, die GLM-5.1 als Open Source LLM kontrolliert in Produkte oder interne Workflows bringen wollen
Voraussetzung für die Schulung
- Grundverständnis von APIs und Webservices sowie sicherer Umgang mit Kommandozeile-Konzepten.
- Grundkenntnisse zu LLMs sind hilfreich, aber nicht zwingend.
Kursinhalte
- GLM-5.1 verstehen und einordnen
- Modellfamilie, Stärken, typische Grenzen
- Open-Source-Ökosystem: Gewichte, Lizenzen, Distribution
- Wann GLM-5 statt proprietärer APIs?
- Setup, Inference und Performance
- Deployment-Optionen: lokal, On-Prem, Private Cloud
- z.ai oder open router?
- GLM 5.1 selber hosten im Fokus
- GPU- und CPU-Inference, Throughput und Latenz
- Quantisierung und Speicherbedarf praxisnah planen
- Prompting, Systemprompts und Output-Kontrolle
- Instruktionsdesign für stabile Ergebnisse
- Strukturierte Ausgaben: JSON, Tabellen, Regeln
- Fehlerbilder: Halluzinationen, Overconfidence, Drift
- RAG mit eigenen Daten
- Dokument-Pipeline: Chunking, Metadaten, Versionierung
- Embeddings, Vektorsuche, Re-Ranking Grundlagen
- Antwortqualität messen: Retrieval- und Answer-Metriken
- Evaluation, Sicherheit und Compliance
- Testsets, Golden Answers, Regressionstests
- Prompt Injection, Data Leakage, Policy-Checks
- Logging, Monitoring, Audit-Trails, Datenschutz
- Integration in Prozesse und Produkte
- API-Patterns: Chat, Tools/Functions, Batch
- Guardrails, Rate-Limits, Kosten- und Kapazitätsplanung
- Go-Live-Checkliste für den Betrieb
