Kursbeschreibung
Viele Teams unterschätzen, dass KI-Agenten ein eigenes Betriebs- und Sicherheitskonzept brauchen. Ein Agent kann innerhalb von Sekunden dutzende Tool-Calls auslösen, Daten aus verschiedenen Quellen zusammenführen und Entscheidungen treffen, die sich später kaum rekonstruieren lassen, wenn nur Textlogs existieren. In diesem Seminar entwickelst Du deshalb eine kontrollierbare Betriebsbasis: Observability, Guardrails, Security und Incident Response greifen ineinander. Du startest mit Agenten-Architekturen und leitest daraus Monitoring-Anforderungen ab. Danach definierst Du, welche Signale Du für echte Transparenz brauchst: Traces über Runs, Steps und Tools, strukturierte Events, Session-Kontext und Correlation IDs. Du lernst, wie Du Metriken so wählst, dass sie Ausfälle früh anzeigen, zum Beispiel steigende Retry-Raten, unerwartete Tool-Pfade, sinkende Erfolgsquoten oder auffällige Kosten pro Run. Sicherheit wird konkret umgesetzt: Berechtigungen werden auf das Minimum reduziert, Secrets werden sauber verwaltet und rotiert, und Logs werden so gestaltet, dass sie nützlich sind, ohne PII oder vertrauliche Daten zu speichern. Guardrails entstehen als Policy Enforcement: Allow-/Deny-Listen, Output-Validierung mit Schemas, Redaction sowie Human-in-the-Loop bei Aktionen mit hohem Risiko. Zum Schluss baust Du ein Vorgehen für Qualität und Störungen auf: Evals und Regression Monitoring nach Updates, Budgeting und Rate Limits sowie Incident Response mit Audit-Trails, Run-Replay und Kill-Switch. Damit kannst Du Agenten verantwortungsvoll in Prozesse integrieren, ohne die Kontrolle zu verlieren.
Die wichtigsten Themen im Überblick
- KI-Agenten sicher überwachen: Runs, Steps und Tools im Blick
- Risiken wie Halluzinationen und Prompt-Injection früh erkennen
- Observability mit Tracing, Events und KPIs praktisch umsetzen
- Guardrails für Tools, Daten und kritische Aktionen definieren
- Secrets, PII und Berechtigungen nach Least Privilege schützen
- Agentenqualität mit Evals, Tests und Regressionen messen
- Token-, Tool- und Laufkosten transparent steuern
- Incidents analysieren: Replay, Audit-Trails und Kill-Switch nutzen
Zielgruppe
- ML Engineers und AI Engineers mit Agenten-Projekten
- DevOps- und SRE-Teams, die Agenten betreiben
- IT-Security und Compliance in KI-Vorhaben
- Tech Leads und Architektinnen und Architekten für Plattformen
- Für alle, die KI-Agenten kontrollierbar, sicher und messbar betreiben wollen.
Voraussetzung für die Schulung
- Grundverständnis von APIs, Logs und Web-Services
- Erste Berührung mit LLMs oder KI-Agenten ist hilfreich, aber nicht zwingend
Kursinhalte
- Agenten verstehen, Risiken erkennen
- Agenten-Architekturen: Planner, Executor, Tool-Use
- Failure Modes: Halluzinationen, Tool-Missbrauch, Prompt-Injection
- Bedrohungsmodell für Agenten-Workflows
- Observability für Agenten statt Chat-Logs
- Tracing von Runs, Steps, Tools und Entscheidungen
- Strukturierte Events, Correlation IDs, Session-Kontext
- KPIs: Erfolgsquote, Abbrüche, Retry-Schleifen
- Guardrails und Policy Enforcement
- Allow-/Deny-Listen für Tools, Daten und Aktionen
- Output-Validierung: Schemas, Constraints, Redaction
- Human-in-the-Loop bei kritischen Aktionen
- Security: Daten, Identitäten, Secrets
- Least Privilege für Agenten und Tool-Accounts
- Secrets Handling, Token-Lebenszyklen, Rotation
- PII-Schutz, Data Loss Prevention, Logging-Hygiene
- Qualität messen: Evals, Tests, Regressionen
- Offline-Evals für Agentenaufgaben und Tool-Calls
- Golden Tasks, Rubrics, automatische Checks
- Regression Monitoring nach Modell- oder Prompt-Updates
- Cost, Rate Limits und Stabilität
- Budgeting pro Run, Team, Use Case
- Token- und Tool-Kosten sichtbar machen
- Circuit Breaker, Timeouts, Backoff-Strategien
- Incident Response für Agenten
- Run-Replay, Root-Cause-Analyse, Audit-Trails
- Alarmierung: Anomalien, Policy-Verstöße, Datenabfluss
- Rollbacks, Kill-Switch, sichere Degradationspfade
