MLflow 3 Schulung: GenAI Observability für LLMs

LLM-Traces prüfen, Prompt-Versionen vergleichen und Modellfreigaben mit MLflow 3 dokumentieren

MLflow 3 Schulung: GenAI Observability für LLMs
MLflow 3 Schulung: GenAI Observability für LLMs

Kursbeschreibung

  • Kurs-ID:KKC_0327
  • Kursdauer:3 Tage
  • Uhrzeit:09:00 - 16:00 Uhr

Die MLflow 3 Schulung verbindet LLM-Traces, Experimentläufe und Modellfreigaben in einem gemeinsamen Workflow. Du richtest einen Tracking-Server mit Backend-Store und Artifact-Store ein, protokollierst Runs mit den benötigten Metadaten und vergleichst Ergebnisse im MLflow-UI sowie über Python-Code. Die Laborstrecke zeigt, wie Entwicklungsteams Änderungen an Modellen und Prompts prüfen, bevor sie diese für weitere Deployment-Schritte freigeben. So dokumentieren Data Science, ML-Engineering und Plattformbetrieb die Übergabe.

Für LLM-basierte Anwendungen instrumentierst du Aufrufe und RAG-Abläufe, untersuchst einzelne Trace-Spans und verknüpfst auffällige Antworten mit Prompt-Versionen und Kontextdaten. Für GenAI-Reviews nutzt du Scorer und wiederholbare Evaluationsläufe. Im Abschluss-Lab bewertest du einen neuen Prompt, aktualisierst einen Registry-Eintrag und leitest aus Runs und Traces einen Monitoring-Hinweis ab. Die Übungen beziehen klassische ML-Modelle ebenso ein wie GenAI-Anwendungen und ergänzen die Themen unserer Machine-Learning-Schulungen.

Du arbeitest drei Tage in einer durchgehenden Laborstrecke und nimmst ein reproduzierbares Repository-Layout, dokumentierte Prompt-Versionen und ein Muster für Freigabe-Reviews mit. Mit zwei bis acht Personen pro Gruppe bleibt Raum für technische Rückfragen. Für den anschließenden Betrieb eigener Sprachmodelle bietet die Schulung zu LLM Self-Hosting und Deployment einen passenden nächsten Schritt. Frag einen passenden Termin für deine MLflow 3 Schulung an.

Die wichtigsten Themen im Überblick

  • LLM-Traces systematisch auswerten
  • Prompt-Versionen prüfbar vergleichen
  • MLflow-Runs reproduzierbar aufbauen
  • Modellfreigaben dokumentieren
  • GenAI-Scorer für Reviews nutzen
  • Betriebssignale aus Runs ableiten

Zielgruppe

  • Data-Science-Fachkräfte mit Python-Erfahrung
  • ML-Engineers für reproduzierbare Experimente
  • MLOps-Engineers und KI-Plattform-Teams
  • Teams mit LLM- oder RAG-Anwendungen im Betrieb

Voraussetzung für die Schulung

  • Sichere Python-Grundlagen, etwa nach dem Python-Einstieg mit Machine Learning
  • Erfahrung mit ML- oder LLM-Projekten
  • Grundverständnis von APIs und Git-Workflows, etwa aus der Einführung in Git, GitLab und CI/CD
  • Basiswissen zu Containern, beispielsweise aus dem Docker Linux Container Workshop

Kursinhalte

MLflow-3-Plattform einrichten

  • Tracking-Server und Repository-Struktur
  • Backend-Store und Artifact-Store
  • Experimente für die Teamarbeit
  • Autologging und manuelles Logging
  • Run-Konventionen für technische Reviews

Experimente reproduzierbar protokollieren

  • Run-Metadaten und Metriken
  • Dataset-Logging für reproduzierbare Runs
  • Model Signatures und Input Examples
  • Artefakte für Audit und Vergleich
  • Vergleich ausgewählter Experimentläufe

Model Registry für Releases nutzen

  • Modellversionen und Registry-Aliasse
  • Freigaben über Tags und Aliasse
  • Registry-Strukturen für Teamprozesse
  • MLflow Models für Serving
  • Containerisierte Deployment-Pipelines

GenAI-Observability mit Tracing

  • Trace-Spans für LLM-Aufrufe
  • RAG-Abläufe in Trace-Ansichten
  • Tool-Aufrufe und Fehleranalyse
  • Kostenmetriken und Latenzmetriken
  • Trace-Daten für Betriebsreviews

Prompts versionieren und vergleichen

  • Prompt-Versionen in der Prompt Registry
  • Prompt-Vergleich über Experimente
  • Variantenfreigabe für Testumgebungen
  • Artefaktablage für Prompt-Sets
  • Reviews für Prompt-Änderungen

Modelle und LLM-Antworten evaluieren

  • mlflow.evaluate für klassische Modelle
  • GenAI-Scorer für Antwortqualität
  • Baseline-Vergleich mit Referenzdaten
  • Metriken für Release-Entscheidungen
  • Betriebssignale aus Traces und Runs

Wähle aus 12 Terminen an 2 Standorten:

Ergebnisse filtern
MLflow 3 Schulung: GenAI Observability für LLMs
11.01. - 13.01.2027 Live Online Plätze frei Wenige Plätze Nicht buchbar
1.790 € netto (2.130,10 € brutto)

Tage und Uhrzeit

11.01. - 13.01.2027
09:00 - 16:00 Uhr

MLflow 3 Schulung: GenAI Observability für LLMs
22.03. - 24.03.2027 Live Online Plätze frei Wenige Plätze Nicht buchbar
1.790 € netto (2.130,10 € brutto)

Tage und Uhrzeit

22.03. - 24.03.2027
09:00 - 16:00 Uhr

MLflow 3 Schulung: GenAI Observability für LLMs
21.06. - 23.06.2027 Live Online Plätze frei Wenige Plätze Nicht buchbar
1.790 € netto (2.130,10 € brutto)

Tage und Uhrzeit

21.06. - 23.06.2027
09:00 - 16:00 Uhr

MLflow 3 Schulung: GenAI Observability für LLMs
11.01. - 13.01.2027 Dortmund Plätze frei Wenige Plätze Nicht buchbar
1.790 € netto (2.130,10 € brutto)

Veranstaltungsort

Europaplatz 11, 44269 Dortmund

Tage und Uhrzeit

11.01. - 13.01.2027
09:00 - 16:00 Uhr

MLflow 3 Schulung: GenAI Observability für LLMs
11.01. - 13.01.2027 München Plätze frei Wenige Plätze Nicht buchbar
1.790 € netto (2.130,10 € brutto)

Veranstaltungsort

Elektrastr. 6a, 81925 München

Tage und Uhrzeit

11.01. - 13.01.2027
09:00 - 16:00 Uhr

MLflow 3 Schulung: GenAI Observability für LLMs
22.03. - 24.03.2027 Dortmund Plätze frei Wenige Plätze Nicht buchbar
1.790 € netto (2.130,10 € brutto)

Veranstaltungsort

Europaplatz 11, 44269 Dortmund

Tage und Uhrzeit

22.03. - 24.03.2027
09:00 - 16:00 Uhr

MLflow 3 Schulung: GenAI Observability für LLMs
22.03. - 24.03.2027 München Plätze frei Wenige Plätze Nicht buchbar
1.790 € netto (2.130,10 € brutto)

Veranstaltungsort

Elektrastr. 6a, 81925 München

Tage und Uhrzeit

22.03. - 24.03.2027
09:00 - 16:00 Uhr

MLflow 3 Schulung: GenAI Observability für LLMs
21.06. - 23.06.2027 Dortmund Plätze frei Wenige Plätze Nicht buchbar
1.790 € netto (2.130,10 € brutto)

Veranstaltungsort

Europaplatz 11, 44269 Dortmund

Tage und Uhrzeit

21.06. - 23.06.2027
09:00 - 16:00 Uhr

MLflow 3 Schulung: GenAI Observability für LLMs
21.06. - 23.06.2027 München Plätze frei Wenige Plätze Nicht buchbar
1.790 € netto (2.130,10 € brutto)

Veranstaltungsort

Elektrastr. 6a, 81925 München

Tage und Uhrzeit

21.06. - 23.06.2027
09:00 - 16:00 Uhr

MLflow 3 Schulung: GenAI Observability für LLMs
09.08. - 11.08.2027 Dortmund Plätze frei Wenige Plätze Nicht buchbar
1.790 € netto (2.130,10 € brutto)

Veranstaltungsort

Europaplatz 11, 44269 Dortmund

Tage und Uhrzeit

09.08. - 11.08.2027
09:00 - 16:00 Uhr

Optionale CTA Headline

Empfohlene Kurse

  • GenAI-Marketing Grundkurs: Strategie und Umsetzung

    Nächste und weitere Termine:
    In Präsenz: 14.01.2027
    Live Online: 02.11.2026

    Weitere Kursinfos
  • Open-Source-LLMs lokal betreiben: Grundkurs

    Nächste und weitere Termine:
    In Präsenz: auf Anfrage
    Live Online: 07.12.2026

    Weitere Kursinfos
  • Large Language Models Advanced Kurs: Eigene LLMs und Tuning

    Nächste und weitere Termine:
    In Präsenz: auf Anfrage
    Live Online: 07.12.2026

    Weitere Kursinfos
  • KI Securitykurs: Schutz vor bösartigen LLMs, WormGPT und Co.

    Nächste und weitere Termine:
    In Präsenz: auf Anfrage
    Live Online: 16.11.2026

    Weitere Kursinfos
  • Effektive KI Software-Tests mit LLMs Kurs

    Nächste und weitere Termine:
    In Präsenz: auf Anfrage
    Live Online: 16.11.2026

    Weitere Kursinfos
  • Perplexity AI und Comet Kurs: Recherche, die schneller ist

    Nächste und weitere Termine:
    In Präsenz: auf Anfrage
    Live Online: 16.11.2026

    Weitere Kursinfos
  • Beyond Machine Learning Kurs: Was kommt danach?

    Nächste und weitere Termine:
    In Präsenz: auf Anfrage
    Live Online: 11.12.2026

    Weitere Kursinfos
  • KI-Strategie für den Mittelstand, die wirkt Kurs

    Nächste und weitere Termine:
    In Präsenz: auf Anfrage
    Live Online: 30.11.2026

    Weitere Kursinfos

ekomi Bewertungen

Qualität ist bei Kebel kein Versprechen, sondern belegbar. Deshalb setzen wir auf das unabhängige Bewertungsportal eKomi. Nach jeder Schulung – online oder in Präsenz – erhalten unsere Teilnehmer:innen die Möglichkeit, uns anonym und freiwillig zu bewerten.

Mit über 1.000 Bewertungen in den letzten 12 Monaten zählen wir zu den bestbewerteten Anbietern für IT-Weiterbildungen.  Alle Bewertungen, ob positiv oder kritisch, fließen transparent in unsere offizielle Bewertungsstatistik ein und bilden die Grundlage unserer eKomi Trust-Zertifikate.

Für dich als Personalverantwortliche, IT-Fachkraft oder Entscheider:in bedeutet das: verifizierte Teilnehmerstimmen, geprüfte Qualität und maximale Transparenz bei der Auswahl Ihres Weiterbildungspartners.

Zum Bewertungsportal

Seminarberatung zum MLflow 3 Schulung: GenAI Observability für LLMs

Unser Kebel Team berät dich gerne kostenlos und unverbindlich für dein MLflow 3 Schulung: GenAI Observability für LLMs. Wir unterstützen dich gerne dabei, den passenden Kurs und das optimale Lernformat für deine Weiterbildung zu finden

834 Kurse

Entdecke jetzt unser vielseitiges Kursportfolio und finde die passende Schulung für dein Team.

FAQ

Tracing erfasst die einzelnen Schritte eines LLM- oder RAG-Ablaufs als Spans. MLflow 3 verbindet diese Trace-Daten mit Prompts, Kontextinformationen, Latenzen und Evaluationsergebnissen. Entwickler können dadurch auffällige Antworten untersuchen, Varianten vergleichen und Entscheidungen für eine Freigabe dokumentieren.

MLflow Tracking protokolliert Experimentläufe, Parameter, Metriken, Datensätze und Artefakte. Die Model Registry verwaltet daraus hervorgehende Modellversionen, Aliasse, Tags und dokumentierte Freigabeschritte. Tracking beantwortet damit die Frage nach dem Experiment, die Registry die Frage nach der freigegebenen Version.

Die Prompt Registry eignet sich, wenn Prompt-Varianten versioniert, bewertet und für definierte Umgebungen freigegeben werden sollen. Eine reine Artefaktablage speichert Prompt-Dateien, bildet aber den Zusammenhang zwischen Version, Evaluation, Alias und Freigabeprozess nicht in derselben Form ab.

Die Schulung richtet sich an Data-Science-Fachkräfte, ML-Engineers, MLOps-Engineers und Entwickler von LLM- oder RAG-Anwendungen. Sie passt zu Teams, die MLflow bereits verwenden oder Tracking, Registry, Prompt Management und GenAI-Tracing in einem gemeinsamen Workflow aufbauen möchten.

Sichere Python-Grundlagen und erste Erfahrung mit ML- oder LLM-Projekten werden vorausgesetzt. Kenntnisse in Git, APIs und containerisierten Anwendungen erleichtern den Einstieg in die Laboraufgaben. MLflow-Vorkenntnisse sind hilfreich, werden aber nicht als formale Voraussetzung genannt.

Die Schulung dauert drei Tage. Die Inhalte folgen einer zusammenhängenden Laborstrecke vom Plattform-Setup über Tracing und Prompt Management bis zur Evaluation und zum abschließenden GenAI-Review.

Nach der Schulung erhältst du ein Zertifikat von Kebel Training als Nachweis deiner Weiterbildung. Es handelt sich nicht um eine eigenständige offizielle Herstellerzertifizierung oder MLflow-Prüfung.

Eine Inhouse-Durchführung für dein Team wird auf Anfrage geprüft. Technische Umgebung, gewünschte Schwerpunkte und organisatorische Anforderungen werden vorab mit Kebel Training abgestimmt.

Ja, nach erfolgreicher Teilnahme am MLflow 3 Schulung: GenAI Observability für LLMs erhältst Du ein Teilnahmezertifikat. Dieses bestätigt Deine erweiterten Kenntnisse im professionellen Einsatz von MLflow 3 Schulung: GenAI Observability für LLMs .

Ja, wir garantieren die Durchführung aller von uns bestätigten Termine. Der MLflow 3 Schulung: GenAI Observability für LLMs findet auch bereits ab einem Teilnehmer statt, sodass Du Deine Weiterbildung sicher und zuverlässig planen kannst.

Ja, wir bieten den MLflow 3 Schulung: GenAI Observability für LLMs als Inhouse Training oder Firmenschulung an. Zusätzlich kann die Schulung auch als Online-Firmenschulung durchgeführt werden. Inhalte, Prozesse und Schwerpunkte passen wir individuell an die Anforderungen Deines Unternehmens an.