Qualität der KI-Systeme managen: Anders als man denkt

In diesem Vortrag erfahrt Ihr, warum klassische Ansätze zur Qualitätsbewertung bei generativer KI nicht mehr ausreichen – und worauf Ihr als IT-Projektmanager achten sollten, um verlässliche Ergebnisse zu erzielen. Im Gegensatz zu herkömmlichen IT-Systemen, bei denen Fehler wie Blue Screens, 404-Seiten oder falsche Berechnungen direkt auffallen, liefert generative KI immer eine Antwort. Da diese Ergebnisse oft in Text- oder Sprachform vorliegen, wirken sie zunächst korrekt, können aber inhaltlich fehlerhaft oder unpassend sein. Die Überprüfung wird dadurch komplex und bleibt häufig subjektiv oder unsystematisch. Das Ergebnis: Das System funktioniert technisch, ist aber nicht nutzbar!

Ihr erfahrt, warum solche Herausforderungen auftreten und wie Ihr in Euren Projekten darauf reagieren könnt. Ein zentraler Punkt ist dabei die Differenzierung zwischen naiven Implementierungen von Retrieval-Augmented-Generation (RAG), die aktuell oft als Industriestandard gelten, und durchdachten RAG-Ansätzen, die deutlich bessere Ergebnisse liefern. Andre zeigt Euch, welche Architekturentscheidungen die Qualität maßgeblich beeinflussen und wie Ihr damit die Leistungsfähigkeit Eurer GenKI-Systeme verbessern.

Darüber hinaus lernt Ihr, wie Ihr die Qualität von GenKI systematisch bewerten und steuern könnt – mit klaren Metriken, automatisiertem Labeling und synthetischen Testdaten. Diese Ansätze helfen Euch, das wichtigste Ziel eines IT-Projektmanagers zu erreichen: ein System, das genutzt wird und echten Mehrwert schafft.