Im wilden Westen der KI: Die Herausforderungen generativer KI

Von Dr. Gerald Hahn.

Seit Ende 2022 kennt fast jeder die generative KI namens ChatGPT, mit der man wie mit einem Menschen chatten kann. ChatGPT beantwortet jede Frage, verfasst kreative Texte holt Meinungen ein, oder schreibt Zusammenfassungen. Das Ergebnis ist oft beeindruckend, manchmal aber auch ernüchternd. Manche Antwort wirkt auf den ersten Blick vernünftig, aber bei genauerem Hinsehen enthält sie erfundene Fakten, die nicht existieren.

Gleichwohl hat die Begeisterung mittlerweile weltweit auf Unternehmen übergegriffen. Unternehmen nutzen die Möglichkeiten von ChatGPT und seinen Nachfolgermodellen aktiv, um Prozesse zu automatisieren und effizienter zu gestalten, was wiederum Geld spart. Ein wichtiges Anwendungsgebiet ist die Unterstützung von Unternehmen im Kundenservice. Die KI wird eigesetzt, um Callcenter-Agenten zu unterstützen oder sogar einfache Probleme vollständig zu übernehmen. In Zukunft wird die Technologie, wenn sie ausgereift ist, komplexere Probleme lösen können. Die Begeisterung ermöglichte schnell eine Vielzahl von Proof-of-Concept-Modellen aufgrund der einfacheren Bedienbarkeit dieser Modelle. Frühere Modelle mussten mit vielen, teilweise schwer zu beschaffenden Daten, aufwendig trainiert werden.

Enthusiasmus und Ernüchterung

Trotz des anfänglichen Enthusiasmus für die neue Technologie breitete sich dann allmählich auch Ernüchterung bei den Unternehmen aus. Das schnelle Zusammenstellen von Demos erzeugte ähnliche hohe Erwartungen mit Blick auf die Entwicklungsgeschwindigkeit echter Prototypen. Die Hoffnung auf ein schnelles Go-Live und Kundenpräsentation wuchs. Allerdings stellte sich ebenso schnell heraus, dass diese Erwartungen überzogen waren. Der Übergang von einer schnellen Demo zu einem fertigen KI-Produkt, das an einen Kunden übergeben werden kann, erwies sich als komplizierter als erwartet.

Ein Beispiel hierfür, das weltweit für Aufsehen sorgte, war ein Gerichtsverfahren gegen AirCanada: Der auf generativer KI basierende Kunden-Assistent der kanadischen Fluggesellschaft machte ihren Kunden falsche Rabattzusagen. Die Fluggesellschaft wollte diese Zusagen aber nicht einlösen, woraufhin ein Kunde klagte und letztendlich Recht bekam. Fazit: Das Unternehmen erlitt rechtliche Konsequenzen, weil es die KI zu schnell einsetzte, ohne ausreichende Prüfung auf Fehler.

Dieses Beispiel verdeutlicht einige grundlegende Probleme mit generativer KI, die vor dem Einsatz sorgfältig geklärt werden müssen. Das gravierendste Problem, das auch AirCanada zum Verhängnis wurde, sind die in Fachkreisen als Halluzinationen bezeichnete Phänomene. Die KI gibt eine überzeugende und so plausible Antwort auf die gestellte Frage, so dass keine weiteren Fragen nötig scheinen. Bei genauerer Betrachtung stellt sich jedoch heraus, dass einige dieser Antworten mehr oder weniger frei erfunden sind. Zwar können die Modelle trainiert und direkt angewiesen werden, bestimmte Richtlinien einzuhalten, doch das Ergebnis erinnert oft an die Erziehung von Kindern. Manchmal folgt die KI den Anweisungen, häufig jedoch auch nicht. Findige Nutzer können versteckte KI-Anweisungen umgehen und unerwartete Antworten provozieren. All das erweckt den Eindruck, dass es bei generativer KI noch immer ein wenig wie im Wilden Westen zuginge.

Günstige Protoypen und Kostenexplosionen in der Produktion

Es gibt jedoch auch weitere Gründe, warum der Übergang von einer Demo zum fertigen KI-Produkt ins Stocken geraten kann. Ein Grund für das Scheitern können Datenschutzbedenken sein, dann nämlich, wenn sensible Kundendaten an einen Server am anderen Ende der Welt – zumeist in den USA – geschickt werden müssten, was firmeninternen Datenschutzregelungen widersprechen kann. Eine Demo lässt sich zwar schnell und kostengünstig erstellen, aber in der Produktion können die Kosten explodieren.

Auf technischer Seite gibt es ebenfalls eine Reihe von Hindernissen, die die Produktion verzögern können. Ein solches Hindernis ist die lange Zeit, die eine generative KI für Antworten benötigt. Manchmal muss die KI mehrmals angesprochen werden, bevor ein Kunde eine Antwort erhält, was wiederum zu zusätzlichen Verzögerungen führen kann. Bei einer langen Wartezeiten kann bei einer Demo oft noch ein Auge zugedrückt werden. Wenn jedoch ein Kunde am Telefon jedes Mal mehrere Sekunden auf eine Antwort warten muss, wirkt sich das negativ auf die Kundenzufriedenheit aus. Auch sind die Anforderungen an die Modelle in der Produktion viel höher als bei einer Demo, da sie schnell auf viele Kundenanfragen reagieren müssen. Die entsprechende Erweiterung der IT-Infrastruktur erfordert Zeit und verursacht zusätzliche Kosten.

Gefahren und Lösungen generativer KI

Eine besonders zeitintensive Herausforderung, wenn man generative KI in die Produktion integrieren will, besteht darin, sie so zu verfeinern, dass einerseits schwerwiegende Halluzinationen vermieden werden und die KI umfassende Antworten liefert, ohne wichtige Details bei der Problemlösung zu vernachlässigen. Andererseits sollte die KI sich auf Themen beschränken, die für den Kunden relevant sind. Zum Beispiel könnte die KI Tipps geben, wie man eine Pizza bestellt, obwohl eine Antwort auf eine solche Frage nicht erwünscht ist. Die bessere Antwort der KI wäre, dem Kunden klar, zu machen, dass sie auf solche Fragen nicht antworten kann.

Es gibt mittlerweile verschiedene Ansätze, um solche Probleme anzugehen. Um sie jedoch zufriedenstellend zu lösen, muss vor allem eins getan werden: experimentieren! Man muss verschiedene Modellparameter testen und die richtigen Einstellungen finden, die zu einem zufriedenstellenden Verhalten der generativen KI führen. Dies erfordert Zeit und Geduld, was häufig unterschätzt wird.

Dann gibt es noch eine weitere Schwierigkeit: Wie beurteilt man die Zuverlässigkeit der KI? Ein Modell gibt Text aus, der dann auf seine Relevanz für die Frage des Kunden hin untersucht werden muss. Für jeden Test benötigt man entweder Mitarbeiter, die den Text analysieren und bewerten, oder man lässt die KI selbst ein Urteil fällen. Die effiziente Auswertung solcher KI-Textantworten hinsichtlich deren Richtigkeit ist immer noch Gegenstand intensiver Forschung. Die Wahl der richtigen Evaluierungsmethode, auf deren Grundlage die KI-Parameter eingestellt werden, birgt ebenfalls ein weiteres Risiko für Verzögerungen.

Generative KI bietet neue Möglichkeiten, birgt aber auch Gefahren und Unausgereiftheiten. Man sollte diese Aspekte berücksichtigen, bevor man sich auf ein ehrgeiziges neues Projekt mit generativer KI-Unterstützung einlässt. Daher empfehlen wir, sich in kleinen Schritten vorzuwagen, um sicherzustellen, dass das KI-Produkt sowohl für die Kunden als auch für das Unternehmen sicher und vertrauenswürdig ist. Der Umgang mit generativer KI ist wie eine Winterbergwanderung: Man sieht den Gipfel, muss aber jeden Schritt vorsichtig setzen, um nicht in einer Gletscherspalte zu verschwinden.

Entdecken Sie in einem weiteren KI-Experten-Blog, wie man Teambildungsprozesse zwischen Mensch und KI optimiert: Menschliche Interaktion mit KI optimieren