Die ausgefranste Grenze: warum KI abbricht, wo es interessant wird

Die Grenze hat einen Namen

Ethan Mollick, Professor an der Wharton School, hat dafür das Bild der jagged frontier geprägt, der ausgefransten Grenze. Es beschreibt genau das, was Sie beobachten: Um die Fähigkeit eines KI-Systems herum verläuft eine Linie, und diese Linie ist nicht rund. Sie hat Zacken. An manchen Stellen reicht sie erstaunlich weit hinaus, an anderen springt sie unvermittelt zurück, und zwei Aufgaben, die für einen Menschen ähnlich schwer sind, können auf verschiedenen Seiten dieser Linie liegen.

Das Bild stammt aus einer Feldstudie, an der er beteiligt war: Rund 750 Beraterinnen und Berater einer großen Unternehmensberatung bearbeiteten realistische Aufgaben, ein Teil von ihnen mit Zugang zu einem starken Sprachmodell. Bei Aufgaben innerhalb der Grenze erledigte die Gruppe mit KI deutlich mehr in deutlich kürzerer Zeit, und die Qualität stieg spürbar. Bei einer eigens so gewählten Aufgabe, die knapp außerhalb lag, kehrte sich der Effekt um: Wer die KI benutzte, kam seltener zum richtigen Ergebnis als wer ohne sie arbeitete.

Das ist der eigentlich beunruhigende Befund. Nicht dass die Technik an einer Stelle versagt, sondern dass sie dort weiter überzeugend klingt.

Warum die Grenze nicht da verläuft, wo Sie sie vermuten

Menschen schätzen die Schwierigkeit einer Aufgabe an dem ab, was sie selbst dafür aufwenden müssten. Diese Intuition trägt hier nicht.

Einen Vertragsentwurf zu formulieren fühlt sich anspruchsvoll an und liegt komfortabel innerhalb der Grenze. Aus einer Tabelle mit dreitausend Zeilen verlässlich alle Fälle herauszuziehen, auf die eine bestimmte Bedingung zutrifft, fühlt sich nach stumpfer Fleißarbeit an und liegt je nach Zuschnitt außerhalb. Der Grund ist, dass die eine Aufgabe Sprache verlangt und die andere Genauigkeit über viele gleichartige Schritte, und dass sich diese beiden Fähigkeiten bei Sprachmodellen sehr unterschiedlich entwickelt haben.

Dazu kommt eine zweite Unregelmäßigkeit. Die Grenze bewegt sich, und zwar nicht nur mit jedem neuen Modell. Sie verschiebt sich auch danach, wie eine Aufgabe zugeschnitten ist, welche Unterlagen das System dabei sehen darf und ob es selbst etwas nachschlagen und ausführen darf statt nur zu antworten. Dieselbe Frage kann innerhalb oder außerhalb liegen, je nachdem, wie sie gestellt wird. Für einen Verantwortlichen heißt das: Ein Fall, der heute nicht funktioniert hat, ist damit nicht erledigt.

Der Schaden entsteht nicht am Fehler, sondern am Vertrauen

Wenn ein System klar ausfällt, reagieren Unternehmen souverän. Sie merken es, sie sagen es, sie suchen einen anderen Weg.

An der ausgefransten Grenze passiert etwas anderes. Das Ergebnis kommt in derselben ruhigen, wohlformulierten Form wie jedes richtige Ergebnis vorher. Wer die Sache fachlich nicht selbst beurteilen kann, hat keine Handhabe. Und wer sie beurteilen kann, verliert Zeit mit Prüfen und fragt sich nach dem dritten Mal, wozu er die KI überhaupt benutzt.

Genau an dieser Stelle kippt in vielen Häusern die Stimmung, und zwar bei denen, auf die es ankommt. Die Frühen und Neugierigen sind die, die am schnellsten an die Grenze stoßen, weil sie die anspruchsvolleren Fälle probieren. Wenn sie dort ohne Erklärung stehen bleiben, ziehen sie sich zurück, und die Organisation verliert die Leute, die sie gebraucht hätte.

Warum in den meisten Unternehmen die Karte fehlt

In den meisten Häusern kann niemand sagen, welche Aufgaben in seinem Bereich auf welcher Seite der Grenze liegen. Man spürt die Linie, man vermutet sie, aber man kann sie nicht benennen und schon gar nicht ordnen.

Das hat eine unangenehme Folge. Wer die Grenze nur ahnt, geht den nächsten Schritt nicht mehr, der sie verschoben hätte. Ein Fachbereich probiert eine Auswertung, sie geht schief, und damit gilt die ganze Klasse solcher Auswertungen als unmöglich. Dass die Aufgabe funktioniert hätte, wenn das System auf die richtigen Daten hätte zugreifen dürfen, erfährt niemand, weil dafür jemand hätte wissen müssen, dass das überhaupt eine Möglichkeit ist.

So entsteht ein Bild von den Fähigkeiten der Technik, das nicht aus ihren tatsächlichen Fähigkeiten stammt, sondern aus der Reichweite derer, die sie ausprobiert haben. In vielen Unternehmen ist dieses Bild inzwischen fest, und es ist zu klein.

Die Grenze ist die Stelle, an der es teuer wird

Für Ihre Planung ist der wichtigste Punkt dieser: Die Fälle jenseits der Grenze sind nicht die Reste. Es sind regelmäßig die Fälle, in denen Ihr Geschäft steckt.

Was innerhalb liegt, ist meistens allgemein: Texte, Zusammenfassungen, Entwürfe, Recherche. Das ist nützlich und es ist bei Ihrem Wettbewerber genauso nützlich. Was außerhalb liegt, sind die Vorgänge, die quer durch Ihr Haus laufen, mehrere Systeme berühren und Ihre Besonderheiten enthalten. Dort sitzt der Unterschied, den ein Kunde bemerkt, und dort steht die eingeführte Plattform still.

Das erklärt eine Beobachtung, die viele Verantwortliche irritiert: Die KI im privaten Browser wirkt fähiger als die Systeme, für die das Haus jedes Jahr eine erhebliche Summe zahlt. Das stimmt sogar, und es liegt nicht an der Lizenz. Es liegt daran, dass die eine Umgebung offen ist und die andere auf einen Ausschnitt gestellt, der die interessanten Fälle nicht enthält.

Was hinter der Grenze liegt

Jenseits der Grenze hilft mehr vom Gleichen nicht weiter. Die ehrliche Auskunft ist, dass die Grenze sich nicht mit demselben Mittel überschreiten lässt, mit dem man bis an sie herangekommen ist. Eine weitere KI derselben Art bringt Sie nicht weiter, eine Schulung bringt Sie ein Stück weiter, und mehr Budget für dieselbe Plattform bringt Sie an dieselbe Linie zurück.

Was tatsächlich hilft, hat mit Technik weniger zu tun als die meisten erwarten. Es fängt damit an, dass jemand in jedem Bereich die Karte zeichnet: welche Aufgaben liegen hier, welche davon sind leicht, welche schwer, und woran liegt es. Diese Arbeit nimmt Ihnen keine KI ab, und sie ist der Grund, warum die nächste Stufe in fast allen Häusern eine Frage der Organisation wird und nicht der Beschaffung.

Wie weit das reicht, steht unter KI einführen heißt Abläufe umbauen.