Was ein KI-'Wunder' über die Zukunft der Unternehmenstechnologie sagt

AI21 Labs ist gewissermaßen die israelische Antwort auf das US-amerikanische OpenAI. Es ist sowohl ein Forschungslabor, das Spitzenarbeit im Bereich der natürlichen Sprachverarbeitung (NLP) leistet, als auch ein kommerzielles Unternehmen, das darauf hofft, diese hochmodernen Entwicklungen schnell in Produkte umzusetzen, die echte Unternehmen nutzen – und bezahlen – können.
AI21 Labs wurde von Yoav Shoham, emeritierter Professor für künstliche Intelligenz an der Stanford University, gegründet; sowie von Amnon Shashua, einem Mitgründer des Unternehmens für autonome Fahrsoftware Mobileye, das von Intel übernommen wurde, und Ori Goshen, einem Mitgründer der Crowdfunding-Plattform CrowdX. Das hochgesteckte Ziel des Unternehmens ist es, „die Art und Weise, wie Menschen lesen und schreiben, zum Besseren neu zu gestalten."
Das Labor hat ein neues System entwickelt, das es etwas keck „Miracle" nennt – eine benutzerfreundlichere Version von MRKL, einem Akronym für Modular Reasoning, Knowledge and Language System. MRKL ist bedeutsam, weil es vier wichtige Trends aufzeigt, wie Unternehmen KI künftig einsetzen werden.
Erstens ist MRKL darauf ausgelegt, alle Arten von natürlichsprachlichen Aufgaben zu bewältigen, nicht nur eine bestimmte Aufgabe, wie es bei den meisten solcher Systeme bis vor Kurzem der Fall war. Wenn Sie beispielsweise einen Kundenservice-Chatbot wollten, konnte dieselbe KI nicht dabei helfen, die Stimmungsanalyse von CEO-Earnings-Calls durchzuführen. Jetzt kann eine einzige NLP-Engine bei beiden Aufgaben helfen. Dies ist ein weiteres Beispiel für die echte Revolution im NLP-Bereich und die Auswirkungen, die sie auf die Geschäftswelt zu haben beginnt.
Der zweite, eng damit verbundene Trend ist, dass diese Allzweck-NLP-Systeme zunehmend auf „ultra-großen Sprachmodellen" aufgebaut werden – einzelnen Algorithmen, die Milliarden von statistischen Beziehungen zwischen Wörtern erlernen. Sie werden auf riesigen Textmengen trainiert, die aus dem Internet gesammelt wurden, darunter Bücher in Englisch und anderen Sprachen sowie öffentliche Quellen wie Wikipedia und Reddit-Threads. Die meisten dieser Systeme werden entweder darauf trainiert, ein fehlendes Wort in einem Satz oder das nächste Wort in einem Satz vorherzusagen. Aber es stellt sich heraus, dass ein so großes KI-System, das auf eine Sache trainiert wird, auch viele andere Dinge mit wenig bis gar keinem zusätzlichen Training kann: Übersetzung, Beantwortung von Fragen und das Verfassen originaler Textpassagen.
Darüber hinaus können diese großen Sprachmodelle mit nur etwas mehr Training an einer relativ kleinen Anzahl von Beispielen oft kleinere KI-Systeme übertreffen, die auf großen Datensätzen – oft mit großem Aufwand zusammengestellt – trainiert wurden, um nur eine einzige enge Aufgabe zu erfüllen. Diese Fähigkeit, mit „wenig Daten" zu arbeiten, macht ultra-große Sprachmodelle für Unternehmen so potenziell attraktiv, da ihr Einsatz schneller und günstiger sein könnte.
Das vielleicht bekannteste Beispiel für ein ultra-großes Sprachmodell, das für kommerzielle Zwecke verfügbar ist, ist OpenAIs GPT-3. OpenAI hat eine enge Beziehung zu Microsoft, das mehr als 1 Milliarde US-Dollar in das Unternehmen investiert hat, und wenig überraschend hat Microsoft GPT-3 in ein Produkt integriert, das automatisch Computercode schreibt. Das Unternehmen stellt die Technologie auch seinen Azure-Cloud-Kunden zur Verfügung.

AI21 Labs hat sein eigenes ultra-großes Sprachmodell namens Jurassic-1, das es letztes Jahr kommerziell veröffentlicht hat und das es als GPT-3 überlegen bezeichnet, teilweise weil es ein größeres „Token-Vokabular" hat. Das bezieht sich auf die Anzahl der Wörter und Wortteile, die es kennt. Jurassic hat ein Token-Vokabular von mehr als 250.000 – fünfmal so viel wie GPT-3.
Es gibt einige gut dokumentierte Probleme mit diesen ultra-großen Sprachmodellen, darunter dass sie dazu gebracht werden können, toxische Sprache auszuspucken. Ein weiterer gravierender Fehler ist jedoch, dass sie dazu neigen, bei Sachfragen ungenaue Informationen zu liefern.
Bitten Sie GPT-3 beispielsweise, zwei plus zwei zu addieren, wird es Ihnen selbstsicher vier nennen. Bitten Sie es jedoch, mehrere vier- und fünfstellige Zahlen zu addieren, wird es mit hoher Wahrscheinlichkeit genauso selbstsicher die falsche Antwort liefern. Fragen Sie es, wie das Wetter in New York gerade ist, wird es Ihnen antworten – aber es wird wahrscheinlich die Temperatur in New York zu dem Zeitpunkt angeben, als AccuWeather-Daten in seinen Trainingsdatensatz eingespeist wurden, nicht das aktuelle Wetter. Dasselbe Problem gilt für Fragen zu aktuellen Ereignissen oder sogar zur Wissenschaft. Und weil diese großen Sprachmodelle so umfangreich sind, ist ihr Training extrem teuer – in Millionenhöhe –, sodass es nicht praktikabel ist, sie ständig zu aktualisieren, um sicherzustellen, dass ihre Daten auf dem neuesten Stand sind.
Dies ist das Problem, das AI21 Labs mit MRKL zu lösen versucht hat (ich habe hier über eine der früheren Innovationen des Labors geschrieben). Damit kommen wir zum dritten großen Trend, den MRKL repräsentiert: MRKL ist ein hybrides System. Es verwendet nicht nur Deep Learning, die KI-Methode, die für die meisten großen Fortschritte in der Technologie im letzten Jahrzehnt verantwortlich ist. Stattdessen kombiniert es verschiedene Module, von denen einige Deep Learning verwenden und einige eine ältere Form der KI – symbolisches Schlussfolgern –, um genaue, aktuelle Antworten auf Sachfragen zu liefern.
Das Clevere an MRKL ist ein Modul namens Router, das eine Frage eines Benutzers entgegennimmt und herausfindet, welche Art von Information der Benutzer sucht. Wenn die Frage Mathematik betrifft, sendet es die Frage an einen schlichten, altmodischen wissenschaftlichen Taschenrechner. Wenn es um Wechselkurse geht, leitet es sie an einen Währungsrechner weiter. Wenn es um das Wetter geht, sendet es sie an eine Wettervorhersage-Website. Laut Shoham unterstützt MRKL derzeit 55 solcher aufgabenspezifischer Module. Wenn der Router unsicher ist, welches Modul am besten geeignet ist, greift er auf Jurassic-1 zurück. Jurassic hilft auch dabei, die kontextuelle Sprache rund um MRKLs Antwort zu formulieren.
Eine weitere clevere Innovation ist, wie AI21 Labs in der Lage ist, die richtige Art von Antwort von Jurassic zu erhalten. Dies geschieht mit einer Methode namens „Prompt Tuning", bei der die Art und Weise, wie eine anfängliche Frage oder ein Textfragment dem ultra-großen Sprachmodell zugeführt wird, die Art der Ausgabe mitbestimmt. Es ist eine Möglichkeit, die KI für eine bestimmte Art von Aufgabe anzupassen, ohne sie mit zusätzlichen Trainingsdaten feinabstimmen zu müssen. Das Problem mit zusätzlichem Training ist, dass das System, je besser es bei einer engen Aufgabe wird, tatsächlich schlechter bei anderen wird. Forscher nennen dieses Problem „katastrophales Vergessen".
Einige KI-Forscher überwinden das katastrophale Vergessen, indem sie das Modell gleichzeitig für eine Vielzahl unterschiedlicher Aufgaben trainieren, aber das erfordert viel Rechenleistung, Zeit und Geld. Prompt Tuning vermeidet dies. Die Innovation von AI21 Labs mit MRKL besteht darin, kleine Deep-Learning-Module zu erstellen, die Jurassic automatisch und spontan prompt-tunen können, indem sie die Anfrage eines Benutzers aufnehmen und den besten Satz von Prompts zusammenstellen, um Jurassic dazu zu bringen, Antworten im richtigen Stil und Format zu liefern.
Und damit kommen wir zu den restlichen KI-Neuigkeiten dieser Woche.   

Jeremy Kahn
@jeremyakahn
jeremy.kahn@fortune.com

Diese Geschichte wurde ursprünglich auf Fortune.com veröffentlicht.