Neue Trends im Natural Language Processing – Wie NLP massentauglich wird

NLP (engl. für Natural Language Processing) beschreibt allgemein das computergestützte Verarbeiten von menschlicher Sprache. Dies umfasst neben der geschriebenen auch die gesprochene Sprache. Die Ziele, die mit NLP verfolgt werden, lassen sich in zwei übergeordnete Kategorien einordnen: Verstehen von Sprache und Erzeugen von Sprache. Die technische Herausforderung ist bei beiden Zielen, unstrukturierte Informationen in Form von Texten in ein Format zu transferieren, das maschinell verarbeitet werden kann. Das bedeutet konkret, dass Texte in einem Zahlenformat repräsentiert werden müssen, welches der Computer verstehen kann.  

Noch vor wenigen Jahren war dies nur für einige wenige Technologiekonzerne möglich. Dabei hatten diese Firmen drei entscheidende Vorteile:

• Zugang zu riesigen Mengen an unstrukturierten Textdaten
• Fachleute, die in der Lage sind, cutting-edge Technologien zu entwickeln
• Rechenkapazitäten, um die Menge an unstrukturierten Daten verarbeiten zu können

In diesem Artikel zeigen wir verschiedene Anwendungsgebiete von NLP und erklären, wie sich innerhalb nur weniger Jahre die Markteintrittsbarrieren so weit gesenkt haben, dass heute jedes Unternehmen NLP für eigene Lösungen nutzen kann.

In welchen Bereichen kann NLP eingesetzt werden?

Computergestützte Sprachverarbeitung ist ein sehr abstrakter Begriff. Verständlicher wird der Begriff, wenn man ihn in die Anwendungsgebiete herunterbricht. Dabei wird für jeden Teilbereich ein anderes, spezialisiertes Modell für die Sprachverarbeitung angewandt. Zu beachten ist dabei, dass Aufgaben, die einem Menschen eher leichtfallen, wie z.B. das Erkennen von Emotionen, auch für eine Maschine im NLP Bereich tendenziell eher einfach sind.. Andersherum sind auch kompliziertere Aufgaben, wie das Übersetzen von Texten, für den Computer eine tendenziell schwieriger zu lösende Aufgabe. Die sechs wichtigsten Anwendungen von NLP und die damit lösbaren Businessprobleme werden nachfolgend beleuchtet.

Sequenzklassifizierung

Das klassische Beispiel für NLP ist die Sequenzklassifizierung. Ziel ist es, Textsequenzen einer von mehreren vorher definierten Klassen zuzuordnen. Ein Beispiel für Klassen sind Emotionen (freudig, wütend, erheitert, usw.). Dem Computer wird ein Text vorgelegt und er muss selbstständig entscheiden, welche Emotion der Autor mit seinem Text ausdrücken wollte. Weitere Beispiele sind das Zuordnen eines Texts zu einem bekannten Autor oder das Klassifizieren von Dokumentarten.

Bei der Sequenzklassifizierung ist zu beachten, dass eine Sequenz aus einem Text beliebiger Länge bestehen kann. Eine Sequenz kann aus einem einzigen Wort (Sequenz von Buchstaben), einem Satz, einem Paragraphen, oder aber aus einem kompletten Dokument bestehen. Ein Beispiel für eine kürzere Sequenz wäre eine Urlaubsbewertung.

Anwendungsbeispiel 1:

Ein Reiseportal möchte spezifisch Kunden mit einer negativen Urlaubserfahrung in einer Marketingkampagne ansprechen. Dazu werden vorhandene Kundenbewertungen in drei Klassen unterteilen - Positiv, Neutral und Negativ. Jede Bewertung wird automatisch einer dieser Klassen zugeordnet.

Wobei längere Dokumente beispielsweise Postsendungen beliebiger Art sein könnten.

Anwendungsbeispiel 2:

Die Logistik-Abteilung einer internationalen Firma prozessiert verschiedene Dokumentarten in unterschiedlichen Teams. Dazu werden aktuell Postsendungen manuell selektiert und sortiert. Zukünftig werden diese automatisch einer Kategorie zuordnen. Als Kategorien könnten Eingehende Rechnungen, Lieferscheine sowie andere Anfragen definiert werden

Frage-Antwort Modelle

Bei Frage-Antwort Problemen wird dem Computer eine möglichst große Anzahl an Textkorpora zur Verfügung gestellt. Ziel ist es, auf Fragen, die von einem Person verfasst wurden, eine inhaltlich korrekte Antwort zu geben, die auf Informationen der Textkorpora basiert. Die Schwierigkeit dieser Aufgabe variiert, je nachdem wie konkret die benötigten Informationen im Text sind. Die einfachste Lösung ist  die komplette Extraktion vorhandener Textstellen. Darauf aufbauend kann die extrahierte Information in eine grammatikalisch korrekte Antwort verpackt werden. Am komplexesten zu implementieren sind logische Schlussfolgerungen basierend auf den vorhandenen Informationen.

Ein gegebener Text könnte beispielsweise die Struktur eines Firmengeländes beschreiben. Es werden dabei Gebäude A, B und C erwähnt. Eine mögliche Frage könnte lauten „Wie viele Gebäude sind auf dem Firmengelände vorhanden?“ Eine logische Schlussfolgerung des Computers wäre die Erkenntnis, dass das Gelände aus insgesamt 3 Gebäuden besteht, ohne, dass die Zahl an sich erwähnt wurde.

Anwendungsbeispiel 3:

Eine mittelständische Firma beobachtet seit längerer Zeit einen kontinuierlichen Anstieg an Kundenanfragen. Bei vielen dieser Anfragen handelt es sich um Auskunftsanfragen zu Informationen. Die Firma beschließt, einen Chatbot zu entwickeln. Basierend auf internen Supportdokumenten können Kunden nun selbstständig, automatisch Fragen an den Chatbot stellen und beantworten lassen.

Generierung von Texten

Basierend auf einem gegebenen Text soll möglichst genau das nächste passende Wort vorhergesagt werden. Der so entstandene Text kann wiederum zur Vorhersage von einem weiteren Wort benutzt werden. Dieser Vorgang kann beliebig oft wiederholt werden, um beliebig lange Texte zu erzeugen. Dabei ist es möglich, Texte mit beliebigen Sprachfeinheiten zu generieren. So kann ein bestimmter Akzent oder Dialekt modelliert werden, aber auch eine einfache oder komplexere Sprache verwendet werden, je nach Zielgruppe. Die größte Herausforderung ist, dass Text sowohl inhaltlich als auch sprachlich fehlerfrei sein sollte.

Anwendungsbeispiel 4:

Ein Hersteller eines Dokumentenverwaltungssystems möchte das Auffinden von Dokumenten einfacher gestalten. In der eingebauten Suchmaske wird der Suchbegriff automatisch mit weiteren passenden Wörtern ergänzt.

Erkennen von Satzgliedern

Bei dem Erkennen von Satzgliedern, auch Named Entity Recognition (NER) ist das Ziel, ein oder mehrere Wörter in einem Satz einer Klasse zuzuordnen. Als mögliche Satzglieder können grammatikalische Einheiten definiert werden. Dabei wird ein Satz gegliedert nach Subjekt, Prädikat, Objekt usw. Oft werden anstelle von grammatikalischen Einheiten benutzerdefinierte Entitäten gewählt. Oft sind die gesuchten Entitäten z.B. Orte, natürliche Personen, Firmen oder Zeiten. Wenn ein Mensch eine Entscheidung treffen muss, zu welcher Kategorie ein Satzglied gehört, greifen wir automatisch auf Regeln (wie z.B. Grammatikregeln) zurück. Bei NER soll der Computer lernen, auf ähnliche Entscheidungsregeln zurückzugreifen. Allerdings werden diese Regeln nicht explizit vorgegeben, stattdessen muss der Computer sich diese selbstständig erarbeiten.

Anwendungsbeispiel 5:

Ein Hedgefonds analysiert automatisch die eingereichten vierteljährlichen Berichte welche bei der Börsenaufsicht eingereicht werden. Ziel ist es, automatisch Zusammenfassungen der Geschäftsaktivität der Firma zu erstellen. So besteht die Liste der zu extrahierenden Identitäten aus Geschäftsart, Geschäftsbereich, Geschäftsführer usw.

Zusammenfassungen

Die Aufgabe, eine Zusammenfassung eines Textes zu erstellen, kann man sich exakt wie die Aufgabenstellung früher im Deutschunterricht vorstellen. Das Ziel ist es, eine möglichst echt wirkende, menschliche Zusammenfassung mit allen relevanten Inhalten zu erstellen. Dabei müssen selbstverständlich geltende Rechtschreib- und Grammatikregeln eingehalten werden. Die Herausforderung dabei ist es, dem Computer beizubringen wichtige und relevante Inhalte von unwichtigen Inhalten zu trennen.

Anwendungsbeispiel 6:

Eine Onlinenachrichtenagentur hat durch Analyse des Nutzungsverhalten der Website herausgefunden das immer weniger Leute die Artikel komplett bis zum Ende durchlesen. Um Lesern das extrahieren von relevanten Informationen zu erleichtern, soll automatisch eine Zusammenfassung für vorhandene und neuen Artikeln erstellt werden. Die Zusammenfassung soll in Länge und Sprachkomplexität abhängig vom Nutzerprofil erstellt werden.

Übersetzungen

Beim Anwendungsfall einer Textübersetzung soll der Text von einer Sprache in eine andere transferieren werden, unter Einhaltung der geltenden Rechtschreib- und Grammatikregeln und ohne den Inhalt zu verändern. Dabei hat der Computer ähnliche Probleme mit dem Übersetzen von Texten wie ein Mensch. Es muss stets die Balance zwischen inhaltlicher und grammatikalischer Korrektheit gehalten werden, ohne sich dabei vom Originaltext zu entfernen.

Anwendungsbeispiel 7:

Ein national agierender Zulieferbetrieb möchte seinen Absatzmarkt international erweitern. Dazu müssen alle vorhandenen technischen Spezifikationen in die Sprache der Zielmärkte übersetzt werden. Eine besondere Herausforderung besteht in der Übersetzung von technischen, branchenspezifischen Vokabular.

Wie haben sich die NLP-Modelle entwickelt?

Die Geschichte von NLP-Modellen lässt sich in drei Epochen unterteilen: Naive Modelle, statische Vektormodelle und dynamische Vektormodelle.

In den Anfängen von NLP Modellen wurde versucht, den Sinn von Texten durch das Zählen von Wörtern oder Wortpaaren zu ermitteln. Dazu war ein sehr intensives Vorbearbeiten der Texte notwendig. Das eigentliche Rechnen der Modelle, basierend auf den Zählständen, ist (mit heutigen Computern) äußerst schnell zu bewerkstelligen. Allerdings geht durch das Zählen der Wörter jeglicher Kontext verloren.

Der nächste Entwicklungsschritt waren statische Vektormodelle. Der Gedanke hinter diesen Modellen ist, dass jedes Wort durch einen Vektor, also eine Zahlenreihe, repräsentiert wird. Diese Zahlenreihen werden meist durch Zuhilfenahme von Deep Learning Modellen berechnet. Sie dienen anschließend als Eingabe für ein weiteres Modell, z.B. wiederum ein Deep Learning Modell, dass die Zahlenreihe nutzt, um damit die eigentliche Aufgabe, z.B. die Klassifikation der Texte, zu lösen. Durch Zuhilfenahme der Vektoren war es möglich, den Kontext von Wörtern besser zu erfassen. D.h. bei dem Berechnen eines Vektors für ein Wort werden andere, dieses Wort umgebende Wörter, mitbetrachtet. Allerdings sind die Vektoren für ein gleich geschriebenes Wort noch identisch, unabhängig von der eigentlichen Bedeutung. Bei dem unten gezeigten Beispiel wäre der Vektor für ‚Bank‘ jeweils der gleiche.

Ich sitze auf der Bank. (Bank = Sitzgelegenheit)

Ich bringe mein Geld zur Bank. (Bank = Geldhaus)

Das berechnen der Vektoren sowie des Modells ist sehr zeit- und rechenintensiv. Allerdings gestaltet sich die Vorhersage, durch den fehlenden Kontext der Vektoren, noch sehr effizient.

Die aktuellste Generation von NLP Modellen ist ähnlich der zweiten Generation, allerdings werden nun Vektoren mit Bezug auf den Kontext des Wortes berechnet. Somit würde in dem obenstehenden Beispiel für die Sitzbank ein anderer Vektor berechnet werden als für das Geldhaus. Das macht sowohl die Berechnung des Modells als auch die Vorhersage sehr rechenintensiv.

Wieso ist NLP so relevant geworden?

Den Beginn der „New-Area of NLP“ hat Google Ende 2018 mit dem sogenannten BERT Modell eingeläutet (hier geht es zum offiziellen GitHub repository). Seitdem erscheinen monatlich Anpassungen und Weiterentwicklungen des Modells von Universitäten, aber auch anderen Firmen wie Facebook und natürlich von Google selbst. Die Mehrheit dieser Modelle steht der breiten Masse kostenfrei zur Verfügung – fast immer ist die Verwendung auch für den kommerziellen Zweck freigegeben.

Die Performance dieser neusten Generation von NLP Modellen ist in vielen Bereichen auf Augenhöhe mit, oder bereits über, den Ergebnissen, die von Menschen erzielt werden können.

Die Forschung hat Datensätze für verschiedene Aufgaben und Teilbereiche der Sprachverarbeitung entwickelt. Diese Aufgaben wurden zunächst von Menschen gelöst, um einen Referenzwert zu schaffen, der von Computern geschlagen werden soll. Mittlerweile sind NLP Modelle in der Lage, in fast allen Bereichen nahezu menschliche Ergebnisse zu liefern.

Zu beachten ist, dass die Datensätze sehr generalistisch sind. Jeder dieser Benchmark-Datensätze versucht in seinem Teilbereich eine möglichst große Abdeckung zu erlangen, um eine möglichste gute, generelle Aussage über die Performance zu treffen. Businessprobleme hingegen sind meist deutlich konkreter. So kann es sein, dass ein Modell sehr gut in der Lage ist, die generelle Stimmung von Texten aller Art zu erfassen und somit eine gute, hohe Bewertung in diesem Bereich erlangt.

Ein Businessproblem könnte sein, dass die Stimmung von Kundenbeiträgen in sozialen Netzwerken oder von eingehenden Emails von Kundenbeschwerden zu bewerten. Von einem menschlichen Standpunkt aus gesehen, sind beide Aufgaben sehr ähnlich. Für eine Maschine kann es einen großen Unterscheid machen, ob es sich um kurze, informellen Texte, wie Beiträge aus sozialen Medien, oder um längere, formelle Texte, wie E-Mails, handelt. Eine Evaluation der Modelle auf das Business-Problem ist unerlässlich.

Wie ist NLP so gut anwendbar geworden?

Bis vor wenigen Jahren gab es in der Entwicklung von künstlicher Intelligenz,  und speziell für den Teilbereich NLP, drei grundlegende Probleme, die die Entwicklung und Adaption dieser Modelle erschwert hat. Die Probleme hingen mit der Ressourcenallokation in den drei Bereichen Daten, Rechenleistung und Humankapital zusammen. Alle drei Punkte wurden durch das Vortrainieren von Modellen deutlich entschärft.

Die großen, relevanten Firmen in der NLP-Modellentwicklung investieren in diese Ressourcen und stellen im Anschluss diese vortrainierten Modelle meist kostenfrei zur Verfügung. Die Modelle sind bereits sehr gut im generellen Verstehen von Texten, aber lassen meist noch Raum für Verbesserungen bei spezifischen Problemen. Der Löwenanteil an Ressourcen wird jedoch für den ersten Teil, dem generalistischen Repräsentieren von Text, benötigt. Diese vortrainierten Modelle lassen sich nun mit Verhältnis wenig Aufwand auf bestimmte Businessprobleme feinabstimmen. Durch das Feinabstimmten können exzellente Ergebnisse mit minimalstem Aufwand und geringen Kosten erzielt werden.

Einstiegsbarriere: Datenverfügbarkeit

Mit zunehmender Komplexität der Modelle wächst der Bedarf an Daten, welche für das Training benötigt werden, exponentiell. Die Performance dieser Modelle kommt durch das Betrachten des Kontextes eines Wortes zustande. Folglich ist es notwendig, dass ein Modell möglichst viele Wörter in möglichst vielen Kombinationen sieht. Durch das Internet gibt es Zugriff auf sehr große Textsammlungen. So wurde das vorhin erwähnte BERT Modell auf diversen Büchern mit zusammen etwa 800 Millionen Wörtern sowie der kompletten englischsprachigen Plattform Wikipedia mit etwa 2,5 Milliarden Wörtern trainiert.

Einstiegsbarriere: Rechenleistung

Aus dem immer weiter ansteigenden Bedarf an Daten sowie der ansteigenden Modellkomplexität ergibt sich ein immer größerer Bedarf an Rechenleistung. Dabei lassen sich einige Punkte beobachten. Die Leistung von Computern steigt jedes Jahr massiv an, man spricht von einer Verdoppelung der Rechenleistung etwa alle zwei Jahre. Gleichzeitig wird Rechenleistung immer günstiger. Seit dem Siegeszug von Cloudanbietern wurde der Zugang zu Rechenleistung demokratisiert. Extrem performante und spezialisierte Computercluster sind nun nicht mehr nur für große Firmen, sondern für jedermann bei einer minutengenauen Abrechnung verfügbar.

Einstiegsbarriere: Talentakquisition

In den Anfängen von KI war es notwendig, entweder selbst ein kompetitives Entwicklungsteam innerhalb der eigenen Organisation aufzubauen oder die komplette Entwicklung von spezialisierten Firmen einzukaufen. Dadurch war es erforderlich, finanziell sehr stark in Vorleistung zu gehen, um nach einer oft mehrjährigen Entwicklungszeit ein fertiges KI-Produkt in Betrieb nehmen zu können. Oft sind solche Projekte fehlgeschlagen oder haben einen zu geringen Mehrwert gestiftet. Finanzielle Investitionen mit solch einem Risikoprofil waren meist nur für große multinationale Unternehmen möglich. Die meisten der neu entwickelten NLP-Modelle sind heutzutage frei zugänglich, auch für kommerzielle Zwecke. Somit ist es möglich, innerhalb von Wochen, anstatt Monaten oder Jahren, einen Machbarkeitsnachweis zu bekommen. Die Einführungszeit eines kompletten Produktes hat sich von Jahren auf Monate reduziert. Iterationen in der Produktentwicklung sind nun sehr schnell möglich, mit einem geringen initialen Investment.

Welche Herausforderung bestehen weiterhin?

Viele der ursprünglich vorhandenen Probleme wurden entschärft oder komplett gelöst. Diese Entwicklungen haben vor allem den Zeitaufwand bis zum Abschluss einer Machbarkeitsstudie extrem verkürzt.

Modell

Aktuell sind vortrainierte Modelle von einer Vielzahl an Firmen und Anbietern vorhanden. Diese werden laufend weiterentwickelt und oft wird nach einigen Monaten eine neuere, verbesserte Version veröffentlicht. Außerdem werden von ein- und demselben Modell zum gleichen Zeitpunkt mehrere Versionen veröffentlicht. Diese unterscheiden sich oftmals in der Komplexität oder der Sprache.

Es ist extrem wichtig, in der Anfangsphase eines NLP-Projekts Modelle zu sondieren und zu evaluieren. Grundsätzlich lässt sich die Performance in zwei verschiedene Dimensionen aufteilen: Die Qualität der Ergebnisse und die Ausführungsgeschwindigkeit.

Die Qualität von Modellergebnisse zu beurteilen, ist je nach Aufgabe häufig anspruchsvoll. Bei der Klassifizierung von Emotionen lässt sich meistens eindeutig bestimmen, ob das Modell richtig oder falsch lag. Das Beurteilen von Zusammenfassungen ist deutlich schwieriger. Es ist sehr wichtig in der Anfangsphase eines Projektes ein Gütemaß zu bestimmen, das technisch umsetzbar ist, aber auch das Businessproblem widerspiegelt.

Die zweite Dimension der Modellperformance ist die Ausführungsgeschwindigkeit. Diese umfasst sowohl die benötigte Zeit für das Training als auch für die Vorhersage. Dabei ist es sehr wichtig, frühzeitig den Anspruch an das Modell mit allen Projektpartnern abzustimmen. So hat ein Modell, welches live und innerhalb von Millisekunden Anfragen beantworten muss, andere Eigenschaften als ein Modell, welches einmal pro Tag über Nacht Ergebnisse berechnet.

Daten

Das Thema Daten ist generell bei KI und vor allem im Bereich NLP ein zweischneidiges Schwert. Einerseits sind Daten generell vorhanden und es existieren Computersysteme, die in der Lage sind, diese zu verarbeiten. Durch das Vortrainieren von Modellen wird uns ein Großteil der Arbeit mit Daten abgenommen. Andererseits sind vortrainierte Modelle immer darauf ausgelegt, möglichst gut in einer Vielzahl von Aufgaben zu funktionieren. Oft liefern die vortrainieren Modelle ohne eine Feinabstimmung bereits gute, aber keine herausragenden Ergebnisse.

Die Feinabstimmung erfolgt meist in zwei Dimensionen. Das Modell muss zunächst auf Spracheigenheiten und Feinheiten angepasst werden – das kann spezielles Vokabular sein, aber auch Slang und Dialekt. So gibt es einen großen Unterschied zwischen Beiträgen aus den Sozialen Medien und Anleitungen für produktionstechnische Verfahren.

Die zweite Dimension bezieht sich auf die eigentliche Aufgabenstellung. Um eine herausragende Leistung zu erlangen, müssen Modelle immer auf das Businessproblem abgestimmt werden. Ein Modell, das übersetzen kann, unterscheidet sich erheblich von einem Modell, das Emotionen klassifizieren kann. Für diese Feinabstimmung werden Texte/Daten benötigt, welche auf die Zielsprache und das Zielproblem abgestimmt sind. Die Texte müssen aufbereitet und dem Modell zugeführt werden. Je nach Komplexität und Qualität der Daten kann dies noch immer ein aufwendiger Prozess sein.

Rechenleistung

Der Fakt, dass Computer immer besser werden und Rechenleistung immer günstiger wird, ist einer der Hauptgründe für die Adaption von KI. Wie bereits mehrfach erwähnt, ist es durch vortrainierte Modelle nicht mehr notwendig, den Löwenanteil der Rechenleistung selbst zu erbringen. Computerleistung wird lediglich für die Datenverarbeitung und die Feinabstimmung der Modelle benötigt. Dies ist ein Bruchteil von der Rechenleistung, die für das komplette Training von Anfang bis Ende benötigt wird. Dennoch ist es meist mehr als ein Standard-Computer in einer angemessenen Zeit bewerkstelligen könnte. Daher wird für die Feinabstimmung meist auf Cloudcomputing zurückgegriffen. Cloudressourcen werden in der Regel minutengenau abgerechnet und sind daher sehr kostengünstig. Allerdings unterscheidet sich der Ablauf eines Trainings mittels Cloudcomputing deutlich von einem Training in einem Standard-Rechenzentrum, weswegen in diesem Bereich Wissen in der eigenen Organisation entweder aufgebaut oder von externen Dienstleistern eingekauft werden muss.

Was können wir in der Zukunft von NLP erwarten?

Vom gesamten Bereich der künstlichen Intelligenz wird an NLP aktuell am aktivsten geforscht. Es sind in den nächsten Monaten und Jahren noch einige interessante Entwicklungen zu erwarten und derzeit zeichnen sich zwei Entwicklungen mit sehr interessanten praktischen Implikationen ab.

Wir erwarten kurz- bis mittelfristig den praktischen Einsatz von sogenannten Zero-Shot Modellen. Diese Modelle sind für ein gewisses Aufgabengebiet wie Sequenzklassifikation trainiert. Die Neuheit ist, dass diese Modelle sehr gute Ergebnisse liefern, ohne jeweils domänenspezifische Daten gesehen zu haben. Somit entwickeln diese Modelle eine Art „generelle“ Intelligenz. Damit wird die Feinabstimmung von Modellen deutlich einfacher oder entfällt komplett.

Der nächste zu erwartende Schritt sind sogenannte General Purpose Modelle. Diese Art von Modellen können jedes Aufgabengebiet auf ungesehenen Daten lösen, wodurch die komplette Feinabstimmung entfallen würde. Erste Versuche mit diesen Modellen scheinen sehr gute Ergebnisse zu liefern, allerdings sind die Modelle extrem groß und stellen sehr hohe Anforderungen an die Rechenleistung. Damit ist die Inbetriebnahme dieser Modelle aktuell äußerst schwer und teuer. Noch gibt es nahezu keine praktischen Einsatzgebiete. Wir erwarten in den nächsten Jahren deutliche Sprünge hinsichtlich Praktikabilität und Performance.

Zusammenfassung

Die jüngsten Entwicklungen in dem Bereich der Sprachprozessierung sind beeindruckend und schnell zugleich. Den Startschuss der neusten Entwicklungen gab Google mit der Veröffentlichung des BERT-Modells vor knapp zwei Jahren und seitdem werden in einem Wochenrhythmus neue Modelle von Firmen und Universitäten rund um die Welt veröffentlicht. Diese Modelle verbessern oft die Ergebnisse von vorhandenen Problemen oder ermöglichen es, vorhandene Ressourcen effizienter einzusetzen. Probleme welche vor zwei Jahren noch als unlösbar galten sind nun oft sehr gut lösbar und auch im Hinblick auf einzusetzende Ressourcen und Entwicklungszeit erschwinglich. Die notwendige Zeit, eine Machbarkeitsstudie zu erstellen, wurde extrem verkürzt.