Im Frühjahr 2017, in einem Raum im zweiten Stock von Googles Gebäude 1965, dehnte sich ein College-Praktikant namens Aidan Gomez erschöpft aus. Es war drei Uhr morgens, und Gomez und Ashish Vaswani, ein Wissenschaftler, der sich auf die natürliche Sprachverarbeitung konzentrierte, arbeiteten an ihrem Beitrag für die Neural Information Processing Systems-Konferenz, dem größten jährlichen Treffen im Bereich der künstlichen Intelligenz. Zusammen mit dem Rest ihrer achtköpfigen Gruppe bei Google hatten sie zwölf Wochen lang durchgearbeitet, manchmal im Büro geschlafen, auf Sofas hinter einem Vorhang mit einem neuronengleichen Muster. Sie näherten sich dem Ziel, aber Gomez hatte nicht genug Energie, um in eine Bar zu gehen und zu feiern.
Vaswani hatte eine andere Sichtweise. Die Arbeit, die das Team verfolgte, umfasste eine neuartige Art von neuronalem Netzwerk-Architektur, die sie Transformer nannten. Ihr Papier zeigte, wie die Technologie verwendet werden konnte, um den Stand der Technik bei der automatischen Übersetzung voranzutreiben. Aber Vaswani schien noch etwas anderes im Sinn zu haben. Zwei Wochen später erhielt Gomez von Łukasz Kaiser, seinem Supervisor im Team, eine E-Mail mit dem Betreff „Generierte Wikipedia-Artikel“. Der Team hatte ihr Transformer-basiertes KI-Modell genutzt, um Wikipedia zu lesen und das System dabei zwei Tage Zeit gegeben, um etwa die Hälfte der Einträge zu analysieren.
Als der C.E.O. von Cohere, einem künstliche Intelligenz-Unternehmen im Wert von fünfeinhalb Milliarden Dollar, ist Gomez heute in seinen späten Zwanzigern. Der Transformer – das „T“ in ChatGPT – bildet den Kern dessen, was die revolutionärste Technologie des einundzwanzigsten Jahrhunderts sein könnte. PricewaterhouseCoopers schätzte, dass KI bis zum Jahr 2030 15,7 Billionen Dollar zum globalen BIP hinzufügen könnte. Das bedeutet eine beträchtliche Summe, die zu einem großen Teil von transformerbasierten Anwendungen stammen könnte. Heute verändern sprachliche KI-Technologien das Verhältnis zwischen Menschen und Sprache.
Während des Projekts verfolgte das Team weitere Anwendungsmöglichkeiten des Transformer-Modells, die weit über die Übersetzung hinausgingen. Transformer-basierte Netzwerke wurden zu großen Verbesserungen trainiert, und es schien, als gäbe es kein Ende. Die Forscher arbeiteten fieberhaft daran, das System zu verstehen und auf neue Anwendungen zu testen. Während einige der technologischen Entwicklungen durchaus beängstigend sind, bleibt die wahre Fähigkeit der Transformer-Technologie für viele noch immer eine Überraschung. Es bleibt offen, wie die Transformer-Technologie noch weiterentwickelt wird und welche Einflüsse sie letztendlich haben wird.