Dieser Inhalt ist Teil 1 einer neuen mehrteiligen Serie, die sich mit der Entwicklung von Mamba State Space Models für Bilder, Videos und Zeitreihen beschäftigt. Die Frage, ob der Mamba-Transformer alles ist, was man braucht, ist von Bedeutung. Lange Zeit wurde der Transformer-Architektur, die von A. Vaswani et. al. in “Attention is all you need” eingeführt wurde, große Bedeutung beigemessen. Zweifellos hat der Transformer das Gebiet des Deep Learning immer wieder revolutioniert. Seine allgemeine Architektur kann einfach für verschiedene Datenmodalitäten wie Text, Bilder, Videos und Zeitreihen angepasst werden. Es scheint, dass je mehr Rechenressourcen und Daten man dem Transformer zur Verfügung stellt, desto leistungsfähiger wird er.
Allerdings hat der Aufmerksamkeitsmechanismus des Transformers einen großen Nachteil: Er hat eine Komplexität von O(N²), was bedeutet, dass er quadratisch mit der Sequenzlänge skaliert. Dies bedeutet, dass je länger die Eingabesequenz ist, desto mehr Rechenressourcen benötigt werden, was die Verarbeitung großer Sequenzen oft unpraktikabel macht. Diese Serie behandelt die Notwendigkeit eines neuen Modells und warum wir einen solchen benötigen.
In dieser Serie geht es um strukturierte Zustandsraummodelle. Der Fokus liegt darauf, wie man die Nachteile des Transformers überwinden kann, insbesondere hinsichtlich der quadratischen Komplexität seines Aufmerksamkeitsmechanismus. Es wird erkundet, wie ein neues Modell, das als Mamba bezeichnet wird, entwickelt werden kann, um effizienter mit großen Sequenzen umzugehen und somit die Leistungsfähigkeit bei der Verarbeitung von Bildern, Videos und Zeitreihen zu verbessern.