Künstliche Intelligenz (KI) und damit verbundene Begriffe sind mittlerweile recht bekannt. Viele Menschen haben von Begriffen wie “neuronales Netzwerk” gehört und verbinden “CNN” möglicherweise sogar mit “Convolutional Neural Network” anstelle der Nachrichtenorganisation. Nur Wenige haben jedoch von Optimierern oder Optimierungsalgorithmen gehört, die dazu beitragen, die Leistung von KI-Modellen zu verbessern. Diese Optimierer sind entscheidend dafür, dass Computer Vision-KI-Modelle Daten korrekt verarbeiten und beispielsweise das Bild eines Pandas richtig identifizieren.
Der Hauptzweck eines Optimierers ist es, Trainingsdatensätze in das KI-Modell einzuspeisen, dann den Trainingsverlust zu berechnen, d. h. die Diskrepanz zwischen der Vorhersage des Modells und der echten Vorhersage, und schließlich die Modellparameter anzupassen, um den Trainingsverlust zu minimieren. Dies ist besonders wichtig, um das Problem des “Overshoots”, bei dem ein Optimierer Vorhersagen erzeugt, die auf der anderen Seite der V-förmigen Kurve liegen, zu lösen.
Das von Professor Zhou entwickelte “Adan: Adaptive Nesterov Momentum Algorithm for Faster Optimizing Deep Models” zielt darauf ab, das Problem des Overshoots zu lösen und den Prozess zur Bestimmung guter Modellparameter zu beschleunigen. Adan soll existierende optimale Optimierer übertreffen und in der Lage sein, tiefgreifende Lernaufgaben in der Bildverarbeitung, Sprachverarbeitung und Verstärkungslernen schneller zu bewältigen.
Adan hat sich als sehr effizient erwiesen und konnte vergleichbare Leistungen wie der derzeitige Stand der Technik (State of the Art) in verschiedenen tiefen Lernaufgaben erzielen. Sowohl für Bild- als auch für Sprachverarbeitungsaufgaben sowie für Verstärkungslernaufgaben hat sich Adan als effektiv erwiesen und dabei die Anzahl der Trainingsiterationen erheblich reduziert. Insgesamt zeigt sich Adan als vielversprechende Option zur schnelleren Optimierung von tiefen Lernmodellen, insbesondere in Bezug auf eine schnellere Konvergenz bei der Suche nach optimalen Modellparametern.