Wenn Sie sich einen Hund ansehen, wie wissen Sie, dass es sich tatsächlich um einen Hund handelt? Und wie hoch sind die Chancen, dass Sie richtig liegen? Maschinenlernalgorithmen durchsuchen Tausende von Bildern und Millionen von Wahrscheinlichkeiten, um zu einer “korrekten” Antwort zu gelangen, wobei jedoch verschiedene Algorithmen unterschiedliche Wege einschlagen.
Die Datenvisualisierung zeigt die geodätische Lerntrajektorie verschiedener tiefer neuronaler Netzwerke, während sie von kompletter Unwissenheit zu voller Bestimmtheit fortschreiten. Durch die Zusammenarbeit von Forschern der Cornell University und der Universität von Pennsylvania wurde eine Möglichkeit gefunden, diese riesige Menge an Daten zu durchdringen und zu zeigen, dass die meisten erfolgreichen neuronalen Netzwerke einen ähnlichen Weg in demselben “niederdimensionalen” Raum einschlagen.
Ein Team unter der Leitung von James Sethna, Professor für Physik an der College of Arts and Sciences an der Cornell University, entwickelte eine Technik, die möglicherweise zu einem Werkzeug werden könnte, um festzustellen, welche Netzwerke am effektivsten sind. Die Gruppenstudie wurde in den Proceedings of the National Academy of Sciences veröffentlicht und zeigt, dass die Lernprozesse vieler tiefer Netzwerke dieselben niederdimensionalen Muster erkunden.
Die Forscher konzentrierten sich auf sechs Arten von neuronalen Netzwerkarchitekturen, darunter der Transformer, die Basis von ChatGPT. Insgesamt trainierte das Team 2.296 Konfigurationen von tiefen neuronalen Netzwerken mit unterschiedlichen Architekturen, Größen, Optimierungsmethoden, Hyperparametern, Regularisierungsmechanismen, Datenaugmentierung und zufälligen Gewichtsinitialisierungen.
Obwohl dieser Raum “hochdimensional” ist, zeigte die Visualisierung der Forscher, dass die meisten neuronalen Netzwerke eine ähnliche geodätische Vorhersagelaufbahn verfolgten, von vollständiger Unwissenheit über ein Bild bis zur vollständigen Gewissheit seiner Kategorie, in derselben vergleichsweise niedrigen Dimension. Trotz der verschiedenen Ansätze folgten die Netzwerke im Wesentlichen dem gleichen Lernbogen. Die Forschung wurde von der National Science Foundation, dem Office of Naval Research, Amazon Web Services, dem Eric and Wendy Schmidt AI in Science Postdoctoral Fellowship und den National Institutes of Health unterstützt.