Multi-Layer-Perceptrons (MLPs) gelten als wichtige Bestandteile moderner Deep-Learning-Modelle und bieten Vielseitigkeit bei der Approximation nichtlinearer Funktionen über verschiedene Aufgaben hinweg. Dennoch stehen diese neuronalen Netzwerke vor Herausforderungen in Bezug auf Interpretation und Skalierbarkeit. Die Schwierigkeit im Verständnis der gelernten Darstellungen begrenzt ihre Transparenz, während das Erweitern des Netzwerks oft komplex ist. Zudem sind MLPs auf feste Aktivierungsfunktionen angewiesen, die ihre Anpassungsfähigkeit potenziell einschränken. Forscher haben diese Einschränkungen als bedeutende Hürden bei der Weiterentwicklung der Fähigkeiten neuronaler Netzwerke identifiziert. Daher besteht ein wachsender Bedarf an alternativen Architekturen, die diese Herausforderungen angehen können, während sie die Leistung traditioneller MLPs in Aufgaben wie Klassifizierung, Regression und Merkmalsextraktion beibehalten oder verbessern.
Forscher haben erhebliche Fortschritte bei den Kolmogorov-Arnold-Netzwerken (KANs) erzielt, um die Einschränkungen von MLPs zu überwinden. Verschiedene Ansätze wurden erforscht, darunter der Ersatz von B-Spline-Funktionen durch alternative mathematische Darstellungen wie Chebyshev-Polynome, Wavelet-Funktionen und orthogonale Polynome. Diese Modifikationen zielen darauf ab, die Eigenschaften und Leistungsfähigkeit der KANs zu verbessern. Darüber hinaus wurden KANs mit bestehenden Netzwerkarchitekturen wie Faltungsnetzen, Vision-Transformern, U-Net, Graph-Neuronalen-Netzwerken (GNNs) und Neuronalen Strahlungsfeldern (NeRF) integriert. Diese hybriden Ansätze sollen die Stärken der KANs in verschiedenen Anwendungen nutzen, von der Bildklassifizierung und medizinischen Bildverarbeitung bis hin zu graphbezogenen Aufgaben und 3D-Rekonstruktion. Trotz dieser Verbesserungen besteht jedoch nach wie vor Bedarf an einem umfassenden und fairen Vergleich zwischen KANs und MLPs, um ihre relativen Fähigkeiten und Potenziale vollständig zu verstehen.
Forscher der National University of Singapore haben einen umfassenden Vergleich zwischen KANs und MLPs durchgeführt. Sie kontrollierten Parameter und FLOPs für beide Netzwerktypen und bewerteten deren Leistung in diversen Bereichen, darunter die Darstellung symbolischer Formeln, maschinelles Lernen, Computer Vision, natürliche Sprachverarbeitung und Audiobearbeitung. Dieser Ansatz gewährleistet eine ausgewogene Bewertung der Fähigkeiten der beiden Architekturen. Die Studie untersucht auch die Auswirkung von Aktivierungsfunktionen auf die Netzwerkperformance, insbesondere von B-Spline. Die Forschung erstreckt sich auch auf das Verhalten der Netzwerke in kontinuierlichen Lernszenarien und stellt frühere Erkenntnisse zur Überlegenheit von KAN in Frage. Durch einen gründlichen und fairen Vergleich soll die Studie wertvolle Einblicke für zukünftige Forschungen zu KAN und potenziellen MLP-Alternativen bieten.