Das Siamesische Fourier-Netzwerk besteht aus parallelen Hybrid-Feature-Netzwerken und einer FC-Klassifizierungsschicht, die durch kontrastive und BCE-Verlustfunktionen optimiert werden. Die Methode wird entwickelt, um die Probenknappheit von antiken Bronzegeräten zu adressieren und nutzt Siamese Fourier Networks (SFN) für die Klassifizierung dieser Geräte. Die Hybrid-Feature-Extraktionsmodule kombinieren spektrale Informationen aus Fourier-Transformationen mit räumlichen Informationen, um robuste Merkmalsextraktion zu erleichtern und die diskriminative Fähigkeit zu verbessern. Die Netzwerke im parallelen Framework werden mittels des vorgeschlagenen Focal Contrastive Loss und BCE Loss optimiert, um das Problem der langen Schwanzverteilung zu lösen.
Das vorgeschlagene SFN-Verfahren kann in vier Schlüsselschritten zusammengefasst werden: (1) Extraktion von Dual-Domänenmerkmalen, (2) Merkmalsfusion, (3) Klassifizierung und (4) Optimierung durch eine Kombination von Focal Contrastive Loss und BCE Loss. Das Dual-Objektive ermöglicht die Verbesserung der Diskriminierungsfähigkeit des Modells und die Erhaltung der räumlichen Kohärenz der Einbettungen.
Hybride Feature-Extraktion kombiniert RGB- und Fourier-Domänen und nutzt die Vorteile von Fourier-Funktionen für die Mustererkennung von Bronzegeräten. Der Fast Fourier Transform (FFT)-Algorithmus wird verwendet, um Frequenzdomänenmerkmale aus RGB-Bildern zu extrahieren. Die Fusion von räumlichen und spektralen Merkmalen führt zu einer umfassenden und deskriptiven Darstellung von Bildern, die sowohl feine Details als auch Gesamtmuster berücksichtigt.
Focal Contrastive Loss wurde entwickelt, um das Modell auf harte Beispiele zu fokussieren und das Training auf schwere Negativbeispiele zu konzentrieren. Die Anpassung von contrastive Loss mit einem Focal-Ansatz kann das Ungleichgewicht von positiven und negativen Proben effektiv behandeln. Es zielt darauf ab, ähnliche und unähnliche Einbettungen zu erlernen und ist insbesondere für unbeschriftete Datensätze geeignet. Die Kombination dieser Verlustfunktionen führt zu einer ausgewogenen Darstellung von positiven und negativen Beispielen, die die Leistung des Modells in der few-shot Szenarien verbessern kann.