In diesem Abschnitt stellen wir weitere Details zum DMRG-ähnlichen Trainingsalgorithmus für mehrschichtige TNN-Modelle vor. Der Algorithmus ist vielseitig einsetzbar und eignet sich für verschiedene Modelle von Regression bis hin zu Klassifikation. Die Grafiken in den Abbildungen 7, 8 und 9 veranschaulichen die Konzepte der Verbindungstensoren, Umgebungstensoren und den lokalen Gradientenabstiegsupdate des Modells. Der Trainingsprozess umfasst das Zerlegen von MPO-Tensoren in Paaren und die Aktualisierung von Bond-Tensoren mit einer geschätzten Lernrate. Dieser Ansatz stellt eine effiziente Aktualisierung der MPO-Tensoren in den Schichten des TNN-Modells dar.
Im Gegensatz zu herkömmlichen neuronalen Netzen mit Dense-Schichten besteht das TNN aus TNLayern, die mehrere trainierbare MPO-Tensoren enthalten. Um diese MPO-Tensoren zu trainieren, verwenden wir einen DMRG-ähnlichen Ansatz mit einem lokal schwingenden Gradientenabstiegsalgorithmus. Diese Methode erlaubt eine effiziente Aktualisierung der Gewichte in den MPO-Tensoren durch Paare mit einer Schwingungsbewegung. Der Trainingsalgorithmus ermöglicht die Modellierung von TNN-Modellen mit gemischten Dense- und TNLayern. Die Kombination dieser Ansätze bringt eine enorme Flexibilität, um generische ML-Aufgaben auszuführen. Der Trainingsprozess wird anhand von Schritten wie der Neubestimmung von Bond-Tensoren und der Aktualisierung von Umgebungstensoren durchgeführt.
Die Automatische Gradientenberechnung erlaubt die effiziente Berechnung der Gradienten aller trainierbaren Gewichte des TNN durch den Rückwärtsdurchlauf. Dies kann mithilfe von Bibliotheken wie TensorFlow und GradientTape umgesetzt werden. Für hybride TNN-Modelle aus TNLayern und Dense-Schichten sind verschiedene Update-Strategien möglich, z.B. das schichtweise oder teilweise Update. Das Beobachten der Entanglement-Entropie und der Singulärwerte während des Trainings kann weitere Einblicke in die Korrelation zwischen den MPO-Tensoren ermöglichen und als Konvergenzmaß dienen. Diese Metriken können mit klassischen Maßen wie dem Verlust und der Genauigkeit ergänzt werden, um die Effizienz des Trainingsprozesses zu verbessern.