Recommender systems haben in verschiedenen Anwendungen an Bedeutung gewonnen, wobei Algorithmen auf der Basis von tiefen neuronalen Netzwerken beeindruckende Fähigkeiten gezeigt haben. Große Sprachmodelle (LLMs) haben kürzlich ihre Kompetenz in mehreren Aufgaben demonstriert, was Forscher dazu veranlasst, ihr Potenzial in Empfehlungssystemen zu erkunden. Zwei Hauptprobleme behindern jedoch die Übernahme von LLMs: hohe Rechenanforderungen und Vernachlässigung von kollaborativen Signalen. Aktuelle Studien haben sich auf semantische Ausrichtungsmethoden konzentriert, um Wissen von LLMs auf kollaborative Modelle zu übertragen. Doch aufgrund der vielfältigen Natur der Interaktionsdaten in kollaborativen Modellen im Vergleich zur natürlichen Sprache, die in LLMs verwendet wird, besteht immer noch eine signifikante semantische Kluft. Versuche, diese Kluft durch kontrastives Lernen zu überbrücken, haben Einschränkungen gezeigt, die möglicherweise Rauschen einführen und die Empfehlungsleistung verschlechtern.
Graph Neural Networks (GNNs) haben in Empfehlungssystemen an Bedeutung gewonnen, insbesondere für kollaboratives Filtern. Methoden wie LightGCN, NGCF und GCCF verwenden GNNs, um Benutzer-Item-Interaktionen zu modellieren, haben jedoch mit rauschigem implizitem Feedback zu kämpfen. Um dem entgegenzuwirken, wurden selbstüberwachte Lerntechniken wie kontrastives Lernen eingesetzt, wobei Ansätze wie SGL, LightGCL und NCL eine verbesserte Robustheit und Leistung zeigten. LLMs haben das Interesse an Empfehlungen geweckt, und Forscher erkunden Möglichkeiten, ihre leistungsstarken Repräsentationsfähigkeiten zu integrieren. Studien wie RLMRec, ControlRec und CTRL verwenden kontrastives Lernen, um kollaborative Filtereinbettungen mit semantischen Darstellungen von LLMs abzugleichen.
Forscher der National University of Defense Technology, Changsha, von Baidu Inc, Beijing, und des Anhui Province Key Laboratory der University of Science and Technology of China haben ein Disentangled Alignmentsframework für das Empfehlungsmodell und LLMs (DaRec) vorgestellt, ein einzigartiges Plug-and-Play-Framework, das die Beschränkungen bei der Integration von LLMs in Empfehlungssysteme angeht. Motiviert durch theoretische Erkenntnisse, richtet es semantisches Wissen durch entwirrte Repräsentation aus, anstatt durch genaue Ausrichtung. Das Framework besteht aus drei Schlüsselkomponenten: (1) Entwirren von Repräsentationen in gemeinsame und spezifische Komponenten zur Reduzierung von Rauschen, (2) Anwendung von Einheits- und orthogonalem Verlust zur Aufrechterhaltung der Informativität von Repräsentationen und (3) Implementierung einer strukturellen Ausrichtungsstrategie auf lokaler und globaler Ebene für eine effektive Übertragung semantischen Wissens.
DaRec ist ein innovatives Framework zur Ausrichtung semantischen Wissens zwischen LLMs und kollaborativen Modellen in Empfehlungssystemen. Dieser Ansatz wird durch theoretische Erkenntnisse motiviert, die darauf hindeuten, dass die genaue Ausrichtung von Repräsentationen möglicherweise nicht optimal ist. DaRec besteht aus drei Hauptkomponenten: Representation Disentanglement, Uniformity and Orthogonal Constraints und Structure Alignment Strategy. DaRec zielt darauf ab, die Grenzen bisheriger Methoden zu überwinden, indem es eine flexiblere und effektivere Ausrichtungsstrategie bietet und möglicherweise die Leistung von LLM-basierten Empfehlungssystemen verbessert.
DaRec übertraf sowohl traditionelle kollaborative Filtermethoden als auch LLM-verstärkte Empfehlungsansätze auf drei Datensätzen (Amazon-Book, Yelp, Steam) hinsichtlich mehrerer Metriken (Recall@K, NDCG@K). Zum Beispiel verbesserte DaRec auf dem Yelp-Datensatz gegenüber der zweitbesten Methode (AutoCF) um 3,85%, 1,57%, 3,15% und 2,07% bei R@5, R@10, N@5 und N@10.
Hyperparameteranalyse ergab optimale Leistung mit einer Clusteranzahl K im Bereich von 4 bis 8, einem Trade-Off-Parameter Lambda im Bereich von 0,1 bis 1,0 und einer Stichprobengröße N̂ von 4096. Extremwerte für diese Parameter führten zu einer verringerten Leistung.
t-SNE-Visualisierung zeigte, dass DaRec erfolgreich zugrunde liegende Interessenscluster in Benutzerpräferenzen erfasst hat.
Insgesamt zeigte DaRec überlegene Leistung im Vergleich zu bestehenden Methoden, demonstrierte Robustheit bei verschiedenen Hyperparameterwerten und erfasste effektiv Benutzerinteressenstrukturen. Das Forschungsteam führt DaRec ein, ein einzigartiges Plug-and-Play-Framework zur Ausrichtung kollaborativer Modelle und LLMs in Empfehlungssystemen, das auf theoretischen Analysen basiert, die zeigen, dass eine lückenlose Ausrichtung möglicherweise nicht optimal ist. DaRec entwirrt Repräsentationen in gemeinsame un…
Ursprünglich veröffentlicht auf: Website