Meta’s Werbegeschäft nutzt große maschinelle Lernempfehlungsmodelle, die Millionen von Anzeigenempfehlungen pro Sekunde über Metas App-Familie ermöglichen. Die Zuverlässigkeit dieser ML-Systeme wird gepflegt, um den höchsten Servicestandard und eine unterbrechungsfreie Nutzenbereitstellung für Benutzer und Werbetreibende sicherzustellen. Um Störungen zu minimieren und sicherzustellen, dass die ML-Systeme intrinsisch widerstandsfähig sind, wurden umfassende Lösungen für die Vorhersage-Robustheit entwickelt, die Stabilität gewährleisten, ohne die Leistung oder Verfügbarkeit der ML-Systeme zu beeinträchtigen.
Die Herausforderung der Robustheit des maschinellen Lernens liegt in den einzigartigen Merkmalen. ML-Modelle sind von Natur aus stochastisch, was es schwierig macht, Vorhersagequalitätsprobleme zu definieren, zu identifizieren, zu diagnostizieren, zu reproduzieren und zu beheben. Die permanente Aktualisierung von Modellen und Merkmalen erschwert die Lokalisierung von Qualitätsproblemen, ihre Eindämmung und schnelle Lösung. Es gibt eine unscharfe Grenze zwischen Zuverlässigkeit und Leistung, Regressionsprobleme können auf komplexe Weise von mehreren vorherigen Schritten im System zurückverfolgt werden.
Meta hat einen systematischen Rahmen zur Entwicklung von Vorhersagerobustheit aufgebaut, der präventive Maßnahmen, grundlegendes Verständnis der Probleme und technische Verstärkungen umfasst. Durch robuste Vorhersagen sind Metas ML-Systeme von Design robust, und Stabilitätsprobleme werden aktiv überwacht und behoben, um eine reibungslose Anzeigenauslieferung für Benutzer und Werbetreibende sicherzustellen. Es wurden Lösungen über Modelle, Merkmale, Schulungsdaten, Kalibrierung und Interpretierbarkeit entwickelt, um alle möglichen Probleme im gesamten ML-Ökosystem abzudecken.
Im Bereich der Modellrobustheit konzentriert sich Meta auf herausfordernde Modellass- und Abfragequalität, die frische Qualität von Modellschnappschüssen und die Verfügbarkeit der Inferenz. Meta verwendet den Snapshot Validator als präventive Schranke für die Qualitätsbewertung von Modellschnappschüssen, bevor sie in den Produktionsverkehr gelangen. Durch interne ML-Techniken wurden die Modelle robuster gemacht, z.B. durch das Beschneiden weniger nützlicher Module, bessere Modellgeneralisierung und wirksamere Quantisierungsalgorithmen.
Die Durchsetzung von Merkmalsrobustheit konzentriert sich auf die Qualität der ML-Merkmale in Bezug auf Abdeckung, Datendistribution, Frische und Konsistenz bei Schulungsinferenzen. Zur Sicherstellung der Merkmalsqualität wurden robuste Überwachungssysteme implementiert, die Anomalien erkennen und präventive Maßnahmen ergreifen können. Das Training von Datenrobustheit beinhaltet spezielle Systeme zur Erkennung von Datenabweichungen und zur schnellen und automatischen Korrektur, um das Training betroffener Modelle zu verhindern.
Die Kalibrierungsrobustheit stellt sicher, dass die endgültige Vorhersage gut kalibriert ist, was für Werbeerlebnisse wichtig ist. Meta hat ein Monitoring- und Automatisierungs-Toolset zur Gewährleistung der Kalibration entwickelt und präventive Maßnahmen zur Problemlösung implementiert. Die Interpretierbarkeit des maschinellen Lernens konzentriert sich darauf, die Ursachen von Instabilitätsproblemen zu identifizieren und mithilfe von Tools wie dem internen AI-Debugging-Toolkit Hawkeye werden Ingenieure befähigt, komplexe Vorhersageprobleme zu analysieren.
Die Weiterentwicklung der Vorhersagerobustheitstechniken bei Meta zielt darauf ab, die Leistung von ML-Rankings zu verbessern und die Ingenieursproduktivität zu steigern, indem ML-Entwicklungen beschleunigt werden. Durch die Anwendung von Robustheitstechniken wie Gradient Clipping und robusteren Quantisierungsalgorithmen wurde bereits eine Leistungssteigerung erzielt. Zukünftige Pläne beinhalten die Verbesserung der Modellleistung, die Stärkung der Konsistenz und die Erhöhung der Produktivität durch die Verringerung der Zeit, die zur Bewältigung von Stabilitätsproblemen bei ML-Vorhersagen benötigt wird.