Der Schlüssel zur Entwicklergeschwindigkeit im Bereich Künstliche Intelligenz liegt darin, die Zeit bis zur ersten Charge (TTFB) für Maschinenlerningenieure zu minimieren. Das AI Lab ist ein Vorproduktions-Framework, das intern bei Meta verwendet wird. Es ermöglicht kontinuierliche A/B-Tests gängiger ML-Workflows, um proaktive Verbesserungen zu ermöglichen und Regressionen auf TTFB automatisch zu verhindern. Durch die Verwendung von AI Lab während der Einführung des Open-Source-Python Cinder-Runtimes konnte eine bis zu 40%ige Reduzierung der TTFB erreicht werden.
Die Zeit bis zur ersten Charge (TTFB), die Verzögerung von der Einreichung eines Workflows bis zur ersten Charge des Schulungsvorgangs, spielt eine wichtige Rolle bei der Beschleunigung der Iterationsgeschwindigkeit von Maschinenlerningenieuren. Durch die Minimierung von TTFB werden die ML-Ingenieure entlastet, die Anzahl der Iterationen pro Tag erhöht und die Innovation bei Meta insgesamt beschleunigt. Die Unterstützung von TTFB bei Meta erfordert ein skalierbares Angebot, um nicht nur proaktive Verbesserungen an diesem wertvollen Maßstab zu ermöglichen, sondern ihn auch autonom gesund zu halten. Daher wurde das AI Lab entwickelt, ein Vorproduktions-Werkzeug zur TTFB-Signalgenerierung, das bis zu 40% der TTFB reduzieren kann und Regressionen automatisch verhindert, um die ML-Ingenieure schnell voranzubringen.
Die Optimierung von TTFB hilft den ML-Ingenieuren, schnell voranzukommen. Die Überlastung durch TTFB ist auf dem kritischen Pfad für die meisten ML-Entwicklungen. Sie besteht aus Komponenten wie Konfigurationsvalidierung, Merkmalsvorverarbeitung und Infrastruktur-Overhead. Optimierungen an den Komponenten von TTFB können sogar den gesamten Schulungszyklus einiger Modelle beeinflussen. Bei der Skala von Meta ändert sich der Metrikwert von TTFB oft subtil, wenn Entwickler an ihren Modellen, Launchern oder Architekturen arbeiten.
Um ML-Ingenieure schnell voranzubringen, sind zwei Dinge erforderlich: Offensiv die Verbesserung von TTFB und defensiv die Verhinderung von Regressionen von TTFB. Dafür wurde das AI Lab eingeführt, ein spezialisiertes Vorproduktions-Framework, das häufige ML-Workflows als A/B-Test ausführt, um den Einfluss von Änderungen auf Metriken wie TTFB genau zu messen. Durch offensive Verbesserungen und defensive Verhinderungen von Regressionen hilft das AI Lab den Ingenieuren von Meta, schnell voranzukommen.