Model distillation ist eine Methode zur Erstellung interpretierbarer Machine-Learning-Modelle, bei der ein einfacherer “Schüler” -Ansatz verwendet wird, um die Vorhersagen eines komplexen “Lehrer” -Modells zu replizieren. Wenn die Leistung des Schülermodells jedoch mit verschiedenen Trainingsdatensätzen signifikant variiert, müssen seine Erklärungen zuverlässiger sein. Bestehende Methoden zur Stabilisierung der Destillation beinhalten die Erzeugung ausreichender Pseudodaten, sind jedoch oft auf bestimmte Arten von Schülermodellen zugeschnitten. Strategien wie die Bewertung der Stabilität von Entscheidungskriterien in Baummodellen oder die Merkmalsauswahl in linearen Modellen werden eingesetzt, um die Variabilität zu adressieren. Diese Ansätze sind jedoch aufgrund ihrer Abhängigkeit von der spezifischen Struktur des Schülermodells begrenzt.
Forscher der UC Berkeley und der University of Pennsylvania schlagen eine generische Methode zur Stabilisierung der Modelldestillation unter Verwendung eines zentralen Grenzwertsatzansatzes vor. Ihr Rahmenwerk beginnt mit mehreren potenziellen Schülermodellen und bewertet, wie gut sie mit dem Lehrermodell übereinstimmen. Sie verwenden zahlreiche Testrahmen, um die erforderliche Stichprobengröße für konsistente Ergebnisse in verschiedenen Pseudostichproben zu bestimmen. Diese Methode wird an Entscheidungsbäumen, abfallenden Regelreihen und symbolischen Regressionsmodellen demonstriert, wobei Anwendungen an Mammographiemasse und Brustkrebsdatensätzen getestet werden. Die Studie beinhaltet auch theoretische Analysen unter Verwendung eines Markow-Prozesses und Sensitivitätsanalysen zu Faktoren wie Modellkomplexität und Stichprobengröße.
Die Studie stellt einen robusten Ansatz zur stabilen Modelldestillation vor, indem sie asymptotische Eigenschaften für den durchschnittlichen Verlust basierend auf dem zentralen Grenzwertsatz herleitet. Sie verwenden dieses Rahmenwerk, um die Wahrscheinlichkeit zu bestimmen, dass eine feste Modellstruktur basierend auf verschiedenen Pseudostichproben ausgewählt wird, und berechnen die erforderliche Stichprobengröße, um diese Wahrscheinlichkeit zu kontrollieren. Darüber hinaus implementieren die Forscher mehrere Testverfahren, um konkurrierende Modelle zu berücksichtigen und die Stabilität bei der Modellauswahl zu gewährleisten. Die Methode umfasst die Erzeugung synthetischer Daten, die Auswahl des besten Schülermodells aus Kandidatenstrukturen und die iterative Anpassung der Stichprobengrößen, bis ein signifikantes Modell identifiziert wird.
Die Forscher befassen sich speziell mit drei verständlichen Schülermodellen – Entscheidungsbäumen, abfallenden Regelreihen und symbolischen Regressionen – und demonstrieren ihre Anwendbarkeit bei der Bereitstellung interpretierbarer und stabiler Modellerklärungen. Durch Monte-Carlo-Simulationen, bayessches Sampling und genetische Programmierung werden verschiedene Kandidatenmodelle generiert und basierend auf ihren Strukturen in Äquivalenzklassen eingeteilt. Der Ansatz unterscheidet sich von Ensemblemethoden, indem er sich auf Stabilität und Reproduzierbarkeit bei der Modellauswahl konzentriert und konsistente Erklärungen für das Lehrermodell über verschiedene Datensätze hinweg gewährleistet.