Die Forscher des Lawrence Livermore National Laboratory untersuchen, wie sich große Sprachmodelle unter messbarer Prüfung verhalten, da die Popularität von großen Sprachmodellen (LLMs) rasant zunimmt. LLMs sind künstliche Intelligenzwerkzeuge, die auf massiven Datensätzen trainiert werden, um eine textbasierte Antwort auf eine Abfrage zu liefern. Diese Technologie hat das Potenzial, wissenschaftliche Forschung in verschiedenen Bereichen zu beschleunigen, von Cyber-Sicherheitsanwendungen bis hin zu autonomen Experimenten. Trotzdem stellt sich die Frage, ob man sich auf die Antwort eines Modells mit Milliarden Parametern, das auf Billionen von Datenpunkten trainiert wurde, verlassen kann.
Zwei von Livermore mitverfasste Studien zur Vertrauenswürdigkeit von LLMs wurden zur International Conference on Machine Learning 2024 angenommen. In “TrustLLM: Trustworthiness in Large Language Models” entwickelte Bhavya Kailkhura in Zusammenarbeit mit anderen Experten auf der ganzen Welt einen umfassenden Bewertungsrahmen zur Vertrauenswürdigkeit von LLMs. Das TrustLLM-Framework definiert Dimensionen wie Fairness, Machine Ethics, Privacy, Robustness, Safety, Truthfulness, Accountability und Transparenz, um die Vertrauenswürdigkeit von LLMs zu bewerten.
Die Ergebnisse der TrustLLM-Bewertungen waren gemischt, und kein getestetes Modell war laut den TrustLLM-Benchmarks wirklich vertrauenswürdig. Eine weitere Veröffentlichung beschäftigt sich damit, wie Komprimierungstechniken die Vertrauenswürdigkeit von LLMs beeinflussen können. Durch Quantisierung und Beschneidung von Modellen konnten die Forscher verschiedene Vertrauensbewertungsmetriken untersuchen und feststellen, wie dies die Leistung der Modelle beeinflusst.
Die Forschung des Lawrence Livermore National Laboratory in diesem Bereich offenbart wichtige Einsichten in die Hochrisikowelt der KI-Sicherheit und trägt dazu bei, die AI/ML-Vorteile zu maximieren und Risiken zu minimieren. Die schnelle Entwicklung von LLMs wirft immer neue Fragen auf, und das Verständnis ihrer Funktionsweise ist der Schlüssel zur Realisierung ihres Potenzials. Die Verbesserung dieser Technologie erfordert proaktive Maßnahmen und schnelles Handeln, um mächtige KI-Modelle sicher und effizient zu machen.