Das Benchmarking-Unternehmen Primate Labs hat am Donnerstag Geekbench AI 1.0 veröffentlicht. Die App ist derzeit für Android, Linux, MacOS und Windows verfügbar und wendet die Prinzipien von Geekbench auf maschinelles Lernen, Deep Learning und andere KI-Workloads an, um Leistungsbewertungen über verschiedene Plattformen hinweg zu standardisieren. Sie ist der Nachfolger von Geekbench ML (Machine Learning), das 2021 angekündigt wurde und derzeit in Version 0.6 vorliegt. Primate Labs erklärt, dass Unternehmen in den letzten Jahren begonnen haben, den Begriff “AI” in Bezug auf diese Workloads zu verwenden, daher sei die Namensänderung notwendig, um sicherzustellen, dass jeder versteht, was dieses Benchmarking-Tool tut und wie es funktioniert.
Diese Woche hat auch OpenAI, der Hersteller von ChatGPT, eine neue Version seines eigenen KI-Modell-Benchmarks angekündigt. SWE-bench Verified ist ein “human-validiertes” Angebot, das menschliche Validierung verwendet, um die Wirksamkeit von Modellen bei der Lösung “realer Probleme” zu bestimmen. Dies zeigt einen Trend in der Branche, die Leistung von KI-Modellen und -Workloads zu standardisieren und zu bewerten, um eine bessere Vergleichbarkeit und Transparenz zu gewährleisten.