Primate Labs, bekannt für ihre Benchmarking-Tools, hat am Donnerstag Geekbench AI 1.0 veröffentlicht. Diese App ist der Nachfolger von Geekbench ML und steht derzeit für Android, Linux, MacOS und Windows zur Verfügung. Geekbench AI nutzt die Prinzipien von Geekbench, um Leistungsbeurteilungen für maschinelles Lernen, Deep Learning und andere KI-Arbeitslasten zu standardisieren. Damit möchte das Unternehmen die Leistungsbewertung über verschiedene Plattformen hinweg vereinheitlichen.
Laut Primate Labs haben Unternehmen in den letzten Jahren begonnen, den Begriff “AI” vermehrt in diesen Arbeitslasten zu verwenden. Aus diesem Grund erfolgte die Umbenennung von Geekbench ML zu Geekbench AI, um sicherzustellen, dass Ingenieure und Leistungsenthusiasten verstehen, was dieser Benchmark macht und wie er funktioniert. Dieser Schritt war notwendig, um Transparenz und Verständnis für das Benchmarking zu fördern.
Diese Woche kündigte auch OpenAI, der Entwickler von ChatGPT, eine neue Version seines AI-Modell-Benchmarks an. SWE-bench Verified ist eine “von Menschen validierte” Plattform, die menschliche Validierung verwendet, um die Wirksamkeit von Modellen bei der Lösung realer Probleme zu bestimmen. Auf diese Weise soll die Leistung von AI-Modellen objektiv bewertet und verglichen werden.