Wie viel cooler wäre Basketballaufnahmen, wenn eine Software automatisch das Augenmerk auf wichtige Spieler lenken könnte? Wie viel einfacher wäre es, Spielzüge zu verstehen, wenn Pfeile die Bewegungen anzeigen könnten, noch bevor die Spieler sich tatsächlich bewegen? Wie viel Verbesserung wäre möglich, wenn man sehen könnte, wie die Distanz zum Korb die Schussbahn beeinflusst?
All diese Funktionen sind dank SportsBuddy jetzt möglich. Eine Zusammenarbeit zwischen der Harvard Visual Computing Group (VCG) an der Harvard John A. Paulson School of Engineering and Applied Sciences (SEAS) und dem Harvard Herren-Basketballteam, nutzt SportsBuddy Computervision und andere künstliche Intelligenzwerkzeuge, um Basketball-Spielfilme zu verbessern und dem Zuschauer ein breites Spektrum an Spezialeffekten wie Scheinwerfer auf bestimmte Spieler, Pfeile zur Anzeige von Spielerbewegungen und glitzernde oder brennende Basketbälle für erfolgreiche Spielzüge zu bieten. Profisportligen wie die NBA verfügen bereits über die Technologie, um Highlight-Reels wie dieses zu produzieren, aber das ist nicht immer der Fall für Colleges oder Hobbyligen. Die Computervision-Techniken in SportsBuddy ermöglichen es, ohne fortschrittliche Kameras oder Bewegungssensoren zu arbeiten, sodass ein Gerät so einfach wie eine Smartphone-Kamera verwendet werden könnte, um ein High-Tech-Highlight-Reel zu erstellen. Und durch die Kombination von Computervision mit der richtigen Benutzerschnittstelle für natürliche Sprachverarbeitung könnte ein Benutzer einfach die Spieler und Effekte eingeben, die sie möchten, und SportsBuddy erledigt den Rest, um das Highlight zu produzieren.
“Unser ultimatives Ziel ist es, die Daten in einem zugänglicheren Format darzustellen und dem Publikum tiefere Einblicke zu bieten”, sagte Tica Lin, Mitentwicklerin von SportsBuddy und Doktorandin in Informatik in der VCG. “Ohne jegliche Sensor-Technologien können wir Daten direkt aus dem Video ableiten und Informationen einbetten, um Einblicke zu vermitteln.” Lin, die zuvor in den Bereichen Datenanalyse und Visualisierung für die Philadelphia 76ers gearbeitet hat, und ihr Team haben im Verlauf der Basketballsaison 2023-24 erweiterte Highlight-Reels erstellt. Kürzlich vorgestellte Videos enthielten sogar eine Erklärung durch einen Harvard-Trainer, wobei die visuellen Effekte seinen Beschreibungen von Spielzügen entsprachen.
Mit zunehmender Anzahl von Videos während der Saison bemerkt der Erstjahres-Forward Luca Ace-Nasteski eine wachsende Bereitschaft unter seinen Teamkollegen, hervorgehoben zu werden. “Es ist eine coole Idee”, sagte er. “Ich hatte das noch nie gesehen, außer in der NBA.” Lin arbeitet auch an VCGs anderer Zusammenarbeit mit der Harvard Crimson, SportsXR, das AR-Technologie verwendet, um Datenanalyse und Visualisierung im Sport zu verbessern. “Sport hat sich als perfektes Anwendungsgebiet für AR/VR herausgestellt”, sagte Lin, die Technologien der erweiterten und virtuellen Realität als Masterstudentin am Georgia Institute of Technology studiert hat. “Wenn Athleten und Trainer auf dem Feld sind, sind sie weit entfernt von den traditionellen Desktop-Bildschirmen, für die die meisten Visualisierungen konzipiert sind. AR/VR ist ein wirklich attraktives neues Medium, um diese Daten näher an die Athleten und Trainer heranzubringen.”
VCG und das Neuromotor Control Lab an der SEAS arbeiteten mit den Herren- und Damen-Basketballteams von Harvard zusammen, um SportsXR zu testen. Die Spieler trugen AR/VR-Brillen, die ihre Wurftrajektorie analysieren konnten, während sie Freiwürfe übten, und würden dann ihre Wurftechnik anpassen, um die Trajektorie mit der idealen Bogenbahn des Balls von ihren Händen zum Korb in Einklang zu bringen. SportsXR ist SportsBuddy um mehrere Jahre voraus, aber der Direktor des HVCG, Hanspeter Pfister, An Wang Professor für Informatik, sagte, dass die Technologie noch 10-20 Jahre davon entfernt ist, ein marktfähiges Produkt zu werden. SportsBuddy könnte viel schneller einsatzbereit sein, und das Ziel ist es, das Benutzerinterface weiter zu verfeinern, um es in ein Unternehmen auszugliedern. “Zhu-Tian und Tica sind fantastische Forscher”, sagte Pfister. “Sie haben viele der neuen Ideen entwickelt, die Sie jetzt sehen. Ich sage immer, dass die Forschung dazu dient, von Anwendungen zu lernen, und Anwendungen dienen dazu, von der Forschung zu lernen. Wir hatten eine Forschungsidee, die sich auf erweiterte Realität konzentrierte, die noch 20 Jahre entfernt ist, aber jetzt haben wir eine Ausgliederung, SportsBuddy, die sehr praktische Anwendungen hat und sich auf ein konkretes Problem konzentriert, das Teams lösen wollen.”