Search Engine for Sports Scenes

Schnelle Suchmaschine für Sportszenen

Basierend auf Deep Learning ermöglicht unsere Technologie eine äußerst schnelle Suche von ähnlichen Spielscenarien im Sport von einer Suchzeit unter 1 Sekunde bei rund 1 Mio. Szenen. Die Suche benötigt keine manuelle Annotation, sondern benötigt ausschließlich Positionsdaten von Ball und Spielern, die in vielen Sportarten bereits erhoben werden. Spielsituationen werden nicht nur sehr schnell gefunden, sondern sollen in ihrer Ausführung außerdem automatisch bewertet werden. Durch den Einsatz von Reinforcement Learning soll es schließlich möglich sein, einzigartige Lösungen für reale Spielsituationen zur erzeugen und die erfolgversprechendsten schließlich vorzuschlagen.

Innovation der Technologie - Performance Vergleich

Schnelle Suche in Trackingdaten wie Sie es von Suchmaschinen im Internet gewohnt sind.

~1 Mio. Szenen Fraunhofer Technologie Naive Suche in Trackingdaten Alternative Methode auf Trackingdaten
Suchzeit

< 0.5 Sekunden

> 1 Stunde > 30 Sekunden
Vorteile

Schnelle Suche

Spielerrollen unabhängig

Genauste Art der Suche  
Nachteile Bekannter Approximationsfehler   Extrem lange Suchzeit Unbekannter Approximationsfehler

Wissenschaftliche Veröffentlichungen

Active Learning of Ordinal Embeddings: A User Study on Football Data

Christoffer Loeffler, Kion Fallah, Stefano Fenu, Dario Zanca, Bjoern Eskofier, Christopher John Rozell, Christopher Mutschler

In: Transactions on Machine Learning Research  2023

Humans innately measure distance between instances in an unlabeled dataset using an unknown similarity function. Distance metrics can only serve as proxy for similarity in information retrieval of similar instances. Learning a good similarity function from human annotations improves the quality of retrievals. This work uses deep metric learning to learn these user-defined similarity functions from few annotations for a large football trajectory dataset. We adapt an entropy-based active learning method with recent work from triplet mining to collect easy-to-answer but still informative annotations from human participants and use them to train a deep convolutional network that generalizes to unseen samples. Our user study shows that our approach improves the quality of the information retrieval compared to a previous deep metric learning approach that relies on a Siamese network. Specifically, we shed light on the strengths and weaknesses of passive sampling heuristics and active learners alike by analyzing the participants' response efficacy. To this end, we collect accuracy, algorithmic time complexity, the participants' fatigue and time-to-response, qualitative self-assessment and statements, as well as the effects of mixed-expertise annotators and their consistency on model performance and transfer-learning.

 

Identify Game Tactics in Soccer by Clustering Positional Data

Dr.-Ing. Robert Marzilger

In: medium.com  2023

A data scientist’s perspective to identify game tactics in soccer using a neural compression technique for fast clustering.

 

Searching for Soccer Scenes using Siamese Neural Networks

Luca Reeb

In: Towards Data Science 2022

We have access to a large soccer database, containing a seasons worth of tracking-data, i.e. player trajectories, game statistics and expert-annotated events like pass or shot at goal from the German Bundesliga. While events allow you to find set-pieces like corner-kicks, the results are coarsely grained in that they do not consider how the players acted during the event. Also, some situations of potential interest, like counter attack, are not represented by an event. To enable fine-grained analysis of soccer matches, player movement (i.e. tracking-data) has to be considered.

 

Deep Siamese Metric Learning: A Highly Scalable Approach to Searching Unordered Sets of Trajectories

Löffler, C., Reeb, L., Dzibela, D., Marzilger, R., Witt, N., Eskofier, B. M., & Mutschler, C.

In:  ACM Journal 2021

This work proposes metric learning for fast similarity-based scene retrieval of unstructured ensembles of trajectory data from large databases. We present a novel representation learning approach using Siamese Metric Learning that approximates a distance preserving low-dimensional representation and that learns to estimate reasonable solutions to the assignment problem. To this end, we employ a Temporal Convolutional Network architecture that we extend with a gating mechanism to enable learning from sparse data, leading to solutions to the assignment problem exhibiting varying degrees of sparsity.

Our experimental results on professional soccer tracking data provides insights on learned features and embeddings, as well as on generalization, sensitivity, and network architectural considerations. Our low approximation errors for learned representations and the interactive performance with retrieval times several magnitudes smaller shows that we outperform previous state of the art.


Effiziente Suche und Bewertung von Szenen in Spielsportarten

Reeb, L., Dzibela, D., Marzilger, R., & Witt, N.

In: spinfortec digital 2020

Durch tiefe neuronale Netze, sowie klassische Verfahren des maschinellen Lernens soll die Suche nach Szenen in Trackingdaten stark beschleunigt werden. Des Weiteren ist geplant, alternative/bessere Lösungen einer Spielsituation durch verstärkendes Lernen vorzuschlagen

 

IALE: Imitating Active Learner Ensembles.

Löffler, C., & Mutschler, C. (2022).

In: Vortrag NeurIPS New Orleans (2022)

 

Sports Scene Searching, Rating & Solving using AI.

Marzilger, R., Hirn, F., Alvarez R.A. & Witt, N. (2022).

https://nbn-resolving.org/urn:nbn:de:bsz:ch1-qucosa2-807718

In: Krumm, D., Schwanitz, S., & Odenwald, S. (2022). spinfortec2022 : Tagungsband zum 14. Symposium der Sektion Sportinformatik und Sporttechnologie der Deutschen Vereinigung für Sportwissenschaft (dvs) Chemnitz 29. - 30. September 2022. 

 

IALE: Imitating Active Learner Ensembles.

Löffler, C., & Mutschler, C. (2022).

 http://jmlr.org/papers/v23/21-0387.html

In: Journal of Machine Learning Research, 23(107), 1–29. 

 

Don’t Get Me Wrong: How to apply Deep Visual Interpretations to Time Series.

Loeffler, C., Lai, W.-C., Eskofier, B., Zanca, D., Schmidt, L., & Mutschler, C. (2022).

https://doi.org/10.48550/ARXIV.2203.07861

In: arxiv.org

 

Active Learning of Ordinal Embeddings: A User Study on Football Data.

Loeffler, C., Fallah, K., Fenu, S., Zanca, D., Eskofier, B., Rozell, C. J., & Mutschler, C. (2022). 

https://doi.org/10.48550/ARXIV.2207.12710

In: arxiv.org    

Datenschutz und Datenverarbeitung

Wir setzen zum Einbinden von Videos den Anbieter YouTube ein. Wie die meisten Websites verwendet YouTube Cookies, um Informationen über die Besucher ihrer Internetseite zu sammeln. Wenn Sie das Video starten, könnte dies Datenverarbeitungsvorgänge auslösen. Darauf haben wir keinen Einfluss. Weitere Informationen über Datenschutz bei YouTube finden Sie in deren Datenschutzerklärung unter: https://policies.google.com/privacy

Für welche Anwendungen eignet sich die Suchmaschine?

Unsere Technologie ist in allen Sportarten direkt anwendbar, in denen Trackingdaten großflächig verfügbar sind oder künftig werden wie z.B. Fußball, Handball, Basketball, American Football oder Ice Hockey.
Für Vereine und Verbände sind Trackingdaten die einzigen automatisch, maschinell erhobenen Daten für eine objektive Spielanalyse.
Unser Ziel ist es, diese Daten durch eine Suchmaschien einfach und sinnvoll greifbar zu machen.

 

Spielanalyse
Spielentscheidende oder anderweitig interessante Szenen in Aufzeichnungen von Sportspielen zu finden und diese zu bewerten, ist ein grundlegender Arbeitsschritt bei der Spielanalyse in Vereinen, Verbänden (vgl. DFB Akademie: DFB Akademie Analysen) und bei der medialen Berichterstattung. Status quo ist derzeit die manuelle Eingabe entsprechender Labels während oder nach eines Spiels oder auch eine aufwändige Suche in Videomaterial nach einem Spiel.

Deren Nutzung in diesem Projekt soll den Mehrwehrt einer effektiveren Trainingssteuerung und Talentsuche ermöglichen, wie z.B. durch die automatische Identifikation von Schwachpunkten oder der automatischen Zusammenstellung gut bzw. schlecht gelöster Spielszenen eines Spielers.

 

Medienproduktion & Berichterstattung
Spielentscheidende Szenen, wie die Zusammenstellungen von Sportspielen von taktischen Mustern in Aufzeichnungen zu finden, kann die medialen Berichterstattung deutlich vereinfachen oder stark bereichern.

Unser Angebot & Kooperationsmöglichkeiten

Schnelle Suche für Ihre Trackingdaten

Wenn Sie die schnelle Suche auch bei sich intergrieren wollen, besteht die Möglichkeit einer Lizensierung der Technologie.
Bei der Intergration in Ihr System und einer eventuellen Anpassung helfen wir Ihnen gerne.

 

Ähnliche Herausforderung für Ihre Datenbestände (Big Data)?

Wenn Sie ebenfalls einen großen Datenbestand verwalten und diesen schnell durchsuchbar machen wollen, sprechen Sie uns an!

In einem Erstgespräch finden wir zusammen heraus, ob sich eine Anpassung für Ihre Anwendungsdaten lohnt.

 

Benötigen Sie Beratung oder Schulung zur Anwendung von KI Methoden?

Hier sind Sie ebenfalls richtig, denn wir bieten sowohl Schulungen zum praxisnahen Einsatz von KI (hier zum ML Seminar), als auch Beratung zur Anwendung von KI im Sport (hier zu Sports Analytics).