Algoritmer som utvecklats i Cornell's Laboratory for Intelligent Systems and Controls kan förutsäga volleybollspelares handlingar i spelet med mer än 80 % noggrannhet, och nu samarbetar labbet med Big Red-hockeyteamet för att utöka forskningsprojektets tillämpningar.

Algoritmerna är unika genom att de tar ett holistiskt förhållningssätt till handlingsföregripande, och kombinerar visuell data – till exempel där en idrottare befinner sig på banan – med information som är mer implicit, som en idrottsmans specifika roll i laget.

"Datorseende kan tolka visuell information såsom färg på tröjan och en spelares position eller kroppsställning", säger Silvia Ferrari, professor i mekanik och rymdteknik vid John Brancaccio, som ledde forskningen. "Vi använder fortfarande den realtidsinformationen, men integrerar dolda variabler som lagstrategi och spelarroller, saker som vi som människor kan sluta oss till eftersom vi är experter på just det sammanhanget."

Ferrari och doktoranderna Junyi Dong och Qingze Huo tränade algoritmerna för att härleda dolda variabler på samma sätt som människor skaffar sig sina sportkunskaper – genom att titta på spel. Algoritmerna använde maskininlärning för att extrahera data från videor från volleybollspel och använde sedan dessa data för att göra förutsägelser när en ny uppsättning spel visades.

Resultaten publicerades den 22 september i tidskriften ACM Transactions on Intelligent Systems and Technology , och visa att algoritmerna kan sluta sig till spelarens roller – till exempel att skilja en försvarspassare från en blockerare – med en genomsnittlig noggrannhet på nästan 85 %, och kan förutsäga flera åtgärder över en sekvens på upp till 44 bildrutor med en genomsnittlig noggrannhet på mer än 80 %. Åtgärderna inkluderade spik, sättning, blockering, grävning, löpning, huk, fall, stående och hopp.

Ferrari föreställer sig att lag använder algoritmerna för att bättre förbereda sig för tävlingar genom att träna dem med befintliga spelbilder av en motståndare och använda deras förutsägande förmåga för att öva på specifika spel och spelscenarier.

Ferrari har ansökt om patent och arbetar nu med Big Red herrhockeylaget för att vidareutveckla mjukvaran. Med hjälp av spelfilmer från teamet designar Ferrari och hennes doktorander, ledda av Frank Kim, algoritmer som autonomt identifierar spelare, handlingar och spelscenarier. Ett mål med projektet är att hjälpa till att kommentera spelfilm, vilket är en tråkig uppgift när den utförs manuellt av teampersonal.

"Vårt program lägger stor vikt vid videoanalys och datateknik", säger Ben Russell, chef för hockeyverksamheten för Cornells herrlag. "Vi letar ständigt efter sätt att utvecklas som tränarstab för att bättre kunna tjäna våra spelare. Jag var mycket imponerad av den forskning som professor Ferrari och hennes elever har genomfört hittills. Jag tror att det här projektet har potential att dramatiskt påverka hur lag studerar och förbereder sig för tävling."

Utöver sport har förmågan att förutse mänskliga handlingar stor potential för framtiden för interaktion mellan människa och maskin, enligt Ferrari, som sa att förbättrad mjukvara kan hjälpa autonoma fordon att fatta bättre beslut, föra robotar och människor närmare varandra i lager och till och med kan göra videospel roligare genom att förbättra datorns artificiella intelligens.

"Människor är inte så oförutsägbara som maskininlärningsalgoritmerna gör att de är just nu", säger Ferrari, som också är biträdande dekanus för teknisk forskning över campus, "för om du faktiskt tar hänsyn till allt innehåll, allt av de kontextuella ledtrådarna, och du observerar en grupp människor, kan du bli mycket bättre på att förutsäga vad de kommer att göra." + Utforska vidare

Ingenjörer äter på Ms. Pac-Mans poäng med konstgjord spelare