Kommersiella drönarprodukter kan hantera vissa automatiserade uppgifter, men en sak som de systemen inte tar upp är att filma konstnärligt. Ett team ledd av forskare från Carnegie Mellon University har föreslagit ett komplett system för flygfilm som lär sig människors visuella preferenser. Det helt autonoma systemet kräver inga skriptade scener, GPS-taggar för att lokalisera mål eller tidigare kartor över miljön.
"Vi lägger kraften hos en regissör i drönaren, sade Rogerio Bonatti, en Ph.D. student i CMU:s Robotics Institute. "Drönaren positionerar sig själv för att spela in de viktigaste aspekterna i en scen. Den förstår självständigt scenens sammanhang – var hinder finns, var skådespelare finns – och det resonerar aktivt om vilka synpunkter som kommer att göra en mer visuellt intressant scen. Det handlar också om att förbli säker och inte krascha."
Som mål, "konstnärligt intressant" är subjektivt och svårt att matematiskt kvantifiera, så systemet tränades med en teknik som kallas djup förstärkningsinlärning. I en användarstudie, människor såg scener på en fotorealistisk simulator som växlade mellan frontal, tillbaka, vänster och höger perspektiv. Skottskala och avstånd undersöktes också, samt skådespelarens position på skärmen. Användare poängsatte scener baserat på hur visuellt tilltalande de var och hur konstnärligt intressanta de fann dem.
Systemet lärde sig att vissa rörelser var mer intressanta än andra. Till exempel, andra autonoma drönareprodukter använder ofta ett kontinuerligt backshot eftersom det låter drönaren följa en tydlig, säker väg bakom skådespelaren. Men i användarstudien, deltagarna rapporterade att en konstant backshot blir tråkig efter ett tag. De fann också att drönaren var tvungen att byta vinkel ofta för att skottet skulle förbli intressant, men de kunde inte byta för ofta.
Bonatti sa att teamet ville göra det inlärda beteendet generaliserbart, från träning i simulering till implementering i verkliga scenarier. Medan systemet beräknade ett genomsnitt av användarnas preferenser för bilder när en skådespelare gick i en smal korridor mellan byggnader, den kan tillämpa dessa preferenser på liknande hinder som en skogsstig med hjälp av topografisk kartläggning.
"Framtida arbete kan utforska många olika parametrar eller skapa skräddarsydda konstnärliga preferenser baserat på en regissörs stil eller genre, sa Sebastian Scherer, en docent forskningsprofessor vid Robotics Institute.
Antennsystemet är också skickligt på att upprätthålla en klar bild av skådespelaren, undvika vad som kallas ocklusioner. "Vi var den första gruppen som kom på nya sätt att hantera ocklusion som inte bara är binära, men kan faktiskt kvantifiera hur illa ocklusionen är, sa Bonatti.
Andra innovationer inkluderar effektiva rörelseplanerare för att förutse skådespelarnas banor, och ett inkrementellt och effektivt kartläggningssystem av miljön med hjälp av LiDAR.
Detta system kan vara användbart förutom underhållning och sport. Regeringar och polismyndigheter använder redan idag manuellt flugna drönare för många applikationer, inklusive att övervaka folkmassor och förstå trafikmönster. Men att manuellt flyga drönare kräver mycket uppmärksamhet, och en officer kan inte spendera sin energi på att titta på scenen. "Precis som att lära sig konstnärliga principer, maskinen kan läras de bilder som behövs för andra applikationer som säkerhet, sa Bonatti.
"Målet med forskningen är inte att ersätta människor. Vi kommer fortfarande att ha en marknad för högutbildade professionella experter, ", sa Bonatti. "Målet är att demokratisera drönarfilmen och låta människor verkligen fokusera på det som är viktigt för dem."
Detta arbete kommer att presenteras vid 2019 års internationella konferens om intelligenta robotar och system, och har godkänts för publicering i Journal of Field Robotics .
