Ett team av forskare vid University of Virginia har nyligen genomfört en storskalig analys som syftar till att identifiera funktioner i filmtrailers som bäst förutsäger en films genre och uppskattade budget. I deras studie, beskrivs i en tidning som förpublicerats på arXiv, forskarna jämförde specifikt effektiviteten av visuella, audio, text, och metadatabaserade funktioner.

"Videoförståelse är nästa gräns efter bildförståelse, "Vicente Ordonez, en av forskarna som genomförde studien, berättade TechXplore . "Dock, mycket arbete med videoförståelse har hittills fokuserat på korta klipp med en människa som utför en enda handling. Vi ville ha något längre, men det finns också frågan om beräkningskraft. Videotrailers verkade som en mellanliggande kompromiss, när de visar en mängd saker, från läskigt till roligt."

Filmtrailers är korta och kan enkelt kopplas ihop med filmbeskrivningar. Ordonez och hans kollegor insåg att dessa egenskaper gör dem idealiska för att undersöka paralleller mellan video och språk.

Dessutom, nyare studier har introducerat flera lovande verktyg för att analysera bilder i kombination med textbeskrivningar. Forskarna var nyfikna på att utvärdera några av dessa tekniker för videoigenkänningsuppgifter.

Initialt, när de försökte tillämpa väletablerade metoder för att analysera korta videoklipp till filmtrailers, resultaten var en besvikelse. Så de bestämde sig för att genomföra en djupgående undersökning för att identifiera funktioner som är mest effektiva för att analysera filmtrailers.

"Vi upptäckte att genom att kombinera alla modaliteter (dvs video, text, ljud och metadata), vi kunde samla in värdefulla insikter om förväntade samband mellan specifika genrer och en viss modalitet, till exempel, att visuella funktioner är mer värdefulla när man förutsäger en film som animerad eller inte, " Paola Cascante-Bonilla, en annan forskare involverad i studien, berättade för TechXplore. "Dessutom, vi fann att inkludering av ljudet i våra experiment avsevärt ökar genreprestandan jämfört med att bara använda videon, text och metadata."

Forskarna observerade att även om man analyserade filmaffischer ledde till otillfredsställande resultat, med fokus på alla filmfunktioner som presenteras i en trailer (t.ex. video, text, ljud och metadata) ledde till betydande förbättringar. Dessa fynd är särskilt anmärkningsvärda, eftersom de skulle kunna bidra till att utveckla effektivare verktyg för att analysera filmer och fungera som underlag för framtida forskningsstudier.

Intressant, när du fokuserar på video, text- och ljuddata extraherad från trailers, Ordonez, Cascante-Bonilla och deras kollegor kunde uppskatta en films genre med en noggrannhet som var jämförbar med den som uppnåddes genom att analysera filmens metadata (d.v.s. information om dess skådespelare, direktör, etc.). Teknikerna som forskarna använder i sin studie, som kombinerar olika funktioner/modaliteter, skulle därför kunna användas för att analysera ett bredare utbud av filmer.

I deras studie, teamet introducerade också en ny datauppsättning för utbildning och utvärdering av verktyg för att analysera filmer. Denna datauppsättning, kallas Moviescope, innehåller 5, 000 filmer, tillsammans med deras motsvarande trailers, filmaffischer, filmintriger och tillhörande metadata.

"Våra resultat tyder på att bara en films textsammanfattning inte räcker för att skilja mellan en animerad film och en film av en annan genre, " sa Siva Sivaraman, en annan forskare involverad i studien som nu arbetar på Microsoft. "Du måste 'se' trailern för att kunna avgöra om en given film är animerad eller inte. Den modala uppmärksamhetstekniken vi använde gör att vi kan identifiera och analysera de funktioner som modellen ägnar mer uppmärksamhet åt när vi förutsäger en viss genre. Som vi förutspådde, Modellen lär sig att väga den visuella egenskapen över andra funktioner samtidigt som den gör förutsägelser för animationsgenren."

Resultaten som samlats in av detta team av forskare kan få viktiga konsekvenser både för analys av filmer och för filmreklam. I framtiden, andra forskargrupper skulle kunna använda dessa observationer för att utveckla effektivare verktyg för att förutsäga specifika aspekter av filmer. Dessutom, de tekniker som används av Ordonez och hans kollegor kan informera reklambranschen om hur man skapar mer effektfulla trailers.

"Vi planerar nu att använda filmintriger och affischer för att analysera hur filmer annonseras och ge rekommendationer för att maximera effektiviteten av filmreklam ur både konsumenternas och distributörernas perspektiv, " sa Ordonez.

© 2019 Science X Network