I en värld av nybörjare fotografer och videografer, fånga en störtflod av innehåll via sina smartphones och handhållna enheter, det finns ett behov av en intelligent, lättanvänt verktyg för att automatisera skapandet av filmer och videomontage. Hittills, många kvalitetsvideor är fortfarande beroende av professionella rambaserade redigeringsverktyg för att manipulera råmaterial och producera en sammanhängande video med en fängslande handling.

Ett globalt team av datavetare, från universiteten Tsinghua och Beihang i Kina, Harvard University i USA och IDC Herzliya i Israel, har utvecklat "Write-A-Video, " ett nytt verktyg som genererar videor från tematext. Med hjälp av ord och textredigering, verktyget bestämmer automatiskt vilka scener eller bilder som väljs från ett arkiv för att illustrera den önskade handlingen. Verktyget gör det möjligt för nybörjare att producera kvalitetsvideomontage på ett enkelt och användarvänligt sätt som inte kräver professionell videoproduktion och redigeringsfärdigheter.

Teamet kommer att presentera sitt arbete på ACM SIGGRAPH Asia, hölls 17 till 20 november i Brisbane, Australien. SIGGRAPH Asien, nu på sitt 12:e år, lockar de mest respekterade tekniska och kreativa människorna från hela världen inom datorgrafik, animering, interaktivitet, spel, och ny teknik.

Medan befintliga videoredigeringsverktyg fortfarande kräver kunskap om videobearbetning och redigering, forskarnas nya metod gör att nybörjare kan skapa videor som berättar historier mer naturligt. Write-A-Video, säger forskarna, tillåter användare att skapa ett videomontage genom att helt enkelt redigera texten som medföljer videon. Till exempel, lägga till eller ta bort text, och flytta meningar runt konvertera till videoredigeringsoperationer, som att hitta motsvarande skott, skära och ordna om bilder, och skapa ett slutligt videomontageresultat.

"Write-A-Video använder nuvarande framsteg inom automatisk videoförståelse och ett unikt användargränssnitt för att möjliggöra mer naturlig och enklare videoskapande, " säger professor Ariel Shamir, Dekanus för Efi Arazi School of Computer Science vid IDC Herzliya. "Med vårt verktyg, användaren ger input mestadels i form av redigering av text. Verktyget söker automatiskt efter semantiskt matchande kandidatbilder från ett videolager, och använder sedan en optimeringsmetod för att sätta ihop videomontage genom att klippa och ordna om bilderna automatiskt."

"Write-A-Video tillåter också användare att utforska visuella stilar för varje scen med hjälp av filmiska idiom som genererar, till exempel, snabbare eller långsammare filmer, mindre eller fler innehållsrörelser, etc." förklarar Dr. Miao Wang från Beihang University.

När du väljer kandidatbilder från videoarkivet, metoden tar också hänsyn till skottens estetiska tilltalande, att välja de som är idealiskt upplysta, som är väl fokuserade och inte är suddiga eller instabila. "När som helst, användaren kan rendera filmen och förhandsgranska videomontageresultatet med en tillhörande röstberättelse." säger professor Shi-Min Hu från Tsinghua University.

Teamets forskning visar att intelligenta digitala verktyg som kombinerar människors förmågor och algoritmer tillsammans kan hjälpa användare i den kreativa processen. "Vårt arbete visar potentialen för automatisk visuell-semantisk matchning i idiombaserad beräkningsredigering, erbjuder ett intelligent sätt att göra videoskapande mer tillgängligt för icke-professionella, säger Shamir.

För studien, tillvägagångssättet testades på olika delar av text- och videoarkiv med teman, med kvantitativ utvärdering och användarstudier. Användare utan erfarenhet av videoredigering skulle kunna producera tillfredsställande videor med verktyget Write-A-Video, ibland till och med snabbare än proffs som använder rambaserad redigeringsprogramvara. På SIGGRAPH Asia, teamet kommer att demonstrera Write-A-Video-applikationen och visa upp en mängd olika exempel på text-till-video-produktioner.