Professor Jinwoo Shin och professor Dongsu Han från högskolan för elektroteknik utvecklade neural adaptiv innehållsmedveten internetvideo. Denna teknik är en ny metod som kombinerar adaptiv streaming via HTTP, videoöverföringssystemet antaget av YouTube och Netflix, med en djup inlärningsmodell.

Denna teknik förväntas skapa en internetmiljö där användare kan njuta av att titta på 4K- och AV/VR-videor med högkvalitativa och HD-videor även med svaga internetanslutningar.

Tack vare videoströmningstjänster, internetvideo har upplevt en anmärkningsvärd tillväxt; ändå, användare lider ofta av låg videokvalitet på grund av ogynnsamma nätverksförhållanden. För närvarande, befintliga adaptiva streamingsystem justerar videokvaliteten i realtid, tillmötesgå den ständigt föränderliga internetbandbredden. Olika algoritmer undersöks för adaptiva streamingsystem, men det finns en inneboende begränsning; det är, videor av hög kvalitet kan inte streamas i dåliga nätverksmiljöer oavsett vilken algoritm som används.

Genom att införliva superupplösning i adaptiv streaming, teamet övervann gränsen för befintliga innehållsdistributionsnätverk, varav deras kvalitet för mycket beror på bandbredden. I den konventionella metoden, servern som tillhandahåller videon delar upp en video i vissa tidsperioder i förväg. Men det nya systemet som teamet introducerade tillåter nedladdning av neurala nätverkssegment. För att underlätta denna metod, videoservern måste tillhandahålla djupa neurala nätverk för varje videosegment samt storlekar på Deep Neural Networks (DNN) enligt specifikationerna för användarens beräkningskapacitet.

Den största neurala nätverksstorleken är två megabyte, vilket är betydligt mindre än video. När du laddar ner det neurala nätverket från användarens videospelare, den är uppdelad i flera segment. Till och med dess delvis nedladdning är tillräcklig för en något omfattande superupplösning.

När du spelar upp videon systemet konverterar lågkvalitetsvideon till en högkvalitativ version genom att använda superupplösning baserad på djupa konvolutionsneurala nätverk (CNN). Hela processen sker i realtid, och användare kan njuta av HD-videon.

Även med en 17 procent mindre bandbredd, systemet kan ge upplevelse av kvalitet motsvarande den senaste adaptiva streamingtjänsten. Vid en given internetbandbredd, den kan ge 43 procent högre genomsnittlig QoE än den senaste tjänsten.

Genom att använda en djupinlärningsmetod kan detta system uppnå en högre komprimeringsnivå än de befintliga videokomprimeringsmetoderna. Deras teknik erkändes som ett nästa generations internetvideosystem som tillämpar superupplösning baserat på ett djupt konvolutionellt neuralt nätverk för onlinevideor.

Professor Han sa:"Än så länge, det har bara implementerats på stationära datorer, men vi kommer att vidareutveckla applikationer som fungerar i mobila enheter också. Denna teknik har tillämpats på samma videoöverföringssystem som används av streamingkanaler som YouTube och Netflix, och visar därmed goda tecken på genomförbarhet. "