Forskare från Karlsruhe Institute of Technology (KIT), i Tyskland, har nyligen tillämpat multi-task maskininlärning på neural talöversättning med låg latens. Deras studie, som förpublicerades den ArXiv , tar upp några av begränsningarna hos befintliga tekniker för neural maskinöversättning (NMT).

Framsteg inom området för djupinlärning har lett till betydande förbättringar av mänskligt tal och textöversättning. NMT, en allmänt använd metod för maskinöversättning, tränar ett stort neuralt nätverk att läsa en mening och tillhandahålla en korrekt översättning, i allmänhet genom att modellera hela meningar till en integrerad modell.

Jämfört med traditionella metoder, såsom regelbaserad eller statistisk maskinöversättning, NMT uppnår vanligtvis mer flytande översättningar, både för tal och skriven text. Även om det effektivt kan fånga mer komplexa beroenden mellan käll- och målspråk, att konsekvent prestera bra, detta tillvägagångssätt kräver betydande mängder träningsdata.

"När man tillämpar partiell meningsöversättning på neurala maskinöversättningssystem, vi stöter på problemet att MT-systemet bara har tränats på hela meningar, och därmed är avkodaren partisk att generera kompletta målsatser, "skrev forskarna i sin uppsats." När de får inmatningar som är delvisa meningar, översättningsutgångarna är inte garanterade att exakt matcha inmatningsinnehållet. Vi observerar att översättningen ofta "fantasiseras" av modellen till att vara en hel mening, som skulle ha förekommit i träningsdata."

I andra fall, avkodaren kan hamna i ett övergenereringstillstånd, upprepa det sista ordet som matades till den flera gånger i översättningen. För att ta itu med dessa problem, KIT -forskarna fokuserade på talöversättning i fall där ett NMT måste tillhandahålla en första översättning i realtid, innan en talare har avslutat sin mening.

"I det här arbetet, vi strävar efter att lösa problemet med översättning av partiella meningar i NMT, " skrev forskarna. "Helst sett, vi vill ha en modell som kan generera lämpliga översättningar för ofullständiga meningar, utan att kompromissa under andra översättningsfall."

Eftersom datamängder med partiella meningar inte är lättillgängliga, forskarna skapade konstgjorda data som kan användas i träningsprocessen. De tränade nätverket med hjälp av multi-task learning, en strategi för djupinlärning som ofta har använts i naturlig språkbehandling (NLP) för att träna en enda modell för olika uppgifter, minska kostnaderna och förbättra dess prestanda.

Deras studie uppnådde lovande resultat, föreslår att NMT-system skulle kunna anpassas för att fungera bra även i fall där uppgiftsspecifika data inte är tillgängliga, utan att förlora prestanda på den ursprungliga uppgiften de utbildades för. "Vi visade först att enkla tekniker för att generera artificiell data är effektiva för att få mer flytande utdata med mindre korrigering, "kom forskarna fram i sin uppsats." Vi illustrerade också att multi-task learning kan hjälpa till att anpassa modellen till det nya slutsatsvillkoret, utan att förlora den ursprungliga förmågan att översätta hela meningar. "

Deras anpassning av NMT gav översättningar av hög kvalitet med låg latens, minimera antalet korrigerade ord med 45 procent. I framtiden, deras studie kan ha meningsfulla praktiska konsekvenser, hjälpa till att utveckla bättre verktyg för talöversättning i realtid.

© 2018 Tech Xplore