I framtiden kommer chatbots som är ännu mer chattiga och mindre skumma. Ja, dagen kommer då du enkelt kan reflektera över hur långt AI:s språkkunskaper har kommit. Och efter den reflektionen, ignorera inte Nvidias bidrag i deras arbete med BERT.

OK, vi kommer att avstå från att kalla AI-språkkunskaper för skumma. Nvidia formulerade det mer taktfullt i sitt tillkännagivande den 13 augusti. "Begränsade konversations-AI-tjänster" har funnits i flera år men det har varit extremt svårt för chatbotar, intelligenta personliga assistenter och sökmotorer för att arbeta med förståelse på mänsklig nivå på grund av oförmågan att distribuera extremt stora AI-modeller i realtid, sa företaget.

Det har förändrats. Nvidia sa att viktiga optimeringar som lagts till sin AI-plattform hjälpte till att uppnå hastighetsrekord i AI-träning och slutledning. HotHardware för att bedöma effekterna av detta arbete. "Nvdia slog rekord för konversations-AI-träning som kunde "turboladda" vanliga assistenter som Alexa och Siri.

Tillbaka till BERT som redan har fått en rättmätig plats inom naturlig språkbehandling. Ett meddelande från Google i november 2018 dök upp på Googles AI-blogg:

"En av de största utmaningarna inom bearbetning av naturligt språk (NLP) är bristen på träningsdata...de flesta uppgiftsspecifika datamängder innehåller bara några tusen eller några hundra tusen människomärkta träningsexempel... För att hjälpa till att överbrygga denna lucka i data, Forskare har utvecklat en mängd olika tekniker för att träna generella språkrepresentationsmodeller med hjälp av den enorma mängden okommenterad text på webben (känd som förträning). Den förtränade modellen kan sedan finjusteras på NLP-uppgifter med små data som svar på frågor och sentimentanalys, vilket resulterar i avsevärda förbättringar av noggrannheten jämfört med träning på dessa datamängder från grunden.

"Denna vecka, vi öppnade en ny teknik för NLP-förträning som heter Bidirectional Encoder Representations from Transformers, eller BERT."

Väl, det var "den här veckan" 2018 och nu är det den här veckan 2019. Nvidias utvecklarblogg meddelade på tisdagen att Nvidia klockade världens snabbaste BERT-träningstid. NVIDIA DGX SuperPOD tränade BERT-Large på bara 53 minuter.

Som Darrell Etherington sa i TechCrunch , detta betyder att "timmestrecket" i träningen BERT bröts (53 minuter). Etherington sa, "Nvidias AI-plattform kunde träna modellen på mindre än en timme, en rekordstor prestation på bara 53 minuter."

Nvidias Shar Narasimhan bloggade att en viktig fördel med BERT var att den inte behöver vara förtränad med märkt data, så att den kan lära sig att använda vilken vanlig text som helst. Denna fördel öppnar dörren till massiva datamängder. BERT:s siffror:Narasimhan sa att det i allmänhet var "förutbildat på en sammanlänkning av BooksCorpus (800 miljoner ord) och engelska Wikipedia (2,5 miljarder ord), för att bilda en total datauppsättning på 3,3 miljarder ord."

Nvidias pressmeddelande från den 13 augusti sa att de tidiga användare av företagets prestandaframsteg inkluderar Microsoft och nystartade företag som utnyttjar sin plattform för att utveckla språkbaserade tjänster för kunder. Microsoft Bing använder sin Azure AI-plattform och Nvidia-teknik för att köra BERT.

Rangan Majumde, gruppprogramledare, Microsoft Bing, sa att Bing ytterligare optimerade slutledning av BERT. Han sa att de uppnådde "två gånger latensreduktionen och fem gånger förbättringen av genomströmningen under slutledning med Azure NVIDIA GPU:er jämfört med en CPU-baserad plattform."

David Cardinal in ExtremeTech hade mer information om vad Nvidia kom med till bordet för att avancera BERT:"Nvidia har visat att det nu kan träna BERT (Googles referensspråksmodell) på under en timme på en DGX SuperPOD bestående av 1, 472 Tesla V100-SXM3-32GB GPU, 92 DGX-2H-servrar, och 10 Mellanox Infiniband per nod."

En del av Nvidias skryträttigheter på AI-fronten är också en språkmodell baserad på Transformers, teknikbyggstenen som används för BERT. Nvidia sa "Med fokus på utvecklarnas ständigt ökande behov av större modeller, NVIDIA Research byggde och tränade världens största språkmodell baserad på Transformers, teknikbyggstenen som används för BERT och ett växande antal andra AI-modeller för naturligt språk. NVIDIAs anpassade modell, med 8,3 miljarder parametrar, är 24 gånger så stor som BERT-Large."

Enligt Nvidia, de "byggde världens största transformatorbaserade språkmodell ovanpå befintlig hårdvara för djupinlärning, programvara, och modeller. Genom att göra så, vi överträffade framgångsrikt de begränsningar som traditionell enstaka GPU-träning innebär genom att implementera en enkel och effektiv modell parallellt tillvägagångssätt med endast ett fåtal riktade modifieringar av de befintliga PyTorch-transformatorimplementeringarna."

© 2019 Science X Network