Tävlingen startade när datorns kvinnliga röst, en blandning av Amazons Alexa och Stephen Hawkings kommunikatör, talade till sin mänskliga motståndare:"Hej Noa. Vi träffas igen."

Jag var den enda akademikern som bjöds in i det fullsatta rummet med ett 50-tal journalister för att bevittna den senaste tävlingen mellan den artificiella intelligensen från IBM:s Project Debater och de israeliska debattmästarna Noa Ovadia och Dan Zafrir. Den inledande gambiten framkallade tittningar och ögonrullande från publiken. Jag var mer en blickfångare – jag är inte övertygad om att uppenbart förskrivet material verkligen hjälper till att visa upp AI-teknik. Det som följde var dock onekligen en imponerande teknikprestation – men det kan vara för lätt att tro att sci-fi AI nu är precis runt hörnet.

Project Debater följer tillkännagivandet att Google har utvecklat en AI-teknik känd som Duplex som kan genomföra naturligt klingande telefonsamtal för att boka möten och utföra andra uppgifter. Båda projekten ser ut att involvera AI som närmar sig kompetens på mänsklig nivå, som kan klara Turing-testet, och omedelbart dominera världen, kanske. Men detta är en illusion som beror på den noggranna marknadsföringen av dessa enorma företag. Verkligheten är att vi fortfarande är i de tidigaste dagarna av att förstå AI.

Efter den första publiktillfredsställande taktiken, IBM:s dator producerade ett fyra minuters tal, i farten, om ett ämne som valts slumpmässigt från en lista med 40 som det inte redan hade tränats att debattera om. Den gjorde detta genom att identifiera, klassificering, välja och sedan sy ihop utdrag från ett bibliotek med 300 miljoner nyhetsartiklar. Resultatet var i stort sett grammatiskt korrekt, semantiskt på budskap och mer eller mindre sammanhängande. Systemet kunde sedan lyssna och svara på ett liknande uttalande från sin mänskliga motståndare.

Det är kanske värt att reflektera över hur svåra dessa uppgifter är. Att hålla en konversation är enormt utmanande när du väl går utöver mycket strukturerad, hårt kontrollerade domäner. System för djupinlärning, inspirerad av den mänskliga hjärnan, försöker kartlägga vad människan än säger till ett relativt litet antal möjliga drag med ett litet antal möjliga värden. Google Duplex fungerar fortfarande inom en specifik domän, som att boka middag, och kan därför vara mycket robust.

Att ha ett argument är ännu mer krävande. Det är anmärkningsvärt svårt att bygga en algoritm för att tillförlitligt avgöra om en given mening stödjer din position eller inte. På en nivå, IBM-teamet spikade det, med Project Debater som producerar sitt sammanhängande och övertygande uttalande på fyra minuter. Jag var också mycket imponerad av att datorns grammatiska struktur var så bra, särskilt som varje mening kan ha hämtats från flera artiklar i biblioteket.

Tekniken är fortfarande begränsad

Men medan talet fortsatte, Jag fick en tydlig känsla av att den tematiska strukturen höll på att gå sönder, med flödet som pendlar mellan ämnen. Maskinen avslutade knallande på fyraminutersmarkeringen med en trevlig retorisk uppgång av att förutse och attackera motståndarens argument (känd som procatalepsis). Men senare, datorns två minuter långa genmäle till sin mänskliga motståndare lät allt mer som bara en upprepning.

Project Debater har uppnått betydande nya framsteg inom områden som att söka texter efter argument (argument mining) i kombination med tekniska lösningar som grammatisk reparation som involverar limning av meningsdelar. Men, som talare, datorn gör fortfarande sina första små pip.

Systemet har bara den mest rudimentära uppfattningen om argumentstruktur och avviker så ofta från huvudtemat. Den bryr sig inte om sin publik, inte heller dess motståndare, och har inget sätt att anpassa sitt språk eller utnyttja någon av de hundratals smarta retoriska tekniker som hjälper till att vinna över publiken

Varken IBM eller Google hävdar eller till och med antydande, att de har löst alla AI-problem, eller byggda maskiner med prestanda på mänsklig nivå. I båda fallen, programmerarna har specifika mål i åtanke som mer eller mindre leder direkt till kommersiell teknologi.

Det verkliga värdet av argumentteknik som helhet kommer inte att levereras i debattkammaren utan i applikationer där AI-system kan bidra till mänskliga beslutsfattande team. Vare sig i polisens incidentrum, intelligensanalysbunkern eller klassrummet, det kan bara vara bra att öka robustheten i evidensbaserat beslutsfattande genom att introducera AI-system som kan bidra till samtalet. De kommer att kunna lägga till ny information eller kritisera mänskliga resonemang.

Project Debater är ett värdefullt steg framåt mot detta mål, och det bredare syftet att bygga AI som verkligen kan förstå och svara på oss. Men vi är absolut inte på gränsen till att se AI-system utstrida sina mänskliga motsvarigheter. Dagens AI-teknik är lika långt ifrån dessa scenarier som romarnas experiment med ångkraft var från den industriella revolutionen.

Denna artikel publicerades ursprungligen på The Conversation. Läs originalartikeln.