Washington State University-forskare skapar det första "IQ-testet" någonsin för artificiell intelligens (AI)-system som skulle betygsätta system på hur väl de lär sig och anpassar sig till nya, okända miljöer.

Diane Cook, Regents Professor och Huie-Rogers ordförande professor, och Larry Holder, professor vid skolan för elektroteknik och datavetenskap, fick ett anslag på drygt 1 miljon dollar från Defense Advanced Research Projects Agency (DARPA) för att skapa ett ramverk för att testa "intelligensen" hos AI-system.

"Tidigare, forskning om att mäta intelligens i AI-system har mestadels varit teoretisk, ", sa Holder. "De mätte inte verkliga prestationer i roman, tidigare osynliga miljöer och tog inte hänsyn till komplexiteten i uppgifterna."

Holder och Cook kommer att designa ett test som kommer att gradera AI-system baserat på svårigheten hos problem som de kan lösa. Att skapa metoder för att rangordna problem efter deras svårighetsgrad kommer att vara en av huvuddelarna i forskningen.

"Poängen kommer också att ta hänsyn till systemens noggrannhet, korrekthet, tid och mängd data de behöver för att fungera bra, sa Holder.

En av de största utmaningarna för AI-forskare är att skapa maskiner som kan lära sig i en obekant miljö som en människa kan. Många senaste framsteg inom maskininlärning och AI har varit begränsade, specialiserade uppgifter som att upptäcka ansikten och förutsäga resultat av basebollmatcher.

Att skapa maskiner som kan lära sig och agera intelligent i nya miljöer är fortfarande AI-forskningens heliga graal.

"Vi är fokuserade på att testa och förbättra system som kan vara mer generella, som en robotassistent som kan hjälpa dig med många av dina dagliga uppgifter, " han sa.

Ett av beteendena som Holder och Cook kommer att titta på är hur väl maskinerna de testar kan överföra sin inlärning från en uppgift och tillämpa den på en ny, osynlig uppgift.

"Till exempel, du kanske vill lära dig pjäs innan schack eftersom du enkelt kan överföra dina kunskaper från den ena till den andra, sa Holder.

En student som gjorde sommarforskning med Holder hjälpte honom att komma på en utvärderingsmiljö som skulle användas för att testa AI-system på uppgifter som att spela videospel, lösa SAT-testproblem och lösa Rubiks kub.

Cook är också chef för Center of Advanced Studies in Adaptive Systems (CASAS) vid WSU, som fokuserar på att skapa smarta hem med robotassistenter som tar hand om äldre, bland andra projekt. Dessa robotar kan användas för att övervaka säkerheten, hälsa, äldres rörlighet och sociala liv.

Holder har för närvarande en webbplats som är värd för AIQ-utmaningen och topplistan. Som en del av bidraget, Holder hoppas kunna utöka det allmänt tillgängliga mjukvarugränssnittet, som kan användas av vem som helst för att testa sitt AI-system samtidigt som de ger mer data till forskarna i processen.