Nanyang Technological University, Singapore (NTU Singapore), den globala videospelsutvecklaren YOOZOO Games och Singapores Association for Persons with Special Needs (APSN) har tillsammans utvecklat tre mobilapplikationer för att hjälpa personer med särskilda behov lära sig om social och emotionell intelligens.

Efter en nio veckor lång pilot som leddes av NTU Singapore som involverade 140 elever med särskilda behov från APSN, mobilapparna utvecklades vidare i samarbete med YOOZOO Games.

Professor Ong Yew snart, Direktör för Data Science &Artificial Intelligence Research Center (DSAIR) vid NTU Singapore, som ledde projektet, sa att lagets främsta mål var att använda artificiell intelligens (AI) för samhällets bästa.

"Fördelarna med dessa appar för elever med särskilda behov är betydande, ", sa prof. Ong. "Innan detta, Att lära sig om emotionell intelligens var mer av en penna-och-papper-övning. Nu, de kan njuta av en personlig inlärningsupplevelse, samt att utnyttja förmågan hos AI som ett hjälpmedel för att känna igen och svara på känslor samtidigt som man tar upp sociala och känslomässiga färdigheter på ett roligt och engagerande sätt."

"Projektet visade upp ett trevägssamarbete mellan NTU, vår branschpartner YOOZOO, och APSN för att använda AI för att förbättra samhället. YOOZOO hjälpte oss att skala upp projektet med APSN genom att förbättra teknikberedskapen och översättning av forskning med målanvändarupplevelse och skalbarhet till marknaden i åtanke, " han sa.

Mr Stanley Tang, Tillförordnad VD för APSN sa:"APSN är glad över att vara en del av detta pilotprogram med NTU och YOOZOO Games, med antagandet av AI-drivna digitala appar i tre av våra APSN-skolor:APSN Chaoyang School, APSN Katong School och APSN Tanglin School.

"Dessa appar har förbättrat inlärningsupplevelsen för våra elever med särskilda behov, ha personalisering och gamification injicerat i lektionerna. Vi hoppas att ett sådant samarbete kommer att inspirera fler att ta steget framåt och gå med oss ​​i att bygga och förespråka ett inkluderande samhälle."

Dr Goh Chi Keong, Direktör för YOOZOO AI Innovation, sa:"Vi är glada över att samarbeta med institut som NTU för att främja AI-tillämpningar och utbildning. Samlingen av APSN:s domänförståelse, NTU:s programvara IntelliK, studenterna och fakulteten från NTU, såväl som YOOZOO:s translationella AI-expertis, har verkligen banat väg för positiv samhällspåverkan, särskilt under covid-19.

"Det här är en extremt meningsfull och spännande strävan, och vi kommer att fortsätta att bidra där det är viktigt för samhället, " tillade Dr. Goh.

Utvecklad för mobiltelefoner och surfplattor på både Android och iOS, de tre applikationerna är:

• EmojiCapcha – En barnvänlig frågesport-app som belönar användare för att göra ansiktsuttryck som matchar emojierna som visas på skärmen. Det låter användare lära sig olika uttryck och känna igen känslor på ett roligt och avslappnat sätt.
• Happy Bird – En ny version av den klassiska Flappy Bird genom tiderna, Happy Bird Lost Journeys handlar om en astrofågel som gick lite vilse i många olika världar. Undvik hinder när du flyger en astrofågel med ditt leende.
• Betterfly – Appen låter användare skapa sina egna fjärilar som kommer till liv när de ler. Denna interaktiva app låter barn uttrycka och förstå sina känslor bättre genom olika visuella effekter.

Var och en av apparna utvecklade på den inbyggda NTU IntelliK AI Emotion Sensing Platform, kan upptäcka ansiktsuttryck med hjälp av den mobila enhetens främre kamera och sedan matcha dem med de känslor de porträtterar.

IntelliK är ett skapande verktyg som gör det möjligt för användare att skapa AI-drivna digitala appar och "gamifierat" lärande- eller träningsinnehåll utan att kräva några kodningsfärdigheter. Det skapades och utvecklades av DSAIR och studenter från NTU:s School of Computer Science and Engineering.

Tummen upp från APSN-studenter för kul att lära sig hemifrån under covid-19

Efter piloten, apparna har släppts för användning av studenter i APSN, som har gett positiv feedback på sin njutning och utbildningsfaktor.

Fröken Nurrifahirah Binte Ahmad Sulimi, en sekundär 3-elev från APSN Tanglin School sa:"Genom apparna, Jag lärde mig mer om olika känslor och viktigast av allt, hur jag kan uttrycka mig bättre."

Mästare Josh Koh, en Primary 4-elev från APSN Katong School sa:"Jag gillar Emoji Capcha. Den är lätt att använda och jag kan se mitt ansikte på skärmen. Den visar olika känslor som glad, ledsen, arg och förvånad."

Miss Chua Jie Yi, en Primary 6-elev, från APSN Chaoyang School, tillade:"Leken är så roliga! Jag vill bara fortsätta spela och lära mig."

Prof Ong lyfte också fram den positiva effekten av lärapparna under den pågående COVID-19-pandemin.

"I en situation med covid-19 där elever och lärare kan vara fysiskt distanserade, virtuellt lärande och utbildning kan fortsätta att äga rum eftersom allt personligt anpassat innehåll som är anpassat av lärare kan nås av enskilda elever via deras mobiltelefoner eller föredragna enheter som främjar lärande, " han sa.

Skräddarsydda upplevelser för olika ändamål och användare

IntelliK-apparna som utvecklats för personer med särskilda behov på APSN gör att deras lärare kan anpassa och anpassa dem för kontextuellt och progressivt lärande.

Lärare kan också justera apparnas svårighetsgrad, välj bland flera sociala scenarier, och anpassa de typer av bilder som används i aktiviteterna. Till exempel, EmojiCapchas Familiar Faces-funktion gör att emojierna kan ersättas med foton av familj och vänner.

Lärare kan också samla in data som poäng och svarstid för användare att visa känslor, som mått på personlig förbättring.

Prof Ong said that although the apps are currently available to students at APSN, there are plans to work with other organizations to release them to a larger audience, including adults and the elderly.

Continuing with the theme of collaboration, NTU and YOOZOO are also announcing the new Data Science and AI (DSAI) Gold Medal, which is sponsored by YOOZOO to recognize the academic excellence of the top student from Bachelor of Science in DSAI. The award will be effective from 2021.

Elaborating on the award, Dr. Goh added, "We believe it is important to have top talent joining the industry to drive us forward. With the joint effort of universities and the business sector, we look forward to empowering better lives with AI."