Idag finns mikrokontroller i nästan alla tekniska enheter, från tvättmaskiner till blodtrycksmätare och wearables. Forskare vid Fraunhofer Institute for Microelectronic Circuits and Systems IMS har utvecklat AIfES, ett koncept med artificiell intelligens (AI) för mikrokontroller och sensorer som innehåller ett helt konfigurerbart artificiellt neuralt nätverk. AIfES är ett plattformsoberoende maskininlärningsbibliotek som kan användas för att realisera självlärande mikroelektronik som inte kräver någon anslutning till ett moln eller till högpresterande datorer. Det sensorrelaterade AI-systemet känner igen handstil och gester, möjliggör till exempel geststyrning av indata när biblioteket körs på en bärbar enhet.

Ett brett utbud av mjukvarulösningar finns för närvarande för maskininlärning, men som regel är de bara tillgängliga för PC och är baserade på programmeringsspråket Python. Det finns fortfarande ingen lösning som gör det möjligt att exekvera och träna neurala nätverk på inbyggda system som mikrokontroller. Ändå, det kan vara användbart att genomföra utbildningen direkt i det inbyggda systemet, till exempel när en implanterad sensor ska kalibrera sig själv. Visionen är sensorrelaterad AI som kan integreras direkt i ett sensorsystem. Ett team av forskare vid Fraunhofer IMS har gjort denna vision till verklighet i form av AIfES (Artificial Intelligence for Embedded Systems), ett maskininlärningsbibliotek programmerat i C som kan köras på mikrokontroller, men även på andra plattformar som PC, Raspberry PI och Android. Biblioteket innehåller för närvarande ett helt konfigurerbart artificiellt neuralt nätverk (ANN), som också kan generera djupa nätverk för djupinlärning vid behov. En ANN är ett försök att matematiskt simulera den mänskliga hjärnan med hjälp av algoritmer för att göra funktionella sammanhang lärbara för algoritmerna. AIfES har optimerats specifikt för inbyggda system.

"Vi har reducerat källkoden till ett minimum, vilket innebär att ANN kan tränas direkt på mikrokontrollern eller sensorn, dvs det inbäddade systemet. Dessutom är källkoden universellt giltig och kan kompileras för nästan alla plattformar. Eftersom samma algoritmer alltid används, en ANN genererad till exempel på en PC kan enkelt portas till en mikrokontroller. Hittills har detta varit omöjligt i denna form med kommersiellt tillgängliga mjukvarulösningar, " säger Dr Pierre Gembaczka, forskningsassistent vid Fraunhofer IMS.

Integritetsskydd

En annan unikt kvalificerande egenskap hos den sensorrelaterade AI:n från Fraunhofer IMS:hittills har artificiell intelligens och neurala nätverk använts främst för bildbehandling och taligenkänning, ibland med data som lämnar de lokala systemen. Till exempel, röstprofiler bearbetas i molnet på externa servrar, eftersom det lokala systemets datorkraft inte alltid är tillräcklig. "Det är svårt att skydda integriteten i den här processen, och enorma mängder data överförs. Det är därför vi har valt ett annat tillvägagångssätt och vänder oss bort från maskininlärningsprocesser i molnet till förmån för maskininlärning direkt i det inbyggda systemet.

Eftersom inga känsliga uppgifter lämnar systemet, dataskydd kan garanteras och mängden data som ska överföras minskas avsevärt, säger Burkhard Heidemann, "Embedded Systems" gruppchef på Fraunhofer IMS. "Naturligtvis är det inte möjligt att implementera gigantiska modeller för djupinlärning på ett inbyggt system, så vi ökar våra ansträngningar för att göra en elegant funktionsextraktion för att minska ingångssignalerna." Genom att bädda in AI direkt i mikrokontrollern, forskarna gör det möjligt att utrusta en enhet med ytterligare funktioner utan att behöva göra dyra hårdvaruändringar.

Minska data

AIfES fokuserar inte på att bearbeta stora mängder data, istället överförs endast den data som behövs för att bygga mycket små neurala nätverk. "Vi följer inte trenden mot att behandla big data; vi håller fast vid den absolut nödvändiga datan och skapar en sorts mikrointelligens i det inbyggda systemet som kan lösa uppgiften i fråga. Vi utvecklar nya funktionsextraktioner och nya dataförbearbetningsstrategier för varje problem så att vi kan realisera minsta möjliga ANN. Detta möjliggör efterföljande inlärning av regulatorn själv, " förklarar Gembaczka.

Tillvägagångssättet har redan omsatts i praktiken i form av flera demonstranter. Om till exempel forskargruppen implementerade igenkänning av handskrivna nummer på en billig 8-bitars mikrokontroller (Arduino Uno). Detta gjordes tekniskt möjligt genom att utveckla en innovativ funktionsextraktionsmetod. En annan demonstrator kan känna igen komplexa gester som görs i luften. Här har IMS-forskarna utvecklat ett system som består av en mikrokontroller och en absolut orienteringssensor som känner igen siffror skrivna i luften. "En möjlig tillämpning här skulle vara drift av en bärbar, " påpekar forskarna. "För att den här typen av kommunikation ska fungera, olika personer skriver siffrorna ett till nio flera gånger. Det neurala nätverket tar emot denna träningsdata, lär sig av det och i nästa steg identifierar siffrorna oberoende av varandra. Och nästan vilken figur som helst kan tränas, inte bara siffror." Detta eliminerar behovet av att styra enheten med taligenkänning:Den bärbara enheten kan styras med gester och användarens integritet förblir skyddad.

Det finns praktiskt taget inga gränser för de potentiella tillämpningarna av AIfES:Till exempel, ett armband med integrerad gestigenkänning skulle kunna användas för att styra inomhusbelysning. Och inte bara kan AIfES känna igen gester, den kan också övervaka hur väl gesten har gjorts. Övningar och rörelser inom sjukgymnastik och kondition kan utvärderas utan behov av coach eller terapeut. Sekretessen upprätthålls eftersom ingen kamera eller moln används. AIfES kan användas inom en mängd olika områden som bilindustrin, medicin, Smarta hem och industri 4.0.

Decentraliserad AI

Och det finns fler fördelar med AIfES:Biblioteket gör det möjligt att decentralisera datorkraft till exempel genom att tillåta små inbyggda system att ta emot data innan bearbetning och föra över resultaten till ett överordnat system. Detta minskar dramatiskt mängden data som ska överföras. Dessutom, det är möjligt att implementera ett nätverk av små lärande system som fördelar uppgifter sinsemellan.

Djup lärning

AIfES innehåller för närvarande ett neuralt nätverk med en feedforward-struktur som också stöder djupa neurala nätverk. "Vi programmerade vår lösning så att vi kan beskriva ett komplett nätverk med en enda funktion, " säger Gembaczka. Integreringen av ytterligare nätverksformer och strukturer är för närvarande under utveckling. Dessutom utvecklar forskaren och hans kollegor hårdvarukomponenter för neurala nätverk utöver andra inlärningsalgoritmer och demonstratorer. Fraunhofer IMS arbetar för närvarande med en RISC-V mikroprocessor som kommer att ha en hårdvaruaccelerator specifikt för neurala nätverk.En specialversion av AIfES optimeras för denna hårdvara för att optimalt utnyttja resursen.