Tänk dig en fotgängare som är fastklistrad på en mobiltelefonskärm när han korsar gatan och inte ägnar mycket uppmärksamhet åt det röda trafikljuset. En bil närmar sig, föraren känner sig kanske lite dåsig på grund av sömnbrist och kan inte stanna direkt. Hur kan du undvika en olycka i en sådan scen? Från avancerade förarassistanssystem (ADAS) som hjälper förare att navigera i ett fordon, att söka och rädda drönare, till medicinsk röntgenbildning, embedded vision -teknik används alltmer i ett brett spektrum av applikationer. Dessa innebär integration av datorsyn i maskiner som använder algoritmer för att avkoda betydelse från att observera pixelmönster i bilder eller video.

För att kunna tolka sin miljö korrekt med hjälp av komplexa visuella ingångar, inbyggda visionsystem kräver mycket processorkraft. Förutom strömförbrukningen, konstruktörer av sådana inbyggda system måste övervinna andra tekniska begränsningar som kostnad, storlek, vikt och akustiskt ljud. Det EU-finansierade TULIPP-projektet har tagit itu med dessa utmaningar och utvecklat en referensplattform för visionbaserade systemdesigners. TULIPP -lösningen kommer att hjälpa "datorsynproduktdesigners att enkelt ta itu med de kombinerade utmaningarna med låg effekt, låg latens, högpresterande och realtidsbildbearbetningsdesignbegränsningar, "enligt ett pressmeddelande.

Verkliga fall

TULIPP-referensplattformen består av ett komplett utvecklingssats och verkliga användningsfall. Satsen innehåller "en FPGA-baserad inbäddad, datorkort med flera kärnor, parallellt realtidsoperativsystem och utvecklingsverktygskedja med riktlinjer, "enligt samma pressmeddelande. Fältprogrammerbar grindmatris (FPGA) hänvisar till en integrerad krets som kan programmeras eller omprogrammeras till önskad funktionalitet eller applikation efter tillverkning. Användningsfallen omfattar" medicinsk röntgenbildning, fordons avancerade förarassistanssystem (ADAS) och obemannade flygbilar (UAV). "

Den medicinska röntgenapplikationsprogrammet syftar till att förbättra kirurgisk effektivitet med den mobila C-armen. Denna enhet visar en intern vy av en patients kropp i realtid under en kirurgisk operation, så att läkaren kan göra minimala snitt med större noggrannhet. Detta leder till snabbare återhämtningstider och "minskar riskerna för nosokomial sjukdom och minskar med 75 % strålningsdoser som patienter och personal utsätts för, "tillägger pressmeddelandet. Genom sin applikation för upptäckt av fotgängare, ADAS -användningsfallet "uppnår en behandlingstid per ram på 66 ms, vilket innebär att algoritmen når målet att köra på varannan bild när kameran körs vid 30Hz. "

I användningsfallet för UAV, TULIPP uppskattar djupbilder från en stereokamerauppsättning som är orienterad i flygriktningen. "Även om vi pratar om autonoma drönare, de flesta nuvarande system är fortfarande fjärrstyrda av människor. Användningsfallet använder skillnadskartor, som beräknas från kamerabilderna, för att lokalisera hinder i flygvägen och automatiskt styra UAV runt dem. Detta är den nödvändiga nyckeln mot helt autonoma drönare. "

Det treåriga projektet TULIPP (Towards Ubiquitous Low-power Image Processing Platforms) avslutades i januari 2019. Det fokuserade på att utveckla högpresterande, energieffektiva inbyggda system för den växande variationen av progressivt komplexa bildbehandlingsapplikationer som växer fram inom ett brett spektrum av industrisektorer.