Moderna bilar har redan en rad sofistikerade system som fjärrstyrd parkering, automatisk varning för körfält och dåsighetsigenkänning. I framtiden, självkörande bilar kommer också att ha hörselmöjligheter. Forskare vid Fraunhofer Institute for Digital Media Technology IDMT i Oldenburg, Tyskland, har nu utvecklat ett prototypsystem som kan känna igen yttre ljud som sirener.

Moderna bilar är utrustade med en mängd avancerade förarassistanssystem som är utformade för att minska belastningen bakom ratten. Funktioner som automatisk parkering och blind-spot-övervakning använder kameror och radar- och lidar-teknik för att upptäcka hinder i bilens omedelbara närhet. Med andra ord, de ger fordon en rudimentär synkänsla. Bilar har ännu inte utrustats med hörsel. I framtiden, dock, system som kan fånga upp och identifiera externa ljud kommer att spela en nyckelroll-tillsammans med smarta radar- och kamerasensorer-för att sätta självkörande bilar på vägen. Forskare vid Fraunhofer IDMT i Oldenburg utvecklar nu AI-baserade system som kan känna igen enskilda akustiska händelser. Dessa ger fordon hörselförmåga.

"Trots den stora potentialen hos sådana applikationer, inget autonomt fordon har ännu utrustats med ett system som kan uppfatta yttre ljud, "säger Danilo Hollosi, chef för Acoustic Event Recognition -gruppen på Fraunhofer IDMT i Oldenburg. "Sådana system skulle omedelbart kunna känna igen sirenen på ett närmande utryckningsfordon, till exempel, så att det autonoma fordonet då skulle veta att flytta över till ena sidan av motorvägen och bilda en körfält för räddningstjänsten. "Det finns många andra scenarier där ett akustiskt tidigt varningssystem kan spela en viktig roll-när en autonom fordonet svänger in i ett gågata eller bostadsväg där barn leker, till exempel, eller för att känna igen defekter eller farliga situationer som spik i ett däck. Dessutom, sådana system kan också användas för att övervaka fordonets skick eller till och med dubbla som en nödtelefon utrustad med röstigenkänningsteknik.

Bulleranalys med AI-baserade algoritmer

Att utveckla ett fordon med hörselförmåga innebär ett antal utmaningar. Här, dock, Fraunhofer IDMT kan utnyttja specifik projektupplevelse inom fordonsteknik samt en mängd tvärvetenskaplig expertis. Viktiga undersökningsområden inkluderar signalinsamling på grundval av optimal sensorpositionering samt signalförbehandling, signalförbättring och undertryckande av bakgrundsljud. Systemet utbildas först för att känna igen den akustiska signaturen för varje relevant ljudhändelse. Detta görs med maskininlärningsmetoder som använder akustiska bibliotek som sammanställts av Fraunhofer IDMT. Dessutom, Fraunhofer IDMT har skrivit sina egna strålformande algoritmer. Dessa gör det möjligt för systemet att dynamiskt lokalisera rörliga ljudkällor som sirenen på ett närmande utryckningsfordon. Resultatet är en intelligent sensorplattform som kan känna igen specifika ljud. Fraunhofer har också skrivit sina egna AI-baserade algoritmer. Dessa används för att skilja det specifika brus som systemet är utformat för att identifiera från andra, bakgrundsljud. "Vi använder maskininlärning, "Hollosi förklarar." Och för att träna algoritmerna, vi använder en hel rad arkiverade ljud. "Fraunhofer och partners från industrin har redan skapat initiala prototyper. Dessa bör nå marknadsmognad i mitten av det kommande decenniet.

Det akustiska sensorsystemet består av mikrofoner, en styrenhet och mjukvara. Mikrofonerna, installerad i ett skyddshölje, är monterade på utsidan av fordonet, där de fångar luftburet ljud. Sensorer överför dessa ljuddata till en speciell styrenhet som sedan omvandlar dem till relevanta metadata. Inom många andra användningsområden - till exempel säkerhetsapplikationer, vårdindustrin och konsumentprodukter - råa ljuddata omvandlas direkt till metadata av smarta sensorer.

Ändrade versioner av denna datorbaserade process för att identifiera akustiska händelser kan användas inom andra sektorer och marknader. Sådana tillämpningar inkluderar kvalitetskontroll i industriell tillverkning. I detta fall, smarta batteridrivna akustiska sensorer används för att bearbeta ljudsignaler från anläggningar och maskiner. Denna information skickas trådlöst till en processor. Utifrån detta, det är möjligt att fastställa produktionsanläggningens skick och förebygga alla överhängande skador. Andra applikationer inkluderar automatiska röstigenkänningssystem för att möjliggöra handsfree-dokumentation av tekniker som utför, till exempel, turbinunderhåll.