Datavetare vid Columbia Engineering har utvecklat ett nytt datorsystem som möjliggör ström, omodifierade mobilappar för att kombinera och dela flera enheter, inklusive kameror, visar, högtalare, mikrofoner, sensorer, och GPS, på flera smartphones och surfplattor. Kallas M2, det nya systemet fungerar över heterogena system, inklusive Android och iOS, kombinerar funktionaliteten hos flera mobila system till ett mer kraftfullt system som ger användarna en sömlös upplevelse i de olika systemen.

Med tillkomsten av ramlösa smartphones och surfplattor, M2 svarar på den ökande efterfrågan på datorer med flera mobila enheter-användare kan istället dynamiskt byta sina Netflix- eller Spotify-strömmar från sina smartphones till en samling andra närliggande system för en större bildskärm eller bättre ljud. Istället för att använda smartphones och surfplattor isolerat, användare kan kombinera systemets funktioner eftersom de nu alla kan arbeta tillsammans. Användare kan till och med kombinera foton tagna från olika kameror och från olika vinklar till en enda, detaljerad 3D-bild.

"Med tanke på de många populära och välkända apparna där ute, vi kan kombinera och blanda system för att göra coola saker med dessa befintliga omodifierade appar utan att tvinga utvecklare att anta en ny uppsättning API:er och verktyg, "säger Naser AlDuaij, studiens huvudförfattare och en doktorsexamen student som arbetar med professor i datavetenskap Jason Nieh. "Vi ville använda M2 för att rikta in alla appar utan att lägga till några omkostnader för apputveckling. Användare kan till och med använda M2 för att köra Android -appar från sina iPhones."

Utmaningen för teamet var att mobila system inte bara är mycket heterogena, men den heterogena enhetsdelningen är också svår att stödja. Utöver hårdvaru heterogenitet, det finns också många olika plattformar och OS -versioner, med ett brett utbud av inkompatibla enhetsgränssnitt som dikterar hur programvara kommunicerar med hårdvara.

Även om olika mobila system har olika API:er och enheter på låg nivå är leverantörsspecifika, enhetsdata på hög nivå som tillhandahålls till appar är i allmänhet i ett standardformat. Så AlDuaij använde en enhetlig datadata på hög nivå och utformade M2 ​​för att importera och exportera enhetsdata i ett vanligt format till och från system, undvika behovet av att överbrygga inkompatibla mobila system och enhets -API:er. Denna metod gör att M2 inte bara kan dela enheter, men också att blanda och kombinera enheter av olika typer av data eftersom det kan aggregera eller manipulera enhetsdata i ett känt format.

"Med M2, vi introducerar enhetstransformation, ett ramverk som gör att olika enheter i olika system kan ersättas och kombineras med varandra för att stödja multimobil heterogenitet, funktionalitet, och insyn, "säger AlDuaij, som presenterade studien idag på MobiSys 2019, den 17:e ACM International Conference on Mobile Systems, Applikationer, och tjänster. "Vi kan enkelt manipulera eller konvertera enhetsdata eftersom det är i ett standardformat. Till exempel, vi kan enkelt skala och aggregera pekskärmsinmatning. Vi kan också konvertera bildrutor till kameraramar eller vice versa. M2 gör att vi kan tolka eller representera olika enheter på olika sätt. "

Bland M2:s "transformationer" är sammansmältning av enhetsdata från flera enheter för att ge ett flersidig bildskärmsscenario för en bättre "storskärms" visnings- eller spelupplevelse. Genom att konvertera accelerometersensordata till inmatningsberöringar, M2 kan förvandla en smartphone till en Nintendo Wii-liknande fjärrkontroll för att styra ett spel på ett annat system. Ögonrörelser kan också förvandlas till pekskärmsingång, en användbar tillgänglighetsfunktion för funktionshindrade användare som inte kan använda händerna.

För ljudkonferenser utan att behöva använda dyrbar specialutrustning, M2 kan distribueras på smartphones över ett rum för att utnyttja sina mikrofoner från flera utsiktspunkter, ger överlägsen högtalaridentifierbar ljudkvalitet och brusreducering. M2 kan omdirigera en bildskärm till en kamera så att lagerkamerapappar kan spela in en Netflix- eller YouTube -video och kan också möjliggöra panoramavideoinspelning genom att smälta ihop kamerainmatningarna från två system för att skapa en bredare vy. En potentiellt populär applikation skulle låta föräldrar som sitter bredvid varandra spela in sitt barns vidvinklade skola eller sportprestationer.

"Att göra allt detta utan att behöva ändra appar betyder att användare kan fortsätta att använda sina favoritappar med en förbättrad upplevelse, "AlDuaij säger." M2 är en win-win-användare behöver inte oroa sig för vilka appar som stöder sådan funktionalitet och utvecklare behöver inte lägga tid och pengar för att uppdatera sina appar. "

Att använda M2 är enkelt - allt en användare behöver göra är att ladda ner M2 -appen från Google Play eller Apples App Store. Ingen annan programvara behövs. Ett mobilt system kör den omodifierade appen; input och output från alla system kombineras och delas med appen.

"Vårt M2 -system är lätt att använda, går effektivt, och vågar bra, särskilt jämfört med befintliga tillvägagångssätt, "Nieh noterar." Vi tror att multi-mobile computing erbjuder en bredare, rikare erfarenhet med möjligheten att kombinera flera enheter från flera system tillsammans på nya sätt.

Columbia -teamet har inlett diskussioner med mobiloperatörer och telefontillverkare för att införliva M2 -teknik i nästa version av sina produkter. Med några mindre ändringar av nuvarande system, leverantörer av mobila operativsystem kan göra datorer med flera mobila enheter allmänt tillgängliga för alla.