Vi har blivit vana vid att våra smartklockor och smartphones känner av vad våra kroppar gör, vare sig det går, kör bil eller sover. Men hur är det med våra händer? Det visar sig att smartklockor, med några justeringar, kan upptäcka ett överraskande antal saker som dina händer gör.

Forskare vid Carnegie Mellon Universitys Human-Computer Interaction Institute (HCII) har använt en vanlig smartklocka för att ta reda på när en bärare skrev på ett tangentbord, diska, klappa en hund, hälla från en kanna eller klippa med sax.

Genom att göra några ändringar i klockans operativsystem, de kunde använda dess accelerometer för att känna igen handrörelser och, i vissa fall, bioakustiska ljud associerade med 25 olika handaktiviteter med cirka 95 procents noggrannhet. Och dessa 25 aktiviteter är bara början på vad som kan vara möjligt att upptäcka.

"Vi föreställer oss smarta klockor som ett unikt strandhuvud på kroppen för att fånga rika, vardagsaktiviteter, sa Chris Harrison, biträdande professor i HCII och chef för Future Interfaces Group. "En mängd olika appar skulle kunna göras smartare och mer kontextkänsliga om våra enheter kände till aktiviteten hos våra kroppar och händer."

Harrison och HCII Ph.D. Student Gierad Laput kommer att presentera sina resultat om denna nya avkänningsförmåga vid CHI 2019, Association for Computing Machinerys konferens om mänskliga faktorer i datorsystem, 4-9 maj i Glasgow, Skottland. En video finns tillgänglig.

Precis som smartphones nu kan blockera textmeddelanden medan en användare kör, framtida enheter som känner av handaktivitet kan lära sig att inte avbryta någon medan de utför visst arbete med sina händer, som att hacka grönsaker eller använda kraftutrustning, sa Laput. Att känna av handaktivitet lämpar sig också för hälsorelaterade appar – övervakning av aktiviteter som att borsta tänder, tvätta händerna eller röka en cigarett.

Handavkänning kan också användas av appar som ger feedback till användare som lär sig en ny färdighet, som att spela ett musikinstrument, eller genomgår fysisk rehabilitering. Appar kan uppmärksamma användare på skrivvanor som kan leda till repetitive strain injury (RSI), eller utvärdera uppkomsten av motoriska störningar som de som är förknippade med Parkinsons sjukdom.

Laput och Harrison började sin utforskning av handaktivitetsdetektering genom att rekrytera 50 personer för att bära speciellt programmerade smartklockor för nästan 1, 000 timmar medan de utför sina dagliga aktiviteter. Med jämna mellanrum, klockorna skulle registrera handrörelser, handorientering och bioakustisk information, och sedan uppmana bäraren att beskriva handaktiviteten – rakning, applåder, kliar sig, sätta på läppstift, etc. Mer än 80 handaktiviteter märktes på detta sätt, tillhandahålla en unik datauppsättning.

Tills vidare, användare måste bära smartklockan på sin aktiva arm, snarare än den passiva (icke-dominanta) armen där människor vanligtvis bär armbandsur, för att systemet ska fungera. Framtida experiment kommer att utforska vilka händelser som kan upptäckas med den passiva armen.

"De 25 handaktiviteterna vi utvärderade är en liten bråkdel av hur vi engagerar våra armar och händer i den verkliga världen, " Sa Laput. Framtida arbete kommer sannolikt att fokusera på klasser av aktiviteter - de som är förknippade med specifika aktiviteter som att sluta röka, äldrevård, eller att skriva och RSI.