Vad våra händer än gör - når, ta tag i eller manipulera objekt - det verkar alltid enkelt. Ändå är dina händer en av de mest komplicerade, och viktigt, delar av kroppen.

Trots detta, lite förstås om komplexiteten i handens underliggande anatomi och, som sådan, animering av mänskliga händer har länge ansetts vara ett av de mest utmanande problemen inom datorgrafik.

Det beror på att det har varit omöjligt att fånga den inre rörelsen av handen i rörelse - tills nu.

Med hjälp av magnetisk resonansavbildning (MRI) och en teknik inspirerad av visuella effekter -industrin, ett team av USC -forskare, bestående av två datavetare och en radiolog, har utvecklat världens mest realistiska modell av människans handens muskuloskeletala system i rörelse.

Muskuloskeletala systemet inkluderar muskler, ben, senor och leder. Genombrottet har konsekvenser inte bara för datorgrafik, men även proteser, medicinsk utbildning, robotik och virtual reality.

"Handen är mycket komplicerad, men före detta arbete, ingen hade byggt en exakt beräkningsmodell för hur anatomiska strukturer inuti handen faktiskt rör sig när den är ledad, "säger studieförfattaren Jernej Barbic, en Andrew och Erna Viterbi Early Career Chair och docent i datavetenskap.

Designa bättre proteser

För att hantera detta problem, Barbic, en datoranimation och fysiskt baserad simuleringsexpert, och hans doktorsexamen studerande, Bohan Wang, studiens huvudförfattare, samarbetade med George Matcuk, MD, docent i klinisk radiologi vid Keck School of Medicine i USC. Resultatet:den mest exakta anatomiskt baserade modellen av handen i rörelse.

"Detta är för närvarande den mest exakta handanimationsmodellen som finns och den första som kombinerar laserscanning av handens ytfunktioner och att införliva en underliggande benriggningsmodell baserad på MR, "sa Matcuk.

Förutom att skapa mer realistiska händer för datorspel och CGI -filmer, där händer ofta utsätts, detta system kan också användas i proteser, att designa bättre fingrar och handproteser.

"Att förstå rörelsen med inre handanatomi öppnar dörren för biologiskt inspirerade robothänder som ser ut och beter sig som riktiga händer, sa Barbic.

"Inom en inte så avlägsen framtid, arbetet kan bidra till utvecklingen av anatomiskt realistiska händer och förbättrad handprotes. "

Studien, med titeln Handmodellering och simulering med hjälp av stabiliserad magnetisk resonansavbildning, presenterades på ACM SIGGRAPH.

En långvarig utmaning

För att förbättra realismen, virtuella händer ska modelleras på samma sätt som biologiska händer, vilket kräver att man bygger exakta anatomiska och kinematiska modeller av riktiga mänskliga händer. Men vi vet fortfarande förvånansvärt lite om hur ben och muskler rör sig inuti handen.

En av anledningarna är att tills nu, det har inte funnits några metoder för att systematiskt förvärva rörelsen för inre handanatomi. Även om MR -skannrar kan ge anatomiska detaljer, det finns en tidigare oadresserad praktisk utmaning:handen måste hållas helt stilla i skannern i cirka 10 minuter.

"Att hålla handen stilla i en fast position i 10 minuter är praktiskt taget omöjligt, "sa Barbic." En näve är lättare att hålla stadigt, men försök halvstänga din hand och du kommer att upptäcka att du börjar skaka efter ungefär en minut eller två. Du kan inte hålla den stilla i 10 minuter. "

För att övervinna denna utmaning, forskarna utvecklade en tillverkningsprocess med hjälp av livsmätningsmaterial från specialeffektindustrin för att stabilisera handen under MR -skanningsprocessen. Lifecasting innebär att man gör en form av den mänskliga formen och sedan reproducerar den i olika medier, inklusive plast eller silikon.

Barbic, som arbetade med den Oscar-nominerade filmen The Hobbit:the Desolation of Smaug, landade på idén efter att ha sett en billig handkloningsprodukt i en visuell effektbutik i Los Angeles medan han arbetade med ett tidigare projekt. "Det var eureka -ögonblicket, "sa Barbic, som länge funderat på en lösning för att skapa mer realistiska virtuella mänskliga händer.

Först, laget använde det livgjutande materialet för att skapa en plastreplika av modellens hand. Denna kopia fångar extremt detaljerade funktioner, ner till individuella porer och små linjer på handytan, som sedan skannades med en laserskanner.

Sedan, livprognosprocessen användes igen, den här gången på plasthanden, för att skapa en negativ 3D-form av handen av ett gummiliknande elastiskt material. Formen stabiliserar handen i önskad pose. Formen skärs i två delar, och sedan lade subjektet sin riktiga hand i formen för MR -skanning.

Med hjälp av radiologiexperten Matcuk, praktiserande läkare vid USC, handen skannades sedan av MR -skannern i 10 minuter. Denna procedur upprepades 12 gånger, varje gång i en annan hand pose. Två ämnen, en hane och en kvinna, fångades på detta sätt. Nu, för varje pose, forskarna visste exakt var benen, muskler och senor placerades.

Efter att ha diskuterat de anatomiska egenskaperna hos MR -skanningarna med Matcuk, Barbic och Wang började arbeta med att bygga en datadriven skelett kinematisk modell som fångar komplexa verkliga rotationer och översättningar av ben i vilken pose som helst.

De lade sedan till mjukvävnadsimulering, med hjälp av finite element -metoden (FEM) för att beräkna rörelsen i handens muskler, senor och fettvävnad, överensstämmer med benrörelsen. Den här modellen, i kombination med ytdetaljer gjorde det möjligt för dem att skapa en mycket realistisk rörlig hand. Handen kan animeras i alla rörelser, jämn rörelse som skiljer sig mycket från de fångade poserna.

Går framåt

Laget, som nyligen fick bidrag från National Science Foundation för att ta sitt arbete till nästa etapp, planerar att bygga en offentlig datauppsättning med multi-pose hand-MR-skanningar, för 10 ämnen under de kommande tre åren. Detta blir den första datasetet i sitt slag och gör det möjligt för forskare från hela världen att bättre simulera, modellera och återskapa mänskliga händer. Teamet planerar också att integrera forskningen i utbildning, att utbilda doktorsexamen studenter vid USC och för K-12 uppsökande program.

"När vi förfinar detta arbete, Jag tror att detta kan vara ett utmärkt undervisningsverktyg för mina studenter och andra läkare som behöver förståelse för handens komplexa anatomi och biomekanik, "sa Matcuk.

Teamet arbetar för närvarande med att lägga till bättre medvetenhet om muskler och senor i modellen och göra den i realtid. Just nu, det tar datorn ungefär en timme att skapa en minutslång simulering. Barbic och Wang hoppas kunna göra systemet snabbare, utan att tappa kvalitet.