University of Twente utvecklar för närvarande en smartphone -teknik baserad på användning av Simultaneous Localization And Mapping (SLAM) och augmented reality (AR). Denna teknik gör det möjligt för medicinsk personal att snabbt rekonstruera 3D-kroppssektioner, endast genom att hålla smarttelefonen runt intresseområdet. Denna smartphone kommer att visa de förstärkta lagren av 3D-hudytan för att visualisera osynlig information för medicinsk personal.

"Vi skulle vilja lagra informationen från MRT och andra venskanningar (från sensorenheter som använder laserfläckar) och göra dem synliga med augmented reality", säger Dr Eng. Beril Sirmacek (datavetenskap). Detta gör att läkare kan se de inre kroppssegmenten, tumörer, vener och status för diabetiska sår med användning av augmented reality. Detta visuella stöd gör det möjligt för läkare att övervaka situationen bättre och fatta bättre beslut. I en biopsisituation, detta visuella stöd kan hjälpa till att styra robotarmarna för att nå tumören för biopsi vid första försöket, istället för att ta bort chansen och nå rätt plats genom att arbeta med en patient en hel dag och göra misslyckade biopsihål på patientens kropp.

Den förstärkta visualiseringen av stora data och vägledningen med smartphone -applikationen är starkt beroende av tekniken Simultaneous Localization and Mapping (SLAM). "Även om jag inte hade en medicinsk bakgrund, vårt gemensamma fokus på SLAM och AR ger en fantastisk plattform."

SLAM box

"När vi startade det här projektet, vårt mål var att utveckla en SLAM-box på UT:s forskargrupp RAM (Robotics and Mechatronics). Vi kan använda vår lokaliserings- och 3D-rekonstruktionsprogramvara på olika sensorer och inte bara med användning av smartphones. Vår vision kommer att leda till många hälsotillämpningar, och andra robotapplikationer kommer att bli mer intelligenta. Med denna teknik, algoritmerna förstår snabbt 3D-modellerna för de omgivande objekten oavsett bildsensorer som används. "

Prof. Dr. Ir. Stefano Stramigioli (ordförande i gruppen, Robotik och mekatronik):"SLAM är en kärnteknik inom robotik, men dess universella användning kommer bara att vara möjlig om vi har metoder för att enkelt koppla ihop många sensorer i ett robotsystem. En spårvagn, Vi har för avsikt att skapa en modulär SLAM-box som automatiskt kommer att konfigurera om sig själv om extra sensorer ansluts på ett Plug&Play-sätt. Då skulle det vara möjligt att koppla denna "SLAM Box" till ett komplett robotsystem, ger den kraftfulla uppfattningsförmåga."