Även om möjligheter till utbildning och feedback finns i överflöd för grundskolelärare, detsamma kan inte sägas om lärare inom högre utbildning. För närvarande, den mest effektiva mekanismen för professionell utveckling är att en expert observerar en föreläsning och ger personlig feedback. Men ett nytt system utvecklat av forskare vid Carnegie Mellon University erbjuder ett omfattande realtidsavkänningssystem som är billigt och skalbart för att skapa en kontinuerlig återkopplingsslinga för instruktören.

Systemet, kallas EduSense, analyserar en mängd olika visuella och ljudfunktioner som korrelerar med effektiv instruktion. "I dag, läraren fungerar som sensorn i klassrummet, men det är inte skalbart, sa Chris Harrison, biträdande professor i CMU:s Human-Computer Interaction Institute (HCII). Harrison sa att klassrumsstorlekar har ballooned under de senaste decennierna, och det är svårt att föreläsa och vara effektiv i stora klasser eller i auditorium.

EduSense är minimalt påträngande. Den använder två väggmonterade kameror-en mot elever och en mot instruktören. Det känner saker som elevernas hållning för att bestämma deras engagemang, och hur lång tid lärare pausar innan de ringer till en elev. "Det här är kodifierade saker som utbildningsutövare har känt som bästa praxis i årtionden, " sa Harrison.

En enda hyllkamera kan se alla i klassrummet och automatiskt identifiera information som var eleverna letar, hur ofta de räcker upp händerna och om instruktören rör sig genom utrymmet istället för att stanna bakom en pallplats. Systemet använder OpenPose, ett annat CMU -projekt, att extrahera kroppsposition. "Med framsteg inom datorsyn och maskininlärning, vi kan nu ge insikter som skulle ta dagar om inte månader att få med manuell observation, "sa Karan Ahuja, en medlem av forskargruppen som bedriver sin doktorsexamen. i HCII.

Harrison sa att lärande forskare är intresserade av instruktionsdata. "Eftersom vi kan spåra kroppen, det är som att bära en kostym med accelerometrar. Vi vet hur mycket du vänder på huvudet och rör dina händer. Det är som att du bär ett virtuellt motion-capture-system medan du undervisar."

Att använda högupplösta kameror som ångar 4K-video för många klasser samtidigt är en "beräkningsmardröm, "Sa Harrison. För att hänga med, resurser är elastiskt tilldelade för att ge bästa möjliga bildhastighet för realtidsdata.

Projektet har också stort fokus på integritetsskydd, guidad av Yuvraj Agarwal, en docent vid universitetets Institute for Software Research. Teamet ville inte identifiera enskilda elever, och EduSense kan inte. Inga namn eller identifieringsuppgifter används, och eftersom kameradata behandlas i realtid, det kastas snabbt.

Nu när teamet har visat att de kan fånga in data, HCII-fakultetsmedlem Amy Ogan sa att deras nuvarande utmaning är att avsluta det och presentera det på ett sätt som är pedagogiskt effektivt. Teamet kommer att fortsätta arbeta med instruktörsinriktade appar för att se om professorer kan integrera feedbacken i praktiken. "Vi har fokuserat på att förstå hur, när och var man bäst lämnar feedback baserad på dessa data så att det är meningsfullt och användbart för instruktörer att hjälpa dem att förbättra sin praxis, " Hon sa.

Denna forskning har presenterats på Ubicomp, den internationella konferensen för lärande vetenskaper, och kommer att presenteras i april kommande år vid American Educational Research Association Association årsmöte.