Forskare har avkodat visuella bilder från en hunds hjärna, vilket ger en första titt på hur hundens sinne rekonstruerar vad den ser. Journal of Visualized Experiment publicerade forskningen gjord vid Emory University.

Resultaten tyder på att hundar är mer inställda på handlingar i sin omgivning snarare än till vem eller vad som gör handlingen.

Forskarna spelade in fMRI neurala data för två vakna, ohämmade hundar när de tittade på videor i tre 30-minuterssessioner, i totalt 90 minuter. De använde sedan en maskininlärningsalgoritm för att analysera mönstren i neurala data.

"Vi visade att vi kan övervaka aktiviteten i en hunds hjärna medan den tittar på en video och, i åtminstone en begränsad grad, rekonstruera vad den tittar på", säger Gregory Berns, Emory-professor i psykologi och motsvarande författare till tidningen . "Det faktum att vi kan göra det är anmärkningsvärt."

Projektet inspirerades av de senaste framstegen inom maskininlärning och fMRI för att avkoda visuella stimuli från den mänskliga hjärnan, vilket ger nya insikter om perceptionens natur. Utöver människor har tekniken tillämpats på endast en handfull andra arter, inklusive några primater.

"Även om vårt arbete är baserat på bara två hundar erbjuder det ett bevis på att dessa metoder fungerar på hundar", säger Erin Phillips, första författare till uppsatsen, som gjorde arbetet som forskningsspecialist vid Berns Canine Cognitive Neuroscience Lab. "Jag hoppas att det här dokumentet hjälper till att bana väg för andra forskare att tillämpa dessa metoder på hundar, såväl som på andra arter, så att vi kan få mer data och större insikter om hur olika djurs sinnen fungerar."

Phillips, född i Skottland, kom till Emory som Bobby Jones Scholar, ett utbytesprogram mellan Emory och University of St Andrews. Hon är för närvarande doktorand i ekologi och evolutionsbiologi vid Princeton University.

Berns och kollegor var banbrytande för träningstekniker för att få hundar att gå in i en fMRI-skanner och hålla sig helt stilla och ohämmat medan deras neurala aktivitet mäts. För ett decennium sedan publicerade hans team de första fMRI-hjärnbilderna av en helt vaken, ohämmad hund. Det öppnade dörren till vad Berns kallar The Dog Project – en serie experiment som utforskar sinnet hos de äldsta domesticerade arterna.

Under åren har hans labb publicerat forskning om hur hundens hjärna bearbetar syn, ord, lukter och belöningar som att ta emot beröm eller mat.

Samtidigt fortsatte tekniken bakom maskinlärande datoralgoritmer att förbättras. Tekniken har gjort det möjligt för forskare att avkoda vissa mänskliga hjärnaktivitetsmönster. Tekniken "läser tankar" genom att i hjärndatamönster upptäcka de olika objekt eller handlingar som en individ ser när han tittar på en video.

"Jag började undra, 'Kan vi tillämpa liknande tekniker på hundar?'", minns Berns.

Den första utmaningen var att komma med videoinnehåll som en hund kan tycka är intressant nog att titta på under en längre period. Emory-forskarteamet fäste en videobandspelare på en kardan och selfie-pinne som gjorde att de kunde ta stadiga bilder från en hunds perspektiv, ungefär i midjan högt på en människa eller lite lägre.

De använde enheten för att skapa en halvtimmes video med scener som rör de flesta hundars liv. Bland aktiviteterna ingick att hundar klappades av människor och fick godsaker från människor. Scener med hundar visade dem också nosa, leka, äta eller gå i koppel. Aktivitetsscener visade bilar, cyklar eller en skoter som gick förbi på en väg; en katt som går i ett hus; ett rådjur som korsar en stig; människor som sitter; människor som kramas eller kysser; människor som erbjuder ett gummiben eller en boll till kameran; och folk som äter.

Videodata segmenterades efter tidsstämplar i olika klassificerare, inklusive objektbaserade klassificerare (som hund, bil, människa, katt) och actionbaserade klassificerare (som sniffa, leka eller äta).

Endast två av hundarna som hade tränats för experiment i en fMRI hade fokus och temperament att ligga helt stilla och titta på den 30 minuter långa videon utan paus, inklusive tre pass på totalt 90 minuter. Dessa två "superstjärniga" hundar var Daisy, en blandras som kan vara en del av Bostonterrier, och Bhubo, en blandras som kan vara en del av boxare.

"De behövde inte ens godsaker", säger Phillips, som övervakade djuren under fMRI-sessionerna och såg deras ögon spåra på videon. "Det var roligt eftersom det är seriös vetenskap, och mycket tid och ansträngning lades ner på det, men det kom till att de här hundarna tittade på videor av andra hundar och människor som beter sig dumt."

Två människor genomgick också samma experiment och tittade på samma 30-minutersvideo i tre separata sessioner medan de låg i en fMRI.

Hjärndata kunde kartläggas på videoklassificerare med hjälp av tidsstämplar.

En maskininlärningsalgoritm, ett neuralt nät känt som Ivis, applicerades på data. Ett neuralt nät är en metod för att göra maskininlärning genom att låta en dator analysera träningsexempel. I det här fallet tränades det neurala nätet för att klassificera hjärndatainnehållet.

Resultaten för de två mänskliga försökspersonerna fann att modellen som utvecklats med det neurala nätet visade 99 % noggrannhet vid kartläggning av hjärndata på både objekt- och handlingsbaserade klassificerare.

När det gäller avkodning av videoinnehåll från hundarna fungerade inte modellen för objektklassificerarna. Den var dock 75 % till 88 % korrekt vid avkodning av åtgärdsklassificeringarna för hundarna.

Resultaten tyder på stora skillnader i hur hjärnan hos människor och hundar fungerar.

"Vi människor är väldigt objektorienterade", säger Berns. "Det finns 10 gånger så många substantiv som det finns verb i det engelska språket eftersom vi har en speciell besatthet av att namnge objekt. Hundar verkar vara mindre bekymrade över vem eller vad de ser och mer bekymrade över själva handlingen."

Hundar och människor har också stora skillnader i sina visuella system, konstaterar Berns. Hundar ser bara i nyanser av blått och gult men har en något högre täthet av synreceptorer utformade för att upptäcka rörelse.

"Det är helt logiskt att hundars hjärnor först och främst kommer att vara mycket inställda på handlingar", säger han. "Djur måste vara mycket bekymrade över saker som händer i deras miljö för att undvika att bli uppätna eller för att övervaka djur som de kanske vill jaga. Handling och rörelse är av största vikt."

För Philips är det viktigt att förstå hur olika djur uppfattar världen för hennes nuvarande fältforskning om hur återintroduktion av rovdjur i Moçambique kan påverka ekosystemen. "Historiskt har det inte funnits mycket överlappning inom datavetenskap och ekologi", säger hon. "Men maskininlärning är ett växande område som börjar hitta bredare tillämpningar, inklusive inom ekologi."

Ytterligare författare till uppsatsen inkluderar Daniel Dilks, Emory docent i psykologi, och Kirsten Gillette, som arbetade på projektet som Emory grundexamen i neurovetenskap och beteendebiologi. Gilette har sedan dess tagit examen och går nu på ett postbaccalaureate-program vid University of North Carolina.

Daisy ägs av Rebecca Beasley och Bhubo ägs av Ashwin Sakhardande. + Utforska vidare

En hunds dilemma:Föredrar hundar beröm eller mat?