Hur känner vi igen två personer som familj eller främlingar från en bild? Scenerna, personers utseende, och interaktioner mellan personer och kontextuella objekt är viktiga ledtrådar för igenkänning. Kredit:Zhang et al.
Ett team av forskare vid Beijing University och JD AI Research har nyligen utvecklat ett resonemangsramverk med flera granulariteter för erkännande av sociala relationer. Deras ramar, beskrivs i en förpublicerad tidning på arXiv, tränades i att analysera bilder av människor i olika scener och förutsäga den sociala relationen mellan dem.
Att effektivt sluta sig till sociala relationer mellan människor kan hjälpa intelligenta agenter att nå en bättre förståelse av mänskliga beteenden och känslor. Bildbaserad social relationsigenkänning innebär förmågan att klassificera relationen mellan par av människor i en bild i fördefinierade relationstyper, som vänner, familj, bekanta, främlingar, etc.
Bildbaserade verktyg för identifiering av sociala relationer kan ha en mängd användbara applikationer, till exempel, i personlig bildsamlingsbrytning och förståelse för sociala händelser. De senaste framstegen inom djupinlärning har öppnat nya möjligheter för erkännande av sociala relationer, leder till betydande prestationsförbättringar.
Ändå, att automatiskt känna igen sociala relationer i bilder har hittills visat sig vara utmanande, särskilt på grund av den betydande klyftan mellan domänerna för visuellt innehåll och sociala relationer. De flesta befintliga metoder fungerar genom att separat bearbeta funktioner som ansiktsuttryck, kroppsutseende och kontextuella ledtrådar.
"Befintliga metoder för erkännande av sociala relationer använder vanligtvis visuella funktioner på låg nivå som utseendet på personer, ansiktsattribut och kontextuella objekt, " skrev forskarna i sin uppsats. "Även om vissa metoder utforskar relationerna mellan personer och föremål, de tar bara hänsyn till samexistensen i en bild. Dock, endast beroende på singelgranularitetsrepresentationen kan knappast övervinna domängapet mellan visuella egenskaper och sociala relationer."
En översikt över resonemangsramverket med flera granulariteter. Kredit:Zhang et al.
Genom att analysera funktioner individuellt, existerande sociala relationsigenkänningsmetoder misslyckas vanligtvis med att fånga multi-granularitetssemantik, till exempel övergripande scener eller var människor befinner sig i en bild, samt interaktioner mellan människor och föremål. För att komma till rätta med dessa begränsningar, teamet av forskare vid Beijing University och JD AI Research utarbetade ett resonemangsramverk med flera granulariteter för igenkänning av sociala relationer i bilder.
Deras ramverk får global kunskap från hela scenen och detaljer på mellannivå från de regioner där människor och föremål befinner sig i en bild. Den utforskar också de finkorniga ställningarnas nyckelpunkter för människor för att avslöja interaktioner mellan människor och föremål.
"Specifikt, den poseguidade Person-Objekt-grafen och Person-Pose-grafen föreslås för att modellera handlingar från personer till objekt och interaktionerna mellan parade personer, respektive, " förklarade forskarna i sin uppsats. "Baserat på dessa grafer, sociala relationsresonemang utförs av graffalsningsnätverk. Till sist, de globala särdragen och den motiverade kunskapen är integrerade som en övergripande representation för erkännande av sociala relationer."
Forskarna utvärderade sin modell på två storskaliga sociala relationsdatauppsättningar, nämligen dataseten People in Social Context (PISC) och People in Photo Album (PIPA). PISC-dataset innehåller bilder av vanliga sociala relationer i det dagliga livet, medan PIPA-datauppsättningen innehåller bilder kommenterade baserat på teorin om sociala domäner, som delar upp det sociala livet i fem domäner och 16 olika relationer. I dessa tester, deras modell uppnådde anmärkningsvärda resultat, överträffar en mängd olika toppmoderna metoder.
Trots dessa uppmuntrande resultat, att utveckla verktyg för att känna igen sociala relationer är fortfarande mycket utmanande, särskilt när dessa är intima relationer, som de mellan vänner, familjer eller par, som kan vara svårt att urskilja för mänskliga tittare, för. I framtiden, forskarna planerar att utforska nya sätt att upptäcka kontextsignaler i bilder och övervinna de utmaningar som är förknippade med brist på tillgängliga data för vissa typer av sociala relationer.
© 2019 Science X Network
