Forskare vid Idiap och EPFL har arbetat med psykologer för att förstå hur människor bildar första intryck från foton. De fokuserade på hur människor reagerar på fastigheter som finns tillgängliga på Airbnb. Bättre analys av mänskligt beteende bör göra det möjligt för forskare att programmera maskiner som kan fatta mer ”mänskliga” beslut.

Med bara några klick på TripAdvisor eller Airbnb, du kan boka en romantisk lägenhet för en helg med din partner, eller en elegant restaurang för en affärslunch. De snabba besluten, baseras främst på bilder, är långt ifrån triviala med tanke på deras kommersiella betydelse och den ekonomiska revolution som representeras av tillkomsten av on-demand ekonomi-webbplatser som Airbnb. Men vad är det med en bild som får oss att beskriva en inredning som "trendig", "färgglada" eller "praktiska"? För att svara på den frågan, forskare vid Idiap Research Institute och på EPFL har arbetat med psykologer från University of Lausanne. De vill få en bättre förståelse för sociala medieuppfattares uppfattningar och beteende och sedan använda denna kunskap för att programmera datorer som kan fatta beslut på ett mer mänskligt sätt. "I en tid med big data, maskiner ligger alltmer bakom ett stort antal beslut, "förklarar Daniel Gatica-Perez, adjungerad professor vid EPFL School of Engineering and Digital Humanities Institute. "Vårt mål är att göra dem så lika som mänskliga beslut som möjligt."

Ett samarbete mellan psykologer och ingenjörer

För att förstå hur ett första intryck bildas, forskare genomförde först intervjuer med gäster och resenärer, frågar dem hur de väljer boende. De använde 350, 000 bilder av 22, 000 fastigheter listade på Airbnb i Schweiz och Mexiko, och applicerade på dem en algoritmisk analys för att kontrollera att de var bilder av interiörer. De valde sedan ut 200 fastigheter slumpmässigt och skickade en lista med adjektiv till onlineobservatörer. Dessa observatörer var tvungna att bestämma hur exakt adjektiven beskrev varje egenskap, på en skala från 1 till 7. Vissa adjektiv var mer sakliga (som "ren" och "rörig"), medan andra var mer subjektiva (som "bohemiska" och "charmiga"). Det stadiet, utförs i samarbete mellan psykologer och ingenjörer, avslöjade vilka egenskaper alla deltagare var överens om och vilka de var oense om. För fastigheter som beskrivs som "färgglada" eller "mörka, "De flesta svarande höll med om dessa adjektiv och poängen var mycket lika. Poäng för andra adjektiv, som "avslappnad" eller "traditionell, "varierade mycket beroende på fastigheten.

Analysera människans uppfattning online

Forskarna utförde sedan modellering baserat på de inhämtade uppgifterna. De försökte upptäcka vilka egenskaper hos fotona som fick deltagarna att beskriva dem med ett givet adjektiv, för att programmera datorer att känna igen dem. Nästa, de tittade på i vilken utsträckning adjektiven var sammanlänkade. Kommer människor som beskriver en fastighet som "färgstark" också att associera adjektivet "rent" med den egenskapen? Vad är sambandet mellan "pretentiös, "trendig, "" organiserad "och" stor "? Hur är positiva och negativa adjektiv, och sakliga och subjektiva adjektiv, sammanhängande? Och varför är adjektivet "romantisk" mer förknippat med "sofistikerat" än med "trendigt"? "Vi kan förvänta oss att" stora "och" rymliga "kommer att vara mycket nära varandra i människors sinne, och 'rörigt' och 'tomt' för att vara väldigt långt ifrån varandra, "säger Gatica-Perez." Men relationerna är mer komplexa. Med vårt system, om vi känner igen en egenskap, vi kan också associera andra adjektiv kopplade till dem i människors sinnen. "

Maskiner som hjälper människor

Till sist, forskarna tog fastighetsbilderna och tillämpade algoritmer som används inom djupinlärning, att jämföra resultaten med de som erhållits från människor. Så småningom, proffs som arkitekter eller formgivare kan tillämpa resultaten på foton av interiörer. Laboratoriet övervakar också utvecklingen av bilddelningswebbplatser som, för en given plats, visa mycket olika foton - professionella och amatörer - vilket leder till mycket olika uppfattningar. Dock, forskarnas huvudsakliga mål är att förstå bildens egenskaper och de samband som avgör hur vi skapar intryck, så att de kan programmera datorer för att imitera dem. "Vi hör ofta att maskiner fungerar bättre än människor, "avslutar Gatica-Perez." Vårt mål är annorlunda:vi vill träna maskiner för att känna igen dessa finesser som människor uppfattar och uttrycker i sitt dagliga liv, och att använda dem för att stödja människors verkliga behov. "

"Check Out This Place:Inferring Ambiance from Airbnb Photos" publiceras i IEEE -transaktioner på multimedia .