Rekommendationsverktyg för artificiell intelligens (AI) används i stor utsträckning av branscher som e-handel, media, bank och allmännyttiga företag. Verktygets algoritm använder webbplatsbesökarnas tidigare onlineaktivitet och annan data, både implicit och explicit, för att förutsäga vad besökaren skulle vilja se eller köpa härnäst, och presenterar sedan dessa alternativ för dem. Detta kan vara mycket fördelaktigt; till exempel för kunder kan rekommenderaren spara tid genom att föreslå alternativ som är skräddarsydda efter deras smak och behov. Medan det för företag kan uppmuntra konsumenter att spendera mer via sin webbplats och öka kundlojaliteten:i fallet med streamingjätten Netflix uppskattas det att dess rekommendationsmotor genererar 1 miljard dollar årligen.

En grupp forskare från Kina, Finland och Korea gav sig i kast med att avslöja de potentiella negativa effekterna av dessa AI-verktyg. Som medförfattare Sihua Chen, från Kinas Jiangxi University of Finance and Economics, förklarar att "varje mynt har två sidor, och med penetrationen av AI-rekommendatorer i våra liv blir nackdelarna mer uppenbara." Forskningen publicerades först online den 10 augusti 2021 i Journal of Management Science and Engineering , och är planerad att publiceras i tryck december 2021.

Efter att ha granskat tidigare forskning om ämnet byggde teamet en empirisk modell som avslöjar hur en kunds preferenser påverkar deras köpbeslut och vilken roll AI-rekommendationer spelar i den processen. De var särskilt intresserade av att utforska fenomenet "informationskokon" på internet:när människor står inför en stor mängd information online tenderar människor att bara se det de vill se.

Forskarna genomförde två experiment med Jingdong och Taobao, de två största shoppingplattformarna online i Kina. Enligt författaren Jian Mou, från Koreas Pusan ​​National University, "fann de att AI-rekommendationen förstärkte informationskokongeffekten. Med andra ord, människor ser vad de vill se, och sedan väljer webbplatsens AI-rekommenderaralgoritm innehåll för dem baserat på dessa preferenser. Detta påverkar kvaliteten på kundens köpbeslut negativt."

Medförfattare Mikko Siponen, vid Finlands universitet i Jyväskylä, tillägger att "liksom med många andra nya teknologier är AI-rekommendationer en källa till oavsiktliga konsekvenser. Våra resultat har viktiga konsekvenser för konsumenter, särskilt inom e-handelsbranschen - om de vill för att fatta oberoende inköpsbeslut måste de undvika det överväldigande inflytandet från AI-rekommendatorverktyg."