Onlinebutiker kan använda algoritmer för att ta ut vissa kunder högre priser än andra. Europeiska lagar erbjuder endast ett begränsat skydd mot sådan prisdifferentiering. Frederik Zuiderveen Borgesius, Professor i IKT och privaträtt vid Radboud University, har skrivit om just detta ämne i en artikel som publicerades i European Business Law Review.

Onlinebutiker som Bol.com och Amazon använder många algoritmer för att locka konsumenter att spendera sina pengar snabbare. Den genomsnittliga användaren är förmodligen van vid att se rekommenderade produkter som är baserade på tidigare köp och blinkande meddelanden när lagret har tagit slut, men vad händer om en algoritm användes för att visa ett individuellt pris för varje kund? Onlinebutiker kan justera priserna för vissa postnummer, eller till och med enskilda kunder på basis av IP-adresser och andra egenskaper.

Algoritmisk diskriminering och avtalsfrihet

Butiker som använder algoritmer hyser sällan diskriminerande avsikter, men användningen av algoritmer kan också oavsiktligt leda till diskriminering. Detta var fallet när en amerikansk handledningsinstitution tog ut högre priser för vissa områden. Invånarna i dessa kvarter var främst personer med asiatisk bakgrund, som fick betala mer för handledning. I vissa fall, prisskillnaden för varje kurs var så hög som $1, 800.

I princip, lagen tillåter prisdifferentiering. Avtalsfrihet spelar en viktig roll i europeisk rätt, vilket innebär att säljare får bestämma sitt eget försäljningspris. Men om prisdifferentiering leder till diskriminering av grupper med skyddade egenskaper, som etnicitet eller kön, lagar om icke-diskriminering kommer att träda i kraft.

Europeiska icke-diskrimineringsregler skyddar mot olika former av diskriminering, inklusive diskriminering på grund av etnicitet och kön. Indirekt diskriminering är också förbjuden. Kortfattat, indirekt diskriminering uppstår om en praxis är neutral vid första anblicken, men leder ändå till diskriminering av personer med en viss etnicitet (eller en skyddad egenskap).

Svårt att upptäcka

Om en webbutik anpassar sina priser efter kundens postnummer, detta anses vara en neutral praxis. Dock, om människorna som bor i det området mestadels har invandrarbakgrund, praktiken kan innebära en förbjuden form av indirekt diskriminering. Icke-diskrimineringslagstiftningen tycks därför skydda människor mot vissa former av prisdifferentiering.

"Men skyddet mot prisdifferentiering är begränsat", förklarar Zuiderveen Borgesius. Till att börja med, algoritmisk diskriminering kan förbli dold. "Anta att en webbutik tar ut ett högre pris i ett område där en majoritet av invånarna har turkisk bakgrund. Det är svårt för människorna inom detta område att se skillnad i priser. Det är bara när dessa priser jämförs med någon annans priser utanför området där du kan se skillnaden. Och även om vissa konsumenter kom på att de betalade mer än andra, de skulle fortfarande inte veta att människor med turkisk bakgrund betalar mer i allmänhet. Därav, konsumenterna skulle fortfarande inte vara medvetna om den indirekta diskrimineringen. Om konsumenterna inte inser att de utsätts för diskriminering, de kommer inte att utöva sin rätt till icke-diskriminering."

Ett andra problem är att förbudet mot indirekt diskriminering innehåller ett nyanserat undantag, vilket ofta är svårt att tillämpa i ett specifikt fall. Indirekt diskriminering är inte förbjuden om företaget eftersträvar ett legitimt mål och dess neutrala praxis utgör ett rimligt (proportionellt) medel.

"Om ett företag försökte göra extra vinst, en domare skulle förmodligen betrakta detta som ett legitimt mål", säger Zuiderveen Borgesius. Mer komplex är frågan om prisdifferentiering är ett rimligt medel. Detta svar beror på många faktorer. Hur stor är prisskillnaden? Gäller det kaviar eller andra lyxprodukter, eller snabbköpsprodukter som folk använder dagligen? En sådan nyanserad regel har fördelar, men nyansen sker på bekostnad av klarheten. Kortfattat, det finns ingen hård och snabb regel som tydligt dikterar vilka typer av prisdifferentiering som är tillåtna och vilka som är förbjudna.

Webbläsarinställningar och nya typer av diskriminering

Zuiderveen Borgesius:"Dessutom, algoritmer gör det möjligt att skilja mellan konsumenter på grundval av ett stort antal egenskaper. Europeiska lagar erkänner diskriminering på grund av etnicitet, kön, och andra sådana egenskaper. Dock, webbläsaren som du använder eller postnummerområdet där du bor är inte en skyddad egenskap. En webbutik kan följaktligen få folk att betala extra när de använder en viss webbläsare. Icke-diskrimineringslagen säger lite om detta, så länge som praktiken inte påverkar människor med en viss etnicitet eller annan skyddad egenskap."

Även om det för närvarande knappast verkar finnas några onlinebutiker som använder algoritmer för att bestämma olika priser för olika konsumenter, det finns en stor chans att detta kommer att förändras i framtiden. Det är delvis av denna anledning som den nederländska ministern Sander Dekker i ett brev till representanthuset meddelade att inrikes- och justitie- och säkerhetsministerierna undersöker hur diskriminering kan förebyggas när man erbjuder varor och tjänster. Zuiderveen Borgesius:"Det är troligt att ny lagstiftning kommer att behövas för att ge bättre skydd. När det kommer till frågan om hur vi kan skydda människor från de diskriminerande effekterna av algoritmer, mer forskning och debatt behövs."