Plattformen Tumblr har beslutat att inte längre tillåta vuxeninnehåll. Förbudet träder i kraft 17 december, 2018, och för att genomdriva det, Tumblr verkar ha distribuerat en bot som är enastående dålig på sitt jobb, flagga oskyldigt innehåll som pornografiskt och få både användare och tekniska experter att undra varför boten är så dålig på vad den gör. En del av svaret är att måttlighet med artificiell intelligens är en extremt svår uppgift.

Många av de subtiliteter som är involverade i att bestämma vilket innehåll vi tycker är acceptabelt eller stötande måste skrivas ner i sten, och vår historia med att göra det är inte så bra. Faktiskt, vi har problem med att identifiera något som pornografiskt i första hand. Den avlidne högsta domstolen i USA, Potter Stewart, sammanfattade känslan i en dom om ett obscenitetsfall (Jacobellis v. Ohio) med frasen "Jag vet det när jag ser det."

Den känslan har visat sig vara lika vag i praktiken som den är i mening. Här är ett exempel:En bild på en man med erektion måste vara otrevlig, höger? Men tänk om det här är för en medicinsk illustration av priapism, ett ofta smärtsamt tillstånd som orsakar en långvarig erektion, och det visas på en medicinsk plats? Om någon representation av en vulva är obscen, betyder det konstnären Georgia O'Keeffes verk, vars målningar av blommor ofta anses vara visuella metaforer för kvinnlig anatomi, måste flaggas i konsthistoriska artiklar?

Sociala nätverk och innehållsplattformar möter dessa situationer hela tiden. Till exempel, i en stor PR -incident 2016, Facebook censurerade det Pulitzer-prisbelönta fotot av en naken 9-årig Kim Phuc som sprang i terror från en napalmattack under Vietnamkriget; fotot publicerades av Norges mest framstående tidning för en relevant artikel om krigföring. Däremot, Twitter-användare kunde inte övertyga den plattformen att stänga nynazistiska konton förrän i slutet av 2017. Med olika filosofier och till synes godtyckliga, kontextfria regler som kan förvirra även mänskliga moderatorer, Det är inte konstigt att algoritmer har svårt att ta reda på vad de ska flagga.

Tumblrs system verkar leta efter en mängd av vad det ser som exponerad hud i bilder, eller former som den tror kan vara bröstvårtor eller könsorgan. Tyvärr, många godartade närbilder på icke-erogena delar av människokroppen överskrider tröskeln för hur mycket bar kött en bild visar, som Dan Fallon skriver för Digg noterade. Vissa föremål som träd kan också se falliska ut. Och i ett till synes oförklarligt fall, Fallon skrev, en landskapsfotografs mycket oskyldiga bilder på naturen flaggades som problematiska, för. Detta, dock, är inte ovanligt för sådana algoritmer. Andra iterationer av censorbots har flaggat bilder av sanddyner och stränder eftersom sandens färg liknade hudens färg enligt deras träningsdatauppsättningar.

Detta systematiska fel är också meningsfullt när man tänker på hur många hudtoner människor har. Färger från en ljus beige till nästan svart förekommer alla naturligt, och beroende på hur en AI tränas eller en sensor kalibreras, det kanske inte förstår att mörkare hudfärger ens finns. Som ett resultat, en algoritm som är utbildad för att upptäcka och censurera pornografiska bilder med kaukasiska artister kanske inte kan flagga lika tydliga bilder med mörkhyade modeller. En av de enkla lösningarna för det är att överkompensera, flagga allt och motivera de falska positiva som bättre än att inte fånga tillräckligt med vuxeninnehåll, vilket är vad Tumblr verkar ha gjort i krypteringen för att sanera dess innehåll. Tumblr lämnade inte tillbaka begäranden om kommentar om det fanns ett ytterligare lager till dess moderering.

I sista hand, det återstår att se om en alltför nitisk censuralgoritm kommer att driva användare som inte publicerar vuxeninnehåll från plattformen också, eller om det kommer att ringas upp. Men Tumblrs mycket offentliga och aggressiva överflaggning belyser några av de många svårigheterna med att moderera onlinemedier. Så misstag kommer att fortsätta att göras, och görs ofta. Tills vi kan ta reda på hur vi ska hantera dessa bekymmer, människor kommer att behöva övervaka alla verkligt framgångsrika modereringsinsatser.

Till och med grusiga Garfield blev bannlyst från Tumblr i den första svepningen, som många artiklar noterade.