Jag kan fortfarande komma ihåg min förvåning när en bok av evolutionärbiologen Peter Lawrence fick titeln Tillverkningen av en fluga kom att prissättas på Amazon till $23, 698, 655,93 (plus 3,99 USD frakt). Medan mina kollegor runt om i världen måste ha blivit ganska deprimerade över att en akademisk bok skulle kunna uppnå en sådan bedrift, det höga priset var faktiskt resultatet av algoritmer som matade varandra och spiralerade utom kontroll. Det visar sig, det var inte bara säljpersonal som var kreativ:algoritmerna gjorde skott.

Detta iögonfallande exempel upptäcktes och korrigerades. Men tänk om sådana algoritmiska störningar händer hela tiden, inklusive på sätt som vi inte ens märker? Om vår verklighet blir alltmer konstruerad av algoritmer, var lämnar detta oss människor?

Inspirerad av sådana exempel, min kollega Prof Allen Lee och jag gav oss nyligen ut för att utforska de djupare effekterna av algoritmisk teknologi i en artikel i Journal of the Association for Information Systems. Vår utforskning ledde oss till slutsatsen att, över tid, rollerna för informationstekniken och människorna har vänts om. Förr, vi människor använde teknik som ett verktyg. Nu, teknologin har avancerat till den punkt där den använder och till och med kontrollerar oss.

Vi människor är inte bara avskurna från de beslut som maskiner fattar för oss utan djupt påverkade av dem på oförutsägbara sätt. Istället för att vara central i det beslutssystem som påverkar oss, vi kastas ut i dess miljö. Vi har successivt begränsat vår egen beslutsförmåga och låtit algoritmer ta över. Vi har blivit konstgjorda människor, eller mänskliga artefakter, som skapas, formas och används av tekniken.

Det finns gott om exempel. I lagen, juridiska analytiker ersätts gradvis med artificiell intelligens, vilket innebär att ett framgångsrikt försvar eller lagföring av ett mål delvis kan förlita sig på algoritmer. Programvara har till och med fått förutsäga framtida brottslingar, ytterst kontrollera mänsklig frihet genom att forma hur villkorlig frigivning nekas eller beviljas fångar. På det här sättet, domarnas sinnen formas av beslutsmekanismer som de inte kan förstå på grund av hur komplex processen är och hur mycket data den involverar.

På arbetsmarknaden, överdrivet beroende av teknik har fått några av världens största företag att filtrera CV:n genom mjukvara, vilket innebär att mänskliga rekryterare aldrig ens kommer att titta på vissa potentiella kandidaters detaljer. Detta sätter inte bara människors försörjning på maskinernas nåd, det kan också bygga in anställningsfördomar som företaget inte hade någon önskan att genomföra, som hände med Amazon.

I nyheterna, så kallad automatiserad sentimentanalys analyserar positiva och negativa åsikter om företag baserat på olika webbkällor. I tur och ordning, dessa används av handelsalgoritmer som fattar automatiserade finansiella beslut, utan att människor faktiskt behöver läsa nyheterna.

Oavsiktliga konsekvenser

Faktiskt, Algoritmer som fungerar utan mänsklig inblandning spelar nu en betydande roll på finansmarknaderna. Till exempel, 85 % av all handel på valutamarknaderna sker enbart av algoritmer. Det växande algoritmiska vapenloppet för att utveckla allt mer komplexa system för att konkurrera på dessa marknader innebär att enorma summor fördelas enligt maskinernas beslut.

I liten skala, människorna och företagen som skapar dessa algoritmer kan påverka vad de gör och hur de gör det. Men eftersom mycket av artificiell intelligens innebär programmering av mjukvara för att ta reda på hur man slutför en uppgift själv, vi vet ofta inte exakt vad som ligger bakom beslutsfattandet. Som med all teknik, detta kan leda till oavsiktliga konsekvenser som kan gå långt utöver vad formgivarna någonsin hade föreställt sig.

Ta 2010 års "Flash Crash" av Dow Jones Industrial Average Index. Algoritmernas verkan bidrog till att skapa indexets enskilt största nedgång i dess historia, torkar nästan 9 % av dess värde på några minuter (även om det återfick det mesta av detta i slutet av dagen). En fem månader lång undersökning kunde bara antyda vad som utlöste nedgången (och olika andra teorier har föreslagits).

Men algoritmerna som förstärkte de initiala problemen gjorde inget misstag. Det fanns ingen bugg i programmeringen. Beteendet uppstod ur interaktionen mellan miljontals algoritmiska beslut som spelade ut varandra på oförutsägbara sätt, följa sin egen logik på ett sätt som skapade en nedåtgående spiral för marknaden.

Förhållandena som gjorde detta möjligt uppstod pga. över åren, de människor som driver handelssystemet hade kommit att se mänskliga beslut som ett hinder för marknadens effektivitet. Tillbaka 1987 när den amerikanska börsen föll med 22,61 %, vissa Wall Street-mäklare slutade helt enkelt ta upp sina telefoner för att slippa ta emot sina kunders order om att sälja aktier. Detta startade en process som som författaren Michael Lewis uttryckte det i sin bok Flash Boys, "har slutat med att datorer helt har ersatt människorna".

Finansvärlden har investerat miljoner i supersnabba kablar och mikrovågskommunikation för att raka bara millisekunder från den hastighet med vilken algoritmer kan överföra sina instruktioner. När hastigheten är så viktig, en människa som kräver enorma 215 millisekunder för att klicka på en knapp är nästan helt överflödig. Vårt enda återstående syfte är att konfigurera om algoritmerna varje gång systemet med tekniska beslut misslyckas.

När nya gränser sätts mellan människor och teknik, vi måste tänka noga på vart vårt extrema beroende av programvara tar oss. Eftersom mänskliga beslut ersätts av algoritmiska, och vi blir verktyg vars liv formas av maskiner och deras oavsiktliga konsekvenser, vi förbereder oss för teknisk dominans. Vi måste bestämma oss, while we still can, what this means for us both as individuals and as a society.

Den här artikeln är återpublicerad från The Conversation under en Creative Commons-licens. Läs originalartikeln.