Algoritmer börjar bli vanliga. De kan fastställa anställningsmöjligheter, ekonomisk trygghet och mer. Användningen av algoritmer kan vara kontroversiell – till exempel robodebt, eftersom den australiensiska regeringens bristfälliga system för efterlevnad av välfärd på nätet kom att bli känt.

Algoritmer används i allt större utsträckning för att fatta beslut som har en bestående inverkan på våra nuvarande och framtida liv.

Några av de största effekterna av algoritmiskt beslutsfattande finns inom utbildning. Om du har något att göra med en australisk skola eller ett universitet, kommer i något skede en algoritm att fatta ett beslut som är viktigt för dig.

Så vilken typ av beslut kan involvera algoritmer? Vissa beslut kommer att innebära nästa fråga som skolelever ska svara på på ett test, till exempel tillhandahållandet av NAPLAN online. Vissa algoritmer stödjer mänskligt beslutsfattande på universitet, som att identifiera studenter som riskerar att bli underkända i ett ämne. Andra tar människan ur slingan, som vissa former av tentamensledning online.

Hur fungerar algoritmer?

Trots deras genomgripande inverkan på våra liv är det ofta svårt att förstå hur algoritmer fungerar, varför de har designats och varför de används. Eftersom algoritmer blir en viktig del av beslutsfattande inom utbildning – och många andra aspekter av våra liv – behöver människor veta två saker:

1. hur algoritmer fungerar
2. de typer av avvägningar som görs i beslutsfattande med hjälp av algoritmer.

I forskning för att utforska dessa två frågor utvecklade vi ett algoritmspel med hjälp av deltagande metoder för att involvera olika intressenter i forskningen. Processen blir en form av kollektivt experimenterande för att uppmuntra nya perspektiv och insikter i en fråga.

Vårt algoritmspel är baserat på den brittiska examenskontroversen 2020. Under covid-19-lockdowns användes en algoritm för att fastställa betyg för studenter som vill studera på universitet. Algoritmen förutspådde betyg för vissa elever som var mycket lägre än förväntat. Inför protester skrotades algoritmen så småningom.

Löjligt skyllspel:skyll på människan inte algoritmen—" Premiärminister Boris Johnson skyller på "mutant algoritm" för fiaskot för gymnasieexamen i Storbritannien " https://t.co/6z49scUYHd cc @zeynep @soizicpenicaud @HenriVerdier

— Martin Tisné (@martintisne) 26 augusti 2020

Vårt tvärvetenskapliga team designade det brittiska examensalgoritmspelet under en serie av två workshops och flera möten i år. Våra workshops omfattade studenter, datavetare, etiker och samhällsvetare. Sådana tvärvetenskapliga perspektiv är avgörande för att förstå omfånget av sociala, etiska och tekniska implikationer av algoritmer i utbildning.

Algorithmer gör avvägningar, så transparens behövs

Det brittiska exemplet belyser nyckelfrågor med att använda algoritmer i samhället, inklusive frågor om transparens och partiskhet i data. Dessa frågor är viktiga överallt, inklusive Australien.

Vi designade algoritmspelet för att hjälpa människor att utveckla verktygen för att ha mer att säga till om i att forma världen som algoritmer skapar. Algoritm "spel" inbjuder människor att leka med och lära sig om parametrarna för hur en algoritm fungerar. Exempel inkluderar spel som visar människor hur algoritmer används vid straffrättsliga straff, eller som kan hjälpa till att förutsäga brandrisk i byggnader

Det finns en växande allmänhetens medvetenhet om att algoritmer, särskilt de som används i former av artificiell intelligens, måste förstås som att de väcker frågor om rättvisa. Men även om alla kan ha en folklig förståelse för vad som är rättvist eller orättvist, när algoritmer används är många avvägningar inblandade.

I vårt algoritmspel tar vi människor genom en serie problem där lösningen på ett rättviseproblem helt enkelt introducerar ett nytt. Till exempel fungerade den brittiska algoritmen inte särskilt bra för att förutsäga betygen för elever i skolor där ett mindre antal elever tog vissa ämnen. Detta var orättvist för dessa elever.

Lösningen innebar att algoritmen inte användes för dessa ofta mycket privilegierade skolor. Dessa elever fick sedan betyg som deras lärare förutspådde. Men dessa betyg var för det mesta högre än de algoritmgenererade betyg som fick elever i större skolor, som oftare var statliga grundskolor. Så detta innebar att beslutet var rättvist för elever i små skolor, orättvist för de i större skolor som hade betyg tilldelade av algoritmen.

Det vi försöker visa i vårt spel att det inte går att få ett perfekt resultat. Och att varken människor eller algoritmer kommer att göra en uppsättning val som är rättvisa för alla. Det betyder att vi måste fatta beslut om vilka värden som spelar roll när vi använder algoritmer.

Allmänheten måste ha inflytande för att balansera kraften i EdTech

Medan vårt algoritmspel fokuserar på användningen av en algoritm som utvecklats av en regering, introduceras vanligtvis algoritmer inom utbildning som en del av pedagogisk teknik. EdTech-branschen expanderar snabbt i Australien. Företag strävar efter att dominera alla stadier av utbildningen:inskrivning, inlärningsdesign, inlärningsupplevelse och livslångt lärande.

Parallellt med denna utveckling har COVID-19 påskyndat användningen av algoritmiskt beslutsfattande inom utbildning och vidare.

Även om dessa innovationer öppnar fantastiska möjligheter, för med sig algoritmer också en uppsättning utmaningar som vi måste möta som samhälle. Exempel som den brittiska examensalgoritmen utsätter oss för hur sådana algoritmer fungerar och vilka typer av beslut som måste fattas när de utformas. Vi tvingas då svara på djupa frågor om vilka värderingar vi kommer att välja att prioritera och vilken färdplan för forskning vi tar vidare.

Våra val kommer att forma vår framtid och framtiden för kommande generationer.