Vi bär den, se upp, arbeta med det - och kan drabbas av separationsångest när det inte är tillgängligt. Vad är konsekvenserna av mänsklig interaktion med teknik, särskilt när det används för att förutsäga eller polisera oss?

Som en del av sitt första program, Algoritmisk kultur, institutet för policy, Etik, och kultur vid Michigan Technological University förde social rättvisa förespråkare och tänkande ledare Marika Pfefferkorn till campus för att prata om hennes arbete. I denna Q&A, Pfefferkorn berättar mer om sin gräsrotsaktivism, hur det sprider sig över hela landet och de åtgärder hon hoppas att vårt samhälle kommer att vidta efter hennes besök.

F:Vad gör du och hur kom du in på detta arbete?

A:Minneapolis-St. Paul-baserade Twin Cities Innovation Alliance (TCIA) är en koalition som representerar en tvärsektor av allmänheten, privata och lokala organisationer, företag och institutioner. TCIA grundades för att vara proaktiv när det gäller uppkomsten av smarta städer och för att engagera sig i entreprenörslösningar som leder till anslutna samhällen. Vi fokuserar på vikten och rollen av data inom Smart Cities domäner, inklusive utbildning, styrning, infrastruktur och transport.

Data är som syre för Smart Cities, och vi insåg från början att det var och är absolut nödvändigt att dela med medlemmarna i samhället de löften och faror som finns på grund av användningen av deras data. Nu expanderar vårt arbete rikstäckande.

F:Vad fick dig att intressera dig för den inneboende biasen i prediktiva algoritmer?

A:År 2018, 43 skoldistrikt i Minnesota identifierades av Minnesota Department of Human Rights för att diskriminera svart, bruna och inhemska elever i subjektiva avstängningar utanför skolan. När Ramsey County, St Paul och St. Paul offentliga skolor ingick ett gemensamt befogenhetsavtal med integrerad datadelning, de föreslog att tillämpa prediktiv analys och använda en riskbedömning för att tilldela en riskpoäng till flagga barn i riskzonen för framtida engagemang i det unga rättssystemet. När jag fick veta att de föreslog att använda avstängningar utanför skolan som en indikator för deras riskbedömning, Jag var orolig eftersom uppgifterna de skulle skriva in var felaktiga och rasistiskt partiska mot studenter av färg och studenter som fick specialundervisningstjänster. Jag insåg att beslutsfattare och beslutsfattare inte hade gjort sin due diligence för att skydda våra elever från rasprofilering eller stigmatisering av etiketter som skulle följa dem långt bortom deras K-12-utbildning.

F:Du upptäckte att både familjer som kan påverkas av en problematisk algoritm och tjänstemän som stödde datadelningsavtalet som ett mer effektivt och effektivt sätt att hjälpa sina samhällen hade kunskapsluckor och/eller kände sig skrämda att diskutera digital teknik. Hur fungerade koalitionen du organiserade för att få information till människor?

A:När vi först insåg att ingen riktigt förstod konsekvenserna av ett sådant expansivt gemensamt maktavtal, koalitionen för att stoppa vaggan till fängelse -algoritmen investerade tid i att bryta ner dokumentet bit för bit:om vi hade frågor som vi ställde, om vi hade farhågor namngav vi dem och om vi behövde tydlighet fick vi tillgång till vårt communitynätverk och kontaktade partners som Minnesota ACLU och Data for Black Lives. Som vi lärde oss, vi skapade verktyg som alla kan använda som katalysator för mer konstruktiva samtal. Ett exempel på detta är den policyinformation som vi skapade och delade med våra valda tjänstemän och intressenter för att förklara våra bekymmer och belysa problematiska aspekter av avtalet. Vi engagerade föräldrar som ambassadörer och stödde deras ansträngningar för att få ut budskapet. Vi var värd för flera communitytoppmöten och forum som placerade andra communitymedlemmar som experter för att prata om vad som pågick och deras bekymmer. Vi var värd för en Dare to Data -klinik och en workshop för algoritmisk förbättring för att hjälpa till att avbryta mycket av skrämseln som våra samhällsmedlemmar kände när de navigerade juridiskt eller tekniskt språk med valda tjänstemän och beslutsfattare.

F:Människor kan få intrycket av att du är antidata. Är det så?

A:Jag skrattar när folk tror att jag är antidata eftersom så mycket av mitt arbete är beroende av att ha tillgång till bra data för att berätta hela historien. För många människor i detta arbete, det finns inga problem - om du inte kan bevisa att det finns ett problem med data. Mycket av mitt arbete med disciplinskillnader kräver att jag förespråkar större datainsamling kring avstängningar, remisser och utvisningar från kontoret; min oro kommer alltid att vara hur vi skyddar elevdata från missbruk och missbruk - varför är verkligen viktigt.

F:Ibland känns det som att många av oss helt enkelt går från dator till dator, från våra klockor och bilar till våra hemassistenter. Hur tror du att ett korrekt förhållande till teknik ser ut?

A:Ett ordentligt förhållande till teknik börjar med att förstå att teknik är ett verktyg och att komma ihåg att vår mänsklighet kommer först. Tekniken är inte silverkulan, teknik är inte svaret på allt, och tekniken måste hållas i rätt perspektiv, inte skjutits upp till neutralt, ovanstående fråga. Viktigast, teknikens roll måste göras transparent.

F:De senaste rubrikerna, inklusive anklagelser om kreditkorts könsfördomar och insamling av "hemliga" ekonomiska poäng (sidor och sidor med data, baserat på allt från beställningar av mat till TV-vanor) avslöjar hur lite integritet vi faktiskt har. Är sekretess möjligt i en algoritmisk tid?

S:Vi är vid en vändpunkt i vår demokrati där människor är villiga att ge bort barnet med badvattnet utan att riktigt förstå den långsiktiga effekten av integritet i en algoritmisk tidsålder. Teknikföretag gör banker om detta. Jag tror att det är föräldrarnas roll, pedagoger, skoldistrikt, stater och den federala regeringen för att bättre rusta människor att förstå och navigera i denna nya tekniska era - särskilt våra digitala infödda som inte vet annorlunda. En massutbildning måste prioriteras om vi ska skydda de integritetsskydd som finns. Vi kan inte ta vår integritet för givet.

F:Du träffade lärare, studenter och personal tidigare denna månad. Vilka är några av de mest meningsfulla interaktioner du hade på campus?

A:Jag njöt verkligen av mitt Michigan Tech -besök. Jag lärde mig så mycket om Institute for Policy, Etik, och kultur från de grundläggande kommittémedlemmarna som jag träffade - jag hörde deras vision för IPEC komma till liv när de beskrev det arbete de hoppas kunna utföra. Jag hoppas att jag kommer att få möjlighet att fortsätta arbeta med dem när de genomför detta arbete.

Min favoritdel av besöket var att umgås med studenter i en juridik- och samhällsklass, och möte med datavetenskapliga fakulteter och studenter. Även om många av de elever jag interagerade med kan ha en helt annan världsbild, genom vårt berättande och diskussion fann jag en gemensam grund och ett genuint intresse för ämnena big data, prediktiv analys och algoritmer. Jag gick också iväg med en ny läslista. Jag upptäckte att de flesta studenter verkligen brydde sig, ställde stora frågor och var engagerade i konversationen eftersom de skapade en personlig koppling mellan teori och verklig upplevelse.

F:Vad är det du tog med till vårt samhälle som du hoppas kommer att stanna hos oss?

A:Integrerad datadelning, tillämpningen av prediktiv analys och användning av algoritmer är inte en ny metod, but community members must be aware and prepared to participate in discussions and decision-making processes about their use to ensure that outcomes are not separate from the communities they are intended to serve and to know that certain students are more negatively impacted from others. When we talk about data and systems, we must recognize the harm that communities have experienced in the misuse of data and systems, and the individuals that represent them must do everything in their power to repair that harm and begin to build trust before any next steps are taken.

Q:What's next for your projects?

A:The Twin Cities Innovation Alliance has launched the Data for Public Good Campaign to work side by side with communities to identify emerging technological trends in education across the country for the purpose of creating a heat map to follow the development, resources and policies at play. We will convene these community co-researchers to identify recommendations and guidelines from a community perspective as another tool for communities to use in protecting individual data and ensuring trust between systems and communities.