Inte nöjd med att övervaka nästan allt du gör online, Facebook vill nu också läsa dina tankar. Sociala mediejätten tillkännagav nyligen ett genombrott i sin plan att skapa en enhet som läser människors hjärnvågor så att de kan skriva bara genom att tänka. Och Elon Musk vill gå ännu längre. Ett av Tesla-chefens andra företag, Neuralänk, utvecklar ett hjärnimplantat för att koppla människors sinnen direkt till en dator.

Musk erkänner att han hämtar inspiration från science fiction, och att han vill se till att människor kan "hänga med" med artificiell intelligens. Han verkar ha missat den del av sci-fi som fungerar som en varning för teknikens implikationer.

Dessa tankeläsningssystem kan påverka vår integritet, säkerhet, identitet, jämlikhet och personlig säkerhet. Vill vi verkligen ha allt det kvar till företag med filosofier som Facebooks tidigare mantra, "gå snabbt och bryta saker"?

Även om de låter futuristiska, Tekniken som behövs för att göra hjärnvågsavläsningsenheter skiljer sig inte så mycket från de vanliga neurovetenskapliga verktygen för MRI (magnetisk resonanstomografi) och EEG (elektroencefalografi) som används på sjukhus över hela världen. Du kan redan köpa ett kit för att styra en drönare med ditt sinne, så att använda ett för att skriva ut ord är, på vissa sätt, inte så mycket av ett språng. Framstegen kommer sannolikt att bero på användningen av maskininlärning för att sålla igenom enorma mängder data som samlats in från våra hjärnor och hitta mönstren i neuronaktivitet som kopplar tankar till specifika ord.

Ett hjärnimplantat kommer sannolikt att ta mycket längre tid att utveckla, och det är viktigt att separera Neuralinks faktiska prestationer från mediahype och marknadsföring. Men Neuralink har gjort samtidiga förbättringar av material för elektroder och robotassisterad kirurgi för att implantera dem, packar tekniken snyggt så att den kan läsas via USB.

Facebook och Neuralinks planer kan bygga på etablerad medicinsk praxis. Men när företag samlar in tankar direkt från våra hjärnor, de etiska frågorna är väldigt olika.

Alla system som kan samla in data direkt från våra hjärnor har tydliga integritetsrisker. Integritet handlar om samtycke. Men det är väldigt svårt att ge ett korrekt samtycke om någon slår direkt in i våra tankar. Silicon Valley-företag (och regeringar) samlar redan i smyg så mycket data om oss som de kan och använder det på ett sätt som vi hellre skulle vilja att de inte gjorde. Hur säkra kan vi vara på att våra slumpmässiga och personliga tankar inte kommer att fångas och studeras tillsammans med instruktionerna vi vill ge tekniken?

Diskriminering och manipulation

En av de befintliga etiska frågorna med datainsamling är diskriminering baserad på egenskaper som kön eller ras som kan urskiljas från data. Att ge ett fönster in i människors sinnen kan göra det lättare att avgöra andra saker som kan ligga till grund för fördomar, såsom sexualitet eller politisk ideologi, eller till och med olika sätt att tänka som kan innefatta saker som autism.

Med ett system som kopplar direkt in i din hjärna, inte bara kunde dina tankar stjälas, men det är också möjligt att de också kan manipuleras. Hjärnstimulering utvecklas redan för att hjälpa till att behandla PTSD och minska våldet. Det finns till och med sensationella påståenden om att den kan användas för att ladda upp kunskap direkt precis som i filmen The Matrix.

Ett förutsägbart steg skulle vara att kombinera "in" och "ut"-teknologierna för ett tvåvägs hjärn-dator-gränssnitt. Möjligheten för regeringar att göra oss mer kompatibla, för arbetsgivare att tvinga oss att arbeta hårdare, eller att företag får oss att vilja ha mer av deras produkter understryker hur seriöst vi bör ta denna teknik.

Om minnesläsande enheter blir det normala sättet att interagera med datorer, vi kanske inte har något annat val än att använda dem för att hålla jämna steg med mer produktiva kollegor. (Föreställ dig att någon idag söker ett kontorsjobb men vägrar att använda e-post.) Och om implantat i Neuralink-stil blir normen, detta kan också leda till större ojämlikhet beroende på vilken nivå av kit du har råd att ha installerat.

Elon Musk har sagt att det enorma lån som krävs för att ha råd med Neuralink-operation skulle kompenseras av potentiella intäkter för de "förbättrade". Idén om att människor känner sig pressade att ta på sig enorma skulder för att opereras bara för att behålla sitt jobb kommer direkt från en sci-fi-dystopi.

Ovanpå allt detta är det mer direkta fysiska hotet att ha system som fysiskt inkräktar på våra hjärnor. Medan vissa människor kanske vill modifiera sin hjärna med ett datorgränssnitt (det finns redan gott om experimentella biohackers), att rulla ut detta i stor skala skulle kräva massiva och grundliga tester.

Med tanke på Silicon Valleys rykte (och förkärlek) för att bryta saker snarare än att sluta tänka igenom dem, dessa system kommer att behöva noggrann reglering och etisk granskning redan innan testning påbörjas. Annars riskerar det att skapa stympade mänskliga marsvin.

För allt detta, det kan finnas stora fördelar med att fortsätta forskningen inom detta område, särskilt för dem som lider av förlamning eller sensorisk funktionsnedsättning. Men Silicon Valley borde inte kunna diktera hur dessa tekniker utvecklas och distribueras. Om de gör det, det kan radikalt omforma hur vi identifierar oss som människor.

Den här artikeln är återpublicerad från The Conversation under en Creative Commons-licens. Läs originalartikeln.