Ett litet team av medicinska forskare från Harvard University och MIT har publicerat ett policyforum i tidskriften Vetenskap vilket tyder på att framtida medicinska AI -system kan vara sårbara för kontradiktorer. De påpekar att tidigare forskning har visat att praktiskt taget alla AI-system är sårbara på något sätt för sådana attacker.

En kontradiktorisk attack inom området maskininlärning är ett försök att genom skadlig input lura modellen som ett sådant system är byggt på. I praktiken, detta innebär att mata ett AI-system någon form av information som tvingar det att returnera felaktiga resultat. Forskarna föreslår att en sådan attack kan vara inriktad på detektionssystem som de som programmerats för att hitta cancer genom att analysera skanningar. De visade till och med hur en kontradiktorisk attack skulle fungera genom att mata ett system med ett visst brusmönster som utlöste förvirring, resulterar i felaktiga resultat.

Men det är inte den sortens motståndsangrepp som forskarna verkligen är oroliga för. Det som mest bekymrar dem är de AI-system som har utvecklats och som redan används som är involverade i att behandla anspråk och fakturering – möjligheten att sjukhus eller till och med läkare kan använda sådana system för att ändra information på blanketter för att få mer betalt av försäkringsbolag eller Medicaid för att utföra tester, till exempel, genom att ändra en kod för att få en enkel röntgen att se ut som ett MRT-test. Att mata ett AI-system med rätt information vid rätt tidpunkt kan få det att göra just det. Det finns också möjligheten att ett sjukhus kan lära sitt AI-system att hitta de bästa sätten att lura försäkringsbolag eller regeringen, vilket gör det nästan omöjligt att upptäcka.

Forskarna föreslår att det krävs ett nytt tillvägagångssätt för beslutsfattande – ett där människor från en mängd olika områden, inklusive lag, datavetenskap och medicin, ta itu med problemet innan det blir utbrett. Sådana grupper kan kanske, hitta sätt att förhindra att det händer, eller åtminstone upptäcka det om det gör det.

© 2019 Science X Network