Artificiell intelligens och maskininlärning (AI/ML) förändrar sjukvårdssektorn alltmer. Från att upptäcka maligna tumörer till att läsa CT-skanningar och mammografi, AI/ML-baserad teknik är snabbare och mer exakt än traditionella enheter – eller till och med de bästa läkarna. Men tillsammans med fördelarna kommer nya risker och regulatoriska utmaningar.

I deras senaste artikel, "Algorithms on regulatory lockdown in medicine" publicerades nyligen i Vetenskap , Boris Babic, INSEAD biträdande professor i beslutsvetenskap; Theodoros Evgeniou, INSEAD professor i beslutsvetenskap och teknologiledning; Sara Gerke, Forskarassistent vid Harvard Law Schools Petrie-Flom Center for Health Law Policy, Bioteknik, och bioetik; och jag. Glenn Cohen, Professor vid Harvard Law School och fakultetschef vid Petrie-Flom Center, titta på de nya utmaningar som tillsynsmyndigheter står inför när de navigerar i AI/MLs obekanta vägar.

De funderar på frågorna:Vilka nya risker står vi inför när AI/ML-enheter utvecklas och implementeras? Hur ska de skötas? Vilka faktorer måste tillsynsmyndigheter fokusera på för att säkerställa maximalt värde till minimal risk?

Hittills har tillsynsorgan som U.S. Food and Drug Administration (FDA) godkänt medicinsk AI/ML-baserad programvara med "låsta algoritmer, " det är, algoritmer som ger samma resultat varje gång och inte ändras med användning. Dock, en nyckelstyrka och potentiell fördel med de flesta AI/ML-teknologier härrör från dess förmåga att utvecklas när modellen lär sig som svar på ny data. Dessa "adaptiva algoritmer, " möjliggjort på grund av AI/ML, skapa det som i huvudsak är ett lärande sjukvårdssystem, där gränserna mellan forskning och praktik är porösa.

Med tanke på det betydande värdet av detta adaptiva system, en grundläggande fråga för tillsynsmyndigheter idag är om auktorisationen bör begränsas till den version av teknik som lämnades in och utvärderades som säker och effektiv, eller om de tillåter marknadsföring av en algoritm där ett större värde finns i teknikens förmåga att lära sig och anpassa sig till nya förutsättningar.

Författarna tar en djupgående titt på riskerna förknippade med detta uppdateringsproblem, med tanke på de specifika områden som kräver fokus och sätt på vilka utmaningarna kan hanteras.

Nyckeln till en stark reglering, de säger, är att prioritera kontinuerlig riskövervakning.

"För att hantera riskerna, Tillsynsmyndigheter bör särskilt fokusera på kontinuerlig övervakning och riskbedömning, och mindre om planering för framtida algoritmändringar, säger författarna.

När tillsynsmyndigheterna går framåt, författarna rekommenderar att de utvecklar nya processer för att kontinuerligt övervaka, identifiera, och hantera tillhörande risker. De föreslår nyckelelement som kan hjälpa till med detta, och som i framtiden själva kan automatiseras med AI/ML – eventuellt ha AI/ML-system som övervakar varandra.

Även om tidningen till stor del hämtar från FDA:s erfarenhet av att reglera biomedicinsk teknik, lärdomarna och exemplen har bred relevans eftersom andra länder överväger hur de formar sin associerade regulatoriska arkitektur. De är också viktiga och relevanta för alla företag som utvecklar AI/ML inbyggda produkter och tjänster, från bilindustrin, till försäkring, ekonomi, energi, och allt fler. Chefer i alla organisationer har mycket att lära sig om att hantera nya AI/ML-risker utifrån hur tillsynsmyndigheter tänker om dem idag.

"Vårt mål är att betona de risker som kan uppstå från oförutsedda förändringar i hur medicinska AI/ML-system reagerar eller anpassar sig till sina miljöer, säger författarna, varning för att, "Subtil, ofta okända parametriska uppdateringar eller nya typer av data kan orsaka stora och kostsamma misstag."