System med artificiell intelligens kanske kan utföra uppgifter snabbt, men det betyder inte att de alltid gör det rättvist. Om datamängderna som används för att träna maskininlärningsmodeller innehåller partiska data, är det troligt att systemet kan uppvisa samma partiskhet när det fattar beslut i praktiken.

Till exempel, om en datauppsättning mestadels innehåller bilder av vita män, kan en ansiktsigenkänningsmodell som tränats med dessa data vara mindre exakt för kvinnor eller personer med olika hudtoner.

En grupp forskare vid MIT, i samarbete med forskare vid Harvard University och Fujitsu, Ltd., försökte förstå när och hur en maskininlärningsmodell är kapabel att övervinna denna typ av dataförändringar. De använde ett tillvägagångssätt från neurovetenskap för att studera hur träningsdata påverkar om ett artificiellt neuralt nätverk kan lära sig att känna igen föremål som det inte har sett tidigare. Ett neuralt nätverk är en maskininlärningsmodell som efterliknar den mänskliga hjärnan på det sätt som den innehåller lager av sammankopplade noder, eller "neuroner", som bearbetar data.

De nya resultaten visar att mångfald i träningsdata har ett stort inflytande på om ett neuralt nätverk kan övervinna bias, men samtidigt kan datasetdiversitet försämra nätverkets prestanda. De visar också att hur ett neuralt nätverk tränas, och de specifika typerna av neuroner som dyker upp under träningsprocessen, kan spela en stor roll för huruvida det kan övervinna en partisk datauppsättning.

"Ett neuralt nätverk kan övervinna datamängdsbias, vilket är uppmuntrande. Men det viktigaste här är att vi måste ta hänsyn till datamångfald. Vi måste sluta tänka att om du bara samlar in massor av rådata kommer det att bli du någonstans. Vi måste vara mycket försiktiga med hur vi designar datauppsättningar i första hand", säger Xavier Boix, en forskare vid Institutionen för hjärn- och kognitiv vetenskap (BCS) och Center for Brains, Minds and Machines (CBMM) ), och senior författare av tidningen.

Bland medförfattarna finns tidigare doktorander Spandan Madan, en motsvarande författare som för närvarande tar en doktorsexamen. vid Harvard, Timothy Henry, Jamell Dozier, Helen Ho och Nishchal Bhandari; Tomotake Sasaki, en tidigare gästforskare nu forskare vid Fujitsu; Frédo Durand, professor i elektroteknik och datavetenskap och medlem av Data Science and Artificial Intelligence Laboratory; och Hanspeter Pfister, An Wang-professorn i datavetenskap vid Harvard School of Engineering and Applied Sciences. Forskningen visas idag i Nature Machine Intelligence .

Tänker som en neurovetare

Boix och hans kollegor närmade sig problemet med dataförändringar genom att tänka som neurovetenskapsmän. Inom neurovetenskap, förklarar Boix, är det vanligt att använda kontrollerade datauppsättningar i experiment, det vill säga en datauppsättning där forskarna vet så mycket som möjligt om informationen den innehåller.

Teamet byggde datauppsättningar som innehöll bilder av olika objekt i olika poser och kontrollerade noggrant kombinationerna så att vissa datauppsättningar hade mer mångfald än andra. I det här fallet hade en datauppsättning mindre mångfald om den innehåller fler bilder som visar objekt från endast en synvinkel. En mer varierad datauppsättning hade fler bilder som visade objekt från flera synpunkter. Varje datauppsättning innehöll samma antal bilder.

Forskarna använde dessa noggrant konstruerade datamängder för att träna ett neuralt nätverk för bildklassificering, och studerade sedan hur väl det kunde identifiera objekt från synpunkter som nätverket inte såg under träning (känd som en kombination utanför distribution).

Om forskare till exempel tränar en modell för att klassificera bilar i bilder vill de att modellen ska lära sig hur olika bilar ser ut. Men om varje Ford Thunderbird i träningsdatasetet visas framifrån, när den tränade modellen får en bild av en Ford Thunderbird tagen från sidan, kan den felklassificera den, även om den tränades på miljontals bilfoton.

The researchers found that if the dataset is more diverse—if more images show objects from different viewpoints—the network is better able to generalize to new images or viewpoints. Data diversity is key to overcoming bias, Boix says.

"But it is not like more data diversity is always better; there is a tension here. When the neural network gets better at recognizing new things it hasn't seen, then it will become harder for it to recognize things it has already seen," he says.

Testing training methods

The researchers also studied methods for training the neural network.

In machine learning, it is common to train a network to perform multiple tasks at the same time. The idea is that if a relationship exists between the tasks, the network will learn to perform each one better if it learns them together.

But the researchers found the opposite to be true—a model trained separately for each task was able to overcome bias far better than a model trained for both tasks together.

"The results were really striking. In fact, the first time we did this experiment, we thought it was a bug. It took us several weeks to realize it was a real result because it was so unexpected," he says.

They dove deeper inside the neural networks to understand why this occurs.

They found that neuron specialization seems to play a major role. When the neural network is trained to recognize objects in images, it appears that two types of neurons emerge—one that specializes in recognizing the object category and another that specializes in recognizing the viewpoint.

When the network is trained to perform tasks separately, those specialized neurons are more prominent, Boix explains. But if a network is trained to do both tasks simultaneously, some neurons become diluted and don't specialize for one task. These unspecialized neurons are more likely to get confused, he says.

"But the next question now is, how did these neurons get there? You train the neural network and they emerge from the learning process. No one told the network to include these types of neurons in its architecture. That is the fascinating thing," he says.

That is one area the researchers hope to explore with future work. They want to see if they can force a neural network to develop neurons with this specialization. They also want to apply their approach to more complex tasks, such as objects with complicated textures or varied illuminations.

Boix is encouraged that a neural network can learn to overcome bias, and he is hopeful their work can inspire others to be more thoughtful about the datasets they are using in AI applications.