Vänta, Vad? Att skapa en AI kan vara mycket värre för planeten än en bil? Tänk koldioxidavtryck. Det är vad en grupp vid University of Massachusetts Amherst gjorde. De satte sig för att bedöma energiförbrukningen som behövs för att träna fyra stora neurala nätverk.

Deras tidning väcker för närvarande uppmärksamhet bland teknikbevakningssajter. Den har titeln "Energy and Policy Considerations for Deep Learning in NLP, " av Emma Strubell, Ananya Ganesh och Andrew McCallum.

Detta, sa Karen Hao, artificiell intelligens reporter för MIT Technology Review , var en livscykelanalys för att träna flera vanliga stora AI-modeller.

"De senaste framstegen inom hårdvara och metodik för att träna neurala nätverk har inlett en ny generation av stora nätverk som tränas på riklig data, " sa forskarna.

Vad är din gissning? Att träning av en AI-modell skulle resultera i ett "tungt" fotavtryck? "Något tungt?" Vad sägs om "hemskt?" Det senare var ordet som valdes av MIT Technology Review den 6 juli, torsdag, rapportera om resultaten.

Deep learning innebär att man bearbetar mycket stora datamängder. (Artikeln undersökte specifikt modellträningsprocessen för bearbetning av naturliga språk, underområdet för AI som fokuserar på att lära maskiner att hantera mänskligt språk, sa Hao.) Donna Lu in Ny vetenskapsman citerade Strubell, vem sa, "För att lära sig något så komplext som språk, modellerna måste vara stora." Vilka prissättningsmodeller får vinster i noggrannhet? Att ta in exceptionellt stora beräkningsresurser för att göra det är priset, orsakar en betydande energiförbrukning.

Hao rapporterade sina fynd, att "processen kan avge mer än 626, 000 pounds av koldioxidekvivalenter - nästan fem gånger livstidsutsläppen från en genomsnittlig amerikansk bil (och det inkluderar tillverkning av själva bilen)."

Dessa modeller är dyra att träna och utveckla - kostsamma i ekonomisk mening på grund av kostnaden för hårdvara och el eller molnberäkningstid, och kostsamt i miljöhänseende. Miljökostnaden beror på koldioxidavtrycket. Uppsatsen försökte uppmärksamma NLP-forskare på denna fråga "genom att kvantifiera de ungefärliga ekonomiska och miljömässiga kostnaderna för att träna en mängd nyligen framgångsrika neurala nätverksmodeller för NLP."

Hur de testade:För att mäta miljöpåverkan, de tränade fyra AI:er under en dag vardera, och provade energiförbrukningen genomgående. De beräknade den totala effekt som krävs för att träna varje AI genom att multiplicera detta med den totala träningstiden som rapporterats av varje modells utvecklare. Ett koldioxidavtryck uppskattades baserat på de genomsnittliga koldioxidutsläppen som används vid kraftproduktion i USA.

Vad rekommenderade författarna? De gick i riktning mot rekommendationer för att minska kostnaderna och "förbättra eget kapital" i NLP-forskning. Rättvisa? Författarna tar upp frågan.

"Akademiska forskare behöver rättvis tillgång till beräkningsresurser. De senaste framstegen inom tillgänglig beräkning kommer till ett högt pris som inte kan uppnås för alla som önskar tillgång. De flesta av modellerna som studeras i den här artikeln har utvecklats utanför akademin; senaste förbättringar i tillståndet konstnoggrannhet är möjlig tack vare industrins tillgång till storskalig beräkning."

Författarna påpekade att "Att begränsa denna typ av forskning till industrilabb skadar NLP-forskningssamhället på många sätt." Kreativiteten kvävs. Goda idéer räcker inte om forskargruppen saknar tillgång till storskalig beräkning.

"Andra, det förbjuder vissa typer av forskning på grund av tillgång till ekonomiska resurser. Detta främjar ännu djupare den redan problematiska cykeln "rik blir rikare" av forskningsfinansiering, där grupper som redan är framgångsrika och därmed välfinansierade tenderar att få mer finansiering på grund av sina befintliga prestationer."

Författarna sa, "Forskare bör prioritera beräkningseffektiv hårdvara och algoritmer." I denna anda, författarna rekommenderade en ansträngning från industri och akademi för att främja forskning av mer beräkningseffektiva algoritmer, och hårdvara som kräver mindre energi.

Vad kommer härnäst? Forskningen kommer att presenteras vid årsmötet för Association for Computer Linguistics i Florens, Italien i juli.

© 2019 Science X Network