Kan chatbots ge korrekt information om farorna med klimatförändringar? Tja, det beror på en mängd olika faktorer inklusive det specifika ämnet, platsen som övervägs och hur mycket chatboten betalas, enligt en grupp Virginia Tech-forskare.
"Jag tror att det vi hittade är att det är OK att använda artificiell intelligens, man måste bara vara försiktig och man kan inte ta det ord för ord", sa Gina Girgente, som tog examen med en kandidatexamen i geografi i våras. "Det är definitivt inte en idiotsäker metod."
Girgente var en del av ett tvärvetenskapligt forskarteam som ställde frågor om tre klimatförändringsrelaterade faror – tropiska stormar, översvämningar och torka – i 191 länder till både gratis och betalda versioner av ChatGPT. ChatGPT är utvecklad av OpenAI Inc. och är en storspråkig modell utformad för att förstå frågor och generera textsvar baserat på förfrågningar från användare.
Gruppen jämförde sedan chatbotarnas svar mot riskindex som de genererade med hjälp av data från Intergovernmental Panel on Climate Change, ett FN-organ med uppgift att bedöma vetenskap relaterad till klimatförändringar.
"Sammantaget fann vi mer överensstämmelse än inte", säger Carmen Atkins, huvudförfattare och andraårs Ph.D. student vid institutionen för geovetenskap. "De AI-genererade utdata var exakta mer än halva tiden, men det var mer precision med tropiska stormar och mindre med torka."
I en artikel publicerad i Communications Earth &Environment , rapporterade gruppen ChatGPT4:s svar anpassade till indexen med följande noggrannhetsgrader:
De fann också att chatbotens noggrannhet ökade när de tillfrågades om mer utvecklade länder och att den betalda versionen av plattformen, för närvarande ChatGPT-4, var mer exakt än gratisversionen, som vid den tiden var ChatGPT-3.5.
De fann mindre konsekvens i svaren om samma ämne när de frågades om vissa regioner, särskilt många länder i Afrika och Mellanöstern, som anses vara låginkomstländer eller utvecklingsländer. Och de fann att den betalda versionen av plattformen, för närvarande ChatGPT-4, var mer exakt än gratisversionen, som vid den tiden var ChatGPT-3.5.
"Vi är de första att titta på detta på ett systematiskt sätt, så vitt vi är medvetna om, och utöver det är det verkligen en uppmaning till handling för fler människor att undersöka den här frågan," sa Atkins.
Enligt publikationen valde forskarna ChatGPT-tjänsten på grund av dess popularitet, särskilt bland användare i åldern 18–34, och dess användningsgrad i utvecklingsländer.
Atkins och Girgente, som kommer att vara doktorand vid University of Denver till hösten, sa att idén till projektet härrörde från deras tid i klassen med Junghwan Kim, en biträdande professor vid institutionen för geografi. Där delade Kim en del av sin egen forskning som studerade de geografiska fördomarna i ChatGPT när han tillfrågades om ämnen med miljörättvisa.
"Det öppnade upp hela idén om de olika sakerna vi kunde titta på med ChatGPT," sa Atkins. "Och för mig personligen gjorde klimatförändringar och särskilt kunskaper om klimatförändringar, som är avgörande för att bekämpa desinformation, mig att vilja se om ChatGPT kan vara till hjälp eller skadlig med det problemet."
Kim är också medförfattare till denna nya studie, liksom Manoochehr Shirzaei, docent i geofysik och fjärranalys.
Kim sa att han kände att resultaten skulle vara särskilt viktiga att dela med elever som kanske tror för mycket på chatbotarna och att de också har påverkat hans egen användning av programvaran.
Även om gruppen anser att deras resultat visar det tydliga behovet av ett försiktigt tillvägagångssätt för att använda generativ artificiell intelligens, menar de också att den här studien bara är början på den nödvändiga forskningen, som kommer att behöva upprepas allteftersom den olika mjukvaran fortsätter att utvecklas.
"Detta är bara toppen av isberget, och mer än något annat vill vi bara uppmärksamma dessa frågor," sa Atkins. "Generativ AI är en del av vår värld nu, men vi måste använda den på ett så välutbildat sätt som vi kan."
Mer information: Carmen Atkins et al, Generativa AI-verktyg kan förbättra klimatkunskapen men måste kontrolleras för fördomar och felaktigheter, Communications Earth &Environment (2024). DOI:10.1038/s43247-024-01392-w
Journalinformation: Kommunikation Earth &Environment
Tillhandahålls av Virginia Tech
