TikTok är en av de fem bästa sociala medieplattformarna i världen i år.

I Sydostasien förra året använde 198 miljoner människor, cirka 29 % av regionens befolkning, TikTok. Det är inte en överdrift att säga att plattformen har blivit en av idéernas och åsikterna för människorna i regionen.

Precis som andra intresserade forskare var mitt forskarteam också intresserad av att titta på TikTok. Specifikt ville vi titta på hur information, inklusive politisk desinformation och desinformation, flödar på plattformen. Skillnaden mellan de två formerna av falsk information är att desinformation är avsiktligt, uppsåtligt vilseledande.

Under vår åtta månaders forskning fann vi att spåra politisk desinformation och desinformation på TikTok ganska utmanande. Detta trots att plattformen lanserade ett faktakontrollprogram 2020 i samarbete med oberoende faktakontrollorganisationer som skulle "hjälpa till att granska och bedöma riktigheten av innehållet" på plattformen.

Under det här programmet visar TikTok potentiell felaktig information till sina partners. Det kan inkludera videor som flaggats av TikTok-användare för felaktig information, eller de som är relaterade till COVID-19 eller andra ämnen "om vilka spridningen av vilseledande information är vanlig".

Vi har dock fortfarande svårt att spåra desinformation och desinformation på plattformen, såsom faktakontroll av audiovisuellt innehåll och identifiera främmande språk och termer.

Faktakontroll av audiovisuellt innehåll

Det är svårt att faktakontrollera audiovisuellt innehåll på TikTok.

För att effektivt kunna spåra felaktig/desinformation bör allt innehåll ses noggrant och förstås baserat på lokal kontext. För att säkerställa korrekt bedömning krävde detta långa timmar av mänsklig observation och videoanalys (observera språk, icke-verbala ledtrådar, termer, bilder, text och bildtexter).

Det är därför faktagranskare globalt förlitar sig på allmänhetens deltagande för att rapportera vilseledande innehåll, förutom att de mänskliga faktagranskare fokuserar på att verifiera huvudsakligen viralt innehåll.

AI-teknik kan hjälpa till att verifiera några av dessa inlägg. Faktakontroll av audiovisuellt innehåll är dock fortfarande starkt beroende av mänsklig bedömning för noggrannhet.

Hittills är audiovisuellt innehåll utan tvekan ett av de mest utmanande formaten att faktakontrollera över hela världen. Andra sociala medieplattformar står inför samma utmaning.

I vår forskning fann vi att mycket av det övervakade innehållet inte innehöll några verifierbara påståenden. Detta innebar att den inte kunde bekräftas objektivt, eller avfärdas och taggas som desinformation.

För att avgöra vilka videor eller kommentarer som innehöll felaktiga påståenden, utvecklade vi ett ramverk för desinformation baserat på kriterierna för att fastställa verifierbara påståenden som används av VERA Files i Filippinerna och Tirto.id i Indonesien. Båda organisationerna har undertecknat Poynters internationella nätverk för faktakontroll.

Vi övervägde också 10-punktslistan med röda flaggor och tips för att identifiera felaktig information från Colleen Sinclair, docent i klinisk psykologi vid Mississippi State University.

Genom att använda detta ramverk för felaktig information fann vi att majoriteten av videorna och motsvarande kommentarer som övervakades endast innehöll subjektiva påståenden (åsikter, uppmaningar, spekulationer) eller var svåra att verifiera på grund av bristande genomförbarhet.

Exempel var kommentarer om Indonesiens kontroversiella nya arbetslag känd som omnibuslagen, debatter om olämpligheten av våldtäktsskämt i skolor som initierade #MakeSchoolASaferPlace-rörelsen i Malaysia, argument kring dålig regeringspolitik i Malaysia mitt i covid-19 som startade en annan onlinekampanj #kerajaangagal och Filippinernas antiterroristlag. Dessa kommentarer ansågs inte verifierbara, eftersom de var emotionellt drivna och baserade på användarnas åsikter om problemen. Därför kunde de inte taggas som innehållande eller möjligen innehållande felaktig/desinformation.

Dessa resultat skulle kunna vara annorlunda om innehållsskapare och videokommentatorer integrerade faktapåståenden eller "genomförbara påståenden" som vi kunde korskontrollera med trovärdiga och auktoritativa källor.

Identifiera olika språk, slang och jargong på TikTok

Vissa faktagranskare och forskare har tidigare noterat att olika språk och dialekter i regionen har försvårat faktagranskning för lokala myndigheter.

I den här studien fann vi också att slang gör det svårare att spåra politisk felaktig/desinformation på TikTok även när vi analyserar innehåll som laddats upp på vårt modersmål.

Faktorer som generationsklyftor och bristande medvetenhet om trendig slang och jargong som används av innehållsskapare och användare bör inte underskattas i faktagranskning av innehåll på plattformen. Utan tvekan kommer detta också att vara ett problem för AI-drivna faktakontrollmekanismer.

Svårt för alla

Under vår forskning insåg vi att spårning av felaktig information på plattformen kan vara lite mer utmanande för forskarteamet och vanliga människor.

Om du inte är en datavetare med förmågan att koda Python API för att samla in data, skulle skrapa data på TikTok kräva manuellt arbete.

För det här projektet valde vårt team det senare, med tanke på att de flesta av våra medlemmar inte var utrustade med kunskaper inom datavetenskap. Vi spårade felaktig information på plattformen genom att manuellt kartlägga relevanta hashtags genom TikToks sökfunktion.

En nackdel vi observerade med att använda denna strategi är att det kan vara tidskrävande på grund av sökfunktionens begränsningar.

För det första tillåter TikToks Upptäck-flik användare att sortera resultaten endast efter relevans och/eller totalt antal likes. De kan inte sortera resultat efter det totala antalet visningar, delningar och/eller kommentarer.

Det låter dig också filtrera resultat efter uppladdningsdatum, men bara för de senaste sex månaderna. Detta gör det svårt att söka efter äldre data, som i vårt fall.

Som sådan var vi tvungna att manuellt sålla igenom bidragen för att hitta relevanta videor med flest visningar eller högsta antal engagemang uppladdade inom vår valda övervakningsperiod.

Detta gjorde processen ganska överväldigande, särskilt för hashtaggarna som gav tusentals (eller fler) TikTok-videor.

TikTok borde fundera på att förbättra sin plattform så att användare kan filtrera och sortera videor i sökresultaten. Specifikt bör de kunna sortera efter antal visningar och/eller engagemang och anpassat uppladdningsdatum. Intresserade individer och faktagranskare skulle då kunna spåra politisk fel/desinformation mer effektivt.

Detta skulle hjälpa TikTok att bli mindre förorenad med falsk information eftersom fler människor skulle ha möjlighet att övervaka felaktig/desinformation effektivt. Det skulle kunna komplettera befintliga ansträngningar från TikToks eget team för faktakontroll.