"De senaste två decennierna har sett en betydande tillväxt i spridningen av verktyg för att klassificera och mäta urbana prestationer (rankningar, index, etc.) över både offentliga och privata institutioner som använder dem, som svar på olika typer av påtryckningar som uppmuntrar enhetlighet. Naturligtvis, alla dessa verktyg är användbara för att vägleda och utvärdera den politik som implementeras av lokala myndigheter inom olika verksamhetsområden, och är särskilt produktiva inom hållbarhetsområdet. Ändå saknas kunskap om den faktiska metodologiska basen som ligger till grund för dem och som ska legitimera deras användning, " förklarade Lucía Sáez-Vegas, Ph.D. innehavare i UPV/EHU:s institution för finansiell ekonomi II.

"I syfte att analysera och utvärdera kvalitet och god praxis inom urban mätning och övervakning, och samtidigt ägna särskild uppmärksamhet åt de metodologiska aspekterna, vi tog hundratals mätverktyg och valde ut en uppsättning av 21 liknande rankningar, index och verktyg utformade för att rangordna och övervaka urban hållbarhet (uppfattat i en mycket vid mening) så att vi kan studera dem på djupet och på så sätt anpassa och tillämpa en analysmetod som testats inom ett annat område, det av universitetsrankningar, " tillade Dr Sáez.

Betydelsen av metodiska aspekter

I var och en av de liknande rankningarna, index och verktyg analyserade, forskarna utforskade följande fyra huvudprinciper:mål och målgrupp de är inriktade på; metodik och viktning som används i deras utformning; transparens relaterad till datainsamling och informationsbehandling; och slutligen, presentationen av resultaten. Som Dr Saéz förklarade, "av dessa fyra aspekter är informationen om den första och den sista den mest tillgängliga, med andra ord, den beskrivande informationen. Det specificeras av alla klassificeringar som analyserats; men det händer inte när det handlar om att få tillgång till all information om de metodologiska aspekterna, datainsamling och informationsbehandling; detta resulterar i vad som kallas den svarta lådan, en artefakt vars resultat studeras och sprids utan att dess inre funktioner kastas i tvivel."

Det var så forskarna bekräftade olika metodologiska svagheter i alla analyserade rankningar. Forskaren insisterar på att "verktyg av den här typen tenderar att försumma komplexa kausaliteter och sakna transparens med avseende på datainsamling, viktnings- och aggregeringsprocess i sin design – de tenderar att vara partiska och, som ett resultat, tenderar att ignorera dåligt rankade städer och att förstärka befintliga stereotyper."

"Möjligheten att rangordna och jämföra städer av olika dimensioner kan hjälpa till att upptäcka de som verkar prestera bättre i olika urbana aspekter. Det är därför som dessa verktyg används vid tillfällen av stadsförvaltare och offentliga beslutsfattare för att ta fram en handlingsplan, även om man måste ha en klar uppfattning om hur rankningen eller indexet har utformats, och var försiktig när du använder den, framför allt om otillräcklig information lämnas om de metodologiska aspekterna och robustheten i dess resultat. Vi förstår att dessa verktyg bör användas mer som en källa till information och till och med inspiration, och mindre som en färdplan för handling, " tillade hon.

"Dessa rankningar tilldrar sig allmänhetens intresse eftersom de mäter begrepp av komplex karaktär som presenteras med hjälp av en ranking, i allmänhet av en numerisk typ, som kan förstås mycket lätt. Ur vår akademiska synvinkel, det faktum att resultaten presenteras i form av en slutlig rangordning med omnämnande av de viktigaste resultaten, men med liten eller ingen hänsyn till de metodologiska aspekter som, Vid slutet av dagen, är de som underbygger poängen eller rankingen, betecknar en tydlig svaghet hos dessa verktyg när de används för att mäta och övervaka stadsprestanda, sa Sáez.