Ungefär ett år efter att hon utsågs till en senior redaktionell roll vid en akademisk tidskrift, psykologiforskaren professor Simine Vazire tillrättavisades för att ha upprört framstående forskare genom att "skriva nej till" deras papper.

Hon blev chockad.

Skrivbordsavvisning är när en tidning avvisas av redaktören innan den skickas ut till recensenter - ungefär 30 procent av tidningarna i denna tidskrift avvisades vanligtvis på skrivbordet.

Professor Vazire avvisade tidningarna eftersom hon trodde att de hade allvarliga brister. Men kommittén som tillsatte henne var orolig över att kända forskare upprörde, tidskriftens rykte kan äventyras.

"Jag påpekade för dem att de inte kunde utöva detta inflytande bakom kulisserna utan att tillkännage en ny policy eller ha någon vetenskaplig grund för det, " säger professor Vazire. "Men det faktum att de blev så förvånade över mitt motstånd fick mig att inse hur mycket det här var hur saker och ting vanligtvis fungerade."

Professor Vazires erfarenhet är en del av ett bredare långvarigt forskningsproblem, där stora studier har funnit att betydande mängder publicerad forskning inom många discipliner inte kan valideras med uppföljningsstudier – det vill säga resultaten kan inte replikeras, ställer resultaten i tvivel.

Detta har riktat strålkastarljuset på tidskrifters felmöjligheter, de bedömningar som de förlitar sig på, och akademins hyperkonkurrenskraftiga värld där forskare ofta bedöms helt och hållet efter hur mycket de publicerar och i vilka "renommerade" tidskrifter.

Det betyder att forskare och deras institutioner kan frestas att hajpa resultat.

"Som redaktör, Jag har haft diskussioner med författare där jag har sagt till dem att jag bara kommer att acceptera deras uppsats om den är mer försiktig inramad och, vid ett par tillfällen, författare har helt enkelt vägrat och gått och publicerat någon annanstans, säger professor Vazire.

Nyligen återkallade av välrenommerade medicinska tidskrifter The Lancet och den New England Journal of Medicine om forskning om potentiella covid-19-läkemedel som förlitade sig på felaktiga data, har bara belyst hur brådskande problemet är.

Öppna vetenskapliga initiativ som att dela data och att lägga fram en forskningsplan innan forskningen görs (förregistrering) försöker ta itu med dessa frågor.

Och vid sidan av denna utveckling, en ny forskningsdisciplin har också dykt upp – metavetenskap.

"Metavetenskap är ett område som studerar normer, praxis och incitament inom vetenskap. Den gör en inventering av nya öppna vetenskapsinitiativ, och övervakar och utvärderar deras effekter.

"Det strider mot vetenskapens filosofi och sociologi, men arbetar i vetenskapens tjänst genom att försöka säkerställa att forskningen är mer robust, säger professor Fiona Fidler, en reproducerbarhetsexpert vid University of Melbourne.

Tillsammans, Professor Fidler och professor Vazire har etablerat en ny forskargrupp vid universitetet, MetaMelb. Det är den största metavetenskapliga forskargruppen i Australien.

Gruppen kommer att studera en rad metavetenskapliga frågor, inom flera discipliner inklusive psykologi, ekologi och medicin, med ett brett spektrum av kvantitativa och kvalitativa metoder.

En sådan fråga är om incitament för att dela data, som att ge öppna datamärken, resultera i mer reproducerbara resultat. Ett annat projekt tittar på hur att avslöja bristerna i vetenskapen kan påverka allmänhetens syn på, och lita på, vetenskap.

Rädslor för att vetenskapens trovärdighet står på spel har tidigare använts som ett skäl för att inte vara uppriktig när det gäller problem.

Men, Undergräver vetenskapen att vara mer öppen och transparent verkligen allmänhetens tro på vetenskap eller ökar den faktiskt den tron?

"Jag har varit i rum där konsensus har varit att vi ska sopa problem under mattan på grund av risken att göra människor antivetenskap, men jag misstänker att den överlägset större risken är att inte vara på förhand med allmänheten, säger professor Vazire.

Ännu ett stort projekt redan på gång, finansierat av den amerikanska regeringens Defense Advanced Research Projects Agency (DARPA), är ett försök att effektivt samla in expertgranskning från en grupp experter.

Projektet RepliCATS (Collaborative Assessment for Trustworthy Science) har rekryterat 500 experter över hela världen för att förutsäga replikerbarheten av 3000 forskningsartiklar från samhällsvetenskaperna i små team som samarbetar online.

DARPA har nyligen utökat projektet för att omedelbart utvärdera 100 artiklar relaterade till covid-19 samhällsvetenskaplig forskning.

Ännu ett initiativ från MetaMelb är utvecklingen av konkreta riktlinjer som peer reviewers kan använda för att mer enhetligt bedöma forskningsmetoder och resultat, tillhandahålla en sorts checklista.

Detta skulle innefatta att uppmuntra referentgranskare att bedöma om forskning är skriven på vad professor Vazire kallar ett "intellektuellt ödmjukt" sätt. Om en tidning istället visar intellektuell arrogans, det skulle vara en omedelbar signal för peer reviewers att vara försiktig, hon säger.

"Intellektuell ödmjukhet handlar om att se till att du ger människorna som kritiserar ditt arbete all den ammunition de behöver för att hitta eventuella brister i ditt arbete, säger professor Vazire.

"Så det betyder att i deras skriftliga introduktion, till exempel, en forskare ska inte bara välja information beroende på vilken sida av en debatt de befinner sig på eller, att i deras avsnitt om metoder och resultat, de nämner inte bara resultat som bäst passar deras argument."

Checklistan kommer också att peka granskare för att specifikt bedöma vissa aspekter av forskningen, som om urvalsstorleken motiverar slutsatserna eller om forskningsmetoderna är rigorösa.

"Recensentbedömare är ökända för att inte hålla med, men om de ställs specifika frågor kanske vi kommer att få mer enighet om styrkan i ett stycke forskning, säger professor Vazire.

Men för att initiativ som dessa ska fungera, incitament måste införas för att belöna peer reviewers, tidskrifter och forskare för att vara mer transparenta.

En idé där ute är att göra peer reviews mer offentliga, erkänner granskarens bidrag.

"Frågan om att skapa rätt incitament är ett viktigt forskningsområde för oss, säger professor Fidler.

I sista hand, båda tror att rätt incitament och praxis kan införas för att göra vetenskapen mer transparent och robust. Men nyckeln kommer att vara att förändra de akademiska och institutionella kulturerna och belöningssystemen som bidrar till problemet.

"Ett av de största problemen vi har för tillfället är hur institutioner bedömer prestationer och befordran internt, säger professor Fidler.

I UK, ansträngningar för att säkerställa robust forskning har lett till skapandet av UK Reproducible Network, ett konsortium som hittills lockat 15 universitet och högskolor.

Professor Fidler arbetar tillsammans med kollegor för att etablera ett liknande konsortium i Australien.

För professor Vazire, huruvida forskare och institutioner kommer att vara beredda att ta till sig nya metoder och ökad transparens kommer att vara avgörande.

"Visst håller saker på att förändras - mer forskning delas innan peer review och publicering, vilket ger möjlighet till bredare granskning. Och, ärligt, sociala medieplattformar som Twitter blir allt viktigare för att granska papper och identifiera styrkor och brister.

"Jag är övertygad om att alternativen kommer att finnas där för att göra saker bättre, men vi behöver att forskarsamhället går samman och faktiskt drar nytta av dessa nya möjligheter."