FAQ for CoARA / ARRA

Agreement on Reforming Research Assessment (ARRA) sætter en fælles retning for bedre bedømmelsespraksisser for forskning, forskere og forskningsudførende organisationer. Når man bedømmer forskning, forskere og forskningsorganisationer, skal man anerkende hele paletten af outputs, opgaver og aktiviteter, som giver forskningen værdi. ARRA indeholder en række principper og forpligtelser (”commitments”), som underskriverne skal leve op til.

Læs den fulde aftale her.

Man kan være en del af CoARA, hvis man er en forskningsudførende eller forskningsfinansierende organisation. Der er over 800 organisationer, der har underskrevet aftalen, og i Danmark er det foreløbigt universiteter, professionshøjskoler samt offentlige og private forskningsfinansierende fonde.

Find opdateret information om medunderskriverne her.

Hvis du har spørgsmål eller kommentarer vedr. Danmarks Frie Forskningsfonds arbejde med ARRA, er du altid velkommen til at rette henvendelse til arra@ufm.dk. 

Danmarks Frie Forskningsfond har underskrevet ARRA, fordi forskning er fundamentet for at kunne ruste os til fremtiden. For at dansk forskning også fremover har det højeste faglige niveau, bidrager Danmarks Frie Forskningsfond med at skabe de bedste betingelser for at støtte fremragende forskere på alle karrieretrin i Danmark. I centrum for dette arbejde står forskningens kvalitet og nybrudsskabende potentiale, og det kræver, at forskningsmidler går til en bred vifte af forskningstyper, forskertalenter og forskningsoutput. Aftalen er en løftestang til at sikre, at fondens praksis understøtter det. Samtidig er aftalen funderet bredt og har så stor tyngde, at indsatsen kan ske i samklang med en relativt samlet forskningsverden, og dermed forventeligt gøre en forskel for forskningen og forskerne.

Danmarks Frie Forskningsfond bruger aftalen som en lejlighed til at foretage et "generelt serviceeftersyn" af fondens processer og praksisser. Arbejdet med aftalen i fonden vil bl.a. medføre justerede bedømmelsesprocesser, mere åbenhed om fondens arbejde og tæt dialog med andre aktører i forskningsverdenen både i Danmark og uden for landets grænser.

Læs handlingsplanen, som beskriver, hvad Danmarks Frie Forskningsfond har valgt at arbejde med i første omgang, her.

De problemstillinger, som ARRA rejser, forsvinder ikke. Selvom mange organisationer arbejder på reformer, sker fremskridtene langsomt. Som offentlig fond har Danmarks Frie Forskningsfond et særligt ansvar for at fremme god bedømmelsespraksis, så de offentlige investeringer i forskning får den størst mulige effekt. 

Der er behov for nye tilgange til komplekse videnskabelige og samfundsmæssige udfordringer, og for at gøre forskningsresultater tilgængelige, genanvendelige og pålidelige. Forskningsopgavernes kompleksitet er også steget, så deling af viden, værktøjer og åbenhed for samarbejde med andre aktører spiller en stigende rolle for forskningen, og de outputs af forskningen, som er relevante, er mere mangfoldige. Samtidig er brugen af mekanismer, der måler og vejer forskningen kvantitativt øget de sidste årtier. Det har haft negative følgevirkninger for forskere og forskningen, at publikationer meriteres i så høj grad, fordi det skaber et incitament til at fokusere på bestemte opgaver, eller at favorisere bestemte typer af forskere. Der er derfor behov for, at selve systemet ændres. Selvom DFF's bedømmelsespraksis er solidt kvalitativt funderet, er ARRA en god anledning til at se den igennem i sømmene.

Det vil få betydning for, hvordan ansøgningen skal skrives. F.eks. kan der komme nye krav til projektbeskrivelse, nyt format for CV (skabelon) og nyt format for publikationsliste mv., som skal understøtte en bredere vurdering af projekt og ansøger. Danmarks Frie Forskningsfond vil kommunikere åbent om ændringerne i forbindelse med fondens opslag. Det forventes, at der tidligst vil komme ændrede krav i 2026.

Du kan holde dig opdateret ved at tilmelde dig fondens nyhedsbrev, og du kan kontakte fonden via arra@ufm.dk. 

Danmarks Frie Forskningsfond kommer ikke til at ændre grundlæggende på den måde, fonden bedømmer ansøgninger på, men fonden arbejder med at justere sine processer, så de er bedre i tråd med aftalen. Fonden vil forsøge at arbejde for, at der vil være formater mv., som ligner hinanden på tværs af fonde, men ensretning er ikke det primære formål.

Du kan holde dig opdateret ved at tilmelde dig fondens nyhedsbrev, og du kan kontakte fonden via arra@ufm.dk. 

Arbejdet med ARRA løber fra 2024 frem til og med 2027. Nogle af indsatserne, såsom transparenspolitikken, kan du allerede nu finde på fondens hjemmeside.  Andre, såsom nyt format for CV-skabelon og publikationsliste, er planlagt til senere i projektperioden og forventes tidligst indført i 2026. 

Hvis du aktuelt arbejder på en ansøgning til et virkemiddel, der udmøntes i den kommende periode, kan du være sikker på, at det er det aktuelle opslag og proces, som er gældende. Ændringerne i fondens bedømmelsespraksis vil blive meldt tydeligt ud i god tid, og ændrede krav til f.eks. projektbeskrivelse, CV osv. vil altid fremgå af fondens opslag.

Du er altid velkommen til at sende input til arra@ufm.dk. Du er også altid velkommen til selv at tage initiativ til møder, oplæg eller dele information om ARRA, hvis din egen institution har underskrevet aftalen.

Netværket er først og fremmest et forum til at dele viden og erfaringer med at arbejde med aftalen og andre aspekter af forskningsbedømmelse. Desuden er det hensigten, at netværket skal føre til, at de forandringer, der måtte ske, sker i samarbejde og koordination mellem de relevante aktører. Kun gennem en fælles indsats på tværs af forskningsfinansierende- og udførende organisationer kan vi flytte noget.

På nuværende tidspunkt deltager CoARA-kontaktpersoner eller andre relevante administrative medarbejdere fra de danske forskningsfinansierende fonde, professionshøjskoler og universiteter. De deltagende organisationer har for de flestes vedkommende enten underskrevet ARRA eller overvejer at gøre det. Netværket organiseres p.t. af Villum Fonden, Aalborg Universitet og Danmarks Frie Forskningsfond.

Er du interesseret i at være medarrangør, holde et oplæg eller har forslag til emner, er det meget velkomment. Kontakt os på arra@ufm.dk. 

Netværket er en fortsættelse af møder afholdt om CoARA for hhv. universiteter og fonde. I første omgang har vi inviteret de organisationer, som har underskrevet aftalen og andre, som har henvendt sig aktivt.

Kontakt os på arra@ufm.dk, hvis du vil høre mere. Netværket kan også være interesseret i forslag til relevante emner eller oplæg fra organisationer, som ikke deltager i netværket.

Formålet med at lave et nyt CV-format er, at Danmarks Frie Forskningsfond ønsker at understøtte en bredere meritering af forskere, herunder at anerkende de forskellige opgaver og roller, som er relevante og vigtige for forskningen. Den enkleste måde at sikre, at fondens bedømmere har forudsætningen for at gøre det, er at ændre rammerne for de oplysninger, som ansøgerne angiver, når de ansøger. Et nyt CV-format skal sikre, at ansøgerne har mulighed for at redegøre bedre for deres særlige bidrag til forskningen, og for de andre forskningsrelevante opgaver, som de udfører, så de kan indgå i bedømmelsen. 

Der er væsentlige forskelle på forskellige fondes CV-formater, og Danmarks Frie Forskningsfond er meget opmærksom på, at endnu et nyt format kan gøre det mere besværligt for ansøgere. Det er derfor et ønske fra fondens side, at et nyt CV-format kan koordineres med andre fondes i det omfang, det er muligt. Vi koordinerer bl.a. dette i et netværk, hvor vi deler viden og erfaringer med andre fonde i Danmark. Vi er også i dialog med andre europæiske fonde, bl.a. gennem CoARA. Et fælles format vil dog kræve en større koordinering. 

Det er endnu ikke besluttet, hvilket CV-format fonden vil vælge, men det er ikke forventningen, at det bliver et rent narrativt CV. Det er dog sandsynligt, at der vil indgå narrative elementer.

Formålet med at lave et nyt format for publikationslister er, at Danmarks Frie Forskningsfond ønsker at understøtte en bredere meritering af forskere og forskning. Der er derfor behov for en meriteringspraksis, der understøtter videnskabens grundlæggende karakter, som bør være nysgerrig, undersøgende, risikovillig, åben, gennemsigtig, inddragende og reproducerbar. "Jagten" på publicering i prestigefulde tidsskrifter kan udfordre forskningens kvalitet, relevans, risikovillighed og diversitet. En bredere meritering betyder, at det ikke nødvendigvis udelukkende er klassiske forskningspublikationer, der er relevante for vurderingen af en ansøgers kvalifikationer, og at indholdet og relevansen er vigtigere end omfanget. Der kan også være andre typer af forskningsoutputs, som også er relevante for det konkrete fag- eller forskningsområde, fx data, eksperimenter og formidling uden for den akademiske verden. Derfor giver det mening, at ansøgerne kan inddrage dem i deres publikationslister.

Der er forskelle på forskellige fondes publikationsliste-formater, og Danmarks Frie Forskningsfond er meget opmærksom på, at et nyt format kan gøre det mere besværligt for ansøgerne. De fleste fonde bruger dog et selektivt publikationslisteformat. Det er et ønske fra Danmarks Frie Forskningsfonds side, at et nyt format – eller elementer af det – ligner andre fondes i det omfang, det er muligt. Vi koordinerer bl.a. dette i et netværk, hvor vi deler viden og erfaringer med andre fonde i Danmark. Vi er også i dialog med andre europæiske fonde, bl.a. gennem CoARA.  Et fælles format vil dog kræve en større koordinering.

En kvantitativ indikator, også ofte omtalt som metrik eller bibliometrisk indikator, angiver mængdeinformationer på tidsskrift- eller artikelniveau om f.eks. antal publikationer eller citationer, evt. sammenkoblet med beregnet impact. Eksempler på kvantitative indikatorer er Journal Impact Factor, der viser en forskers gennemsnitspublikationer over en to-årig periode, eller h-indeks, som måler både en forskers produktivitet (antal publikationer) og indflydelse (antal citationer) i én enkelt metrik. F.eks., hvis en forsker har et h-indeks på 6, betyder det, at vedkommende har 6 artikler, som hver især er blevet citeret mindst 6 gange. 

Udfordringerne med metrikkerne er blandt andet, at jagten på publicering i prestigefulde tidsskrifter risikerer at udfordre forskningens kvalitet, pålidelighed, diversitet og relevans. Samtidig kan det store fokus på forskning og artikelproduktion overskygge arbejdet med de mange andre resultater og anvendelsesmuligheder af forskning. Der er behov for en meriteringspraksis, der understøtter videnskabens grundlæggende karakter, som bør være nysgerrig, undersøgende, risikovillig, åben, gennemsigtig, inddragende og reproducerbar.

Danmarks Frie Forskningsfond bruger ikke kvantitative indikatorer som et systematisk værktøj i sin bedømmelse. Fonden har også indført et forbud mod angivelse af Journal Impact Factor (JIF) og foretager en kvalitativ bedømmelse på baggrund af det foreliggende ansøgningsmateriale. Hvis en ansøger angiver sit h-indeks i sit CV, kan der være tilfælde, hvor det indgår som et supplement til vurderingen af ansøgers kvalifikationer. 

Det vil vi, fordi der er behov for i højere grad at meritere flere aspekter af forskernes arbejde. Publicering og kvalitetssikring gennem fagfællebedømmelse er og skal fortsat være en hjørnesten i videnskaben, og er i sig selv en sund mekanisme. Men hvad der er og bør være meriterende i en forskerkarriere har udviklet sig til en væsentlig international diskussion over det seneste årti, og publicering er kun én af mange væsentlige opgaver, som forskere varetager. Kvantitative indikatorer er derfor ikke et redskab, der kan bruges til at bedømme en ansøgers kvalifikationer. 

Danmarks Frie Forskningsfond anvender ikke systematisk kvantitative indikatorer i bedømmelsesarbejdet, og reformen betyder derfor ikke nødvendigvis store ændringer, men det står centralt i Agreement on Reforming Research Assessment (ARRA), at brugen af kvantitative indikatorer skal begrænses som en direkte målestok for kvalitet og indflydelse. Danmarks Frie Forskningsfond har allerede udfaset brugen af Journal Impact Factor, men i forhold til andre kvantitative indikatorer handler det først og fremmest for fonden om at finde frem til, hvad der er en ansvarlig brug.

Målet er ikke i sig selv at ændre fondens bedømmelsesprocesser, men at gennemgå og analysere processerne. Det skal undersøges, om Danmarks Frie Forskningsfond med fordel kan justere nogle processer i lyset af forpligtelserne i ARRA. Gennemsyn af fondens processer er en løbende opgave – også efter afslutningen af arbejdet med at implementere forpligtelserne i ARRA i fondens arbejde. 

Hensigten med arbejdet er bl.a. at gøre ansøgnings- og behandlingsprocessen mere gennemsigtig og klar for ansøger. Hensigten er ikke at besværliggøre processen med at indsende en ansøgning. Derfor vil fonden arbejde med en bredere meriteringspraksis og med systematisk at bruge den viden, der findes om god bedømmelsespraksis. Det kræver i forvejen et stort arbejde at sende en ansøgning til Danmarks Frie Forskningsfond eller andre fonde. Hvis der er bestemte forskere eller grupper af forskere, som hidtil har afholdt sig fra at søge, er det hensigten at gøre det klart, at fonden er åben for ansøgninger fra forskere fra alle fagområder, og uanset hvilke forskningsaktiviteter forskerne udfører. 

Fondens bedømmelsespraksis skal være af højest mulige kvalitet. De beslutninger, der træffes i fonden vedr. bevilling, sker allerede på et sagligt og fagligt højt grundlag. Men man kan altid blive bedre til at reflektere kritisk over egen praksis, og træning i biasbevidsthed skal klæde fondens bedømmere og administration på til det. Alle medlemmer af fonden – bestyrelse, råd, ad hoc-udvalg og fondens administration – vil modtage træning ved en underviser i 2026, og der lægges en plan for træning af nye medlemmer.

Fonden har ikke tidligere arbejdet eksplicit med diversitet, ensartethed og bias-bevidsthed i bedømmelsespraksis, men i øget grad givet plads og rum til fagspecifikke forskelle og nuancer. Dette er det forsat vigtigt at sikre, mens der samtidig er behov for en styrket fælles faglighed vedr. bedømmelsespraksis på tværs af sekretariatet og bedømmere for at sikre den forsatte høje standard i dansk forskning.

Overordnet skal fondens bedømmere og administrationen trænes i bias-bevidsthed i bedømmelsespraksis og konkrete bias-håndteringsværktøjer. Hertil kommer de løbende nye tiltag, som forpligtelserne i ARRA afstedkommer. 

Danmarks Frie Forskningsfond spiller en vigtig rolle i det danske forskningsfinansierende landskab som en af de vigtigste kilder til forskningsmidler til idéer, der er baseret på forskernes eget initiativ. Som offentlig fond, der er en del af den offentlige forvaltning, har fonden en særlig forpligtelse til at være transparent og åben om aktiviteter og interne beslutningsprocesser. Transparens og åbenhed om fondens processer og værktøjer gør, at forskersamfundet i bred forstand, herunder fondens ansøgere, får indsigt i, hvordan ansøgninger til fonden bliver bedømt. Danmarks Frie Forskningsfond begrænser de tilfælde, hvor fonden må være lukket, til det strengt nødvendige, dvs. primært personfølsomme oplysninger, forskeres originale idéer og bedømmelsen af disse.

På vores hjemmeside vil der løbende blive publiceret proceduredokumenter og interne vejledninger. De vil blive integreret i hjemmesiden, hvor det er relevant.