30.1.2008   

DA

Den Europæiske Unions Tidende

C 26/1

I-V

1-14

1-7

8-14

15-18

19-109

19-37

38-49

50-68

69-97

98-109

110-118

I.

Fællesskabets FTU-rammeprogrammer (RP'er) er den største offentlige kilde til forskningsfinansiering i Den Europæiske Union. Det er Kommissionen, der har ansvaret for at forvalte rammeprogrammerne og vurdere deres resultater.

II.

Retten reviderede de tilsyns- og evalueringsordninger, der siden 1995 har været gældende for de seneste tre programmeringsperioder (4. RP, 5. RP og 6. RP), og så også på bestemmelserne vedrørende 7. RP (2007-2013). Revisionen blev udført med deltagelse af EFTA’s revisionsudvalg og med bistand fra eksterne eksperter.

III.

Retten forsøgte at finde ud af, om Kommissionens tilgang til vurdering af rammeprogrammernes resultater er hensigtsmæssig. I den sammenhæng undersøgte Retten, om Kommissionen overholdt lovgivningens krav til evaluering, og om dens evaluerings- og tilsynssystem levede op til interessenternes forventninger. Retten så især på:

IV.

På baggrund af revisionsresultaterne konkluderede Retten følgende:

V.

Retten anbefaler:

1.

Forskning og teknologisk udvikling (FTU) (1) er den vigtigste drivkraft for fremskridt og innovation på det videnskabelige og teknologiske område, og som sådan bidrager FTU i høj grad til forbedringer af levestandarden. Offentlig intervention i FTU begrundes som regel med, at det er nødvendigt at kompensere for såkaldte »markedssvigt« og reducere den økonomiske usikkerhed ved hjælp af offentlig støtte, der investeres i forskning, som er et offentligt gode, eller som har væsentlige eksterne virkninger.

2.

Fællesskabets rolle i forbindelse med støtte til FTU er fastsat i EF-traktatens artikel 163: »Fællesskabet har som mål at styrke det videnskabelige og teknologiske grundlag for Fællesskabets industri og at fremme udviklingen af dens internationale konkurrenceevne samt at fremme alle de forskningsaktioner, der skønnes nødvendige …«. I artikel 164-173 beskrives de aktioner, der skal gennemføres, og der gøres rede for omfanget og iværksættelsen af de flerårige FTU-rammeprogrammer (RP'er). Det er Kommissionen, der stiller forslag til rammeprogrammerne, mens det er Europa-Parlamentet og Rådet, der i fællesskab vedtager dem og fastsætter regler for deltagelse og formidling. Rådet vedtager særprogrammerne alene. Rammeprogrammerne gennemføres af seks generaldirektorater (GD’er) i fællesskab, de såkaldte »forskningsgeneraldirektorater« (2).

3.

I den brede vifte af politikker, der gennemføres i Den Europæiske Union for at fremme innovation og konkurrenceevne, er rammeprogrammerne det vigtigste af de finansielle instrumenter, der på fællesskabsniveau bidrager til at gennemføre Lissabon-strategien (3) og nå Barcelona-målet (4).

4.

Gennem rammeprogrammerne yder Fællesskabet støtte til forskere i Den Europæiske Union, associerede lande og internationale organisationer. Rammeprogrammernes budgetter er i årenes løb steget betydeligt: fra 2 761 millioner euro pr. år under 4. RP til 7 217 millioner euro pr. år under 7. RP (jf. figur 1). For så vidt angår budgetbevillinger udgør rammeprogrammerne det største område i Kommissionen med direkte central forvaltning (5).

5.

Rammeprogrammerne adskiller sig fra mange nationale programmer derved, at de støtter både grundforskning og anvendt forskning med deltagelse af industrivirksomheder og offentlige forskningsorganisationer (6). De består af særprogrammer (og delprogrammer), der dækker brede videnskabsfelter. Disse programmer er typisk opdelt i et antal domæner, der dækker en række mere specifikke videnskabelige områder. Aktionerne inden for de forskellige domæner iværksættes gennem projekter (kaldet »indirekte aktioner«) efter indkaldelse af forslag. På den måde finansieres hundredvis af enkeltprojekter pr. domæne.

6.

I alt står rammeprogrammerne for mellem 4 % og 5 % af den samlede offentlige FTU-finansiering i Den Europæiske Union og medlemsstaterne. Men rammeprogrammernes indflydelse på, hvilken slags forskning der udføres i Europa, er væsentligt større, end denne procentdel lader ane. Det skyldes, at Fællesskabets tilskud generelt kun udgør en del af et projekts samlede finansiering. Det er desuden et krav, at forskerne i forbindelse med deres finansieringsansøgninger kan påvise, at deres projekter er relevante for opfyldelsen af de mål, der er fastsat i indkaldelsen af forslag. Rammeprogrammerne giver således incitamenter, der retter FTU-aktionerne mod specifikke EU-mål.

7.

I de seneste år er der sket væsentlige ændringer i rammeprogrammerne på grund af følgende forhold:

8.

Kommissionen har ansvaret for at gennemføre programmerne og vurdere resultaterne (8). Evalueringen er decentraliseret til generaldirektoraterne, mens de centrale tjenester (især GD for Budget og Generalsekretariatet) yder støtte og koordinerer arbejdet.

9.

I denne beretning anvendes Kommissionens egen definition af »evaluering« som bedømmelse af interventionerne ud fra de opnåede resultater og den opnåede effekt og ud fra de behov, de skal opfylde (9), og af »tilsyn« som forelæggelse af forvaltningsrelevante oplysninger om gennemførelsen af igangværende programmer og projekter (10). De to aktiviteter er også defineret på denne måde i den gældende lovgivning om 7. RP.

10.

Herefter benyttes følgende terminologi om FTU-aktionernes resultater:

Tekstboks 1Eksempel — Global System for Mobile communications (GSM)»Output« af Fællesskabets finansiering var i dette eksempel de umiddelbare projektresultater såsom udviklingen af GSM-standarden. »Udfaldet« var, at GSM blev taget i brug som standard for digital mobiltelefoni i og uden for Europa, hvilket i høj grad bidrog til udviklingen af telekommunikationsindustrien. Og endelig var »effekten« de økonomiske, sociale og politiske konsekvenser af, at denne teknologi vandt international udbredelse. Blandt disse kan nævnes, at der blev skabt arbejdspladser i telekommunikationsindustrien og beslægtede industrier, samt at denne industrisektor fik større betydning for den europæiske økonomi. Endvidere har GSM-teknologien givet mennesker en ny måde at kommunikere med hinanden på.

11.

Der er imidlertid en række metodologiske vanskeligheder forbundet med at vurdere disse resultater (jf. bilag I). Socioøkonomiske ændringer er komplekse, og det er ofte svært at spore sammenhængen mellem en forskningsaktion, dens udfald og dens effekt. Disse metodologiske vanskeligheder er en stor udfordring, men de gør det ikke nødvendigvis umuligt at foretage en effektiv evaluering.

12.

Kommissionen har siden 1980'erne haft et system for tilsyn med og evaluering af rammeprogrammerne (11). Siden 4. RP fra midten af 1990'erne har tilsyns- og evalueringssystemet bestået af en række delvis sammenkoblede aktiviteter, herunder

Begge aktiviteter skulle udføres med bistand fra eksterne eksperter (jf. figur 2 og bilag II).

Figur 2

4. RP til 7. RP — nøglekrav til tilsyn og evaluering

13.

Indtil nu er der foretaget tre femårsevalueringer (12), som er beskrevet i Davignon-rapporten, Majó-rapporten og Ormala-rapporten (fra henholdsvis 1997, 2000 og 2004). Derudover har GD for Informationssamfundet og Medier foretaget målrettede evalueringer af sit særprogram. Det skal bemærkes, at ordningen med femårsevalueringer blev afskaffet i forbindelse med lovgivningen om 7. RP, så det ikke længere er fastsat, at store evalueringer skal dække de foregående fem år og derfor nødvendigvis omfatte dele af to successive programmeringsperioder. I 2004 offentliggjordes også Marimón-rapporten (13), en specifik evaluering af effektiviteten af de nye instrumenter, der blev indført under 6. RP.

14.

Rammerne for Kommissionens evalueringsaktiviteter blev gennemgået i 2000 og 2002, og resultaterne blev beskrevet i to meddelelser (14). Disse meddelelser blev ajourført i 2007 under hensyntagen til konsekvenserne af den administrative reform af Kommissionen og den nye finansforordning (15). I disse dokumenter beskrives evalueringens rolle i Kommissionens overordnede cyklus for planlægning, programmering og rapportering, og der defineres et sæt bestående af 21 evalueringsstandarder og 18 modeller for god praksis. Desuden omhandler dokumenterne anvendelsen af evaluering i forbindelse med udarbejdelse og forenkling af EU-lovgivningen.

15.

Hovedformålet med revisionen var at finde ud af, om Kommissionens tilgang til vurdering af FTU-rammeprogrammernes resultater er hensigtsmæssig.

16.

Med henblik herpå undersøgte Retten:

17.

Denne beretning omfatter de ordninger, der har været gældende for 4. RP (1995-1998), 5. RP (1999-2002) og 6. RP (2003-2006), og bestemmelserne vedrørende det aktuelle rammeprogram, 7. RP (2007-2013), men den indeholder ingen vurdering af Kommissionens konsekvensanalyse og forudgående evaluering af 7. RP (16). Beretningen fokuserer på tilsyn med og efterfølgende evaluering af programmerne, ikke på forudgående evaluering af projektforslagene eller efterfølgende evaluering af projekterne.

18.

Revisionen blev udført med deltagelse af EFTA’s revisionsudvalg og med bistand fra eksterne eksperter. Revisionsbeviset blev indsamlet i forbindelse med:

19.

Det er en forudsætning for effektiv evaluering og et effektivt tilsyn, at der i forskningspolitikken såvel som på program- og projektniveau er fastsat klare mål og relevante resultatindikatorer, som resultaterne af en offentlig intervention kan vurderes efter. Det fremgår af god praksis på andre EU-budgetområder og uden for EU-systemet, at sådanne mål og indikatorer bør defineres inden for rammerne af en interventionslogik.

20.

En interventionslogik kan beskrives som et sæt af hypotetiske årsagssammenhænge, der viser, hvordan man forventer at nå en interventions overordnede mål (19). I Kommissionens evalueringsretningslinjer står der, at en interventionslogik begrebsmæssigt forbinder en interventions input med frembringelsen af dens output og dens efterfølgende effekt på samfundet i form af resultater og udfald (20). Denne definition anvendes i hele denne beretning.

21.

Retten undersøgte, om der for rammeprogrammerne og de tilhørende programmer var fastlagt en interventionslogik, som kunne danne et solidt grundlag for evaluering og tilsyn.

22.

Fastlæggelsen af en interventionslogik bør fra begyndelsen være et nøgleelement i udformningen af et program. Udgangspunktet for fastlæggelsen af en interventionslogik for rammeprogrammerne bør være traktatens artikel 163, som siger, at det videnskabelige og teknologiske grundlag for Fællesskabets industri skal styrkes, og at dens internationale konkurrenceevne skal fremmes (jf. punkt 2). Denne målsætning skal derefter formuleres som specifikke mål for de forskellige videnskabelige områder, der er omfattet af rammeprogrammerne, og de forskellige instrumenter, der anvendes.

23.

Der mangler imidlertid på alle niveauer en eksplicit logisk model, som forklarer, hvordan rammeprogrammerne og de tilhørende programmer bidrager til at skabe videnskabelige og teknologiske fremskridt og innovation.

24.

Fraværet af en interventionslogik for rammeprogrammerne blev også fremhævet af det panel, der foretog femårsevalueringen i 2004. Panelet bemærkede i sin rapport, at det selv og lignende paneler bliver bedt om at udfylde tomrummet mellem dataene, der hovedsagelig er indsamlet på projektniveau, og de socioøkonomiske forskningsmål, der er fastsat på et højere politisk niveau. På grund af den måde, rammeprogrammerne var planlagt på, fandt panelet det imidlertid svært at forbinde disse ting med hinanden. Der manglede en eksplicit logik, som forbandt de overordnede målsætninger med de specifikke mål for forskning og skabelse af viden (21).

25.

En anden tilgang finder man i nogle medlemsstater (f.eks. Nederlandene og Finland) og i USA (jf. figur 3), hvor det er meget mere almindeligt at fastlægge en interventionslogik, samt i Canada, hvor det er obligatorisk i forbindelse med alle programmer (jf. bilag III). Disse landes anvendelse af interventionslogik i forbindelse med programudformning giver programmer med mere fokus og bedre struktur. Kommissionen er også ved at indføre interventionslogik på andre af Fællesskabets politikområder (f.eks. bistand til tredjelande) (22).

Figur 3

Hierarkisk opstilling af mål på grundlag af logiske modeller — eksempel fra landbrugsforskning i USA

26.

Hvis man ikke eksplicit formulerer det rationale, der ligger til grund for den offentlige intervention, og de hypotetiske årsagssammenhænge (som bestemmer, hvordan programmet derefter planlægges i detaljer, gennemføres og vurderes), undergraves muligheden for effektiv evaluering af og tilsyn med rammeprogrammerne. Det skyldes især den måde, hvorpå programmernes mål og resultatindikatorer defineres.

27.

Når det underliggende rationale for den offentlige intervention ikke gøres eksplicit, er det sværere at fastsætte og strukturere sammenhængende programmål. Det giver sig blandt andet udslag i:

28.

Kommissionen har gjort forsøg på at fastsætte arbejdsprogrammernes operationelle mål med udgangspunkt i de programmål, der er defineret i lovgivningen om rammeprogrammerne. I forbindelse med næsten alle disse initiativer er det imidlertid ikke lykkedes at præcisere programmernes underliggende logik, og arbejdsprogrammernes mål var derfor ikke specifikke, målelige, realiserbare, relevante og tidsbestemte (SMART). I 2003 blev dette gjort til et krav i finansforordningen (23).

29.

Det er uklart, i hvor høj grad de forskningspolitiske mål har en virkning, som kan spores hele vejen gennem særprogrammer, arbejdsprogrammer og indkaldelser af forslag ned til de enkelte projekter, der medfinansieres af Fællesskabet. Hvis ikke disse sammenhænge bliver klarlagt, er det ikke muligt at vurdere, hvordan rammeprogrammerne og de tilhørende programmer bidrager til opfyldelsen af de forskningspolitiske mål. I forbindelse med sin revision fandt Retten meget få eller slet ingen overbevisende beviser for opfyldelse af langsigtede mål på hverken projekt- eller programniveau i Kommissionens evalueringer (jf. punkt 82).

30.

Fraværet af en eksplicit logisk model og klart formulerede programmål har også hæmmet udviklingen af resultatindikatorer til brug ved tilsyn med opfyldelsen af programmernes mål i form af output, udfald og effekt. Faktisk er der indtil nu slet ikke blevet defineret sådanne »effektivitetsindikatorer« for rammeprogrammerne (jf. punkt 73).

31.

Det gør det endnu vanskeligere at føre tilsyn med de igangværende projekter under disse programmer samt at foretage efterfølgende evaluering af de afsluttede projekter, og det bliver sværere at aggregere projektevalueringerne og lægge dem til grund for konklusioner på programniveau (jf. bilag I og punkt 84).

32.

I Kommissionens årlige tilsynsrapporter og i dens system for aktivitetsbaseret forvaltning (ABM) finder man en række indikatorer, der anvendes til at måle programgennemførelsens produktivitet (f.eks. tid til kontrakt og tid til betaling).

33.

Indtil nu har »forskningsgeneraldirektoraterne« imidlertid ikke anvendt en standardiseret eller sammenlignelig nomenklatur for aktivitetsbaseret budgettering (ABB) og ensartede indikatorer, end ikke ved gennemførelsen af det samme særprogram (eller delprogram). Indikatorerne kan derfor ikke bruges til at sammenligne hverken resultater fra forskellige programmer eller resultater opnået i samme program.

Tekstboks 2ABB/ABM, som det for øjeblikket anvendes i »forskningsgeneraldirektoraterne«I ABB/ABM-systemet er rammeprogrammerne omfattet af to forskellige politikområder, og inden for disse områder klassificerer hvert generaldirektorat aktionerne efter sin egen nomenklatur (24). Det gælder tilmed for de særprogrammer og delprogrammer, der gennemføres af mere end ét generaldirektorat. Retten konstaterede, at ABM-målene var defineret på grundlag af forskellige principper (25), og bemærkede ligesom Kommissionens interne revisionstjeneste (26), at der hovedsagelig var tale om generelle beskrivelser af hensigter eller aktiviteter. Indikatorerne var generelt inputorienterede (f.eks. antal møder). Nogle indikatorer vedrørte processens effektivitet (f.eks. tid til kontrakt og tid til betaling), men de kunne ikke sammenlignes fra program til program og fra generaldirektorat til generaldirektorat, fordi der var forskelle i den anvendte ABB-nomenklatur, udgangspunktet i de enkelte generaldirektorater (f.eks. tidspunktet for begyndelse og afslutning af specifikke administrative processer) og i den population (f.eks. tilskudsaftaler eller betalinger), der var lagt til grund for beregningen.

34.

I fremtidige lovgivningsforslag til Rådet og Europa-Parlamentet bør Kommissionen udarbejde en eksplicit interventionslogik for rammeprogrammet som helhed og for de tiltag, det omfatter.

35.

Med hensyn til 7. RP bør Kommissionen

36.

I forbindelse med sit system for tilsyn med 7. RP bør Kommissionen for hvert særprogram (og delprogram) opstille et begrænset, men afbalanceret, sæt resultatindikatorer til måling af programgennemførelsens produktivitet og effektivitet.

37.

»Forskningsgeneraldirektoraterne« bør harmonisere deres ABM/ABB-nomenklatur, så deres resultatindikatorer bliver sammenlignelige, både over tid og, hvis det er muligt, fra program (og delprogram) til program (og delprogram).

38.

En evalueringsstrategi skaber en begrebsmæssig ramme om udformningen, planlægningen, gennemførelsen og anvendelsen af evalueringsaktiviteter. Det fremgår af god praksis på andre EU-budgetområder og uden for EU-systemet, at en sådan strategi bør tage højde for de vigtigste lovgivningsmæssige, organisatoriske og metodologiske spørgsmål med betydning for programevalueringen. Det er blandt andet spørgsmål om, hvilke evalueringer der skal udføres, hvem der skal udføre dem og hvornår, hvordan data skal indsamles, hvilke metodologiske tilgange der skal anvendes, hvordan evalueringsresultaterne skal meddeles, og hvordan der skal følges op på dem.

39.

Hvis evaluering skal indgå som et naturligt element i Kommissionens organisationskultur og beslutningsproces, er det en forudsætning, at der findes en sådan strategi, og at den bliver gennemført. Eftersom rammeprogrammerne dækker meget forskellige videnskabelige områder, erkender Retten dog, at en sådan strategi bør give de ansvarlige generaldirektorater en passende grad af fleksibilitet og ikke udstikke alt for faste rammer.

40.

Retten undersøgte, om Kommissionen havde en sådan evalueringsstrategi for rammeprogrammerne.

41.

For så vidt angår rammeprogrammerne offentliggjorde Kommissionen for første gang sin evalueringstilgang i 1980'erne (27). Den blev ajourført i 1996, da Kommissionen efter vedtagelsen af 4. RP i en meddelelse til Europa-Parlamentet og Rådet gjorde rede for sit syn på, hvilke principper det er relevant at lægge til grund for tilsyn og evaluering, og beskrev sin tilgang (28). Dette udgjorde imidlertid ikke en samlet evalueringsstrategi som beskrevet ovenfor (jf. punkt 38 og 39). Fra 1996 til 2006 reviderede Kommissionen endvidere ikke grundlæggende sin tilgang til evaluering af rammeprogrammerne, selv om de ændredes med hensyn til såvel omfang som orientering (jf. punkt 7). Det skal især bemærkes, at »forskningsgeneraldirektoraterne« ikke er blevet enige om en ensartet tilgang til evaluering af rammeprogrammerne og de tilhørende programmer ud over de lovgivningsmæssige krav, der blev vedtaget i 2002 (vedrørende 6. RP) og i 2006 (vedrørende 7. RP) (29).

42.

Fraværet af en sådan strategisk tilgang til evaluering på dette område er især et problem i indeværende programmeringsperiode, fordi 7. RP gennemføres i fællesskab af flere generaldirektorater, Det Europæiske Forskningsråd og forvaltningsorganerne, og fordi finansforordningen kræver obligatorisk personalerotation på følsomme poster. Situationen udgør også en kontrast til nuværende praksis på området bistand til tredjelande (som er det næststørste område, der forvaltes direkte af Kommissionen). På dette område har de kompetente generaldirektorater siden 2002 haft fælles flerårige evalueringsstrategier, der har fulgt programmeringsperioderne (jf. punkt 52).

43.

Fraværet af en klart formuleret evalueringsstrategi udgør også en klar kontrast til situationen i USA og Canada, hvor lovgivningen kræver, at der er en strategi (jf. bilag III).

44.

Som beskrevet nedenfor er der betydelige forskelle på evalueringsdækningen og -intensiteten af de forskellige rammeprogrammer. Der var også andre svagheder, som er beskrevet senere i denne beretning, f.eks. koordineringsproblemer, metodologiske forskelle, problemer med timing og svagheder i forbindelse med formidling af og opfølgning på evalueringsresultater. Det afspejler fraværet af en samlet strategi for evaluering af rammeprogrammerne.

45.

Rammeprogrammerne består af en række særprogrammer (og delprogrammer), som kan være meget forskellige med hensyn til formål, underliggende dynamik og budgettildeling (jf. bilag IV vedrørende 7. RP). Set under ét indebærer de specifikke bestemmelser i de forskellige rammeprogramafgørelser og finansforordningen (30) (som fastsætter, at programmer og aktiviteter, der medfører store udgifter, skal evalueres), at der siden 4. RP har været et lovgivningsmæssigt krav om evaluering af både rammeprogrammet som helhed og de fleste af de tilhørende programmer.

46.

Kommissionen har ikke givet en regel for, hvornår særprogrammer eller delprogrammer skal evalueres, og den har heller ikke fastsat en fælles tærskel og bestemt, at programmer over denne tærskel skal evalueres. Det har ført til uensartede fortolkninger af, hvad der skulle evalueres, og hvor detaljeret evalueringen skulle være:

47.

Det medførte, at store dele af 4. RP og 5. RP slet ikke blev evalueret i forbindelse med femårsevalueringen i 2004 (30 % af den samlede budgettildeling til 4. RP og 50 % af den samlede budgettildeling til 5. RP). Kommissionen overholdt således ikke de evalueringskrav, der er fastsat i finansforordningens artikel 27.

48.

Disse forskellige fortolkninger af lovgivningens minimumskrav til evaluering — og den deraf følgende utilstrækkelige evaluering af tidligere rammeprogrammer — vidner om manglende koordinering og illustrerer konsekvensen af, at Kommissionen ikke har en strategisk tilgang til evaluering af rammeprogrammerne.

49.

»Forskningsgeneraldirektoraterne« bør hurtigst muligt udvikle og aftale en fælles evalueringsstrategi for rammeprogrammerne. Uden at udstikke alt for faste rammer bør denne strategi fastlægge en ensartet tilgang til evaluering af rammeprogrammerne og de tilhørende programmer. Strategien bør også give vejledning i, hvordan minimumsniveauet for, hvornår der skal foretages en detaljeret evaluering, kan fastsættes, så der tages højde for de særlige forhold på de forskellige videnskabsfelter.

50.

Evalueringen af rammeprogrammerne skal støttes af hensigtsmæssige organisatoriske rammer, der bør være lagt med udgangspunkt i Kommissionens strategiske orientering af evalueringen. Retten undersøgte, om organisationsstrukturen sikrede, at evalueringssystemet var hensigtsmæssigt koordineret, at det fik de nødvendige ressourcer, og at interessenterne opfattede det som tilstrækkelig uafhængigt.

51.

I Kommissionen ligger ansvaret for at evaluere udgiftsprogrammerne hos de enkelte generaldirektorater (jf. punkt 8), og der er oprettet evalueringsenheder i alle generaldirektoraterne. Disse evalueringsenheder er ansvarlige for at planlægge, koordinere og gennemføre evalueringerne.

52.

Fraværet af et specifikt koordinerende organ eller en enkelt enhed med ansvar for at evaluere rammeprogrammerne som helhed — såsom et fælles evalueringskontor for »forskningsgeneraldirektoraterne« — udgør en kontrast til situationen på andre politikområder. På området bistand til tredjelande er der blevet oprettet en fælles evalueringsenhed for tre generaldirektorater (GD for Udvikling, GD for Eksterne Forbindelser og EuropeAid) med ansvar for at evaluere Kommissionens udviklingsprogrammer i tredjelande (jf. punkt 42).

53.

GD for Forskning sørger gennem Kommissionens interne »FTU-evalueringsnet« for udveksling af viden mellem de forskellige generaldirektoraters evalueringsenheder, men har ikke autoritet til at fastsætte minimumskrav for evalueringen. Denne mekanisme har imidlertid vist sig at være utilstrækkelig til at sikre en passende koordinering af Kommissionens evaluering af rammeprogrammerne.

54.

Kommissionen reviderede sin generelle tilgang til evaluering i 2000 og 2002 og igen i 2007 (jf. punkt 14). Selv om Retten ikke bemærkede en væsentlig forbedring af planlægningen, udformningen og gennemførelsen af rammeprogrammerne og de tilhørende programmer, har »forskningsgeneraldirektoraterne« generelt opfyldt de formelle krav, Kommissionen har stillet.

55.

Kommissionens centrale tjenestegrene (især GD for Budget og Generalsekretariatet) giver råd om metodologi, fastsætter fælles standarder for Kommissionen som helhed og fører tilsyn med, hvordan generaldirektoraterne og de øvrige tjenestegrene anvender standarderne (jf. punkt 14 og 70). De kan ikke bestemme, hvordan evalueringerne skal udføres i praksis.

56.

I USA og Canada håndhæves standarderne af de organer, der fastsætter dem, og erfaringerne viser, at det er medvirkende til at sikre, at evalueringssystemet fungerer effektivt. I begge lande er det føderale afdelinger, der fastlægger og håndhæver de rammer, som et program i sidste ende vurderes ud fra (jf. bilag III). Systemerne har forskellig baggrund, men de bygger begge på princippet om, at evalueringssystemets udformning og dets effektivitet bør undersøges i detaljer af et andet organ end det, der står for gennemførelsen af programmet. Det samme princip finder man i nogle medlemsstater (f.eks. Frankrig (31), Spanien (32) og Tyskland (33)), hvor eksterne organer fører tilsyn med de evalueringer, der foretages af de bevilgende myndigheder, eller ligefrem selv udfører evalueringer.

57.

Siden 4. RP har alle store evalueringer af rammeprogrammerne (og det årlige tilsyn) skullet udføres af (eller med bistand fra) paneler af eksterne eksperter (jf. bilag II). Det kan være vanskeligt at finde kvalificerede eksperter til disse paneler, men de giver mulighed for at skabe gennemsigtighed og uafhængighed, lette inddragelsen af interessenter og tilføre viden om rammeprogrammerne, om evaluering og om de underliggende videnskabelige spørgsmål.

58.

Det blev bekræftet af Rettens spørgeskemaundersøgelse, som viste, at Kommissionens panelbaserede evalueringssystem efter de adspurgtes opfattelse garanterer uafhængighed (jf. figur 4).

59.

Trods den positive opfattelse påpegede både panelmedlemmer og interessenter under Rettens revision, at Kommissionens brug af paneler til evaluering af rammeprogrammerne har været kendetegnet ved følgende svagheder:

60.

Midlerne til evaluering afsættes årligt ud fra behovene i de generaldirektorater, der gennemfører rammeprogrammerne. På nuværende tidspunkt er der tale om en kombination af midler fra en fælles pulje i GD for Budget og midler fra det administrative budget i de pågældende generaldirektorater. Derudover finansieres specifikke foranstaltninger som indirekte aktioner over rammeprogrammernes operationelle budget. Det vil sige, at der ikke er afsat et beløb specifikt til evaluering.

61.

I 2006 blev det anslået, at det personale, der arbejdede med evaluering og aktivitetsbaseret forvaltning i Kommissionen som helhed, i gennemsnit udgjorde ca. 1 % af det samlede personale (37). De tilsvarende tal for tilsyns- og evalueringsaktiviteter vedrørende FTU-rammeprogrammerne i GD for Forskning og GD for Informationssamfundet og Medier var henholdsvis 1,2 % og 1,3 %. I GD for Forskning var over to tredjedele af disse personaleressourcer imidlertid tildelt de afdelinger, der havde ansvar for de operationelle programmer og ikke evalueringsenheden, og evaluering var blot én af disse ansattes mange arbejdsopgaver.

62.

De ressourcer, der er afsat til evaluering, kan også udtrykkes som en procentdel af den samlede budgettildeling til programmet. Ifølge de tal, som Retten indhentede under sin revision, er det praksis i forbindelse med forskningsprogrammer i EU-medlemsstaterne at afsætte mellem 0,1 % og 2 % til evaluering. Af Kommissionens retningslinjer fremgår det, at 0,5 % af et programs budget bør anvendes til evaluering (38). I forbindelse med større programmer kan stordriftsbesparelser dog betyde, at en mindre del af budgettet er nok.

63.

En sammenligning af Kommissionens tal for udgifterne til evaluering i perioden 2003-2006 og de enkelte generaldirektoraters budgettildelinger viser, at det samlede gennemsnit var på ca. 0,15 %, hvilket er betragteligt lavere end Kommissionens anbefaling. En nærmere analyse af forholdene i 2006 afslører, at GD for Informationssamfundet og Medier brugte ca. fire gange så meget på evaluering som GD for Forskning set i forhold til de budgettildelinger, der vedrørte deres respektive ansvarsområder. Dertil kommer, at der i GD for Forskning kun afsættes 0,7 % årsværk for en tjenestemand på fuld tid pr. million euro på det årlige budget. Til sammenligning afsætter GD for Informationssamfundet og Medier det dobbelte.

64.

Som beskrevet i denne beretning har den ekstra indsats i GD for Informationssamfundet og Medier ført til en mere omfattende evaluering (jf. punkt 13 og 46), og det fremgår af den stikprøve af evalueringer, som Retten har gennemgået, at dette generaldirektorat også har anvendt bedre evalueringsmetodologier (jf. punkt 84).

65.

På grundlag af data fra Kommissionen udarbejdede Retten et omkostningsoverslag, der viser, at et evalueringssystem som det, der foreslås i denne beretning, i gennemsnit ville koste under 0,4 % af budgettildelingerne til 7. RP. Det ville dække omkostningerne til paneler, bestilte undersøgelser og personale til såvel det fælles evalueringskontor som de nuværende evalueringsenheder i generaldirektoraterne samt diverse andre omkostninger (39).

66.

»Forskningsgeneraldirektoraterne« bør overveje at oprette et fælles evalueringskontor som supplement til de eksisterende evalueringsenheder i de enkelte generaldirektorater. Dette kontor kunne koordinere Kommissionens evalueringsaktiviteter vedrørende rammeprogrammet som helhed, ligesom det er praksis på andre politikområder. Retten har tidligere anbefalet sådanne fælles støttefunktioner til de generaldirektorater, der gennemfører rammeprogrammerne (40), og med oprettelsen af Det Europæiske Forskningsråd og uddelegeringen af programgennemførelsen til forvaltningsorganer kan de få endnu større betydning fremover.

67.

Kommissionen bør fortsat indhente bistand fra evalueringspaneler i forbindelse med sine evalueringsaktiviteter. Den bør dog overveje, hvordan panelstrukturen kan bringes i overensstemmelse med rammeprogrammets struktur som sådan. Det kunne gøres ved at nedsætte et panel for hvert særprogram og eventuelt hvert delprogram (jf. bilag IV). Desuden bør panelerne nedsættes så tidligt, at de kan yde effektiv støtte til Kommissionen både under og efter programmeringsperioden.

68.

Kommissionen bør genoverveje, hvor mange ressourcer der skal anvendes til evalueringen af rammeprogrammerne og de tilhørende programmer.

69.

Det er en forudsætning for effektiv evaluering, at der anvendes velegnede metodologier og teknikker. Retten undersøgte, i hvilken udstrækning der fandtes specifikke retningslinjer for evaluering af rammeprogrammerne, om behovet for oplysninger blev analyseret ordentligt og rettidigt, og om evaluatorerne havde adgang til de relevante data. Med hensyn til de evalueringsundersøgelser, der var foretaget af (eller på vegne af) Kommissionen, undersøgte Retten, om de anvendte teknikker udgjorde et tilstrækkeligt grundlag for en besvarelse af de evalueringsspørgsmål, der var fastsat for femårsevalueringerne. Retten undersøgte også, hvordan nationale evalueringer potentielt kunne inddrages i evalueringen af rammeprogrammerne.

70.

GD for Budget har i adskillige meddelelser defineret sin evalueringspolitik, fastsat regler for gennemførelsen af den og opstillet et sæt standarder, der skal anvendes i hele Kommissionen (jf. punkt 14 og 55) (41). Også på andre politikområder har de ansvarlige generaldirektorater udviklet specifikke evalueringsvejledninger (42).

71.

Det er imidlertid ikke tilfældet med hensyn til rammeprogrammerne. Ganske vist har Kommissionen udgivet (eller finansieret) en række metodologiske vejledninger og »toolboxes« til brug i forbindelse med evalueringsaktiviteter på forskningsområdet (43), men de giver ingen specifik vejledning i, hvordan rammeprogrammerne skal evalueres, og de fastlægger ikke, hvordan Kommissionens ansatte eller eksterne eksperter skal anvende nøglebegreber eller vigtig terminologi. Det har bidraget til at skabe de problemer, der er beskrevet nedenfor.

72.

»Forskningsgeneraldirektoraterne« har ikke gjort nok for at klarlægge, hvilke data der er brug for i forbindelse med evaluering og tilsyn. I stedet for at foretage en systematisk og omfattende analyse af behovet for oplysninger har Kommissionen defineret datakravene sent i programmeringsperioderne og uden at tage tilstrækkeligt hensyn til databehovet i evalueringsfasen. Spørgeskemaet om socioøkonomiske emner under 6. RP var generaldirektoraternes eneste fælles forsøg på at definere sådanne data (jf. punkt 76). Spørgeskemaet blev imidlertid først færdiggjort i 2004 (tre år efter programmeringsperiodens begyndelse), og det omhandler ikke primært programmernes videnskabelige output (intellektuelle ejendomsrettigheder, publikationer osv.), udfald og effekt, men i stedet aspekter såsom deltagernes kønsfordeling og påvirkningen af miljøet.

73.

Vurderingen af programmerne er i høj grad afhængig af, at der foreligger tre typer data:

74.

Især de sidste to typer data burde være disponible i Kommissionen. Men på grund af problemer med Kommissionens interne it-systemer, som er kilden til de fleste data om programforvaltning og programdeltagere (44), har der i praksis været store problemer på dette punkt (45).

75.

Det gav store forsinkelser i forelæggelsen af artikel 173-rapporter og årlige tilsynsrapporter (op til 16 måneder for artikel 173-rapporter (46) og op til syv måneder for årlige tilsynsrapporter i perioden 2002-2005). Eftersom disse oplysninger konsekvent blev forelagt for sent, var deres anvendelighed begrænset.

76.

Siden 5. RP har Kommissionen systematisk stillet som kontraktkrav, at deltagerne skal forelægge de data, der er nødvendige for at måle opfyldelsen af programmernes mål i form af output, udfald og effekt:

77.

Disse kontraktkrav om forelæggelse af data har pålagt deltagerne unødvendige administrative byrder. For eksempel betyder det årlige spørgeskema i forbindelse med 6. RP, at der indsamles data meget oftere end nødvendigt og fra hele populationen af projekter, selv om en repræsentativ stikprøve ville have været tilstrækkelig. Det kan let føre til »evalueringstræthed«. Desuden indsamles disse data på det forkerte tidspunkt. Mange af de spørgsmål, man ønsker belyst, vedrører nemlig udviklingen på mellemlang eller lang sigt, og derfor er data, der indsamles i løbet af projektets kontraktperiode, pr. definition indsamlet for tidligt (47). Det er grunden til, at oplysningerne kun har fundet begrænset praktisk anvendelse i forbindelse med evalueringer under 5. RP og 6. RP.

78.

Derimod er der ingen af de eksisterende systemer, der sørger for standardiseret indsamling af oplysninger ved (eller kort tid efter) afslutningen af et projekt. De interviewede interessenter foreslog, at der kunne indsamles oplysninger om opfyldelsen af projektmålene, de forventede (og uventede) resultater og deltagernes opfattelse af europæisk merværdi. Sådanne oplysninger kunne også danne grundlag for eksterne undersøgelser af afsluttede projekter (48).

79.

Kombineret med en mere omfattende anvendelse af scientometriske metoder (såsom citationsanalyse) til at vurdere projektresultaterne (jf. punkt 83) kunne disse oplysninger gøre det muligt for Kommissionen at indføre et mere resultatbaseret system til finansiering af FTU-aktioner, der medfinansieres af Fællesskabet (49).

80.

Der gøres ikke tilstrækkelig brug af andre eksisterende datakilder i Kommissionen og medlemsstaterne (f.eks. databaser over nationale FTU-programmer og bevilgende myndigheder samt »Fællesskabets Informationstjeneste for Forskning og Udvikling« (CORDIS), som drives af Publikationskontoret under Kommissionen (50)).

81.

Retten undersøgte 86 evalueringer foretaget af (eller på vegne af) Kommissionen siden 2000. Det drejede sig om alle de 36 evalueringer, der dannede grundlag for femårsevalueringen i 2004, og de 50 evalueringer, der er foretaget siden da. Kun 23 af disse dokumenter kan betegnes som egentlige evalueringer af rammeprogrammet og de tilhørende programmer (jf. figur 5).

Figur 5

Oversigt over evalueringer foretaget af (eller på vegne af) Kommissionen i løbet af perioden 2000-2006.

82.

Rettens metaanalyse af disse specifikke evalueringer giver anledning til to væsentlige bemærkninger:

83.

Der anvendes i overvejende grad traditionelle metodologier og -teknikker (især spørgeskemaundersøgelser, dokumentgennemgange og interviews) i de evalueringer, der blev foretaget i perioden 2000-2006 (jf. figur 6). Desuden noterede Retten sig, at der ikke (eller kun meget sjældent) anvendtes en række sofistikerede, men ikke desto mindre anerkendte, evalueringsmetodologier og -teknikker, især:

84.

Kun et begrænset antal evalueringer kan siges at beskæftige sig med nogle af de metodologiske vanskeligheder, der er forbundet med at vurdere offentlig intervention i forskning (jf. bilag I):

85.

Ifølge de interessenter, som Retten interviewede, kan anvendeligheden og relevansen af Kommissionens evalueringer forbedres. Det viser, at der er behov for yderligere metodologisk udvikling, så evalueringssystemet kan ændres i takt med rammeprogrammerne (jf. punkt 7) (57).

86.

De nævnte problemer betød også, at det panel, der foretog femårsevalueringen i 2004 (58), havde store vanskeligheder i forbindelse med besvarelsen af de spørgsmål, der var foreslået i referencerammerne. Mange af disse vigtige spørgsmål kunne slet ikke behandles, fordi Kommissionen ikke allerede havde foretaget (eller ladet foretage) undersøgelser, og fordi panelets medlemmer ikke havde mulighed for at bestille sådanne undersøgelser i rette tid (jf. figur 7).

Figur 7

Behandlingen af evalueringsspørgsmål i femårsevalueringen fra 2004

87.

Det skal desuden bemærkes, at panelets medlemmer kun var i stand til at besvare spørgsmålene i referencerammerne, når der i programmerne var defineret klare og kvantificerbare mål (f.eks. for omfanget af små og mellemstore virksomheders deltagelse).

88.

Flere medlemsstater og associerede lande foretager deres egne nationale evalueringer af rammeprogrammerne og behandler relevante og interessante spørgsmål ud fra deres egen synsvinkel (59). I de sidste otte år er der blevet udarbejdet 14 sådanne evalueringer for ni medlemsstater og ét associeret land.

89.

Kommissionen opfordrer til, at der anvendes standardtilgange, når det er muligt, men disse nationale konsekvensanalyser er meget forskelligartede (60). Eftersom de ikke er udarbejdet efter en harmoniseret metodologi, er der begrænsede muligheder for at aggregere, kombinere eller sammenligne resultaterne. Og fordi der er tale om nationale evalueringer, kan de kun delvis give et billede af det europæiske samarbejde.

90.

I 2007-grønbogen om det europæiske forskningsrum omtaler Kommissionen vigtigheden af, at der på europæisk plan foreligger nøjagtige analyser af effekten og effektiviteten af forskellige forskningsaktioner og -politikker, herunder nationale analyser og EU-analyser. Kommissionen nævner også, at den nuværende ordning ikke er velegnet til sådanne analyser, fordi de enkelte interventionsniveauer foretager evalueringer uafhængigt af hinanden (61).

91.

Kommissionen bør udarbejde en manual for evaluering af aktioner, der finansieres af rammeprogrammerne. Her bør Kommissionen definere nøglebegreber og vigtig terminologi og beskrive en række metodologier, som er velegnede til bestemte evalueringsaktiviteter. Manualen bør bygge på eksisterende vejledninger og »toolboxes« og ajourføres regelmæssigt.

92.

Kommissionen bør fastlægge sit behov for oplysninger, idet den sørger for at begrænse den administrative byrde, der lægges på deltagerne.

93.

Kommissionen bør forelægge tilsynsoplysninger om gennemførelsen af rammeprogrammerne i rette tid. Som fastsat i 7. RP's regler for deltagelse bør problemerne med Kommissionens it-systemer til forvaltning af data om programforvaltning og programdeltagere afhjælpes så hurtigt som muligt.

94.

Deltagernes forpligtelse til at rapportere til Kommissionen bør begrænses væsentligt, og spørgeskemaundersøgelser bør kun foretages på stikprøvebasis. Kontraktkravet om, at der for hvert projekt skal indsendes indikatorbaserede data om dets effekt, bør erstattes af et krav om en kort selvevaluering efter projektets afslutning.

95.

I forbindelse med sine evalueringer bør Kommissionen i større udstrækning anvende andre eksisterende kilder til relevante data (både i Kommissionen og i medlemsstaterne).

96.

Kommissionen bør anvende hele den vifte af evalueringsteknikker, som er til rådighed. Desuden bør den støtte udviklingen af innovative tilgange til at afhjælpe de iboende metodologiske vanskeligheder i forbindelse med vurdering af offentlig intervention i forskning (jf. bilag I) og anvende disse tilgange i sine egne evalueringer.

97.

Kommissionen bør høre medlemsstaterne om, hvordan den kan få størst muligt udbytte af de nationale evalueringer af rammeprogrammerne.

98.

Evalueringer bør give relevante oplysninger og analyser, som kan bruges effektivt i forbindelse med programforvaltning og politikudformning. Især bør evalueringer danne udgangspunkt for den velbegrundede refleksion over styrkerne og svaghederne ved offentlig intervention, som er nødvendig, hvis der skal drages nytte af de høstede erfaringer. Retten undersøgte, om evalueringerne var timet rigtigt, om resultaterne blev meddelt og formidlet til interessenter uden for Kommissionen, og om Kommissionen tog hensyn til anbefalingerne og på den baggrund reviderede igangværende programmer (»learning programmes«).

99.

Retten erkender, at visse typer analyse kræver et langt perspektiv (f.eks. evaluering af udfald og socioøkonomisk effekt), og at nogle aspekter vedrører en specifik programmeringsperiode (f.eks. programmål, selv inden for et givet videnskabsfelt), mens andre ikke gør (jf. figur 8). I forbindelse med sine evalueringsaktiviteter har Kommissionen imidlertid ikke valgt en tilgang, som tager hensyn til disse tidshorisonter.

100.

I lovgivningen har det været fastsat, at Kommissionens væsentligste evalueringsaktiviteter udelukkende skulle fokusere på de fem år op til en femårsevaluering, dvs. dele af to successive programmeringsperioder. Evalueringerne har derfor næsten ikke omhandlet udfald og effekt på mellemlang og lang sigt. Femårsevalueringerne har som hovedregel haft fokus på tilsynsaspekter, kortsigtede spørgsmål vedrørende programudformning og generelle bemærkninger om rammeprogrammernes orientering. Retten glæder sig over, at der i lovgivningen om 7. RP ikke stilles krav om femårsevalueringer eller andre evalueringer, der skal dække en forud fastsat periode.

Figur 8

Spørgsmål vedrørende tilsyn og evaluering med forskellige tidshorisonter

101.

Det er også blevet bemærket af Kommissionens eksperter, at femårsevalueringernes vurdering af rammeprogrammernes udfald og effekt er mangelfuld:

102.

Spørgsmålet om timing har også betydning for de specifikke evalueringer, der stilles krav om i lovgivningen. Marimón-rapporten fra 2004, som analyserede de nye instrumenter, der var indført i 6. RP (2003-2006), skulle udarbejdes på et for tidligt tidspunkt, hvilket betød, at der ikke var ret mange (om nogen) praktiske erfaringer og empiriske beviser at bygge rapportens konklusioner på (65).

103.

Kommissionen kan på eget initiativ udvikle og tilpasse de operationelle arbejdsprogrammer i korte cyklusser, forudsat at de godkendes af de relevante programudvalg. Det kunne være en mulighed for at justere programforvaltningen og omfordele budgetmidler mellem forskellige delprogrammer. Der er intet, der tyder på, at Kommissionen benytter sig af denne mulighed (jf. punkt 107).

104.

På grund af den måde, rammeprogrammerne udformes og vedtages på, er det i øvrigt næsten umuligt for Kommissionen at foretage væsentlige ændringer, f.eks. af programmålene eller af budgetmidlernes fordeling på delprogrammerne. Kun lovgiver kan foretage sådanne ændringer i forbindelse med en revision af lovgivningen om rammeprogrammerne (en sådan finder sted i 2010 vedrørende 7. RP) eller i forbindelse med vedtagelsen af det næste rammeprogram. Derfor har der typisk stået i lovgivningen, at de store evalueringer skulle times således, at der kunne tages behørigt hensyn til resultaterne i forbindelse med politikudformningen.

105.

»Forskningsgeneraldirektoraterne« er altså selv hovedbrugere af Kommissionens evalueringer (66). Men det er også eksplicit fastsat i lovgivningen om rammeprogrammerne, at evalueringernes konklusioner skal meddeles til Europa-Parlamentet og Rådet.

106.

Det fremgik imidlertid af Rettens spørgeskemaundersøgelse blandt medlemmerne af Europa-Parlamentets ITRE-udvalg og Rådets CREST-udvalg, at de fleste svarpersoner ikke følte sig tilstrækkeligt informeret om gennemførelsen og resultaterne af rammeprogrammerne (jf. figur 9) (67).

107.

I sin årlige evalueringsoversigt giver Kommissionen et resumé af evalueringsresultaterne og de foranstaltninger, der er truffet på baggrund af dem (68) Som led i sin opfølgning har Kommissionen også givet formelle svar på resultaterne og anbefalingerne i de femårsevalueringer og specifikke evalueringer, der er obligatoriske i medfør af lovgivningen, og Kommissionen har så vidt muligt truffet passende foranstaltninger for at afhjælpe de konstaterede svagheder. Den har imidlertid ikke fulgt op på mange af de andre evalueringer, som Retten har undersøgt, og der er intet, der tyder på, at disse evalueringers resultater og anbefalinger har givet anledning til ændringer i arbejdsprogrammerne. Tilsvarende fremgår det ikke af generaldirektoraternes ABB-budgetoversigter og årlige aktivitetsrapporter, i hvilket omfang de har fulgt op på evalueringsresultater.

108.

Kommissionen bør fastlægge, hvilken type evaluering der med rimelighed kan forventes på de tidspunkter, der er bestemt i lovgivningen (2008, 2010 og 2015), og definere evalueringernes omfang. Kommissionen bør også forklare, hvordan evalueringer kan anvendes til at tilpasse programmer (»learning programmes«), og hvordan de kan danne grundlag for politikbeslutninger. Kommissionen bør især præcisere, hvordan den har til hensigt at evaluere de langsigtede resultater af tidligere og nuværende rammeprogrammer, når det tages i betragtning, at der kan gå syv til ti år, før sådanne resultater er opnået (jf. figur 8).

109.

Kommissionen bør revidere sin praksis for meddelelse og formidling af evalueringsresultater for at sikre, at interessenterne får de nødvendige oplysninger. Især bør »forskningsgeneraldirektoraterne« svare formelt på alle evalueringer og så hurtigt som muligt offentliggøre evalueringerne sammen med deres svar. »Forskningsgeneraldirektoraterne« bør også beskrive deres opfølgning i ABB-budgetoversigterne og de årlige aktivitetsrapporter og gøre brug af evalueringernes anbefalinger, når de ajourfører arbejdsprogrammer og udformer fremtidige programmer.

110.

Retten erkender, at det i sagens natur er vanskeligt at evaluere FTU-programmer — især deres langsigtede resultater — og at det er svært at fastlægge den bedste praksis.

111.

Retten mener, at evalueringer har stor betydning for programforvaltning, planlægning af fremtidige programmer og politikudformning. Evalueringer danner også grundlag for regnskabspligt og ansvarlighed. De giver værdifulde oplysninger om de forventede (eller uventede) resultater, der er opnået, om programmålenes opfyldelse, om programmernes relevans og nytte og om programgennemførelsens produktivitet og effektivitet. Eftersom det er Europa-Parlamentet og Rådet, der træffer afgørelse om rammeprogrammernes generelle orientering, deres budget og udformningen af de tilhørende programmer, er der brug for et gennemsigtigt, troværdigt og robust evalueringssystem, som kan give disse institutioner de nødvendige oplysninger.

112.

Kommissionen fastlagde en overordnet evalueringsramme i 2000 og 2002 og reviderede den i 2007. Selv om Retten ikke bemærkede en væsentlig forbedring af planlægningen, udformningen og gennemførelsen af rammeprogrammerne og de tilhørende programmer i den reviderede periode, har »forskningsgeneraldirektoraterne« generelt opfyldt de formelle krav, Kommissionen har stillet.

113.

I overensstemmelse med lovgivningen om rammeprogrammerne havde »forskningsgeneraldirektoraterne« et evalueringssystem på plads i den periode, som denne beretning dækker, og Kommissionen kan henvise til et stort antal evalueringer. Kendsgerningen er imidlertid, at Kommissionen har meget lidt eller slet ingen viden om opfyldelsen af programmålene og rammeprogrammernes resultater. Det skyldes, at evalueringerne generelt har fokuseret på kortsigtede spørgsmål vedrørende programgennemførelsen. Kommissionens evalueringer har derfor været af begrænset anvendelighed for de politiske beslutningstagere, interessenterne og endda for Kommissionen selv.

114.

Eftersom evalueringer har stor betydning for programforvaltning og politikudformning, er Kommissionen nødt til at genoverveje sin tilgang til evaluering af rammeprogrammerne og de tilhørende programmer i lyset af de nye politiske udfordringer, den øgede finansiering, den bredere orientering af Fællesskabets forskningspolitik og den nylige reform af Kommissionen. Det samme anbefalede EURAB i sin rapport fra 2007.

115.

Retten mener, at anvendelse af en eksplicit interventionslogik i forbindelse med fremtidig programudformning under rammeprogrammerne ville give programmer med mere fokus og bedre struktur. Det ville også bidrage til at gennemføre Kommissionens politik om »bedre lovgivning«, der har til formål at skabe et lovkompleks, som er bedre udformet, enklere, mere effektivt og lettere at forstå (69).

116.

Evalueringen af rammeprogrammerne og de tilhørende programmer ville være mere effektiv, hvis programmernes mål og indikatorer var klarere defineret fra starten, hvis »forskningsgeneraldirektoraterne« var enige om en robust, men ikke for rigid, evalueringsstrategi, og hvis der blev anvendt mere avancerede evalueringsmetodologier, herunder kvantitative tilgange.

117.

Retten noterede sig også en række punkter, hvor Kommissionen kunne genoverveje de eksisterende organisatoriske rammer for evalueringen af rammeprogrammerne. Det kunne være en fordel:

118.

Anbefalingerne i denne beretning bygger enten på eksisterende praksis i Kommissionen eller på international god praksis. Med hensyn til ressourcer er det klart, at indførelsen af den foreslåede tilgang til programevaluering vil kræve højere omkostninger. Retten mener imidlertid, at denne tilgang højst sandsynligt vil give en gevinst, der i hvert fald opvejer omkostningsstigningen.