30.1.2008   

SL

Uradni list Evropske unije

C 26/1

I–V

1–14

1–7

8–14

15–18

19–109

19–37

38–49

50–68

69–97

98–109

110–118

I.

Okvirni programi Skupnosti za RTR (OP) so največji vir javnega financiranja raziskav v Evropski uniji. Za upravljanje OP in ocenjevanje njihovih rezultatov je odgovorna Komisija.

II.

V revizijo so bile zajete ureditve o spremljanju in ocenjevanju, ki veljajo od leta 1995 za vsaj tri programska obdobja (OP4, OP5, OP6), vsebuje pa tudi pogled na OP7 (2007–2013). Revizija je bila izvedena skupaj z revizijskim odborom EFTE in s pomočjo zunanjih strokovnjakov.

III.

Predmet revizije je bilo vprašanje, ali je bil pristop Komisije k ocenjevanju OP ustrezen. Sodišče je v okviru tega preverilo, ali je Komisija izpolnjevala pravne zahteve za ocenjevanje in ocenilo, ali je njen sistem za ocenjevanje in spremljanje izpolnil pričakovanja zainteresiranih strani. Sodišče je zastavilo predvsem naslednja vprašanja:

IV.

Sodišče je prišlo do naslednjih ugotovitev in zaključkov:

V.

Sodišče priporoča:

1.

Raziskave in tehnološki razvoj (RTR) (1) so glavno gonilo znanstvenega in tehničnega napredka in inovativnosti ter kot take pomembno prispevajo k izboljšanju življenjskega standarda. Javni poseg v RTR je na splošno utemeljen kot korektiv za tako imenovane „tržne neuspehe“, pri čemer javna podpora zmanjša negotovost, saj zagotavlja naložbe tam, kjer so raziskave javno dobro ali kjer obstajajo pomembni zunanji vplivi.

2.

Vlogo Skupnosti pri podpiranju RTR določa člen 163 Pogodbe ES: „Cilj Skupnosti je okrepiti znanstvene in tehnološke temelje industrije Skupnosti ter jo spodbujati, da postane bolj konkurenčna na mednarodni ravni, pri čemer pospešuje vse raziskovalne dejavnosti, ki se zdijo potrebne …“. V členih 164–173 so določene dejavnosti, ki se izvajajo v ta namen, ter področje uporabe in izvajanje večletnih okvirnih programov za RTR (OP). Za pripravo predlogov za OP je odgovorna Komisija, medtem ko sklepe o OP ter pravila za sodelovanje in razširjanje skupaj sprejmeta Evropski parlament in Svet s postopkom soodločanja. Posebne programe sprejme Svet sam. OP skupaj izvaja šest generalnih direktoratov (GD), to so tako imenovani „GD, povezani z raziskavami“ (2).

3.

V širokem razponu politik, ki jih Evropska unija izvaja za krepitev inovativnosti in konkurenčnosti, so OP najpomembnejši finančni instrument, ki na ravni Skupnosti prispeva k uresničevanju lizbonske strategije (3) in barcelonskega cilja (4).

4.

Komisija z OP zagotavlja sredstva raziskovalcem v Evropski uniji, pridruženih državah in mednarodnih organizacijah. Njihovi proračuni so se z leti močno povečali in za OP7 znašajo 7 217 milijonov EUR na leto v primerjavi z 2 761 milijoni EUR, kolikor so znašali v okviru OP4 (glej diagram 1). Kar zadeva proračunske odobritve, te predstavljajo največje področje, ki ga Komisija neposredno centralizirano upravlja (5).

5.

OP se od številnih nacionalnih programov razlikujejo v tem, da pokrivajo tako temeljne kot uporabne raziskave z udeležbo industrije in javnih raziskovalnih organizacij (6). Okvirne programe sestavljajo posebni programi (in podprogrami), ki se nanašajo na širša znanstvena področja. Ti običajno zajemajo več tematskih področij, ki so osredotočena na bolj specifična znanstvena področja. Ta tematska področja se nato po razpisih za zbiranje predlogov izvajajo prek projektov (imenovanih „posredni ukrepi“). Na ta način je na vsakem tematskem področju financiranih na stotine posameznih projektov.

6.

Skupni delež OP v celotnem javnem financiranju RTR v Evropski uniji in njenih državah članicah se giblje med 4 % in 5 %. Kljub temu je njegov vpliv na to, katere vrste raziskovalnih dejavnosti se izvajajo v Evropi, bistveno večji. To je tako zato, ker donacije Skupnosti na splošno zagotavljajo samo del vseh sredstev za projekt. Poleg tega morajo raziskovalci ob oddaji vloge za sredstva dokazati, da se njihovi projekti nanašajo na cilje, opredeljene v razpisih za zbiranje predlogov. Tako OP spodbujajo usmerjanje dejavnosti RTR k specifičnim ciljem EU.

7.

V zadnjih letih je prišlo pri OP do pomembnih sprememb, ki so posledica:

8.

Komisija je odgovorna za izvajanje programov in za ocenjevanje njihovih rezultatov (8). Na Komisiji ocene decentralizirano pripravljajo posamezni generalni direktorati (zlasti GD za proračun in generalni sekretariat), osrednje službe pa zagotavljajo podporo in koordinacijo.

9.

V tem poročilu so uporabljene opredelitve Komisije, ki „ocenjevanje“ opredeljuje kot „presojo posegov glede na njihove rezultate, učinke in potrebe, ki naj bi jih zadovoljili“ (9), ter „spremljanje“ kot zagotavljanje informacij o izvajanju tekočih programov in projektov za obravnavanje upravljavskih potreb (10). Tako sta ti dve dejavnosti ločeni tudi v sedanji zakonodaji o OP7.

10.

V nadaljnjem besedilu se za opisovanje rezultatov dejavnosti RTR uporabljajo naslednji izrazi:

Okvir 1Primer „globalnega sistema za mobilno komunikacijo“ (GSM)V tem primeru so bili „izložki“ financiranja Skupnosti takojšnji rezultati projekta, kot je razvoj standarda GSM. „Izid“ je predstavljalo dejstvo, da je bil v Evropi in zunaj nje sprejet kot standard za digitalno celično telefonijo, kar je v veliki meri prispevalo k razvoju industrije telekomunikacij. Kot zadnje, „učinki“ so bile gospodarske, socialne in politične posledice mednarodne uporabe te tehnologije. To zajema tudi prispevek k ustvarjanju delovnih mest na področju telekomunikacij in s tem povezanih industrij ter naraščanje pomembnosti tega industrijskega sektorja za evropsko gospodarstvo. GSM je ljudem zagotovil tudi nov način medsebojne komunikacije.

11.

Vendar se pri ocenjevanju teh rezultatov pojavljajo številne metodološke težave (glej Prilogo I). Socialno-ekonomske spremembe so zapletene, zlasti je raziskovalno dejavnost pogosto težko povezati z opaženimi izidi in učinki. Čeprav te metodološke težave predstavljajo precejšen izziv, pa ne preprečujejo nujno uspešnega ocenjevanja.

12.

Komisija ima od 1980-ih vzpostavljen sistem za spremljanje in ocenjevanje OP (11). Sistem za spremljanje in ocenjevanje, ki se je začel z OP4 sredi 1990-ih, je sestavljalo več delno povezanih dejavnosti, med katerimi sta bili:

Obe dejavnosti je bilo treba izvajati s pomočjo zunanjih strokovnjakov (glej diagram 2 in Prilogo II).

Diagram 2

OP4 do OP7 – Ključne zahteve pri spremljanju in ocenjevanju

13.

Do danes so bile izvedene tri petletne ocene (12), na podlagi katerih so nastala „Davignonovo“, „Majójevo“ in „Ormalovo“ poročilo (v letih 1997, 2000 in 2004). GD za informacijsko družbo je ob tem izvajal tudi ciljne ocene za svoje posebne programe. Omeniti je treba, da so bile petletne ocene z zakonodajo o OP7 ukinjene, kar je odstranilo omejitev, da so morale biti glavne ocene osredotočene na predhodnih pet let in zaradi tega pokrivati dele dveh zaporednih programskih obdobij. Leta 2004 je bilo objavljeno tudi „Marimónovo poročilo“ (13), ki je posebna ocena o uspešnosti novih instrumentov, uvedenih z OP6.

14.

Komisijin okvir za dejavnosti ocenjevanja je bil pregledan v letih 2000 in 2002 (14). Obe sporočili sta bili v letu 2007 posodobljeni ob upoštevanju posledic upravne reforme Komisije in nove Finančne uredbe (15). V teh dokumentih sta vloga in funkcija ocenjevanja opisani v kontekstu celotnega cikla načrtovanja, programiranja in poročanja Komisije, ob tem pa je določen tudi sklop 21 standardov ocenjevanja in 18 modelov „dobre prakse“. Poleg tega je v teh dokumentih obravnavana tudi uporaba ocen pri pripravi in poenostavitvi zakonodaje EU.

15.

Glavni cilj revizije je bil ugotoviti, ali je imela Komisija ustrezen pristop k ocenjevanju rezultatov okvirnih programov za RTR.

16.

V ta namen je Sodišče ocenilo, v kolikšnem obsegu:

17.

V tem poročilu so zajete ustrezne ureditve za OP4 (1995–1998), OP5 (1999–2002) in OP6 (2003–2006). V njem so obravnavane tudi pravne zahteve, ki trenutno veljajo za OP7 (2007–2013), vendar ne zagotavlja ocene Komisijinega dokumenta „Ocena učinka in predhodno vrednotenje“ (16) za OP7. Poročilo je osredotočeno na spremljanje in naknadno ocenjevanje programov in ne na predhodno ocenjevanje predlogov projektov ali naknadno ocenjevanje samih projektov.

18.

Revizija je bila izvedena s sodelovanjem revizijskega odbora EFTE in s pomočjo zunanjih strokovnjakov. Revizijski dokazi so bili zbrani z:

19.

Uspešno ocenjevanje in spremljanje zahteva jasne cilje in ustrezne kazalnike uspešnosti na ravni politike, programov in projektov, glede na katere je mogoče ocenjevati rezultate javnega posega. Dobra praksa na drugih področjih proračuna EU in širše kaže, da je te cilje in kazalnike treba opredeliti v okviru logike posega.

20.

Logiko posega je mogoče opredeliti kot sklop hipotetičnih povezav med vzroki in posledicami, ki opisujejo, kako naj bi poseg po pričakovanjih dosegel svoje globalne cilje (19). V smernicah Komisije za ocenjevanje je navedeno, da logika posega zagotavlja konceptualno povezavo med vložki posega in njegovimi izložki, ter posledično z njegovimi učinki na družbo z vidika rezultatov in izidov (20). V tem poročilu je ta opredelitev dosledno uporabljena.

21.

Sodišče je ocenilo, v kolikšnem obsegu je bila za OP in njihove programe oblikovana logika posega, ki zagotavlja dobro podlago za ocenjevanje in spremljanje.

22.

Opredelitev logike posega bi morala biti že od samega začetka ključni element zasnove programa. Izhodišče za takšno logiko posega za OP bi moral nuditi člen 163 Pogodbe, v katerem je navedena potreba po krepitvi znanstvene in tehnološke podlage in večji konkurenčnosti (glej odstavek 2). Logika posega bi morala biti bolj podrobno določena glede na posamezna znanstvena področja, ki jih pokrivajo OP, in glede na različne uporabljene instrumente.

23.

Vendar na vseh ravneh manjka jasno opredeljen logični model, ki bi pojasnjeval, kako OP in njihovi programi prispevajo k znanstvenemu in tehnološkemu napredku ter inovacijam.

24.

Pomanjkanje logike posega pri OP je poudaril tudi odbor za petletno oceno iz leta 2004, ki je izjavil, da takšne odbore ponavadi zaprosijo, da zapolnijo vrzel med dokazi, večinoma zbranimi na ravni projektov, na eni strani in socialno-ekonomskimi cilji za raziskovalno politiko na višji ravni na drugi strani. Vendar je zaradi načina načrtovanja OP v tem trenutku to povezavo težko ugotoviti. OP manjka jasna logika, ki bi povezovala najvišje cilje s specifičnimi cilji v raziskavah in znanju (21).

25.

Nekatere države članice (npr. Nizozemska, Finska) in ZDA (glej diagram 3) uporabljajo drugačen pristop, kjer je opredelitev logike posega veliko bolj pogosta, prav tako Kanada, kjer je obvezna za vse programe (glej Prilogo III). Uporaba logike posega tam dejansko prinaša bolj osredotočene in bolje strukturirane programe. Tudi Komisija jo uvaja na drugih področjih politike Skupnosti (npr. zunanja pomoč) (22).

Diagram 3

Opredelitev hierarhije ciljev na podlagi logičnih modelov – Primer raziskav na področju kmetijstva v ZDA

26.

Ker določitev osnovnih razlogov za javni poseg in predvidenih vzročnih povezav (v skladu s katerimi se nato podrobno načrtuje, izvaja in oceni program) ni pravno predpisana, to negativno vpliva na uspešno ocenjevanje in spremljanje OP. To je zlasti posledica načina, kako so opredeljeni cilji programa in kazalniki uspešnosti.

27.

Če osnovni razlogi za javni poseg niso jasno izraženi, je težje skladno določiti in strukturirati programske cilje. To odražata dejstvi, da:

28.

Komisija je skušala operativne cilje določiti v delovnih programih, ki temeljijo na programskih ciljih, opredeljenih v zakonodaji o OP. Vendar tem pobudam v skoraj nobenem primeru ni uspelo pojasniti logike, na kateri temelji program, cilji, navedeni v delovnih programih, pa niso bili specifični, merljivi, dosegljivi, relevantni in pravočasni (SMART). S Finančno uredbo (23) leta 2003 je to postalo pravna zahteva.

29.

Ni jasno, v kolikšnem obsegu je ciljem politike mogoče slediti po specifičnih programih, delovnih programih in razpisih za zbiranje predlogov za posamezne projekte, ki jih sofinancira Skupnost. Če te povezave niso razjasnjene, ni mogoče oceniti prispevka OP in njihovih programov k doseganju ciljev te politike. Z revizijo je bilo ugotovljeno, da je Komisija v svojih ocenah zagotovila malo ali nobenih prepričljivih dokazov o doseganju dolgoročnih ciljev, tako na ravni projekta kot programa (glej odstavek 82).

30.

Ker ni jasnega logičnega modela in jasno zastavljenih programskih ciljev, je bilo težko razviti tudi kazalnike uspešnosti za spremljanje doseganja programskih ciljev v obliki izložkov, izidov in učinkov, in sicer v tolikšni meri, da doslej takšni kazalniki „uspešnosti“ za OP sploh niso bili opredeljeni (glej odstavek 73).

31.

V takšnih razmerah je tudi težje pregledovati tekoče projekte, ki se financirajo iz teh programov, in naknadno ocenjevati dokončane projekte, hkrati pa to prispeva k težavam pri pripravi agregatov ocen posameznih projektov na programski ravni (glej Prilogo I in odstavek 84).

32.

Nekateri kazalniki za spremljanje uspešnosti izvajanja programa (npr. čas, potreben za podpis pogodb, in čas za plačila) so navedeni v letnih poročilih Komisije o spremljanju ter v okviru Komisijinega sistema upravljanja na podlagi dejavnosti (ABM).

33.

Vendar do zdaj „GD, povezani z raziskavami“ niti pri izvajanju istega posebnega programa (ali podprograma) niso uporabljali standardizirane ali primerljive nomenklature k dejavnostim usmerjenega proračuna (ABB) in s tem povezanih kazalnikov. Zato teh kazalnikov ni mogoče uporabiti za primerjavo uspešnosti med programi in znotraj njih.

Okvir 2ABB/ABM, kot ga trenutno izvajajo „GD, povezani z raziskavami“V sistemu ABB/ABM pokrivata OP dve različni področji politik, v katerih so dejavnosti OP predstavljene v skladu z nomenklaturo (24), ki se uporablja v posameznem generalnem direktoratu. To velja celo za tiste posebne programe in podprograme, ki jih izvaja več kot en GD. Cilji ABM so bili opredeljeni v skladu z različnimi osnovnimi načeli (25) in so bili, kot je navedla služba Komisije za notranjo revizijo (26), večinoma oblikovani na splošno, tako da so opisovali prizadevanja ali dejavnosti. Kazalniki so bili na splošno usmerjeni na vložke (npr. število sestankov itd). Nekateri so se nanašali na učinkovitost procesa (npr. čas, potreben za sklenitev pogodbe ali za plačilo), vendar med programi in med generalnimi direktorati niso bili primerljivi zaradi razlik v nomenklaturi ABB, v predpostavkah, značilnih za posamezne GD (kot sta začetek in konec specifičnih upravnih procesov) in v osnovni populaciji (npr. vrsta sporazuma o donaciji, vrsta plačila), ki je bila upoštevana za njihov izračun.

34.

Komisija bi morala v prihodnjih zakonodajnih predlogih Svetu in Evropskemu parlamentu določiti jasno logiko posega za OP kot celoto in za njegove sestavne dele.

35.

Za OP7 bi Komisija morala:

36.

Komisija bi morala za svoj sistem spremljanja OP7 za vsak posebni program (in podprogram) uvesti omejen, vendar uravnotežen sklop kazalnikov uspešnosti za merjenje učinkovitosti in uspešnosti izvajanja programa.

37.

„GD, povezani z raziskavami“ bi morali uskladiti svojo nomenklaturo ABM/ABB, da bi bili kazalniki uspešnosti primerljivi tako časovno kot, kjer je mogoče, med posebnimi programi (in podprogrami).

38.

Strategija ocenjevanja zagotavlja konceptualni okvir, v katerem se zasnujejo, načrtujejo, izvajajo in uporabljajo dejavnosti ocenjevanja. Dobra praksa na drugih proračunskih področjih EU in širše kaže, da bi morala biti v takšni strategiji upoštevana glavna pravna, organizacijska in metodološka vprašanja, povezana z ocenjevanjem programa. To pomeni sprejeti odločitve o tem, kakšna ocenjevanja se bodo izvajala, kdo jih bo izvajal in kdaj, kako se bodo zbirali podatki, kakšni metodološki pristopi se bodo uporabljali, kako se bodo sporočale ugotovitve in kakšno bo nadaljnje ukrepanje po njih.

39.

Oblikovanje takšne strategije in zagotavljanje njenega izvajanja sta prva pogoja za vključitev ocenjevanja v Komisijino organizacijsko kulturo in proces odločanja. Vendar Sodišče priznava, da bi morala takšna strategija glede na raznolikost znanstvenih področij, ki jih pokrivajo OP, vsem odgovornim generalnim direktoratom zagotavljati ustrezno raven prožnosti in ne bi smela biti preveč predpisovalna.

40.

Sodišče je preverilo, v kolikšnem obsegu je imela Komisija za OP vzpostavljeno takšno strategijo ocenjevanja.

41.

Komisija je za OP prvič javno objavila svoj pristop k ocenjevanju v 1980-ih (27). Ta je bil posodobljen leta 1996, ko je Komisija obvestila Evropski parlament in Svet o tem, za kar je takrat menila, da so pomembna osnovna načela za spremljanje in ocenjevanje, ter po sprejetju OP4 (28) predstavila svoj načrtovani pristop. Vendar to ni sestavljalo celostne strategije ocenjevanja, kot je določena zgoraj (glej odstavka 38 in 39). Poleg tega Komisija od leta 1996 do 2006 ni ponovno temeljito preučila svojega pristopa k ocenjevanju OP5 in OP6, kljub temu, da sta se OP spremenila tako po obsegu kot po usmerjenosti (glej odstavek 7). Zlasti se „GD, povezani z raziskavami“ niso dogovorili o doslednem pristopu k ocenjevanju OP in njihovih programov, ki bi presegal zakonodajne zahteve, sprejete v letih 1999 (za OP5), 2002 (za OP6) in 2006 (za OP7) (29).

42.

Za tekoče programsko obdobje je pomanjkanje takšnega strateškega pristopa k ocenjevanju na tem področju še posebna težava glede na to, da OP7 skupaj izvaja več generalnih direktoratov, Evropski raziskovalni svet in več izvajalskih agencij ter glede na obvezne menjave osebja na občutljivih delovnih mestih, ki jih predpisuje Finančna uredba. Prav tako je v nasprotju s sedanjo prakso na področju zunanje pomoči (ki je drugo največje področje, ki ga neposredno upravlja Komisija). Na tem področju so se pristojni generalni direktorati od leta 2002 dogovorili o skupnih večletnih strategijah ocenjevanja, povezanih s programskimi obdobji (glej odstavek 52).

43.

To pomanjkanje jasno oblikovane strategije ocenjevanja je tudi močno v nasprotju s stanjem v ZDA in Kanadi, kjer strategijo zahteva zakonski okvir (glej Prilogo III).

44.

Kot je prikazano v nadaljevanju, obstajajo precejšnje razlike v pokritju in intenzivnosti ocenjevanja med različnimi OP. Obstajale so tudi druge pomanjkljivosti, kot so težave pri koordinaciji, razlike v metodoloških pristopih, težave s časovnim načrtovanjem ter pomanjkljivosti pri sporočanju ugotovitev ocenjevanja in nadaljnjem ukrepanju po njih, obravnavane v nadaljevanju tega poročila. To odraža pomanjkanje celostne strategije ocenjevanja za OP.

45.

OP sestavljajo številni posebni programi (in podprogrami), ki se lahko precej razlikujejo glede na svoj namen, osnovno dinamiko in proračunske odobritve (za OP7 glej Prilogo IV). Posebne določbe različnih sklepov o OP in Finančne uredbe (30) (ki zahteva ocenjevanje programov in dejavnosti, ki predstavljajo večjo porabo), upoštevane skupaj, kažejo, da že od OP4 velja pravna zahteva za ocenjevanje tako OP kot celote kot večine posebnih programov, ki ga sestavljajo.

46.

Komisija ni določila pravila o tem, kdaj morajo biti posebni programi ali podprogrami OP ocenjeni, niti skupnega praga, nad katerim mora biti izvedeno ocenjevanje. To je povzročalo nedosledne razlage glede tega, kaj bi bilo treba oceniti in kako podrobno:

47.

Posledično pri petletni oceni iz leta 2004 pomembni deli programov OP4 in OP5 sploh niso bili ocenjeni (kar ustreza 30 % vseh proračunskih odobritev za OP4 in 50 % za OP5). To pomeni, da Komisija ni izpolnila zahtev za ocenjevanje iz člena 27(4) Finančne uredbe.

48.

Te razhajajoče se razlage glede minimalnih pravnih zahtev za ocenjevanje in posledično premalo ocenjevanja OP v preteklosti ponazarjajo pomanjkanje koordinacije in učinek pomanjkanja strateškega pristopa Komisije k ocenjevanju OP.

49.

„GD, povezani z raziskavami“ bi morali čimprej razviti skupno strategijo ocenjevanja za OP in se o njej dogovoriti. Ta strategija ne bi smela biti pretirano predpisovalna, vendar bi morala privesti do doslednega pristopa k ocenjevanju OP in njihovih programov. Takšna strategija bi morala tudi zagotavljati smernice glede minimalne ravni, na kateri mora biti izvedeno podrobno ocenjevanje, da se upoštevajo specifične značilnosti vsakega znanstvenega področja.

50.

Ocenjevanje OP bi morale podpirati ustrezne organizacijske ureditve, ki bi morale izhajati iz Komisijine strateške usmeritve za ocenjevanje OP. Sodišče je preverilo, v kolikšnem obsegu je organizacijska struktura zagotavljala, da je bil sistem ocenjevanja ustrezno koordiniran, da so bili zanj na voljo ustrezni viri in da je bil po mnenju zainteresiranih strani tudi dovolj neodvisen.

51.

V Komisiji so za ocenjevanje programov porabe odgovorni posamezni generalni direktorati (glej odstavek 8) in v vsakem je bila ustanovljena enota za ocenjevanje. Te enote so odgovorne za načrtovanje, koordinacijo in izvajanje ocenjevanja.

52.

Ker ni posebnega koordinacijskega organa ali ene same enote za ocenjevanje OP kot celote, kot na primer skupni urad za ocenjevanje za „GD, povezane z raziskavami“, je to v nasprotju z drugimi področji politik. Na področju zunanje pomoči je bila za tri generalne direktorate (za razvoj, za zunanje odnose in EuropeAid) ustanovljena skupna enota za ocenjevanje, ki je odgovorna za ocenjevanje razvojnih programov Komisije v tretjih državah (glej odstavek 42).

53.

GD za razvoj prek Komisijine notranje „mreže za ocenjevanje RTR“ zagotavlja izmenjavo znanja med enotami za ocenjevanje v različnih GD, vendar nima pooblastil, da bi določil sklop minimalnih zahtev za ocenjevanje. Ta mehanizem ni zadostoval za zagotovitev ustrezne koordinacije Komisijinega ocenjevanja OP.

54.

Komisija je svoj splošni pristop k ocenjevanju pregledala v letih 2000 in 2002 ter ponovno v letu 2007 (glej odstavek 14). Čeprav niso bile opažene večje izboljšave pri načrtovanju, zasnovi in izvajanju ocenjevanja za OP in njihove programe, so „GD, povezani z raziskavami“ na splošno izpolnjevali uradne zahteve, ki veljajo za celotno Komisijo.

55.

Osrednje službe Komisije (zlasti GD za proračun in generalni sekretariat) zagotavljajo metodološko svetovanje, opredeljujejo skupne standarde v Komisiji kot celoti in spremljajo, kako generalni direktorati in službe te standarde uporabljajo (glej odstavka 14 in 70). Vendar ne morejo določiti, kako naj se ocenjevanja izvajajo v praksi.

56.

Izkušnje v ZDA in Kanadi kažejo, da uveljavljanje standardov s strani organov, ki jih določajo, pripomore k zagotavljanju uspešnega delovanja sistema ocenjevanja. V obeh državah zvezni oddelki določijo in uveljavljajo okvir, znotraj katerega se na koncu presoja o uspehu programa (glej Prilogo III). Čeprav je ozadje drugačno, njuna sistema kljub temu temeljita na enakem osnovnem načelu, da bi moral organ, ločen od organa, ki izvaja program, bolj podrobno oceniti zasnovo sistema ocenjevanja in skrbno pregledati njegovo uspešnost. Enako je mogoče opaziti v nekaterih državah članicah (npr. v Franciji (31), Španiji (32), Nemčiji (33)), kjer zunanji organi nadzirajo ocenjevanja, ki jih izvajajo agencije, ki zagotavljajo sredstva, ali pa celo sami izvajajo ta ocenjevanja.

57.

Od OP4 so morali vsa večja ocenjevanja (in letno spremljanje) OP izvajati odbori zunanjih strokovnjakov (ali pa pri tem pomagati) (glej Prilogo II). Kljub težavam pri iskanju ustreznih strokovnjakov imajo takšni odbori potencial, da zagotavljajo preglednost, nudijo določeno stopnjo neodvisnosti, olajšajo sodelovanje zainteresiranih strani in izkoriščajo znanje, pridobljeno pri samih OP, ocenjevanju in z njimi povezanih znanstvenih vprašanjih.

58.

To je bilo potrjeno z anketami Sodišča, ki so pokazale, da so anketiranci menili, da Komisijin sistem ocenjevanja, ki temelji na odborih, nudi zagotovilo o neodvisnosti (glej diagram 4).

59.

Kot so člani odborov in udeležene strani povedali Sodišču med revizijo, so bile za Komisijino uporabo odborov za ocenjevanje OP kljub temu pozitivnemu mnenju značilne naslednje pomanjkljivosti:

60.

Sredstva za ocenjevanje se zagotavljajo na letni osnovi v skladu s potrebami, ki jih določijo generalni direktorati, ki izvajajo OP. Trenutno se ocenjevanje financira s kombinacijo splošnih sredstev Komisije iz GD za proračun in sredstev iz administrativnega dela proračuna na ravni zadevnih generalnih direktoratov. Poleg tega se posebni ukrepi financirajo kot posredni ukrepi iz operativnega proračuna OP. To pomeni, da za ocenjevanje ni posebej določenega zneska.

61.

Leta 2006 je bilo na Komisiji povprečje za uslužbence, ki delajo na področju ocenjevanja in upravljanja na podlagi dejavnosti, ocenjeno na približno 1 % vseh uslužbencev (37). Ustrezni številki za dejavnosti spremljanja in ocenjevanja okvirnih programov RTR v GD za raziskave in GD za informacijsko družbo sta bili 1,2 % oziroma 1,3 %. Vendar sta bili v GD za raziskave več kot dve tretjini teh kadrovskih virov dodeljeni oddelkom za operativno izvajanje programov, ne pa enoti za ocenjevanje, ocenjevanje pa je bilo le ena od številnih nalog, ki so jim bile dodeljene.

62.

Sredstva, namenjena ocenjevanju, je mogoče izraziti tudi kot odstotek skupnih proračunskih sredstev, dodeljenih programu. Med revizijo pridobljeni podatki kažejo, da je v praksi za raziskovalne programe v državah članicah EU namenjenih od 0,1 % do 2 %. V smernicah Komisije je priporočeno, da se za ocenjevanje (38) nameni 0,5 % proračuna programa. Vendar pri večjih programih ekonomija obsega pomeni, da bi lahko zadoščal tudi manjši delež njihovih proračunov.

63.

Primerjava Komisijinih podatkov o odhodkih za ocenjevanje v obdobju 2003–2006 in proračunskih odobritev za vsak generalni direktorat kaže, da skupno povprečje znaša približno 0,15 %, kar je precej nižje od stopnje, ki jo je predlagala Komisija. Podrobnejša analiza za leto 2006 kaže, da je GD za informacijsko družbo za ocenjevanje porabil približno štirikrat več kot GD za raziskave, v primerjavi s proračunskimi odobritvami, za katere sta odgovorna. Poleg tega je v Generalnem direktoratu za raziskave samo 0,7 % enega uslužbenca s polnim delovnim časom na milijon EUR letnega proračuna namenjenega ocenjevanju. Za primerjavo, GD za informacijsko družbo temu namenja dvakrat več človeških virov.

64.

Kot je prikazano v tem poročilu, sta rezultat tega dodatnega prizadevanja GD za informacijsko družbo celovitejša pokritost ocenjevanja (glej odstavka 13 in 46) in, kot je prikazano v vzorcu ocenjevalnih študij, ki ga je pregledalo Sodišče, uporaba metodologij, ki bolje ustrezajo obravnavanju potreb po ocenjevanju (glej odstavek 84).

65.

Ocena stroškov, ki jo je Sodišče izvedlo na podlagi podatkov, ki jih je zagotovila Komisija, kaže, da bi sistem ocenjevanja, ki bi temeljil na predlogih iz tega poročila, v povprečju predstavljal manj kot 0,4 % proračunskih odobritev za OP7. To bi pokrilo stroške odborov, študij, ki jih izvajajo podizvajalci, uslužbencev, zaposlenih tako v skupnem uradu za ocenjevanje kot v sedanjih enotah za ocenjevanje v posameznih generalnih direktoratih, ter druge različne stroške (39).

66.

„GD, povezani z raziskavami“ bi morali razmisliti o ustanovitvi skupnega urada za ocenjevanje poleg sedanjih enot za ocenjevanje v posameznih generalnih direktoratih. V skladu s sedanjo prakso na drugih področjih politike bi ta urad lahko koordiniral Komisijine dejavnosti ocenjevanja za OP kot celoto. Takšne skupne podporne funkcije so že bile priporočene za generalne direktorate, ki izvajajo OP (40) in lahko postanejo v prihodnosti še pomembnejše z ustanovitvijo ERC in prenosom pooblastil za izvajanje programov na izvajalske agencije.

67.

Komisija bi morala še naprej uporabljati ocenjevalne odbore, da ji pomagajo pri njenih dejavnostih ocenjevanja. Vendar bi Komisija morala razmisliti, kako naj uskladi strukturo odborov s splošno programsko strukturo OP. To je mogoče storiti tako, da ustanovi odbore za posebne programe in, kjer je ustrezno, podprograme (glej Prilogo IV). Poleg tega bi morali biti ti odbori ustanovljeni dovolj zgodaj, da bi Komisiji zagotavljali učinkovito pomoč med celotnim programskim obdobjem in po njem.

68.

Komisija bi morala znova razmisliti o sredstvih, namenjenih za ocenjevanje OP in njihovih programov.

69.

Uspešno ocenjevanje zahteva uporabo ustreznih metodologij in tehnik. Sodišče je preverilo, v kolikšnem obsegu so obstajale posebne smernice za ocenjevanje OP, ali so bile potrebe po informacijah redno ustrezno analizirane in ali so bili ustrezni podatki dani na voljo ocenjevalcem. Ob upoštevanju ocenjevalnih študij, ki jih je izvedla Komisija (ali pa so bile izvedene v njenem imenu), je Sodišče pregledalo, ali so tehnike, uporabljene za posamezne študije, zagotavljale zadostno osnovo za obravnavo ocenjevalnih vprašanj, določenih za petletno oceno. Upoštevan je bil tudi možni prispevek ocen na nacionalni ravni k ocenjevanju OP.

70.

GD za proračun je izdal več sporočil, v katerih je navedel svojo ocenjevalno politiko in pravila za njeno izvajanje, ter določil sklop standardov, ki veljajo za celotno Komisijo (glej odstavka 14 in 55) (41). Tudi za druga področja politike so pristojni generalni direktorati razvili posebne ocenjevalne smernice (42).

71.

Vendar pri OP to ni tako. Obstajajo številni metodološki priročniki in orodja za dejavnosti ocenjevanja na področju raziskav, ki jih je objavila (ali financirala) Komisija (43). Vendar v nobenem od njih ni specifičnih navodil za izvajanje ocenjevanja za OP niti niso opredeljeni ključni koncepti ali terminologija, ki naj bi jih uporabljali uslužbenci Komisije ali zunanji strokovnjaki. To je prispevalo k težavam, obravnavanim v nadaljevanju.

72.

„GD, povezani z raziskavami“ so premalo pozornosti posvetili temu, da bi razumeli, kateri podatki so potrebni za namene ocenjevanja in spremljanja. Namesto da bi sistematično in izčrpno analizirala potrebe po podatkih, je Komisija zahteve za podatke določila pozno v programskem obdobju in brez potrebnega upoštevanja splošnih potreb ocenjevanja. Socialno-ekonomski vprašalnik za OP6 je bil edini skupni poskus generalnih direktoratov, da bi se dogovorili o teh podatkih (glej odstavek 76). Vendar je bil ta vprašalnik dokončan v letu 2004 (tri leta po začetku programskega obdobja) in zajema predvsem vidike, kot so udeležba spolov in okoljski vplivi, ne pa tudi znanstvenih izložkov (kot so vprašanja intelektualne lastnine, objave itd.), izidov ali učinkov.

73.

Ocenjevanje programov v veliki meri sloni na razpoložljivosti treh vrst podatkov:

74.

Na Komisiji bi morali biti na voljo zlasti zadnji dve vrsti podatkov. Vendar je bilo zaradi težav s Komisijinimi notranjimi informacijskimi sistemi, ki so vir večine podatkov o upravljanju programov in udeležencih (44), v praksi (45) s tem precej težav.

75.

To nazorno kažejo precejšnje zamude pri dajanju na voljo poročil iz člena 173 in letnih poročil o spremljanju (do 16 mesecev zamude pri poročilih iz člena 173 (46) in do 7 mesecev zamude pri letnih poročilih o spremljanju v obdobju od 2002 do 2005). Ker so te informacije dosledno zamujale, je bila njihova uporaba omejena.

76.

Komisija od OP5 naprej v pogodbah sistematično zahteva, da udeleženci zagotavljajo podatke, ki so potrebni za merjenje doseganja programskih ciljev z vidika izložkov, izidov in učinkov, kot sledi:

77.

Te pogodbene zahteve za zagotavljanje podatkov so udeležencem naložile nepotrebna administrativna bremena. Pri letnem vprašalniku za OP6, na primer, se podatki zbirajo veliko pogosteje, kot je potrebno, in iz celotne populacije projektov, čeprav bi zadostoval reprezentativni vzorec. To lahko povzroči „utrujenost od ocenjevanja“. Poleg tega so se ti podatki zbirali ob napačnem času, številna osnovna vprašanja, za katera se zbirajo podatki, so srednjeročne ali dolgoročne narave, tako da je zbiranje podatkov v času pogodbenega trajanja projekta po definiciji prezgodnje (47). Zaradi tega so bili podatki, ki so jih ta orodja za ocenjevanje zagotovila v okviru OP5 in OP6, v praksi uporabljeni v le omejenem obsegu.

78.

Vendar noben od vzpostavljenih sistemov ne predvideva standardiziranega zbiranja podatkov ob (ali kmalu po) izteku projekta. Zainteresirane strani, s katerimi so bili opravljeni pogovori, so predlagale, da bi takšni podatki lahko zajemali doseganje ciljev projekta, načrtovane (in nenačrtovane) rezultate ter dodano vrednost, ki je po mnenju udeležencev nastala zaradi sodelovanja Skupnosti. Takšne informacije bi bile lahko tudi podlaga za zunanje preglede zaključenih projektov (48).

79.

Skupaj z obsežnejšo uporabo scientometričnih pristopov (kot je analiza navedkov) za ocenjevanje rezultatov projektov (glej odstavek 83) bi to lahko Komisiji nudilo osnovo, da se pri dejavnostih RTR, ki jih sofinancira Skupnost (49), preusmeri k sistemu financiranja, ki bo bolj temeljil na rezultatih.

80.

Drugi viri podatkov v Komisiji in državah članicah se premalo uporabljajo (npr. podatkovne zbirke nacionalnih programov RTR in agencij za zbiranje sredstev ter „Službe Skupnosti za informacije o raziskavah in razvoju“ (CORDIS), ki jo upravlja Komisijin Urad za publikacije (50)).

81.

Sodišče je pregledalo 86 ocenjevalnih študij, ki jih je od leta 2000 izvedla Komisija (ali pa so bile izvedene v njenem imenu). Med njimi je bilo vseh 36 študij, ki so bile podlaga za petletno oceno, objavljenih leta 2004 in dodatnih 50 študij, ki so bile dokončane od takrat. Samo 23 teh študij je mogoče šteti za pristna ocenjevanja OP in njihovih programov (glej diagram 5).

Diagram 5

Pregled ocenjevalnih študij, ki jih je v obdobju od leta 2000 do 2006 izvedla Komisija (ali pa so bile izvedene v njenem imenu)

82.

Iz meta-analize teh posebnih ocenjevalnih študij, ki jo je opravilo Sodišče, izhajata dve glavni opažanji:

83.

Pri ocenjevanjih, izvedenih v obdobju 2000–2006, prevladuje uporaba tradicionalnih metodologij in tehnik (zlasti anket, pregledov dokumentacije in pogovorov) (glej diagram 6). Poleg tega številne druge zahtevne, vendar kljub temu dobro uveljavljene ocenjevalne metodologije in tehnike niso bile uporabljene (ali pa zelo redko), zlasti:

84.

Ocenjevalne študije, ki so poskušale obravnavati nekatere metodološke težave pri ocenjevanju javnega posega na področju raziskav (glej Prilogo I), so bile uporabljene le pri omejenem številu primerov:

85.

Zainteresirane strani, s katerimi se je pogovarjalo Sodišče, so menile, da bi bilo možno koristnost in pomembnost Komisijinih ocenjevanj izboljšati. To nazorno kaže potrebo po nadaljnjem metodološkem razvoju, ki bi omogočil takšen razvoj sistema ocenjevanja, da bo upoštevana tudi spreminjajoča se narava OP (glej odstavek 7) (57).

86.

To nazorno kažejo tudi številne težave, s katerimi se je leta 2004 soočal odbor za petletno oceno (58) pri odgovarjanju na ocenjevalna vprašanja, predlagana v njegovih delovnih pooblastilih. Številnih od teh zapletenih vprašanj sploh ni bilo mogoče preučiti, ker Komisija pred tem ni izvedla ustreznih študij (ali pa niso bile izvedene v njenem imenu) in ker ni bilo možnosti, da bi lahko člani odbora sami pravočasno naročili takšne študije (glej diagram 7).

Diagram 7

Obravnavanje ocenjevalnih vprašanj pri pripravi petletne ocene leta 2004

87.

Poleg tega je opaženo, da so lahko člani odbora odgovorili na vprašanja, določena v svojih delovnih pooblastilih, samo pri tistih vidikih, za katere so bili v programih natančno določeni jasni in količinsko izmerljivi cilji (kot je delež udeleženih malih in srednje velikih podjetij).

88.

Več držav članic in pridruženih držav izvaja svoja nacionalna ocenjevanja OP, pri katerih obravnavajo relevantna in zanimiva vprašanja s svojega vidika (59). V zadnjih 8 letih je bilo izdelanih 14 takšnih študij za 9 držav članic in eno pridruženo državo.

89.

Čeprav je Komisija povsod, kjer je mogoče, spodbujala standardizirane pristope, so te nacionalne študije o učinku zelo raznolike (60). Zaradi tega ne sledijo usklajeni metodologiji, možnosti za zbiranje, združevanje ali primerjanje rezultatov pa so omejene. Poleg tega lahko te študije zaradi svojega nacionalnega značaja samo delno zajamejo razsežnost evropskega sodelovanja.

90.

Komisija je leta 2007 v „zeleni knjigi“ o ERA trdila, da je pomembno, da so na ravni ERA na voljo točne analize o učinku in uspešnosti raziskovalnih dejavnosti in politik, vključno s tistimi v državah članicah in EU. Prav tako je priznala, da sedanja ureditev ni ustrezna za obravnavanje tega izziva, ker je vsaka raven posega izvajala ocenjevanja ločeno od ostalih (61).

91.

Komisija bi morala pripraviti priročnik za ocenjevanje dejavnosti, ki se financirajo iz OP, ter v njem opredeliti temeljne koncepte in terminologijo ter vrsto ustreznih metodologij za določene dejavnosti ocenjevanja. Ta priročnik bi moral temeljiti na obstoječih smernicah in orodjih ter bi ga bilo treba redno posodabljati.

92.

Komisija bi morala opredeliti svoje potrebe po informacijah, ter ob tem upoštevati potrebo po omejitvi administrativnega bremena za udeležence.

93.

Komisija bi morala pravočasno zagotavljati informacije o spremljanju izvajanja OP. Kot zahtevajo „pravila za udeležbo“ za OP7, je treba nujno in čimprej odpraviti težave v Komisijinih informacijskih sistemih za upravljanje podatkov o vodenju programa in udeležencih.

94.

Obveznosti udeležencev glede poročanja Komisiji je treba precej zmanjšati, ankete pa bi bilo treba izvajati samo na podlagi vzorca. Pogodbeno zahtevo za predložitev podatkov o učinku na podlagi kazalnikov za vsak projekt bi bilo treba nadomestiti s kratko samooceno ob zaključku projekta.

95.

Komisija bi morala pri svojih ocenjevanjih v večji meri uporabljati obstoječe dopolnilne vire relevantnih podatkov (tako v Komisiji kot v državah članicah).

96.

Komisija bi morala uporabljati celoten razpon razpoložljivih tehnik ocenjevanja. Poleg tega bi morala podpirati razvoj inovativnih pristopov k reševanju metodoloških težav, ki so značilne za ocenjevanje javnih posegov na področju raziskav (glej Prilogo I) in te pristope uporabljati pri svojih ocenjevanjih.

97.

Komisija bi se morala z državami članicami posvetovati o tem, kako čim bolj povečati koristi ocenjevanj OP na nacionalni ravni.

98.

Ocenjevanje bi moralo zagotavljati relevantne informacije in analize, ki jih je mogoče uspešno uporabljati za vodenje programov in oblikovanje politike. Ocenjevanje bi moralo predvsem nuditi podlago za temeljit razmislek o prednostih in pomanjkljivostih javnega posega, ki bi temeljil na podatkih in ki je nujen za učenje. Sodišče je preverilo, v kolikšnem obsegu so bile ocene časovno dobro načrtovane, ugotovitve sporočene in razširjene med zainteresirane strani zunaj Komisije in kako je Komisija upoštevala priporočila za pregled tekočih programov („programi učenja“).

99.

Sodišče priznava, da nekatere vrste analize zahtevajo dolgoročno perspektivo (npr. ocena izidov in socialno-ekonomskih učinkov) ter da so nekateri vidiki povezani z določenim programskim obdobjem (npr. programski cilji, celo znotraj danega znanstvenega področja), drugi pa ne (glej diagram 8). Vendar Komisija pri svojih dejavnostih ocenjevanja ni sprejela pristopa, ki upošteva te časovne razpone.

100.

Zakonodaja zahteva, da se Komisijine glavne dejavnosti ocenjevanja osredotočajo izključno na pet let pred pripravo petletne ocene ter tako pokrivajo dele dveh zaporednih programskih obdobij. Zaradi tega so bili srednjeročni in dolgoročni izidi in učinki le malo obravnavani. Posledično so se petletne ocene v glavnem osredotočale na vidike spremljanja, vprašanja, povezana s kratkoročno zasnovo programov, in splošna opažanja o usmeritvi OP. Sodišče pozdravlja dejstvo, da zakonodaja o OP7 ne zahteva več petletnih ocen ali kakršnih koli drugih vnaprej opredeljenih obdobij pokritosti.

Diagram 8

Vprašanja spremljanja in ocenjevanja glede na različne časovne razpone

101.

Te pomanjkljivosti petletnih ocen pri ocenjevanju izidov in učinkov OP so opazili tudi strokovnjaki Komisije:

102.

Vprašanje časovnega načrtovanja vpliva tudi na posebne ocene, ki jih zahteva zakonodaja. Tako je bilo, na primer, Marimónovo poročilo leta 2004, v katerem so bili analizirani novi instrumenti, uvedeni z OP6 (2003–2006), zahtevano prezgodaj, posledica pa je bila, da je bilo malo ali nič praktičnih izkušenj in empiričnih dokazov, na katerih bi bili lahko utemeljeni njegovi zaključki (65).

103.

Komisija lahko sama razvije in prilagodi operativne delovne programe v skladu s kratkoročnimi cikli, vendar mora za to pridobiti odobritev ustreznega programskega odbora. To bi lahko predstavljalo priložnost za prilagoditve pri upravljanju programov in za proračunske prerazporeditve v podprogramih. Ni bilo dokazov, da Komisija uporablja to možnost (glej odstavek 107).

104.

Poleg tega je glede na način oblikovanja in sprejemanja OP za Komisijo skoraj nemogoče, da bi sprejela kakršne koli pomembne spremembe, kot so spremembe programskih ciljev ali prerazporeditev proračunov med podprogrami. Takšne obširne spremembe lahko uveljavi samo zakonodajalec med pregledom zakonodaje o OP (kot v letu 2010 za OP7) ali pri sprejemanju naslednjega OP. Zato je zakonodaja običajno določala, da so glavna ocenjevanja časovno načrtovana tako, da je njihove rezultate mogoče kar se da koristno upoštevati pri oblikovanju politike.

105.

Tako so nekateri glavni uporabniki Komisijinih ocenjevanj sami „GD, povezani z raziskavami“ (66). Zakonodaja o OP izrecno zahteva, da se ocene sporočijo tudi Evropskemu parlamentu in Svetu.

106.

Vendar je v anketi, ki jo je Sodišče izvedlo v odboru Evropskega parlamenta ITRE in v odboru Sveta CREST, večina anketirancev navedla, da se ne počutijo dovolj obveščeni o izvajanju in rezultatih OP (glej diagram 9) (67).

107.

Komisija v svojih letnih pregledih ocenjevanja predstavi povzetek ugotovitev in izvedenih dejavnosti, ki izhajajo iz njenih ocenjevanj (68). Komisija je glede nadaljnjega ukrepanja zagotovila tudi formalne odgovore na ugotovitve in priporočila iz petletnih ocen ter iz posebnih ocen, ki jih zahteva zakonodaja, ter v možnem obsegu ustrezno ukrepala, da bi odpravila v njih opredeljene pomanjkljivosti. Vendar pri številnih drugih pregledanih ocenjevalnih poročilih to ni bilo tako ter ni bilo dokazov, da so bile njihove ugotovitve in priporočila upoštevana pri spremembi delovnih programov. Podobno v proračunskih izjavah generalnih direktoratov o ABB in njihovih letnih poročilih o dejavnostih ni navedeno, v kolikšnem obsegu se je ukrepalo po ugotovitvah iz ocen.

108.

Komisija bi morala določiti vrsto in obseg ocene, ki jo je mogoče razumno pričakovati ob datumih, določenih v zakonodaji (2008, 2010 in 2015), pojasniti, kako je ocene mogoče uporabiti za prilagajanje programov („programi učenja“) in določiti, kako lahko ocenjevanja prispevajo k odločitvam na področju te politike. Komisija bi morala zlasti pojasniti, kakšen pristop načrtuje glede ocenjevanja dolgoročnih rezultatov preteklih in sedanjega OP, glede na to da lahko traja od 7 do 10 let, da takšni rezultati obrodijo sadove (glej diagram 8).

109.

Komisija bi morala pregledati svojo prakso na področju sporočanja in razširjanja ugotovitev svojih ocenjevanj, da bi zagotovila, da udeležene strani prejmejo potrebne informacije. Predvsem bi morali „GD, povezani z raziskavami“ zagotoviti uraden odziv na vse ocene in te študije skupaj s svojimi odgovori pravočasno javno objaviti. „GD, povezani z raziskavami“ bi morali v svojih proračunskih izjavah o ABB in svojih letnih poročilih o dejavnostih poročati o tem, kako so ukrepali po ugotovitvah in kako so uporabili priporočila pri posodabljanju delovnih programov in zasnovi prihodnjih programov.

110.

Sodišče priznava, da je ocenjevanje programov RTR in zlasti ocenjevanje njihovih dolgoročnih rezultatov samo po sebi težko in da je opredeliti najboljšo prakso zahtevna naloga.

111.

Po mnenju Sodišča je ocenjevanje bistvenega pomena za upravljanje programov, za prihodnje načrtovanje in za oblikovanje politike. Ocenjevanje zagotavlja tudi osnovo za odgovornost. Nudi dragocene informacije o tem, kateri načrtovani (ali nenačrtovani) rezultati so bili doseženi, v kolikšnem obsegu so bili doseženi programski cilji, o relevantnosti in uporabnosti programov ter o učinkovitosti in uspešnosti izvajanja programa. Ker o splošni usmeritvi, proračunskih zadevah in zasnovi programa OP odločata Evropski parlament in Svet, je potreben pregleden, verodostojen in trden sistem ocenjevanja, ki jima bo zagotavljal ustrezne informacije.

112.

Komisija je v letih 2000 in 2002 vzpostavila skupni okvir ocenjevanja in ga pozneje v letu 2007 pregledala. Čeprav v obdobju, ki ga je revidiralo Sodišče, niso bile opažene nobene večje izboljšave pri načrtovanju, zasnovi in izvajanju ocenjevanja OP in njihovih programov, so „GD, povezani z raziskavami“ na splošno izpolnjevali uradne zahteve, ki veljajo za vso Komisijo.

113.

„GD, povezani z raziskavami“ so imeli za obdobje, ki ga pokriva to poročilo, vzpostavljen sistem ocenjevanja, kot ga zahteva zakonodaja o OP, in Komisija lahko pokaže precejšnjo količino ocenjevalnih študij. Vendar ostaja dejstvo, da je o doseganju programskih ciljev in o rezultatih OP znanega malo ali nič. To je posledica tega, da so se ocene v glavnem osredotočale na kratkoročna vprašanja, povezana z izvajanjem programa. Zaradi tega je bila koristnost Komisijinih ocen za nosilce političnih odločitev, za zainteresirane strani in celo za samo Komisijo, omejena.

114.

Glede na pomembnost ocenjevanja za upravljanje programov in oblikovanje politike je treba Komisijin pristop k ocenjevanju OP in programov, ki jih sestavljajo, ponovno preučiti z vidika novih političnih izzivov, povečanega financiranja, razširitve usmerjenosti politike Skupnosti na področju raziskav in nedavne reforme Komisije. To je priporočil tudi EURAB v svojem poročilu leta 2007.

115.

Po mnenju Sodišča bi uporaba jasne logike posega pri zasnovi prihodnjih programov OP privedla do bolj osredotočenih in bolje strukturiranih programov. Prav tako bi prispevala h Komisijini politiki „boljših predpisov“, ki si prizadeva za bolje zasnovano, preprostejše, uspešnejše in bolje razumljeno zakonodajno okolje (69).

116.

Ocenjevanje OP in njihovih programov bi bilo uspešnejše, če bi bili od samega začetka programski cilji in kazalniki bolj jasni, če bi se „GD, povezani z raziskavami“ dogovorili o trdni, a ne preveč predpisovalni ocenjevalni strategiji, in če bi se uporabljale naprednejše ocenjevalne metodologije, vključno s kvantitativnimi pristopi.

117.

Sodišče je prav tako ugotovilo, da bi lahko Komisija z določenih vidikov ponovno razmislila o svojih obstoječih organizacijskih ureditvah za ocenjevanje OP. Prednosti so lahko v

118.

Priporočila v tem poročilu temeljijo bodisi na obstoječih praksah v Komisiji ali na mednarodni dobri praksi. Kar zadeva sredstva, je jasno, da bi uvedba predlaganega pristopa k ocenjevanju programov pomenila višje stroške. Vendar po mnenju Sodišča obstajajo velike možnosti, da bodo ti povišani stroški povzročili vsaj tako velik pozitivni protiučinek.