30.1.2008   

RO

Jurnalul Oficial al Uniunii Europene

C 26/1

I-V

1-14

1-7

8-14

15-18

19-109

19-37

38-49

50-68

69-97

98-109

110-118

I.

Programele-cadru (PC) comunitare de cercetare și dezvoltare tehnologică (CDT) reprezintă cea mai importantă sursă publică de fonduri de cercetare din Uniunea Europeană. Responsabilitatea de a gestiona programele-cadru și de a evalua rezultatele acestora îi revine Comisiei.

II.

Auditul s-a efectuat cu privire la mecanismele de monitorizare și evaluare existente cu începere din 1995 pentru ultimele trei perioade de programare (PC4, PC5, PC6), dar oferă și considerații referitoare la perspectivele pentru Al șaptelea program-cadru (PC7) (2007-2013). Auditul s-a efectuat alături de Colegiul auditorilor din cadrul AELS și a beneficiat de asistența unor experți externi.

III.

Auditul a avut ca obiectiv să stabilească dacă abordarea Comisiei privind evaluarea rezultatelor programelor-cadru a fost adecvată. În acest context, Curtea a verificat dacă obligațiile juridice privind evaluarea au fost îndeplinite de către Comisie și a urmărit să stabilească dacă sistemul de evaluare și monitorizare al acesteia a răspuns așteptărilor factorilor interesați. Curtea a examinat, în special, următoarele aspecte:

IV.

Curtea a făcut următoarele constatări și a ajuns la următoarele concluzii:

V.

Curtea face următoarele recomandări:

1.

Cercetarea și dezvoltarea tehnologică (CDT) (1) reprezintă motorul principal al progresului științific și tehnologic și al inovării și aduce, astfel, o contribuție majoră la îmbunătățirea nivelului de trai. Intervenția publică în CDT se justifică în general ca un factor de corecție împotriva așa-numitelor „eșecuri ale pieței”, și anume sprijinul public acționează în sensul reducerii nesiguranței și furnizează investiții în acele cazuri în care cercetarea reprezintă un bun public sau în care sunt prezente externalități semnificative.

2.

Articolul 163 din Tratatul de instituire a Comunității Europene stabilește misiunea Comunităților în sprijinirea CDT, stipulând următoarele: „Comunitatea are ca obiectiv consolidarea bazelor științifice și tehnologice ale industriei Comunității și favorizarea dezvoltării competitivității sale internaționale, precum și promovarea acțiunilor de cercetare considerate necesare …”. Articolele 164-173 stabilesc activitățile care trebuie desfășurate în acest scop, precum și sfera și modalitățile de punere în aplicare ale programelor-cadru (PC) multianuale de cercetare și dezvoltare tehnologică. Comisia are responsabilitatea de a prezenta propuneri pentru programele-cadru, în timp ce deciziile privind programele-cadru și normele de participare și de difuzare a rezultatelor activităților de cercetare se adoptă prin codecizie de către Parlamentul European și Consiliu. Programele specifice sunt adoptate numai de către Consiliu. Programele-cadru sunt puse în aplicare în comun de către șase direcții generale (DG-uri), așa-numitele „direcții generale cu competențe în cercetare” (2).

3.

În cadrul paletei largi de politici puse în aplicare în Uniunea Europeană pentru consolidarea inovării și a competitivității, programele-cadru reprezintă instrumentul financiar cel mai important care contribuie la realizarea strategiei de la Lisabona (3) și a obiectivului de la Barcelona (4) la nivel comunitar.

4.

Prin intermediul programelor-cadru, Comunitatea furnizează finanțare cercetătorilor din cadrul Uniunii Europene, din țări asociate și din organizații internaționale. Bugetele prevăzute pentru programe au crescut simțitor de-a lungul anilor, ajungând la 7 217 milioane de euro pe an pentru cel de Al șaptelea program-cadru, față de cele 2 761 de milioane de euro pentru cel de Al patrulea program-cadru (a se vedea figura 1). Din punctul de vedere al creditelor bugetare, acestea reprezintă sfera cea mai importantă de gestiune centralizată directă din cadrul Comisiei (5).

5.

Programele-cadru se deosebesc de multe programe naționale prin aceea că includ atât cercetarea fundamentală, cât și pe cea aplicată, și admit participarea atât a întreprinderilor, cât și a organizațiilor publice de cercetare (6). Sunt alcătuite din programe (și subprograme) specifice care vizează domenii științifice largi. Aceste programe sunt constituite, de regulă, dintr-un număr de segmente care se axează pe ramuri științifice mai precis delimitate. Aceste segmente sunt, la rândul lor, puse în aplicare prin intermediul unor proiecte (denumite „acțiuni indirecte”), în urma unor cereri de propuneri. În acest mod se desfășoară finanțarea a sute de proiecte individuale din cadrul unui segment.

6.

Procentul global pe care îl dețin programele-cadru în ansamblul finanțării publice a CDT din Uniunea Europeană și din statele membre variază între 4 % și 5 %. Cu toate acestea, impactul pe care îl au asupra tipurilor de activități de cercetare desfășurate în Europa este considerabil mai puternic. Aceasta se datorează faptului că subvențiile comunitare furnizează de obicei numai o parte din totalul fondurilor pentru un proiect dat. În plus, la solicitarea finanțării, cercetătorii trebuie să demonstreze că proiectele lor vizează obiectivele precizate în cererile de propuneri. Astfel, programele-cadru creează stimulente de natură să orienteze activitățile de CDT către obiective comunitare specifice.

7.

În ultimii ani au fost aduse modificări importante programelor-cadru, motivele fiind:

8.

Comisia răspunde de punerea în aplicare a programelor și de evaluarea rezultatelor acestora (8). În cadrul Comisiei, evaluarea este descentralizată, fiind delegată diverselor direcții generale, în timp ce serviciile centrale (în special DG Buget și Secretariatul general) furnizează sprijin și coordonare.

9.

Prezentul raport utilizează termenii „evaluare” și „monitorizare” în înțelesul pe care îl dă Comisia acestor termeni, și anume „evaluare” ca o apreciere a intervențiilor în funcție de rezultatele și impactul acestora și de necesitățile pe care urmăresc să le satisfacă (9) și „monitorizare” ca acea activitate prin care se furnizează informații cu privire la punerea în aplicare a programelor și a proiectelor în curs de derulare, cu scopul de a răspunde nevoilor de gestionare (10). De altfel, aceste două activități sunt diferențiate în același mod și în legislația actuală privind PC7.

10.

În continuarea prezentului document este utilizată terminologia următoare pentru a descrie rezultatele activităților de CDT:

Caseta 1Exemplul „Sistemului global de comunicații mobile” (Global System for Mobile communications – GSM)În exemplul de față, „realizările” obținute grație finanțării comunitare sunt reprezentate de rezultatele imediate ale proiectului, cum ar fi elaborarea standardului GSM. „Efectul” constă în acceptarea acestui sistem ca standard de telefonie celulară digitală de referință, atât pe teritoriul european, cât și în afara limitelor acestuia, fapt care a contribuit din plin la dezvoltarea sectorului telecomunicațiilor. În fine, „impactul” este reprezentat de consecințele economice, sociale și politice ale utilizării acestei tehnologii pe plan internațional. Printre acestea se numără crearea de locuri de muncă în cadrul sectorului telecomunicațiilor și al sectoarelor conexe, precum și sporirea importanței acestui sector pentru economia europeană. Nu în ultimul rând, GSM a pus la dispoziția populației o nouă modalitate de comunicare.

11.

Evaluarea rezultatelor respective ridică însă un număr de dificultăți metodologice (a se vedea anexa I). Schimbările socioeconomice constituie un fenomen complex și, în termeni mai preciși, relația dintre o activitate de cercetare și efectele și impacturile observate este adesea dificil de stabilit. Deși aceste dificultăți metodologice reprezintă o provocare considerabilă, aceasta nu înseamnă neapărat că ele fac imposibilă evaluarea eficace.

12.

Comisia a introdus un sistem de monitorizare și evaluare a programelor-cadru încă din anii 1980 (11). Începând cu PC4, de la mijlocul anilor 1990, sistemul de monitorizare și evaluare a fost constituit dintr-un număr de activități parțial interconectate, printre care:

Ambele activități au trebuit să fie efectuate cu ajutorul unor experți externi (a se vedea figura 2 și anexa II).

Figura 2

PC4-PC7 – Cerințe fundamentale pentru monitorizare și evaluare

13.

Până în prezent, s-au efectuat trei evaluări cincinale (12), în urma cărora s-au întocmit rapoartele „Davignon”, „Majó” și „Ormala” (1997, 2000 și, respectiv, 2004). De asemenea, DG Societate Informațională a efectuat evaluări cu obiective foarte precis definite pentru programul său specific. Ar trebui menționat faptul că, în conformitate cu legislația privind PC7, s-a renunțat la evaluările cincinale, eliminându-se astfel constrângerea conform căreia exercițiile de evaluare importante trebuiau să se concentreze pe cei cinci ani anteriori și, în consecință, să acopere segmente din două perioade de programare succesive. De asemenea, în 2004 s-a publicat raportul „Marimón” (13), o evaluare specifică privind eficacitatea noilor instrumente introduse în cadrul PC6.

14.

În 2000 și în 2002 (14) s-a reexaminat cadrul prevăzut la nivelul Comisiei pentru activitățile de evaluare. Aceste comunicări au fost actualizate în 2007, ținând seama de consecințele reformei administrative a Comisiei și de noul Regulament financiar (15). În aceste documente sunt descrise rolul și funcția evaluării în contextul ciclului global de planificare, programare și raportare al Comisiei și sunt precizate 21 de standarde de evaluare și 18 modele de „bună practică”. De asemenea, aceste documente abordează problema utilizării evaluării la elaborarea și simplificarea legislației comunitare.

15.

Principalul obiectiv al auditului a fost să stabilească caracterul adecvat sau inadecvat al abordării adoptate de Comisie pentru aprecierea rezultatelor programelor-cadru de cercetare și dezvoltare tehnologică.

16.

În acest scop, Curtea a evaluat măsura în care:

17.

Prezentul raport se referă la dispozițiile relevante pentru PC4 (1995-1998), PC5 (1999-2002) și PC6 (2003-2006). El abordează, de asemenea, obligațiile juridice aflate în prezent în vigoare în conformitate cu PC7 (2007-2013), însă nu realizează o apreciere a studiului de impact și a evaluării ex ante efectuate de Comisie pentru PC7 (16). Raportul se axează pe monitorizarea și pe evaluarea ex post a programelor, și nu pe evaluarea ex ante a propunerilor de proiect sau pe evaluarea ex post a proiectelor propriu-zise.

18.

Auditul s-a efectuat cu participarea Colegiului auditorilor din cadrul AELS și cu ajutorul unor experți externi. Strângerea probelor de audit s-a efectuat prin intermediul:

19.

Pentru ca evaluarea și monitorizarea să fie eficace, este necesar să se definească obiective clare și indicatori de performanță pertinenți la nivel de politică, program și proiect, în funcție de care să se poată evalua rezultatele unei intervenții publice. Bunele practici din alte domenii bugetare ale Uniunii Europene, precum și din afara Uniunii, sugerează că definirea acestor indicatori și a acestor obiective ar trebui să se facă în cadrul unei logici de intervenție.

20.

Logica de intervenție se poate defini ca o serie de relații ipotetice cauză-efect care descriu modul în care se preconizează că o intervenție își va atinge obiectivele globale (19). Orientările privind evaluarea elaborate de Comisie precizează că logica de intervenție stabilește o relație conceptuală între mijloacele prin care se realizează intervenția, realizările pe care le generează aceasta și, mai departe, impactul asupra societății din perspectiva rezultatelor și a efectelor (20). Prezentul raport utilizează, în tot cuprinsul său, înțelesul din definiția menționată anterior.

21.

Curtea a evaluat măsura în care s-a instituit o logică de intervenție pentru programele-cadru și pentru programele constitutive ale acestora, furnizându-se, în acest mod, o bază solidă pentru evaluare și monitorizare.

22.

Definirea unei logici de intervenție ar trebui să fie, de la bun început, un element-cheie în conceperea programelor. Articolul 163 din tratat, care susține necesitatea consolidării bazelor științifice și tehnologice și dezvoltarea competitivității, ar trebui să furnizeze punctul de plecare pentru o astfel de logică de intervenție pentru programele-cadru (a se vedea punctul 2). Această logică ar trebui definită mai în profunzime și adaptată diferitelor domenii științifice acoperite de programele-cadru și diferitelor instrumente utilizate.

23.

Cu toate acestea, nu există, la niciun nivel, un model logic explicit care să explice modul în care programele-cadru și programele constitutive ale acestora contribuie la progresul științific și tehnologic și la inovare.

24.

Absența unei logici de intervenție pentru programele-cadru a fost subliniată și de comisia de evaluare cincinală întrunită în 2004, care a declarat că misiunea unei comisii de genul acesta este de a umple golul dintre, pe de o parte, probele strânse în principal la nivel de proiect și, pe de altă parte, obiectivele socioeconomice, de la un nivel mai înalt, ale politicii de cercetare. Cu toate acestea, au afirmat membrii comisiei, în momentul de față, această racordare este dificil de realizat, din cauza modului în care este planificat programul-cadru. Programul nu dispune de o logică explicită care să realizeze conexiunea dintre obiectivele de nivel înalt și obiectivele de nivel concret privind cercetarea și cunoașterea (21).

25.

O cu totul altă abordare au adoptat unele state membre (de exemplu, Țările de Jos și Finlanda) și Statele Unite ale Americii (a se vedea figura 3), unde definirea unei logici de intervenție este mult mai generalizată, precum și Canada, unde aceasta este obligatorie pentru toate programele (a se vedea anexa III). Într-adevăr, utilizarea, în aceste țări, a unei logici de intervenție în stadiul de concepere a programelor a avut drept rezultat o mai bună orientare și structurare a acestora. Comisia a început, și ea, să introducă progresiv logica de intervenție în alte domenii de politică comunitară (de exemplu, ajutorul extern) (22).

Figura 3

Stabilirea unei ierarhii a obiectivelor, pe baza modelelor logice – exemplu de cercetare în sectorul agricol din Statele Unite ale Americii

26.

Lipsa unei formulări oficiale a logicii pe care se fundamentează intervenția publică și a relațiilor de cauzalitate implicite (în conformitate cu care programul este apoi planificat în detaliu, executat și evaluat) subminează eficacitatea evaluării și a monitorizării programelor-cadru. Aceasta se întâmplă în special datorită modului în care se definesc obiectivele programelor și indicatorii de performanță.

27.

Nespecificarea în mod explicit a logicii pe care se fundamentează intervenția publică face mai dificilă stabilirea și structurarea într-un mod coerent a obiectivelor programelor. Acest lucru este demonstrat prin faptul că:

28.

Comisia a încercat să stabilească obiective operaționale în programele de lucru, pe baza obiectivelor programelor definite în legislația privind programele-cadru. Cu toate acestea, în aproape toate cazurile, aceste inițiative nu au reușit să clarifice logica pe care se fundamentează programele, iar obiectivele formulate în programele de lucru nu erau specifice (clar definite), măsurabile, realizabile, relevante și datate (încadrate în anumite coordonate de timp) (specific, measurable, achievable, relevant and timed – SMART). În 2003, Regulamentul financiar (23) a transformat această cerință referitoare la obiectivele „SMART” într-o obligație juridică.

29.

Nu este clar în ce măsură se poate identifica legătura dintre obiectivele politicilor – prin observarea programelor specifice, a programelor de lucru și a cererilor de propuneri – și proiectele individuale cofinanțate de Comunitate. Dacă aceste legături nu sunt clarificate, este imposibil să se evalueze contribuția programelor-cadru și a programelor constitutive ale acestora la atingerea obiectivelor politicilor menționate. În urma auditului, s-a constatat că, în evaluările sale, Comisia nu a furnizat deloc probe convingătoare – sau a făcut-o într-o măsură foarte mică – pentru a demonstra că obiectivele pe termen mai lung au fost atinse, nici în ceea ce privește nivelul de proiect și nici în ceea ce privește nivelul de program (a se vedea punctul 82).

30.

Lipsa unui model logic explicit și a unor obiective clar definite ale programelor a frânat, de asemenea, elaborarea unor indicatori de performanță care să permită monitorizarea atingerii obiectivelor programelor din punctul de vederea al realizărilor, al efectelor și al impacturilor, rezultatul fiind că, până în momentul de față, acești indicatori de „eficacitate” nu au fost deloc definiți pentru programele-cadru (a se vedea punctul 73).

31.

În aceste condiții, examinarea proiectelor în derulare finanțate de aceste programe și evaluarea ex post a celor finalizate sunt, de asemenea, mai dificil de realizat și contribuie la dificultatea de a corela evaluările între nivelul proiectelor și cel al programelor (a se vedea anexa I și punctul 84).

32.

În rapoartele anuale de monitorizare ale Comisiei, precum și în contextul sistemului de gestionare pe activități al Comisiei se regăsesc o serie de indicatori care permit urmărirea eficienței punerii în aplicare a programelor (de exemplu, durata procesului de încheiere/atribuire a contractului, termenul de plată).

33.

Cu toate acestea, până în prezent, direcțiile generale cu competențe în cercetare, chiar și atunci când au pus în aplicare același program (sau subprogram) specific, nu au aplicat o nomenclatură uniformizată sau comparabilă pentru întocmirea bugetului pe activități și nici indicatori aferenți care să fie standardizați sau comparabili. Prin urmare, nu se poate recurge la acești indicatori pentru a compara performanțele între programe sau în cadrul aceluiași program.

Caseta 2Sistemul de întocmire a bugetului pe activități/gestionare pe activități, astfel cum este pus în aplicare în prezent de către direcțiile generale cu competențe în cercetareÎn sistemul de întocmire a bugetului pe activități/gestionare pe activități, programele-cadru se subordonează unui număr de două domenii diferite de politici, în cadrul cărora activitățile programelor-cadru sunt prezentate în conformitate cu o nomenclatură diferită, ce este specifică unei sau alteia dintre direcțiile generale (24). Această prezentare se aplică chiar și acelor programe și subprograme specifice puse în aplicare de mai multe direcții generale. Obiectivele în materie de gestionare pe activități au fost definite în conformitate cu diferite principii subiacente (25) și, după cum a indicat Serviciul de audit intern al Comisiei (26), au fost formulate, în mare parte, în termeni generali, descriind aspirații sau activități. Indicatorii erau, în general, orientați către mijloacele de punere în aplicare (de exemplu, numărul de ședințe etc.). O parte dintre acești indicatori se refereau la eficiența proceselor (de exemplu, durata procesului de încheiere/atribuire a contractului, termenul de plată), însă nu erau comparabili între programe și nici de la o direcție generală la alta, din cauza diferențelor existente în nomenclatura sistemului de întocmire a bugetului pe activități, dintre premisele asumate de diferitele direcții generale (cum ar fi începutul sau încheierea proceselor administrative specifice) și dintre populațiile subiacente (de exemplu, tipul de acord de subvenționare, tipul plății) luate în considerare în vederea calculării indicatorilor.

34.

În viitoarele propuneri legislative pe care le înaintează Consiliului și Paramentului European, Comisia ar trebui să prezinte o logică de intervenție explicită atât pentru programul-cadru în ansamblu, cât și pentru componentele acestuia.

35.

În ceea ce privește PC7, Comisia ar trebui:

36.

Pentru sistemul său de monitorizare a celui de Al șaptelea program-cadru, Comisia ar trebui să instituie o gamă limitată, dar echilibrată, de indicatori ai performanței, care să măsoare, pentru fiecare program (și subprogram) specific, „eficiența” și „eficacitatea” punerii în aplicare a programului în cauză.

37.

Direcțiile generale cu competențe în cercetare ar trebui să își armonizeze nomenclatura în materie de gestionare pe activități/întocmire a bugetului pe activități, astfel încât indicatorii performanței să devină comparabili atât în timp, cât și, în cazurile în care acest lucru este posibil, de la un program (și subprogram) specific la altul.

38.

Strategia de evaluare oferă cadrul noțional în care sunt concepute, planificate, executate și exploatate activitățile de evaluare. Bunele practici din alte domenii bugetare comunitare, dar și din afara Uniunii, sugerează că o astfel de strategie ar trebui să țină seama de principalele aspecte juridice, organizatorice și metodologice asociate evaluării programelor. Această strategie ar trebui să prevadă tipul de evaluări care trebuie efectuate, persoanele responsabile de efectuarea lor și perioada în care se vor efectua, modalitatea de colectare a datelor, abordările metodologice care trebuie utilizate și modalitatea de comunicare și de urmărire a constatărilor.

39.

Introducerea unei astfel de strategii și luarea măsurilor necesare pentru garantarea aplicării acesteia reprezintă o premisă obligatorie pentru integrarea evaluării în cultura organizațională și procesul decizional al Comisiei. Cu toate acestea, Curtea recunoaște că, dată fiind diversitatea domeniilor științifice acoperite de programele-cadru, o astfel de strategie ar trebui să acorde un grad adecvat de flexibilitate fiecăreia dintre direcțiile generale responsabile și nu ar trebui să fie exagerat de prescriptivă.

40.

Curtea a verificat în ce măsură Comisia avea în funcțiune o astfel de strategie de evaluare pentru programele-cadru.

41.

Comisia și-a făcut pentru prima dată publică abordarea față de evaluarea programelor-cadru în anii 1980 (27). Abordarea a fost actualizată în 1996, an în care Comisia a informat Parlamentul European și Consiliul cu privire la ceea ce considera la momentul respectiv a fi principiile subiacente relevante pentru monitorizare și evaluare și și-a stabilit abordarea dorită în urma adoptării celui de Al patrulea program-cadru (28). Aceasta nu s-a dovedit însă a fi o strategie de evaluare atotcuprinzătoare, conformă cu ceea ce s-a prezentat mai sus (a se vedea punctele 38 și 39). Mai mult, din 1996 până în 2006, Comisia nu și-a mai reexaminat fundamental abordarea față de evaluare pentru PC5 și PC6, în pofida faptului că programele-cadru au evoluat în ceea ce privește atât sfera de acoperire, cât și orientarea (a se vedea punctul 7). În special, în ceea ce privește convenirea unei abordări consecvente față de evaluarea programelor-cadru și a programelor lor constitutive, direcțiile generale cu competențe în cercetare nu au mers mai departe de respectarea dispozițiilor legislative adoptate în 1999 (pentru PC5), în 2002 (pentru PC6) și în 2006 (pentru PC7) (29).

42.

Lipsa unei astfel de abordări strategice față de evaluare în acest domeniu reprezintă, pentru perioada de programare curentă, o problemă deosebită, în special având în vedere punerea în aplicare a PC7 în comun de către mai multe direcții generale, de către Consiliul European al Cercetării și de către agenții executive, precum și obligația rotației personalului care ocupă posturi sensibile, impusă de Regulamentul financiar. De asemenea, această lipsă nu este în concordanță cu practicile curente din domeniul ajutorului extern (care reprezintă al doilea domeniu ca importanță ce face obiectul gestionării directe de către Comisie). În acest domeniu, direcțiile generale competente au convenit, din 2002, cu privire la strategii de evaluare multianuale comune corespunzătoare perioadelor de programare (a se vedea punctul 52).

43.

Această lipsă a unei strategii de evaluare clar formulate contrastează, de asemenea, puternic și cu situația din Statele Unite ale Americii și din Canada, unde existența unei strategii este prevăzută în cadrul de reglementare (a se vedea anexa III).

44.

După cum se exemplifică mai jos, există diferențe semnificative în materie de sferă de acoperire și intensitate a evaluării de la un program-cadru la altul, precum și în interiorul aceluiași program-cadru. Au existat și alte deficiențe, discutate în secțiunile ulterioare ale prezentului raport, cum ar fi problemele de coordonare, diferențele dintre abordările metodologice, problemele de planificare în timp și deficiențele constatate în comunicarea și urmărirea constatărilor evaluărilor. Aceasta reflectă absența unei strategii de evaluare atotcuprinzătoare pentru programele-cadru.

45.

Programele-cadru sunt alcătuite dintr-un număr de programe (și subprograme) specifice, care se pot deosebi în mod fundamental unele de celelalte din punctul de vedere al scopului, al dinamicii subiacente și al creditelor bugetare (pentru PC7, a se vedea anexa IV). Luate în ansamblu, dispozițiile specifice ale diferitelor decizii privind programele-cadru, precum și cele ale Regulamentului financiar (30) (care prevede evaluarea programelor și a activităților ce generează cheltuieli importante) sugerează că, începând cu PC4, a existat în vigoare o obligație juridică de a evalua atât programul-cadru în ansamblu, cât și majoritatea programelor specifice constitutive ale acestuia.

46.

Comisia nu a stabilit o regulă privind momentul în care trebuie evaluate programele sau subprogramele specifice din cadrul programului-cadru și nici un nivel comun minim care să dicteze efectuarea evaluării. Această situație a condus la interpretări neuniforme cu privire la ce anume trebuie să facă obiectul evaluării și până la ce grad de aprofundare:

47.

Drept urmare, în cazul evaluării cincinale din 2004, s-a omis complet evaluarea unor segmente semnificative din programele PC4 și PC5 (echivalente cu un procent de 30 % din totalul creditelor bugetare pentru PC4 și de 50 % pentru PC5), ceea ce înseamnă că obligațiile de evaluare prevăzute la articolul 27 din Regulamentul financiar nu au fost respectate de către Comisie.

48.

Aceste interpretări divergente cu privire la obligațiile juridice minime referitoare la evaluare, precum și gradul insuficient de evaluare a programelor-cadru în trecut, care a decurs din acestea, ilustrează lipsa de coordonare și efectul absenței unei abordări strategice a Comisiei față de evaluarea programelor-cadru.

49.

Direcțiile generale cu competențe în cercetare ar trebui să elaboreze și să convină în cel mai scurt timp posibil cu privire la o strategie de evaluare comună pentru programele-cadru. Fără a fi exagerat de prescriptivă, această strategie ar trebui să conducă la o abordare consecventă față de evaluarea programelor-cadru și a programelor constitutive ale acestora. Această strategie ar trebui, de asemenea, să furnizeze orientări cu privire la nivelul minim începând de la care este obligatorie evaluarea detaliată, astfel încât să se țină seama de specificitățile fiecărui domeniu științific.

50.

Evaluarea programelor-cadru trebuie să se sprijine pe mecanisme organizatorice corespunzătoare, care ar trebui să decurgă din orientările strategice ale Comisiei pentru evaluarea programelor-cadru. Curtea a verificat măsura în care structura organizatorică a garantat că sistemul de evaluare era coordonat în mod adecvat, că dispunea de resurse suficiente și că era perceput de către factorii interesați ca beneficiind de un grad suficient de independență.

51.

În cadrul Comisiei, responsabilitatea evaluării programelor de cheltuieli revine fiecărei direcții generale în parte (a se vedea punctul 8), astfel încât s-au înființat unități de evaluare în cadrul fiecărei direcții generale. Aceste unități de evaluare răspund de planificarea, coordonarea și efectuarea evaluărilor.

52.

Inexistența unui organism de coordonare specific sau a unei entități unice care să răspundă de evaluarea programului-cadru în ansamblu, cum ar fi un birou de evaluare comun pentru direcțiile generale cu competențe în cercetare, nu este caracteristică și pentru alte domenii de politici. În domeniul ajutorului extern s-a înființat o unitate de evaluare comună pentru trei direcții generale (Dezvoltare, Relații Externe și EuropeAid), cu scopul de a prelua evaluarea programelor de dezvoltare desfășurate de Comisie în țările terțe (a se vedea punctul 42).

53.

DG Cercetare, prin intermediul rețelei interne a Comisiei de evaluare a activităților de cercetare și de dezvoltare tehnologică, asigură un schimb de cunoștințe între unitățile de evaluare din cadrul diferitelor direcții generale, însă nu are autoritatea de a stabili cerințe minime de evaluare. Acest mecanism nu a fost suficient pentru a asigura o coordonare corespunzătoare a evaluării programelor-cadru de către Comisie.

54.

Comisia și-a revizuit abordarea generală față de evaluare în 2000 și 2002 și, din nou, în 2007 (a se vedea punctul 14). Cu toate că nu s-au observat îmbunătățiri semnificative în ceea ce privește modul în care erau planificate, concepute și puse în aplicare evaluările programelor-cadru și ale programelor constitutive ale acestora, direcțiile generale cu competențe în cercetare au respectat, în linii mari, cerințele oficiale formulate la nivelul central al Comisiei.

55.

Serviciile centrale ale Comisiei (în special DG Buget și Secretariatul general) furnizează consultanță în materie de metodologie, definesc standarde comune aplicabile în cadrul Comisiei în ansamblu și monitorizează modul în care direcțiile generale și serviciile aplică aceste standarde (a se vedea punctele 14 și 70). Ele nu pot dicta însă modul în care trebuie să se desfășoare în practică evaluările.

56.

Experiența din Statele Unite ale Americii și din Canada demonstrează că, în aceste țări, competența organismelor de standardizare de a impune respectarea standardelor este un factor esențial pentru asigurarea funcționării eficace a sistemului de evaluare. În ambele țări, există anumite servicii federale care elaborează cadrul în care se realizează evaluarea finală a reușitei unui program și asigură, de asemenea, respectarea acestui cadru (a se vedea anexa III). Cu toate că este vorba de contexte diferite, sistemele acestor țări se întemeiază totuși pe același principiu fundamental, și anume că este necesar ca un organism diferit de cel care pune în aplicare programul să evalueze într-o anumită măsură modul de concepere a sistemului de evaluare și să îi examineze eficacitatea. Aceeași situație se poate remarca și în anumite state membre (de exemplu, Franța (31), Spania (32), Germania (33), unde există organisme externe care supraveghează evaluările efectuate de agenții de finanțare sau care chiar efectuează ele însele aceste evaluări.

57.

Începând cu PC4, toate exercițiile importante de evaluare (și de monitorizare anuală) a programelor-cadru au trebuit să fie executate de către comisii de experți externi (sau cu ajutorul acestora) (a se vedea anexa II). În pofida dificultăților legate de găsirea unor experți corespunzători, astfel de comisii oferă posibilitatea asigurării transparenței și a unui anumit grad de independență, a facilitării implicării factorilor interesați și a valorificării cunoștințelor dobândite cu privire la programele-cadru în sine, la evaluare și la aspectele științifice subiacente.

58.

Acest lucru a fost confirmat de sondajele realizate de Curte, în urma cărora a reieșit că respondenții percep acest tip de sistem de evaluare pus în aplicare de Comisie ca furnizând o garanție de independență (a se vedea figura IV).

59.

În ciuda acestei percepții pozitive, membrii comisiilor și factorii interesați au semnalat Curții, în timpul auditului, că modul de utilizare de către Comisie a comisiilor de evaluare a programelor-cadru s-a caracterizat prin următoarele deficiențe:

60.

Fondurile pentru evaluare se prevăd anual, în funcție de nevoile exprimate de direcțiile generale care pun în aplicare programele-cadru. În prezent, aceste fonduri sunt furnizate dintr-o combinație de resurse la nivel de Comisie, care provin de la DG Buget, și de resurse la nivelul direcțiilor generale în cauză, care provin din segmentul bugetar pentru cheltuieli administrative alocat acestora. În plus, anumite măsuri sunt finanțate ca acțiuni indirecte de la bugetul operațional al programelor-cadru. Aceasta implică faptul că nu există o sumă prevăzută special pentru evaluare.

61.

În 2006, la nivelul întregii Comisii, media personalului care lucra în domeniul evaluării și al gestionării pe activități era estimată la aproximativ 1 % din totalul personalului (37). La nivelul Direcției Generale Cercetare și al Direcției Generale Societate Informațională, aceste cifre erau, pentru activitățile de monitorizare și evaluare din cadrul programelor-cadru de cercetare și dezvoltare tehnologică, 1,2 % și, respectiv, 1,3 %. În cazul Direcției Generale Cercetare, peste două treimi din aceste resurse umane erau însă repartizate mai curând departamentelor responsabile de funcționarea programelor decât unității de evaluare, iar evaluarea reprezenta doar una dintre multiplele sarcini de serviciu care le erau atribuite.

62.

Resursele destinate evaluării se pot exprima și ca un procent din totalul creditelor bugetare alocate programului în cauză. Conform cifrelor obținute în cadrul auditului, pentru finanțarea evaluării programelor de cercetare în statele membre ale UE se alocă, în general, între 0,1 % și 2 %. Orientările elaborate de Comisie recomandă ca evaluării să îi fie destinat un procent de 0,5 % din bugetul programului (38). Cu toate acestea, în cazul programelor de mai mare amploare, ar putea fi suficientă o proporție mai mică din bugetul acestora, grație economiilor de scară.

63.

În urma unei comparații realizate între cifrele aferente cheltuielilor realizate de Comisie pentru evaluare în perioada 2003-2006 și creditele bugetare ale fiecărei direcții generale, se poate observa că media globală se situează undeva în jur de 0,15 %, un procent considerabil mai scăzut decât nivelul sugerat de Comisie. O analiză mai aprofundată pentru anul 2006 evidențiază că DG Societate Informațională a cheltuit pe evaluare de aproximativ patru ori mai mult decât DG Cercetare, în raport cu creditele care le-au revenit. De asemenea, la DG Cercetare, pentru evaluare se repartizează, pentru fiecare milion de euro din bugetul anual, numai un procent de 0,7 % dintr-un echivalent normă întreagă. Spre deosebire de această direcție generală, DG Societate Informațională repartizează, în același scop, un procent dublu de resurse umane.

64.

După cum ilustrează prezentul raport, rezultatul acestor eforturi suplimentare depuse de DG Societate Informațională a avut drept efecte faptul că evaluarea s-a bucurat de o sferă de acoperire mai cuprinzătoare (a se vedea punctele 13 și 46) și că, după cum indică eșantionul de studii de evaluare examinat de Curte, s-au utilizat metodologii mai bine adaptate nevoilor de evaluare (a se vedea punctul 84).

65.

O estimare a costurilor efectuată de Curte, pe baza datelor furnizate de Comisie, arată că un sistem de evaluare întemeiat pe propunerile formulate în prezentul raport ar reprezenta, în medie, mai puțin de 0,4 % din creditele bugetare pentru PC7. Acest procent ar acoperi costurile comisiilor de evaluare și ale studiilor subcontractate, cheltuielile atât cu personalul biroului de evaluare comun, cât și cu cel al unităților de evaluare actuale de la nivelul direcțiilor generale, precum și alte cheltuieli diverse (39).

66.

Direcțiile generale cu competențe în cercetare ar trebui să aibă în vedere înființarea unui birou de evaluare comun, pe lângă unitățile de evaluare existente deja în cadrul fiecărei direcții generale. În concordanță cu practica actuală din alte domenii de politici, acest birou ar putea să coordoneze activitățile de evaluare ale Comisiei pentru programul-cadru în ansamblu. Astfel de funcții comune de sprijin au fost recomandate în trecut pentru direcțiile generale care pun în aplicare programele-cadru (40) și pot deveni cu atât mai importante în viitor, datorită creării Consiliului European al Cercetării și delegării punerii în aplicare a programelor către agenții executive.

67.

Comisia ar trebui să recurgă în continuare la asistența comisiilor de evaluare. Cu toate acestea, Comisia ar trebui să găsească o modalitate prin care să adapteze structura acestor comisii la structura generală a programului-cadru. Aceasta se poate realiza prin instituirea unei comisii pentru fiecare program și, după caz, fiecare subprogram specific (a se vedea anexa IV). De asemenea, aceste comisii de evaluare ar trebui înființate cu suficient timp înainte, pentru a putea furniza un sprijin eficace Comisiei și ar trebui să mențină acest efort pe toată durata perioadei de programare, precum și ulterior.

68.

Comisia ar trebui să reanalizeze resursele destinate evaluării programelor-cadru și a programelor constitutive ale acestora.

69.

Pentru a obține o evaluare eficace, este necesară utilizarea unor metodologii și tehnici corespunzătoare. Curtea a verificat dacă existau orientări precise pentru evaluarea programelor-cadru, dacă necesarul de informații a fost analizat în mod adecvat și în timp util și dacă evaluatorilor li s-au pus la dispoziție date relevante. Ținând seama de studiile privind evaluarea efectuate de către Comisie (sau în numele acesteia), Curtea a examinat dacă tehnicile utilizate pentru diferitele studii furnizau o bază suficientă pentru a răspunde întrebărilor formulate pentru evaluările cincinale. Curtea a luat în considerare, de asemenea, contribuția pe care evaluările la nivel național o pot aduce evaluării programelor-cadru.

70.

DG Buget a publicat un număr de comunicări în care își prezintă politica de evaluare și în care furnizează norme pentru aplicarea acesteia. DG Buget a elaborat, de asemenea, o serie de standarde aplicabile la nivel de Comisie (a se vedea punctele 14 și 55) (41). Pentru alte domenii de politici, direcțiile generale de resort au elaborat, și ele, ghiduri de evaluare specifice (42).

71.

Nu acesta este însă și cazul programelor-cadru. Există un număr de ghiduri și de seturi de instrumente metodologice care se referă la activitățile de evaluare în domeniul cercetării și care au fost publicate (sau finanțate) de către Comisie (43). Cu toate acestea, aceste documente nu furnizează orientări specifice privind modalitatea de efectuare a evaluărilor programelor-cadru, nici nu explică cum trebuie utilizate conceptele-cheie sau terminologia de către personalul Comisiei sau de către experții externi. Aceste deficiențe au contribuit la problemele discutate mai jos.

72.

Direcțiile generale cu competențe în cercetare nu au acordat suficientă atenție definirii acelor date care sunt necesare în scopul evaluării și al monitorizării. În loc să se efectueze o analiză sistematică și aprofundată a necesarului de informații, Comisia a formulat cerințele privind datele tardiv în cursul perioadei de programare și fără a ține seama de nevoile generale în materie de evaluare. Chestionarul socioeconomic aplicat pentru PC6 a reprezentat singura tentativă a direcțiilor generale de a conveni cu privire la aceste date (a se vedea punctul 76). Însă acest chestionar a fost finalizat în 2004 (după trei ani de la începerea perioadei de programare) și face referire în principal la aspecte precum participarea cercetătorilor de ambele sexe și impactul asupra mediului, mai curând decât la realizări științifice (cum ar fi subiecte legate de proprietatea intelectuală, publicații etc.), efecte și impacturi.

73.

Evaluarea programelor se bazează în mare parte pe disponibilitatea a trei tipuri de date:

74.

Ultimele două tipuri de date, în special, ar trebui să fie disponibile în cadrul Comisiei. Cu toate acestea, datorită problemelor survenite la nivelul sistemelor informatice interne ale Comisiei, care reprezintă sursa principală de informații privind gestionarea programelor și participanții (44), au existat, în practică, dificultăți majore în această privință (45).

75.

Aceste dificultăți sunt ilustrate prin întârzierile considerabile intervenite în transmiterea rapoartelor prevăzute la articolul 173 și a rapoartelor anuale de monitorizare (întârzieri de până la 16 luni pentru rapoartele prevăzute la articolul 173 (46) și de până la 7 luni pentru rapoartele anuale de monitorizare, în cursul perioadei 2002-2005). Dat fiind că aceste informații erau întotdeauna furnizate cu întârziere, utilitatea lor era limitată.

76.

Începând cu PC5, Comisia a impus sistematic participanților, prin contract, obligația de a furniza datele necesare pentru măsurarea atingerii obiectivelor programului din perspectiva realizărilor, a efectelor și a impacturilor. Prin urmare, participanții aveau obligația:

77.

Aceste obligații contractuale privind comunicarea datelor au determinat, pentru participanți, un volum de muncă administrativă inutilă. De exemplu, în ceea ce privește chestionarul anual pentru PC6, datele au fost colectate mult mai frecvent decât era necesar și, în plus, de la toți participanții, deși ar fi fost suficient numai un eșantion reprezentativ. Această situație riscă să conducă la o senzație de „saturație” față de evaluare. Mai mult, aceste informații nu au fost colectate la momentul potrivit; întrucât multe din problematicele subiacente pentru care s-au colectat datele sunt relevante pe termen mediu sau lung, colectarea datelor pe parcursul duratei contractuale a proiectului este, prin definiție, prematură (47). Acesta este motivul pentru care, în practică, informațiile furnizate prin intermediul acestor instrumente au prezentat o utilitate redusă pentru evaluările efectuate în cadrul PC5 și PC6.

78.

Cu toate acestea, niciunul dintre sistemele puse în aplicare nu prevede colectarea standardizată a informațiilor la sfârșitul duratei unui proiect (sau la scurt timp după aceea). Factorii interesați interogați au sugerat că aceste informații ar putea să facă referire, de exemplu, la atingerea obiectivelor proiectelor, la rezultatele scontate (și nescontate) și la identificarea de către participanți a plusului de valoare pe care îl aduce dimensiunea comunitară a programului. Astfel de informații ar putea, de asemenea, servi drept bază pentru examinarea externă a proiectelor finalizate (48).

79.

Colectarea unor astfel de informații, împreună cu o utilizare la scară mai largă a metodologiilor scientometrice (cum ar fi analiza citatelor) pentru evaluarea rezultatelor proiectelor (a se vedea punctul 83), ar putea servi drept bază Comisiei în vederea trecerii la un sistem de finanțare a activităților de CDT cofinanțate de către Comunitate (49) care să se bazeze într-o mai mare măsură pe rezultate.

80.

Nu se recurge în mod suficient la alte surse de date existente la nivelul Comisiei sau al statelor membre [de exemplu, baze de date ale programelor de CDT naționale și ale agențiilor de finanțare în domeniul cercetării, precum și Serviciul comunitar de informare privind cercetarea și informarea – „Community Research & Development Information Service” (CORDIS) – gestionat de Oficiul pentru Publicații al Comisiei (50)].

81.

Curtea a examinat 86 de studii de evaluare realizate de către Comisie (sau comandate de aceasta) din 2000. În acest număr sunt cuprinse toate cele 36 de studii care au stat la baza evaluării cincinale publicate în 2004, precum și cele 50 de studii finalizate de la acea dată. Dintre acestea, numai 23 de studii pot fi considerate ca fiind evaluări veritabile ale programelor-cadru și ale programelor constitutive ale acestora (a se vedea figura 5).

Figura 5

Privire de ansamblu asupra studiilor de evaluare realizate de către Comisie (sau la comanda acesteia) în perioada 2000-2006

82.

În urma metaanalizei efectuate de Curte cu privire la aceste studii de evaluare specifice, s-au desprins două observații principale:

83.

Pentru evaluările efectuate în perioada 2000-2006, predomină metodologiile și tehnicile tradiționale (în special sondajele, analiza documentară și interviurile) (a se vedea figura 6). Nu s-a recurs deloc (sau s-a recurs foarte rar) la alte metodologii și tehnici de evaluare mai sofisticate, dar totuși bine intrate în uz, printre care:

84.

Doar într-un număr limitat de cazuri s-a făcut apel la studii de evaluare care încearcă să soluționeze unele dintre dificultățile metodologice de evaluare a intervenției publice în cercetare (a se vedea anexa I):

85.

În opinia factorilor interesați intervievați de Curte, utilitatea și relevanța evaluărilor Comisiei ar putea face obiectul unor îmbunătățiri. Aceasta demonstrează necesitatea de a continua dezvoltarea metodologiei, astfel încât sistemul de evaluare să poată ține pasul cu modificările aduse programelor-cadru, programele-cadru având un caracter dinamic (a se vedea punctul 7) (57).

86.

Această constatare este ilustrată, de asemenea, de dificultățile considerabile cu care s-a confruntat comisia de evaluare cincinală din 2004 (58) în cadrul demersului de a răspunde la întrebările de evaluare sugerate în mandatul său. De fapt, multe dintre aceste întrebări problematice nici nu au putut fi abordate, deoarece lipseau studiile adecvate realizate în prealabil de Comisie (sau comandate de aceasta), iar membrii comisiei de evaluare se aflau în imposibilitatea de a comanda astfel de studii în timp util (a se vedea figura 7).

Figura 7

Întrebări abordate în cadrul evaluării cincinale din 2004

87.

Mai mult, s-a remarcat că, dintre toate întrebările specificate în mandatul lor de evaluare, membrii comisiei nu au fost măsură să răspundă decât la acelea care se refereau la aspecte pentru care se stabiliseră, în programe, obiective clare și cuantificabile (cum ar fi ponderea întreprinderilor mici și mijlocii participante).

88.

Un număr de state membre și de țări asociate procedează la propriile evaluări naționale ale programelor-cadru, care abordează subiecte ce prezintă interes și relevanță din punctul lor de vedere (59). În decursul ultimilor opt ani, s-au realizat 14 astfel de studii, pentru nouă state membre și o țară asociată.

89.

Deși Comisia a încurajat utilizarea, acolo unde era posibil, a unor abordări standardizate, aceste studii de impact naționale s-au dovedit a avea un caracter foarte eterogen (60). Drept consecință, întrucât nu urmează o metodologie armonizată, posibilitățile de a agrega, combina sau compara rezultatele sunt limitate. Mai mult, dat fiind caracterul lor național, aceste studii nu pot surprinde decât parțial dimensiunea cooperării europene.

90.

În Cartea verde privind Spațiul European de Cercetare (SEC) din 2007, Comisia a afirmat importanța punerii la dispoziție, la nivelul SEC, a unor analize precise privind impactul și eficacitatea activităților și a politicilor de cercetare, atât analize realizate de statele membre, cât și de Uniunea Europeană. În același timp, Comisia a recunoscut că mecanismele existente nu erau adecvate pentru a duce la îndeplinire o astfel de sarcină, deoarece fiecare nivel de intervenție își realiza propriile evaluări, separat de celelalte (61).

91.

Comisia ar trebui să elaboreze un manual de evaluare a activităților finanțate de programele-cadru, care să furnizeze definiții pentru conceptele-cheie și pentru terminologia specifică și să identifice o serie de metodologii corespunzătoare pentru anumite activități de evaluare. Acest manual ar trebui să se bazeze pe ghiduri și seturi de instrumente deja existente și să fie actualizat periodic.

92.

Comisia ar trebui să își precizeze necesarul de informații, ținând seama de necesitatea de a diminua volumul de muncă administrativă care le revine participanților.

93.

Comisia ar trebui să furnizeze informații privind monitorizarea punerii în aplicare a programelor-cadru, în timp util. În conformitate cu prevederile „normelor de participare” ale celui de Al șaptelea program-cadru, este necesar să se procedeze la soluționarea urgentă a problemelor legate de sistemele informatice ale Comisiei care permit exploatarea datelor privind gestionarea programelor și participanții.

94.

Ar trebui să se reducă semnificativ obligațiile participanților în ceea ce privește raportarea către Comisie, iar sondajele ar trebui să se efectueze numai pe bază de eșantioane reprezentative. Obligația contractuală de a prezenta, pentru fiecare proiect, date privind impactul bazate pe indicatori ar trebui să se înlocuiască cu obligația de a efectua o scurtă autoevaluare la finalizarea proiectului.

95.

În cadrul evaluărilor pe care le realizează, Comisia ar trebui să facă apel în mai mare măsură la alte surse complementare existente care conțin date relevante (surse atât din cadrul Comisiei, cât și din cadrul statelor membre).

96.

Comisia ar trebui să utilizeze întreaga gamă a tehnicilor de evaluare disponibile. În plus, aceasta ar trebui să sprijine elaborarea unor abordări inovatoare de soluționare a dificultăților metodologice inerente evaluării intervenției publice în cercetare (a se vedea anexa I) și să recurgă la aceste abordări în cadrul propriilor evaluări.

97.

Comisia ar trebui să se consulte cu statele membre pentru a identifica modul în care s-ar putea maximiza beneficiile evaluărilor efectuate la nivel național în ceea ce privește programele-cadru.

98.

Evaluarea ar trebui să furnizeze analize și informații relevante care să poată fi utilizate cu eficacitate în scopul gestionării programelor și al elaborării politicilor. Evaluarea ar trebui, în special, să constituie fundamentul pentru demersul de reflecție fundamentată la atuurile și deficiențele unei intervenții publice, demers care este necesar pentru desfășurarea cu succes a procesului de învățare. Curtea a verificat în ce măsură evaluările s-au efectuat în timp util, în ce măsură constatările au fost comunicate și difuzate factorilor interesați din afara Comisiei, precum și în ce măsură recomandările au fost luate în considerare de Comisie în vederea revizuirii programelor în derulare („programe care învață din mers”).

99.

Curtea recunoaște că anumite tipuri de analiză necesită o perspectivă pe termen lung (de exemplu, evaluarea efectelor și a impactului socioeconomic) și că anumite aspecte țin de o perioadă de programare specifică (de exemplu, obiectivele programelor, chiar în cadrul aceluiași domeniu științific dat), în timp ce altele nu (a se vedea figura 8). Cu toate acestea, Comisia nu a adoptat, pentru activitățile sale de evaluare, o abordare care să ia în considerare aceste repere temporale.

100.

Conform legislației, activitățile principale de evaluare ale Comisiei trebuie să se axeze exclusiv pe cei cinci ani care precedă evaluarea cincinală, acoperind, prin urmare, segmente din două perioade de programare succesive. Consecința a fost că nu s-au luat aproape deloc în considerare efectele și impacturile pe termen mediu și lung. Drept urmare, de cele mai multe ori, evaluările cincinale s-au axat în principal pe aspecte de monitorizare, pe probleme care sunt legate de conceperea programelor și care sunt relevante pe termen scurt, precum și pe observații generale referitoare la orientarea programelor-cadru. Curtea salută faptul că legislația privitoare la cel de Al șaptelea program-cadru nu mai prevede evaluări cincinale, după cum, de altfel, nu mai prevede o perioadă prestabilită ca sferă de acoperire a evaluării.

Figura 8

Aspecte privind monitorizarea și evaluarea în funcție de diferite repere temporale

101.

Carențele evaluărilor cincinale în ceea ce privește evaluarea efectelor și a impacturilor programelor-cadru au fost subliniate și de către experții Comisiei:

102.

Această problemă care ține de calendarul exercițiilor de evaluare afectează, de asemenea, evaluările specifice prevăzute în legislație. Astfel s-a întâmplat în cazul raportului Marimón din 2004, care a analizat noile instrumente introduse în cadrul PC6 (2003-2006) și care a fost solicitat prea devreme, rezultatul fiind că experimentele practice și dovezile empirice care ar fi trebuit să stea la baza concluziilor erau insuficiente sau inexistente (65).

103.

Comisia are libertatea de a elabora și adapta programe de lucru operaționale pe cicluri de scurtă durată, sub rezerva obținerii aprobării comitetului responsabil de programul în cauză. O astfel de opțiune ar putea reprezenta o bună ocazie de a aduce modificări în gestionarea programelor, precum și de a realoca bugetele în cadrul subprogramelor. Nu există însă dovezi potrivit cărora Comisia ar fi recurs la această posibilitate (a se vedea punctul 107).

104.

Dincolo de opțiunea menționată, dat fiind modul în care sunt concepute și adoptate programele-cadru, Comisiei îi este practic imposibil să realizeze schimbări semnificative, cum ar fi modificarea obiectivelor programelor sau realocarea bugetelor de la un subprogram la altul. Numai legislatorul este cel care poate promulga modificări de o asemenea amploare, cu ocazia unei revizuiri a legislației privind programul-cadru (de exemplu, în 2010, pentru PC7) sau a adoptării programului-cadru următor. Acesta este motivul pentru care în legislație s-a prevăzut, de regulă, ca principalele exerciții de evaluare să fie astfel programate, încât să existe o utilitate cât mai mare pentru luarea în considerare a rezultatele lor în vederea elaborării politicilor.

105.

Se poate trage concluzia că printre principalii utilizatori ai evaluărilor realizate de Comisie se numără chiar direcțiile generale cu competențe în cercetare (66). Cu toate acestea, legislația cu privire la programele-cadru prevede, de asemenea, în mod explicit, comunicarea evaluărilor și către Parlamentul European, și Consiliu.

106.

Cu ocazia sondajului desfășurat de Curte în rândul membrilor comitetului ITRE din cadrul Parlamentului European și al membrilor comitetului CREST din cadrul Consiliului, majoritatea respondenților au declarat însă că nu se consideră suficient de informați cu privire la punerea în aplicare și la rezultatele programelor-cadru (a se vedea figura 9) (67).

107.

În rapoartele sale anuale de evaluare, Comisia realizează o sinteză a constatărilor făcute și a măsurilor luate în urma evaluărilor pe care le-a efectuat (68). În contextul de urmărire a evaluărilor, Comisia a furnizat, de asemenea, o serie de răspunsuri oficiale la constatările și recomandările formulate de evaluările cincinale și de cele specifice prevăzute în legislație și a întreprins, în măsura posibilului, demersurile corespunzătoare pentru a remedia deficiențele identificate cu ocazia derulării acestora. Nu acesta a fost însă și cazul unei serii de alte numeroase rapoarte de evaluare care au fost examinate, neexistând probe care să indice că s-a ținut seama de constatările și recomandările acestora în vederea aducerii unor modificări programelor de lucru. De altfel, declarațiile referitoare la bugetul întocmit pe activități și rapoartele anuale de activitate ale direcțiilor generale nu indică, nici ele, în ce măsură s-a dat vreun curs constatărilor stabilite în urma evaluărilor.

108.

Comisia ar trebui să stabilească ce așteptări pot exista în mod rezonabil în ceea ce privește tipul evaluării și sfera acesteia, având în vedere datele specificate în legislație (2008, 2010 și 2015), să explice modul în care se pot utiliza evaluările în vederea adaptării programelor („programe care învață din mers”) și să specifice ce contribuție pot aduce evaluările la procesul decizional de elaborare a politicilor. Comisia ar trebui, în special, să își clarifice abordarea pe care intenționează să o adopte cu privire la evaluarea rezultatelor pe termen mai lung ale programelor-cadru actuale și anterioare, dat fiind că poate fi necesar să se aștepte între 7 și 10 ani pentru a constata beneficiile pe care le aduc astfel de rezultate (a se vedea figura 8).

109.

Comisia ar trebui să își reanalizeze practicile de comunicare și difuzare a constatărilor stabilite în urma evaluărilor, asigurându-se că factorii interesați primesc informațiile necesare. În special, direcțiile generale cu competențe în cercetare ar trebui să aibă o reacție oficială la toate evaluările și să facă publice în timp util aceste studii de evaluare, care să fie însoțite și de răspunsurile lor. Direcțiile generale cu competențe în cercetare ar trebui, de asemenea, să furnizeze, în declarațiile referitoare la bugetul întocmit pe activități și în rapoartele anuale de activitate, o dare de seamă privind modul în care s-a dat curs constatărilor evaluărilor și să țină seama de recomandările făcute la actualizarea programelor de lucru și conceperea programelor viitoare.

110.

Curtea recunoaște că evaluarea programelor de cercetare și dezvoltare tehnologică, în special analiza rezultatelor lor pe termen lung, este o sarcină dificilă în sine și că nu este ușor să se definească cele mai bune practici.

111.

În opinia Curții, evaluarea este esențială pentru gestionarea programelor, planificarea viitoare și elaborarea politicilor. Evaluarea furnizează, de asemenea, o bază pentru actul de dare de seamă în ceea privește punerea în aplicare. Ea reprezintă o sursă de informații prețioase cu privire la următoarele aspecte: care sunt acele rezultate scontate (sau nescontate) care au putut fi obținute, în ce măsură au fost atinse obiectivele programelor, ce relevanță și utilitate prezintă programele și care este gradul de eficiență și eficacitate a punerii în aplicare a acestora. Având în vedere că orientarea generală, aspectele bugetare și concepția programelor-cadru sunt hotărâte de către Parlamentul European și Consiliu, este necesar un sistem de evaluare transparent, credibil și bine pus la punct, care să le furnizeze acestor instituții informații adecvate.

112.

În 2000 și 2002, Comisia a instituit un cadru general de evaluare, pe care l-a revizuit ulterior în 2007. Cu toate că în cursul perioadei care a făcut obiectul auditului Curții nu s-au observat îmbunătățiri semnificative în ceea ce privește modul în care erau planificate, concepute și puse în aplicare evaluările programelor-cadru și ale programelor constitutive ale acestora, direcțiile generale cu competențe în cercetare au respectat, în linii mari, cerințele oficiale formulate la nivelul central al Comisiei.

113.

Pentru perioada la care se referă prezentul raport, direcțiile generale cu competențe în cercetare dispuneau de un sistem de evaluare, astfel cum se prevedea în legislația privind programele-cadru, iar Comisia poate prezenta un corpus voluminos de studii de evaluare. Cu toate acestea, informațiile privind atingerea obiectivelor programelor și rezultatele acestora sunt, în realitate, foarte puține sau chiar inexistente. Acest lucru se datorează faptului că evaluările s-au axat în general pe aspecte relevante pe termen scurt legate de punerea în aplicare a programelor. Drept urmare, evaluările Comisiei au avut o utilitate limitată pentru factorii de decizie politică, pentru factorii interesați și pentru Comisia însăși.

114.

Dată fiind importanța evaluării pentru gestionarea programelor și elaborarea politicilor, abordarea Comisiei față de evaluarea programelor-cadru și a programelor constitutive ale acestora trebuie reexaminată, ținând seama de noile provocări politice, de creșterea volumului finanțărilor, de extinderea orientării politicii comunitare de cercetare și de reforma recentă din cadrul Comisiei. Același lucru a fost recomandat și de EURAB în raportul său din 2007.

115.

În opinia Curții, recurgerea în viitor la o logică de intervenție explicită în conceperea programelor-cadru ar conduce la o mai bună orientare și structurare a programelor acestora. Acest lucru ar contribui, de asemenea, la reușita inițiativei Comisiei de îmbunătățire a legiferării, care vizează crearea unui cadru de reglementare mai bine conceput, mai simplu, mai eficace și mai ușor de înțeles (69).

116.

Evaluarea programelor-cadru și a programelor constitutive ale acestora ar fi mai eficace dacă obiectivele programelor și indicatorii ar fi stabiliți cu mai multă claritate de la bun început, dacă direcțiile generale cu competențe în cercetare care pun în aplicare programele-cadru s-ar pune de acord cu privire la o strategie de evaluare bine pusă la punct, dar nu exagerat de prescriptivă, și dacă s-ar utiliza metodologii de evaluare mai avansate, printre care și abordări cantitative.

117.

Curtea a observat, de asemenea, că există o serie de privințe în care Comisia ar avea motive să își reanalizeze mecanismele organizatorice actuale de evaluare a programelor-cadru. S-ar putea obține o serie de avantaje prin întreprinderea următoarelor acțiuni:

118.

Recomandările cuprinse în prezentul raport se bazează fie pe practicile existente în cadrul Comisiei, fie pe bunele practici de la nivel internațional. În ceea ce privește resursele, este evident că introducerea abordării sugerate pentru evaluarea programelor va atrage costuri mai mari. Cu toate acestea, Curtea este de părere că există o probabilitate ridicată ca această abordare să aducă beneficii financiare de cel puțin același ordin.