30.1.2008

Il-Ġurnal Uffiċjali ta’ l-Unjoni Ewropea

C 26/1

RAPPORT SPEĊJALI Nru 9/2007

dwar “L-evalwazzjoni tal-programmi qafas ta' l-UE dwar ir-Riċerka u l-Iżvilupp Teknoloġiku — L-approċċ tal-Kummissjoni jista' jittejjeb?” flimkien mar-risposti tal-Kummissjoni

(skond l-Artikolu 248(4), it-tieni sub-paragrafu, KE)

(2008/C 26/01)

WERREJ

I-V	SOMMARJU EŻEKUTTIV

1-14	INTRODUZZJONI

1-7	Ir-rwol ta' l-Unjoni Ewropea fis-sostenn ta' l-attivitajiet tar-Riċerka u l-Iżvilupp Teknoloġiku

8-14	L-evalwazzjoni u l-monitoraġġ tal-Programmi Qafas

15-18

L-AMBITU U L-APPROĊĊ TAL-VERIFIKA

19-109

OSSERVAZZJONIJIET TAL-VERIFIKA

19-37

Loġika ta' l-intervenzjoni, l-iffissar ta' l-objettivi u l-indikaturi tal-prestazzjoni

38-49

L-istrateġija ta' l-evalwazzjoni

50-68

L-organizzazzjoni ta' evalwazzjonijiet għall-Programmi Qafas

69-97

Metodoloġiji u tekniki ta' evalwazzjoni

98-109

Tixrid u użu tas-sejbiet ta' evalwazzjoni

110-118

KONKLUŻJONI ĠENERALI

Anness I: Kejl ta' l-impatt u tar-riżultati ta' l-intervenzjoni pubblika fir-riċerka u l-iżvilupp teknoloġiku

Anness II: Dispożizzjonijiet dwar il-monitoraġġ u l-evalwazzjoni f'deċiżjonijiet leġiżlattivi għar-Raba' Programm Qafas sas-Seba' Programm Qafas

Anness III: Differenzi ewlenin fl-evalwazzjoni ex-post ta' programmi ta' riċerka bejn l-UE (FP4 — FP6), l-Istati Uniti ta' l-Amerika u l-Kanada

Anness IV: Struttura possibbli għas-Seba' Programm Qafas

Ir-risposti tal-Kummissjoni

SOMMARJU EŻEKUTTIV

I.	Il-programmi qafas (FPs) tal-Komunità dwar ir-Riċerka u l-Iżvilupp Teknoloġiku huma l-akbar għajn pubbliku ta' finanzjament tar-riċerka fl-Unjoni Ewopea. Il-Kummissjoni hija responsabbli mill-ġestjoni tal-Programmi Qafas u mill-evalwazzjoni tar-riżultati tagħhom.

II.

Il-verifika kopriet l-arranġamenti ta' monitoraġġ u evalwazzjoni fis-seħħ sa mill-1995 għall-aħħar tliet perijodi ta' programmar (ir-Raba', il-Ħames u s-Sitt Programm Qafas) u tagħti ħarsa wkoll lejn is-Seba' Programm Qafas (2007-2013). Il-verifika twettqet mal-Bord ta' l-Awdituri ta' l-EFTA u bl-għajnuna ta' esperti esterni.

III.

Il-verifika indirizzat il-kwistjoni dwar jekk l-approċċ tal-Kummissjoni biex tevalwa r-riżultati tal-Programmi Qafas kienx xieraq. F'dan il-kuntest, il-Qorti ċċekkjat jekk il-Kummissjoni ssodisfatx ir-rekwiżiti legali għall-evalwazzjoni u aċċertatx jekk is-sistema tagħha biex tevalwa u timmonitorja kinitx tissodisfa l-aspettattivi tal-partijiet interessati. B'mod partikolari, il-Qorti staqsiet jekk:

(i)	kienx hemm loġika ta' l-intervenzjoni li fuqha huma bbażati l-Programmi Qafas u l-programmi kostitwenti li tista' tipprovdi bażi soda għall-evalwazzjoni u l-monitoraġġ;

(ii)	il-Kummissjoni kinitx iddefiniet strateġija ta' l-evalwazzjoni għall-Programmi Qafas;

(iii)

l-istruttura organizzattiva tas-sistema ta' evalwazzjoni tal-Programmi Qafas tal-Kummissjoni żguratx li l-evalwazzjoni kienet ikkoordinata tajjeb, b'riżorsi xierqa u meqjusa bħala indipendenti biżżejjed mill-partijiet interessati;

(iv)	il-metodoloġiji użati għall-evalwazzjoni kinux sodisfaċenti; u

(v)	l-attivitajiet ta' evalwazzjoni u monitoraġġ provdewx informazzjoni u analiżi li jistgħu jintużaw biex itejbu programmi kontinwi u jippreparaw Programmi Qafas futuri.

IV.

Is-sejbiet u l-konklużjonijiet tal-Qorti kienu li ġejjin:

(i)	in-nuqqas ta' loġika ta' l-intervenzjoni espliċita u d-definizzjoni fqira ta' l-objettivi tal-programm u kejl tal-prestazzjoni dgħajjef ma ppermettewx monitoraġġ u evalwazzjoni effettivi;

(ii)

in-nuqqas ta' strateġija ta' l-evalwazzjoni komprensiva, miftiehma bejn “id-DĠs tar-riċerka” li jimplimentaw il-Programmi Qafas wassal għal approċċi inkonsistenti bejn is-servizzi tal-Kummissjoni. B'mod partikolari, dan jidher min-nuqqas ta' evalwazzjoni ta' partijiet sinifikanti tal-Programmi Qafas;

(iii)

l-evalwazzjoni tal-Programmi Qafas kienet deċentralizzata, il-mekkaniżmi ta' koordinazzjoni eżistenti fost id-Direttorati Ġenerali li jimplimentaw il-Programmi Qafas ma kinux effettivi u s-servizzi ċentrali tal-Kummissjoni ma kellhom l-ebda rwol ta' infurzar. F'termini ġenerali, madanakollu, “id-Direttorati Ġenerali tar-riċerka” ikkonformaw mar-rekwiżiti formali tal-Kummissjoni dwar l-evalwazzjoni. L-użu ta' panels magħmula minn esperti esterni ta' livell għoli maħtura mill-Kummissjoni għal eżerċizzji ta' evalwazzjoni prinċipali kien jixraq ferm tajjeb lill-kuntest Komunitarju. Madanakollu, dawn il-panels temporanji ma ġewx involuti kmieni biżżejjed fil-proċess biex jinfluwenzaw il-ġbir ta' l-evidenza u kellhom biss possibilitajiet limitati biex isegwu l-kwistjonijiet rilevanti tul iż-żmien. Billi ntuża biss panel tal-Programm Qafas ġenerali (flimkien ma' panel għal programm wieħed speċifiku) ma ngħatatx biżżejjed attenzjoni għal kwistjonijiet speċifiċi relatati ma' l-oqsma xjentifiċi differenti fil-Programmi Qafas;

(iv)

ingħatat gwida metodoloġika inadegwata, l-evalwaturi sabu diffikultajiet fil-ġbir ta' dejta rilevanti u ma kien hemm l-ebda studji ta' evalwazzjoni li indirizzaw l-eżiti u l-impatti ta' terminu ta' żmien itwal tal-Programmi Qafas, bil-kontra ta' kwistjonijiet ta' terminu ta' żmien qasir dwar l-implimentazzjoni tal-programm; u

(v)

riżultat ta' dak li intqal hawn fuq, u minħabba li t-twaqqit ta' l-evalwazzjonijiet bosta drabi kien prematur biex jindirizza l-kwistjonijiet l-aktar relevanti, is-sistema ta' evalwazzjoni tal-Programmi Qafas tal-Kummissjoni kienet ta' użu limitat għal dawk li jfasslu l-politika, għall-partijiet interessati jew ukoll għall-Kummissjoni nfisha. Fl-aħħar, ftit hemm tagħrif dwar il-kisba ta' l-objettivi tal-programm u r-riżultati tal-Programmi Qafas.

Il-Qorti tirrikmanda illi:

(i)	il-loġika ta' l-intervenzjoni għandha ssir espliċita fil-leġiżlazzjoni futura. Suppożizzjonijiet ta' bażi għandhom jiġu spjegati, ir-rabta bejn objettivi xjentifiċi u soċjo-ekonomiċi għandha tiġi ċċarata u għandhom jiġu żviluppati indikaturi tal-prestazzjoni xierqa;

(ii)

għandha tiġi żviluppata strateġija ta' l-evalwazzjoni komprensiva mid-(u mifthema bejn) id-DĠs li jimplimentaw il-Programmi Qafas. B'mod partikolari, din l-istrateġija għandha tinvolvi approċċ konsistenti f'dak li għandu x'jaqsam mal-livell minimu li fih għandha sseħħ l-evalwazzjoni dettaljata sabiex tieħu in konsiderazzjoni l-ispeċifiċitajiet ta' kull qasam xjentifiku;

(iii)

għandu jiġi kkunsidrat it-twaqqif ta' uffiċċju konġunt ta' l-evalwazzjoni biex jikkoordina l-attivitajiet ta' evalwazzjoni “tad-Direttorati Ġenerali tar-riċerka” għall-Programm Qafas totali u biex tinħoloq sistema ta' panels (u sub-panels) magħmula minn esperti esterni. Dawn il-panels għandhom jiġu stabbiliti minn kmieni biżżejjed sabiex jipprovdu assistenza effettiva lill-Kummissjoni, u jkomplu jagħmlu dan tul il-perijodu ta' programmar u wara;

(iv)

ir-rekwiżiti tad-dejta għall-evalwazzjoni u l-monitoraġġ għandhom jiġu analizzati tajjeb u għandu jsir użu aktar wiesa' ta' għejun oħra eżistenti ta' dejta. Il-Kummissjoni għandha wkoll tirrazzjonalizza r-rekwiżiti ta' rappurtar għall-parteċipanti. Fl-aħħar, għandha tippreżenta manwal ta' evalwazzjoni komprensiv għall-Programmi Qafas u tiżviluppa firxa usa' ta' metodoloġiji ta' evalwazzjoni u tekniki biex jintużaw fl-evalwazzjonijiet f'dan il-qasam; u

(v)

il-Kummissjoni għandha tistabbilixxi t-tip u l-ambitu ta' l-evalwazzjoni li għandha tiġi mistennija għad-dati speċifikati fil-leġiżlazzjoni tas-Seba' Programm Qafas u tikkjarifika kif l-evalwazzjonjiet jistgħu jintużaw biex jadattaw programmi (“programmi ta' tagħlim”) u x'kontribuzzjoni jistgħu jagħtu għad-deċiżjonijiet politiċi.

INTRODUZZJONI

Ir-rwol ta' l-Unjoni Ewropea fis-sostenn ta' l-attivitajiet tar-Riċerka u l-Iżvilupp Teknoloġiku

Ir-riċerka u l-iżvilupp teknoloġiku (RTD) (1) huwa l-element prinċipali tal-progress xjentifiku u teknologiku u l-innovazzjoni u, bħala tali, huwa kontributur importanti għat-titjib fl-istandards ta' l-għajxien. L-intervenzjoni pubblika fl-RTD hija ġeneralment iġġustifikata bħala miżura ta' korrezzjoni 'l hekk imsejħa “nuqqasijiet tas-suq”, billi s-sostenn pubbliku jnaqqas l-inċertezza, u jipprovdi investiment fejn ir-riċerka hija benefiċċju pubbliku jew fejn hemm esternalitajiet sinifikanti.

L-Artikolu 163 tat-Trattat KE jistabbilixxi r-rwol tal-Komunitajiet dwar is-sostenn RTD, li jistipula li “il-Komunità għandha taħdem bil-għan li ssaħħaħ il-bażi xjentifiċi u teknoloġiċi ta' l-industrija tal-Komunità u tħeġġiha biex issir aktar kompetittiva fuq livell internazzjonali, waqt li tippromwovi l-attività tar-riċerka meħtieġa …”. L-Artikoli 164 sa 173 jiddeterminaw l-attivitajiet li għandhom jitwettqu f'dan ir-rigward u l-ambitu u l-implimentazzjoni tal-programmi qafas (FPs) pluriannwali dwar ir-riċerka u l-iżvilupp. Il-Kummissjoni hija responsabbli milli tressaq proposti għall-Programmi Qafas, filwaqt li d-deċiżjonijiet tal-Programm Qafas u r-regoli ta' parteċipazzjoni u t-tixrid huma adottati b'ko-deċiżjoni tal-Parlament Ewropew u tal-Kunsill. Dan ta' l-aħħar jadotta waħdu l-programmi speċifiċi. Il-Programmi Qafas huma implimentati b'mod konġunt minn sitt Direttorati-Ġenerali (DĠ), 'l hekk imsejħa “DĠs tar-riċerka” (2).

3.	Mill-firxa vasta ta' politika implimentata fl-Unjoni Ewropea biex tissaħħaħ l-innovazzjoni u l-kompetittività, il-Programmi Qafas huma l-istrument finanzjarju l-aktar importanti li jikkontribwixxi lejn l-istrateġija ta' Liżbona (3) u l-objettiv ta' Barċellona (4) fuq livell Komunitarju.

Permezz tal-Programmi Qafas, il-Komunità tipprovdi finanzjament lir-riċerkaturi fl-Unjoni Ewropea, pajjiżi msieħba u organizzazzjonijiet internazzjonali. Il-baġits tagħhom żdiedu ħafna tul is-snin, u laħqu 7 217-il miljun euro fis-sena fis-Seba' Programm Qafas meta mqabbla ma' 2 761 miljun euro fir-Raba' Programm Qafas (ara l-Istampa 1). Fit-termini ta' approprijazzjonijiet tal-baġit, dawn jirrappreżentaw l-akbar qasam ta' tmexxija diretta ċentralizzata fil-Kummissjoni (5).

Il-Programmi Qafas huma differenti minn ħafna programmi nazzjonali għax ikopru kemm riċerka bażika kif ukoll riċerka applikata bil-parteċipazzjoni ta' l-industrija u organizzazzjonijiet pubbliċi tar-riċerka (6). Dawn fihom programmi speċifiċi (u sub-programmi) li jitrattaw ma' oqsma xjentifiċi wiesa'. Dawn il-programmi tipikament jikkonsistu f'għadd ta' sferi li jikkonċentraw fuq oqsma xjentifiċi aktar speċifiċi. Dawn l-isferi mbagħad huma implimentati permezz ta' proġetti (imsejħa “azzjonijiet indiretti”) wara s-sejħiet għall-proposti. B'dan il-mod, mijiet ta' proġetti individwali huma ffinanzjati f'kull sfera.

Is-sehem ġenerali tal-Programmi Qafas mill-finanzjament pubbliku totali ta' l-RTD fl-Unjoni Ewropea u l-Istati Membri tagħha jlaħħaq bejn 4 % u 5 %. Minkejja dan, l-impatt tiegħu fuq liema tip ta' attivitajiet ta' riċerka jitwettqu fl-Ewropa huwa akbar bil-bosta. Dan huwa minħabba li l-għotjiet Komunitarji ġeneralment jipprovdu biss parti tal-finanzjament totali għal proġett. Barra dan, meta japplikaw għall-finanzjament, ir-riċerkaturi jridu juru li l-proġetti tagħhom jindirizzaw l-objettivi speċifikati fis-sejħiet għall-proposti. B'dan il-mod, il-Programmi Qafas jiffissaw inċentivi biex jidderieġu l-attivitajiet RTD lejn objettivi speċifiċi ta' l-UE.

Fis-snin reċenti saru bidliet sinifikanti fil-Programmi Qafas, minħabba:

—	sfidi politiċi ġodda (l-istrateġija ta' Liżbona u l-objettivi ta' Barċellona, it-twaqqif ta' “Żona Ewropea ta' Riċerka” (ERA) u ż-żieda fl-użu tal-metodu miftuħ ta' koordinazzjoni (7) fil-politika tar-riċerka u l-innovazzjoni);

—

it-tibdil fl-orjentazzjoni tal-Programmi Qafas, minn sempliċiment li tinstab soluzzjoni għall-problemi tekniċi fir-Raba' Programm Qafas u li jiġu indirizzati problemi soċjali speċifiċi fil-Ħames Programm Qafas, sa t-tħeġġiġ tal-koperazzjoni ta' l-organizzazzjonijiet tar-riċerka fl-ERA u l-kontribuzzjoni lejn it-twaqqif ta' ekonomija u soċjetà imsejjsa fuq l-għarfien fis-Sitt u fis-Seba' Programm Qafas;

—	perijodi ta' programmar itwal (qabel 4 snin, issa 7 snin għas-Seba' Programm Qafas skond il-Perspettivi Finanzjarji 2007-2013);

—	aktar Stati Membri u pajjiżi parteċipanti;

—	żjieda fil-finanzjament, b'mod partikolari bil-Perspettivi Finanzjarji attwali;

—	it-twaqqif ta' Kunsill Ewropew tar-Riċerka (ERC) u d-delegazzjoni ta' attivitajiet ta' programmi tat-tmexxija lill-aġenziji eżekuttivi li ser jibdew fis-Seba' Programm Qafas; u

—	iż-żjieda fl-użu ta' strumenti ta' finanzjament fuq skala kbira (eż. Netwerks ta' Eċċellenza, Proġetti Integrati, proġetti ta' l-Artikolu 169, Inizjattivi Teknoloġiċi Konġunti).

L-evalwazzjoni u l-monitoraġġ tal-Programmi Qafas

Il-Kummissjoni għandha responsabilità għall-implimentazzjoni tal-programmi u l-evalwazzjoni tar-riżultati tal-programmi (8). Fil-każ tal-Kummissjoni, l-evalwazzjoni hija deċentralizzata lejn id-DĠs, bis-servizzi ċentrali (b'mod partikolari d-DĠ Baġit u s-Segretarjat-Ġenerali) jipprovdu sostenn u koordinazzjoni.

Dan ir-rapport juża d-definizzjonijiet tal-Kummissjoni stess ta' evalwazzjoni bħala ġudizzju ta' interventi skond ir-riżultati, l-impatti u l-ħtiġijiet li jimmiraw li jissodisfaw (9), u monitoraġġ bħala l-għoti ta' informazzjoni fuq l-implimentazzjoni ta' programmi kontinwi u proġetti biex jindirizzaw il-ħtiġijiet tal-maniġment (10). Dan huwa wkoll kif iż-żewġ attivitajiet huma distinti fil-leġiżlazzjoni attwali tas-Seba' Programm Qafas.

10.

Minn hawn 'il quddiem, it-terminoloġija segwenti tintuża biex tiddeskrivi r-riżultati ta' l-attivitajiet tar-Riċerka u l-Iżvilupp Teknoloġiku:

—	“Prodott”i huma t-tagħrif, oġġetti u servizzi prodotti direttament bħala konsegwenza ta' intervent pubbliku (pubblikazzjonijiet, dokumenti tal-konferenzi, privattivi, liċenzji, prototipi, standards, xjenzjati mħarrġa, eċċ.);

—	“Eżiti” huma r-riżultat ttardjat ta' l-ipproċessar tal-prodotti mill-utenti; u

—	“Impatti” huma l-bidliet soċjo-ekonomiċi u politiċi fuq terminu ta' żmien twil li l-intervent pubbliku jġib miegħu.

Kaxxa 1Eżempju tas-Sistema Globali għall-Komunikazzjoni Mobbli (GSM):F'dan l-eżempju, il-“prodotti” tal-finanzjament Komunitarju kienu r-riżultati immedjati tal-proġett, bħall-iżvilupp ta' l-istandard tal-GSM. L-“eżitu” kien li ġie aċċettat bħala l-istandard tat-telefonijia ċellulari diġitali fl-Ewropa u lil hinn minnha, li kkontribwixxa ħafna lejn l-iżvilupp ta' l-industrija tat-telekomunikazzjoni. Fl-aħħar, l-“impatti” kienu l-konsegwenzi ekonomiċi, soċjali u politiċi ta' l-użu internazzjonali ta' din it-teknoloġija. Dan jinkludi l-kontribuzzjoni lejn il-ħolqien ta' l-impjiegi fit-telekomunikazzjoni u industriji relatati u l-kobor fl-importanza ta' dan is-settur industrijali għall-ekonomija Ewropea. Fl-aħħar nett, il-GSM ta mod ġdid li bih in-nies jistgħu jikkomunikaw ma' xulxin.

11.

Madanakollu, l-evalwazzjoni ta' dawk ir-riżultati fiha għadd ta' diffikultajiet metodoloġiċi (ara l-Anness I). Il-bidliet soċjo-ekonomiċi huma kumplessi u, b'mod aktar speċifiku, ir-relazzjoni bejn l-attività ta' riċerka u l-eżiti u l-impatti li jiġu osservati ta' sikwit hija diffiċli li tinstab. Filwaqt li jirrappreżentaw sfida konsiderevoli, dawn id-diffikultajiet metodoloġiċi mhux bilfors ifixklu evalwazzzjoni effettiva.

12.

Il-Kummissjoni kellha sistema biex timmonitorja u tevalwa l-Programmi Qafas fis-seħħ sa mis-snin tmenin (11). Bdiet bir-Raba' Programm Qafas f'nofs is-snin disgħin, is-sistema ta' monitoraġġ u evalwazzjoni kienet tikkonsisti f'numru ta' attivitajiet parzjalment relatati, li kienu jinkludu

—	monitoraġġ annwali (prinċipalment ta' l-implimentazzjoni tal-programm) u

—	evalwazzjonijiet fuq ħames snin (5YAs) ta' attivitajiet tal-Programm Qafas (u, sa mis-Sitt Programm Qafas, evalwazzjonijiet addizzjonali ta' kwestjonijiet speċifiċi).

Iż-żewġ attivitajiet kellhom jitwettqu bl-għajnuna ta' esperti esterni (ara l-Istampa 2 u l-Anness II).

Stampa 2

FP4 sa FP7 — Rekwiżiti prinċipali għall-monitoraġġ u l-evalwazzjoni

FP4 (1995-1998)

FP5 (1999-2002)

FP6 (2003-2006)

FP7 (2007-2013)

żewġ eżerċizzji ta’ l-evalwazzjoni (ta’ nofs it-terminu u finali), f’kull każ għall-20 sub-programmi tiegħu u l-Programm Qafas; l-evalwazzjoni finali taħbat ma’ nofs it-terminu tal-FP5

żewġ eżerċizzji ta’ l-evalwazzjoni simultanji (ta’ nofs it-terminu), f’kull każ għas-7 Programmi Speċifiċi tiegħu u l-Programm Qafas

eżerċizzju ta’ l-evalwazzjoni għall-Programm Qafas u t-3 Programmi Speċifiċi tiegħu (ta’ nofs it-terminu), imma mhux speċifikament għall-20 sub-programm kollha, ikkomplementat minn evalwazzjoni speċifika u rapporti ta’ progress regolari (jiġifieri monitoraġġ)

mill-anqas ħames eżerċizzji ta’ l-evalwazzjoni ( ex-ante, ta’ nofs it-terminu u finali) inkluż rapport ta’ progress speċifiku qabel l-evalwazzjoni interim

1.	Ex-ante : le

1.	Ex-ante : le

1.	Ex-ante : le

1.	Ex-ante: inkorporat fl-'Istima ta’ l-Impatt tal-proposta tal-Kummissjoni għas- FP7 (2005)

Nofs it-terminu:

—	“evalwazzjoni fuq ħames snin”: f’nofs il-Programm Qafas, qabel il-Programm Qafas ta’ wara (1997)

Nofs it-terminu:

—	evalwazzjoni fuq ħames snin: qabel il-preżentazzjoni ta’ proposta għal Programm Qafas ta’ wara (2000)

—	reviżjoni tal-progress f’nofs il-Programm Qafas (2001)

Nofs it-terminu:

—	evalwazzjoni ta’ l-effettività ta’ l-istrumenti (2004)

—	evalwazzjoni fuq ħames snin, qabel il-preżentazzjoni ta’ proposta għal Programm Qafas ta’ wara (2004)

—	rapporti ta’ progress regolari (jiġifieri monitoraġġ)

Nofs it-terminu:

—	ex-post, sentejn wara tmiem il-Programm Qafas preċedenti (2008)

—	rapport ta’ progress qabel l-evalwazzjoni interim (qabel l-2010)

—	evalwazzjoni interim (2010)

Finali:

—	wara t-tlestija tal-Programm Qafas (1999)

3.	Finali: le

3.	Finali: le [modifikat għal Deċiżjoni FP7]

3.	Finali: sentejn wara t-tlestija tal-Programm Qafas (2015), sostnut minn studji speċifiċi, l-evalwazzjoni interim u attivitajiet oħra ta’ evalwazzjoni mwettqa matul il-perijodu tal-Programm Qafas

Sors: Ara l-Anness II.

13.

Sal-ġurnata ta' llum, twettqu tliet evalwazzjonijiet fuq ħames snin (12), li wasslu għar-rapporti “Davignon”, “Majó” u “Ormala” (1997, 2000 u 2004 rispettivament). Barra dan, id-DĠ Soċjetà Informatika wettaq evalwazzjonijiet immirati għall-programm speċifiku tiegħu. Ta' min jinnota li l-evalwazzjonijiet fuq ħames snin ma tkomplewx bil-leġiżlazzjoni tas-Seba' Programm Qafas, b'hekk tneħħiet il-kundizzjoni li eżerċizzji ta' evalwazzjoni kbar kellhom jikkonċentraw fuq il-ħames snin preċedenti u, riżultat ta' dan, kellhom ikopru partijiet ta' żewġ perijodi ta' programmar suċċessivi. Fl-2004, ir-rapport “Marimón” (13), evalwazzjoni speċifika dwar l-effettività ta' l-istrumenti ġodda introdotti fis-Sitt Programm Qafas, kien ippubblikat ukoll.

14.

Il-qafas tal-Kummissjoni għall-attivitajiet ta' evalwazzjoni kien revedut fl-2000 u fl-2002 (14). Dawn il-komunikazzjonijiet ġew aġġornati fl-2007 u ttieħdu in konsiderazzjoni l-konsegwenzi tar-riforma amministrattiva tal-Kummissjoni u r-Regolament Finanzjarju l-ġdid (15). F'dawn id-dokumenti, ir-rwol u l-funzjoni ta' l-evalwazzjoni huwa deskritt fil-kuntest taċ-ċiklu ta' l-ippjanar, l-ipprogrammar u r-rappurtar ġenerali tal-Kummissjoni u sett ta' 21 standard ta' evalwazzjoni u 18-il mudell ta' “prattika tajba” huma speċifikati. Barra dan, dawn id-dokumenti jiddiskutu l-użu ta' l-evalwazzjoni fil-preparazzjoni u s-simplifikazzjoni tal-leġiżlazzjoni ta' l-UE.

L-AMBITU U L-APPROĊĊ TAL-VERIFIKA

15.	L-objettiv prinċipali tal-verifika kien li tiddetermina jekk il-Kummissjoni kelliex approċċ adegwat biex tevalwa r-riżultati tal-programmi qafas tar-Riċerka u l-Iżvilupp Teknoloġiku.

16.

Sabiex tikseb dan l-objettiv, il-Qorti evalwat il-punt sa fejn:

—	il-loġika ta' l-intervenzjoni espliċita hija l-bażi għall-Programmi Qafas u l-programmi kostitwenti tagħhom li madwarha l-prodotti, l-eżiti u l-impatti jistgħu jitkejlu u jiġu evalwati, u b'hekk jipprovdu bażi soda għall-evalwazzjoni u l-monitraġġ;

—	ġiet definita strateġija ta' evalwazzjoni għall-Programmi Qafas li tippromwovi evalwazzjoni effettiva u konsistenti;

—	l-istruttura organizzattiva tas-sistema ta' evalwazzjoni tassigura li hija kkoordinata b'mod xieraq fil-Programm Qafas, b'riżorsi adegwati u wkoll li l-partijiet interessati jikkunsidrawha bħala indipendenti biżżejjed;

—	il-metodoloġiji użati jassiguraw li l-kwistjonijiet rilevanti huma indirizzati b'mod xieraq, sabiex l-evalwazzjoni tkun ikkunsidrata bħala kredibbli; u

—	l-attivitajiet ta' evalwazzjoni u ta' monitoraġġ jipprovdu informazzjoni u analiżi li jistgħu jintużaw biex itejbu programmi kontinwi (“programmi ta' tagħlim”) u jippreparaw Programmi Qafas futuri.

17.

Dan ir-rapport ikopri l-arranġamenti rilevanti għar-Raba' Programm Qafas (1995-1998), il-Ħames Programm Qafas (1999-2002) u s-Sitt Programm Qafas (2003-2006). Jiddiskuti wkoll ir-rekwiżiti legali attwalment fis-seħħ fis-Seba' Programm Qafas (2007-2013), imma ma jipprovdix analiżi ta' l-Evalwazzjoni ta' l-Impatt u l-evalwazzjoni ex-ante (16) tas-Seba' Programm Qafas tal-Kummissjoni. Il-fok tiegħu huwa fuq il-monitoraġġ u l-evalwazzjoni ex-post tal-programmi, u mhux l-evalwazzjoni ex-ante ta' proposti tal-proġetti jew l-evalwazzjonijiet ex-post tal-proġetti nnifishom.

18.

Il-verifika twettqet bil-parteċipazzjoni tal-Bord ta' l-Awdituri ta' l-EFTA u bl-għajnuna ta' esperti esterni. L-evidenza tal-verifika nġabret permezz ta':

—

xogħol tal-verifika fil-Kummissjoni (reviżjoni tad-dokumenti u intervisti mal-persunal), li jinvolvi l-identifikazzjoni ta' rekwiżiti legali u statutorji, reviżjoni ta' l-objettivi u l-kriterji tal-prestazzjoni, l-analiżi ta' aktar minn 80 rapport ta' monitoraġġ u ta'evalwazzjoni u analiżi ta' l-organizzazzjoni ta' l-attivitajiet ta' evalwazzjoni fil-Kummissjoni;

—	intervisti ma' aktar minn 90 espert identifikati bħala partijiet interessati fl-Istati Membri u l-pajjiżi assoċjati (ir-Repubblika Ċeka, il-Ġermanja, l-Estonja, Spanja, Franza, l-Italja, il-Lussemburgu, l-Olanda, l-Awstrija, il-Finlandja, l-Isvezja, ir-Renju Unit u n-Norveġja);

—	stħarriġ ma' partijiet interessati istituzzjonali fil-Kumitat tal-Parlament Ewropew ITRE (17) u fil-Kumitat tal-Kunsill CREST (18);

—	konsultazzjoni ma' aktar minn 65 espert fil-qasam ta' l-evalwazzjoni tar-riċerka fl-Istati Uniti ta' l-Amerika u fil-Kanada bħala grupp internazzjonali ta' paragun;

—	reviżjoni tad-dokumentazzjoni akkademika fuq it-tendenzi attwali fl-evalwazzjoni tar-riċerka; u

—	id-diskussjoni tas-sejbiet, konklużjonijiet u rakkomandazzjonijiet tal-verifika ma' esperti ta' l-evalwazzjoni tar-riċerka mill-Ewropa u mill-Amerika ta' Fuq waqt sensiela ta' laqgħat ta' gruppi ta' fok ippreseduti minn konsulent indipendenti (facilitated focus group meetings) fi Frar 2007.

OSSERVAZZJONIJIET TAL-VERIFIKA

Loġika ta' l-intervenzjoni, l-iffissar ta' l-objettivi u l-indikaturi tal-prestazzjoni

19.

Evalwazzjoni u monitoraġġ effettivi jeħtieġu objettivi ċari u indikaturi tal-prestazzjoni rilevanti fil-livell tal-politika, programm u proġett biex ir-riżultati ta' intervent pubbliku jiġu evalwati b'paragun magħhom. Prattika tajba f'oqsma baġitarji oħra ta' l-UE u lil hinn mill-UE jissuġġerixxu li dawn għandom jiġu definiti fil-qafas ta' loġika ta' l-intervenzjoni.

20.

Il-loġika ta' l-intervenzjoni tista' tiġi definita bħala sett ta' rabtiet ipotetiċi bejn il-kawżi u l-effetti li jiddeskrivu kif intervent huwa mistenni li jikseb l-objettivi globali tiegħu (19). Il-linji ta' gwida tal-Kummissjoni għall-evalwazzjoni jgħidu li l-loġika ta' l-intervenzjoni tagħti r-rabta konċettwali mir-riżorsi ta' l-intervenzjoni sal-produzzjoni tal-prodotti u, sussegwentement, l-impatti tagħha fuq is-soċjetà fit-termini tar-riżultati u l-eżiti (20). Din id-defizzjoni tintuża tul ir-rapport kollu.

21.	Il-Qorti evalwat il-punt sa fejn il-loġika ta' l-intervenzjoni ġiet stabbilita għall-Programmi Qafas u l-programmi kostitwenti tagħhom, u b'hekk kellha bażi soda għall-evalwazzjoni u l-monitoraġġ.

Il-loġika ta' l-intervenzjoni għall-Programmi Qafas ma kinitx espliċita

22.

Id-definizzjoni ta' loġika ta' l-intervenzjoni għandha tkun element prinċipali tat-tfassil ta' programm mill-bidu. L-Artikolu 163 tat-Trattat, li jgħid li hemm bżonn li jissaħħu l-bażi xjentifiċi u teknoloġiċi u jħeġġeġ aktar kompetittività, għandu jagħti l-punt ta' bidu għal tali loġika ta' l-intervenzjoni għall-Programmi Qafas (ara l-paragrafu 2). Din tkun meħtieġa li ssir aktar speċifika fir-rigward ta' l-oqsma xjentifiċi differenti koperti mill-Programmi Qafas u l-istrumenti differenti użati.

23.	Madanakollu, mudell ta' loġika espliċitu li jispjega kif il-Programmi Qafas u l-programmi kostitwenti tagħhom jikkontribwixxu lejn progress xjentifiku u teknologiku u l-innovazzjoni huwa nieqes fil-livelli kollha.

24.

In-nuqqas ta' loġika ta' l-intervenzjoni għall-Programmi Qafas kienet enfasizzata wkoll mill-panel ta' l-evalwazzjoni fuq ħames snin ta' l-2004, li kien jgħid li panels bħalu huma mitluba jimlew il-vojt bejn, min-naħa waħda, l-evidenza prinċipalment miġbura fil-livell tal-proġett u, min-naħa l-oħra, l-għanijiet soċjo-ekonomiċi ta' livell aktar għoli tal-politika tar-riċerka. Madanakollu, bħalissa r-rabta hija diffiċli li ssir minħabba l-mod li bih huwa ppjanat il-Programm Qafas. Huwa nieqes minn loġika espliċita li torbot l-ogħla objettivi ma' l-għanijiet speċifiċi tar-riċerka u tat-tagħrif (21).

25.

F'xi Stati Membri jittieħed approċċ differenti (eż. l-Olanda, il-Finlandja) u fl-Istati Uniti ta' l-Amerika (ara l-Istampa 3), fejn id-definizzjoni ta' loġika ta' l-intervenzjoni hija aktar komuni u fil-Kanada fejn hija mandatorja għall-programmi kollha (ara l-Anness III). Fil-fatt l-użu tal-loġika ta' l-intervenzjoni fit-tfassil ta' programm hemm jirriżulta fi programmi aktar iffukati u strutturati aħjar. Qed tiġi introdotta ukoll mill-Kummissjoni f'oqsma oħra tal-politika tal-Komunità (eż. l-għajnuna esterna) (22).

Stampa 3

Definizzjoni ta' ġerarkija ta' objettivi bbażata fuq mudelli tal-loġika — eżempju tar-riċerka agrikola fl-Istati Uniti

Politika

Programm

Proġett

Objettiv tal-politika : li tikkontribwxxi għall-għajxien aħjar ta’ familji tal-bdiewa

Għan : żjieda fil-produzzjoni, produttività u dħul agrikolu fost il-familji tal-bdiewa

Objettiv tal-programm : li jikkontribwixxi għal żjieda fil-produzzjoni, produttività u dħul agrikolu fost il-familji tal-bdiewa

Riżultat mistenni : l-użu ta’ teknoloġiji agrikoli mtejba żdied fost il-bdiewa mmirati

Għan : użu akbar ta’ teknoloġiji agrikoli mtejba mill-bdiewa (eż. ross)

Objettiv tal-proġett : li jikkontribwixxi għall-użu akbar ta’ teknoloġiji agrikoli mtejba rrikkmandati

Riżultat mistenni : għoti/tixrid ta’ rakkommandazzjonijiet għall-bdiewa mmirati

Għan : rakkomandazzjonijiet mogħtija għal teknoloġiji mtejba xierqa għal bdiewa mmirati

Riżultati mistennija (eż.):

1.	teknoloġiji identifikati abbażi ta’ prijoritajiet tal-bdiewa

2.	teknoloġiji ġenerati u adattati

3.	teknoloġiji ċċekkjati fl-għelieqi tal-bdiewa

Sors: Il-Kunsill Nazzjonali tar-Riċerka Agrikola ta’ l-Istati Uniti.

26.

Li l-bażi loġika għal intervent pubbliku u r-rabtiet ta' kawżalità issoponuti (li skond dawn il-programm huwa mbagħad ippjanat fid-dettall, eżegwit u evalwat) ma jiġux speċifikati b'mod li joħolqu rabta legali ifixkel l-evalwazzjoni u l-monitoraġġ effettiv tal-Programmi Qafas. Dan huwa partikolarment minħabba l-mod li bih l-objettivi tal-programm u l-indikaturi tal-prestazzjoni jiġu definiti.

Mingħajr mudell tal-loġika espliċitu huwa aktar diffiċli li jiġu ffissati objettivi tal-programm koerenti

27.

Jekk il-bażi loġika ta' intervent pubbliku ma tkunx espliċita jkun aktar diffiċli li l-objettivi tal-programm jiġu ffissati u strutturati b'mod koerenti. Dan jintwera mill-fatt li:

—	mhux ċar kif l-objettivi ta' programm tal-Programmi Qafas jirrelataw ma' l-objettivi tal-politika, bħall-objettiv ġenerali fl-Artikolu 163 tat-Trattat, dawk imsemmija fl-istrateġija ta' Liżbona u fid-dikjarazzjoni ta' Barċellona (ara l-paragrafu 2 u 7);

—

ir-relazzjoni bejn l-objettivi individwali tal-programm, kemm fl-istrati differenti tal-leġiżlazzjoni (bħad-deċiżjoni tal-Programm Qafas, id-deċiżjoni speċifika tal-programm u r-regoli ta' parteċipazzjoni u ta' tixrid) kif ukoll bejn l-atti bażiċi u l-programmi ta' xogħol tal-Kummissjoni, mhux dejjem tidher.

28.

Il-Kummissjoni ppruvat tiffissa objettivi operattivi fil-programmi ta' xogħol ibbażati fuq l-objettivi ta' programm definiti fil-leġiżlazzjoni tal-Programm Qafas. Iżda, kważi fil-każijiet kollha, dawn l-inizjattivi naqqsu milli jiċċaraw il-loġika li fuqha huma bbażati l-programmi u l-objettivi mniżżla fil-programmi ta' xogħol ma kinux speċifiċi, miżurabbli, li jistgħu jinkisbu, rilevanti u fil-ħin (SMART). Fl-2003, dan sar rekwiżit legali skond ir-Regolament Finanzjarju (23).

29.

Il-punt sa fejn l-objettivi tal-politika jistgħu jiġu traċċati mill-programmi speċifiċi, mill-programmi ta' xogħol u mis-sejħiet għall-proposti għall-proġetti individwali ko-finanzjati mill-Komunità mhux ċar. Jekk dawn ir-rabtiet ma jiġux ikkjarifikati, il-kontribuzzjoni tal-Programmi Qafas u l-programmi kostitwenti tagħhom lejn il-kisba ta' dawn l-objettivi tal-politika ma tistax tiġi evalwata. Il-verifika sabet illi l-Kummissjoni ma tat l-ebda jew inkella ftit evidenza konvinċenti dwar il-kisba ta' l-objettivi ta' terminu ta' żmien itwal, kemm fil-livell tal-proġett u kif ukoll tal-programm, fl-evalwazzjonijiet tagħha (ara l-paragrafu 82).

In-nuqqas ta' loġika ta' l-intervenzjoni espliċita u objettivi ċari jagħmluha aktar diffiċli li jiġu żviluppati indikaturi tal-prestazzjoni

30.

In-nuqqas ta' mudell ta' loġika espliċitu u spjegazzjoni ċara ta' l-objettivi tal-programm fixkel ukoll l-iżvilupp ta' indikaturi tal-prestazzjoni għall-monitoraġġ u l-kisba ta' l-objettivi tal-programm f'termini ta' prodotti, eżiti u impatti, sal-punt fejn, sa llum, tali indikaturi ta' “effettività” ma ġewx definiti għall-Programmi Qafas kollha (ara l-paragrafu 73).

31.

F'din is-sitwazzjoni, ir-reviżjoni ta' proġetti kontinwi ffinanzjati minn dawn il-programmi u l-evalwazzjoni ex-post ta' dawk ikkompletati ssir aktar diffiċli u tikkontribwixxi għad-diffikultajiet fl-aggregazzjoni ta' l-evalwazzjonijiet mill-livell tal-proġett għal dak tal-programm (ara l-Anness I u l-paragrafu 84).

L-ABB/ABM kif implimentata attwalment mhix għodda xierqa biex tkejjel il-prestazzjoni tal-Programmi Qafas

32.

Xi indikaturi li jittraċċaw l-effiċjenza ta' l-implimentazzjoni ta' programmi (eż. iż-żmien biex isir il-kuntrattar, iż-żmien biex jitwettaq il-pagament) jinstabu fir-rapporti ta' monitoraġġ annwali tal-Kummissjoni u wkoll fil-kuntest tas-sistema ta' Ġestjoni Bbażata fuq l-Attività (ABM) tal-Kummissjoni.

33.

Iżda, s'issa, “id-DĠs tar-riċerka”, anke meta qed jimplimentaw l-istess programm speċifiku (jew sub-programm), ma applikawx nomenklatura ta' l-Ibbaġitjar Ibbażat fuq l-Attività (ABB) u indikaturi relatati standard jew komparabbli. Għalhekk, dawn l-indikaturi ma jistgħux jintużaw biex jqabblu l-prestazzjoni bejn u fil-programmi.

Kaxxa 2ABB/ABM kif implimentata attwalment “mid-DĠs tar-riċerka”Fis-sistema ta' l-ABB/ABM, il-Programmi Qafas huma koperti minn żewġ oqsma tal-politika differenti fejn l-attivitajiet tal-Programm Qafas huma ppreżentati fihom skond nomenklatura differenti speċifika għad-DĠ (24). Din tapplika wkoll għal dawk il-programmi u sub-programmi speċifiċi implimentati minn aktar minn DĠ wieħed. L-objettivi ta' l-ABM ġew definiti skond prinċipji ta' bażi differenti (25) u, kif indikat mis-servizz tal-verifika interna tal-Kummissjoni (26), ġew ifformulati l-aktar f'termini ġenerali, li jiddeskrivu l-aspirazzjonijiet jew l-attivitajiet. L-indikaturi ġeneralment ġew orjentati skond ir-riżorsi (eż. in-numru ta' laqgħat, eċċ.). Xi wħud kienu relatati ma' l-effiċjenza tal-proċess (eż. iż-żmien biex isir l-ikkuntrattar, iż-żmien biex jitwettaq il-pagament), imma ma kinux kumparabbli bejn il-programmi u minn DĠs għall-ieħor minħabba d-differenzi fin-nomenklatur ta' l-ABB, fis-suppożizzjonijiet speċifiċi għad-DĠ (bħall-bidu u t-tmiem ta' proċessi amministrattivi speċifiċi) u fil-popolazzjoni li huma bbażati fuqha (eż. it-tip ta' ftehim ta' l-għotja, it-tip tal-pagament) li ġie ikkunsidrat għall-komputazzjoni tagħhom.

Rakkomandazzjonijiet

34.	Fil-proposti leġiżlattivi futuri lill-Kunsill u lill-Parlament Ewropew, il-Kummissjoni għandha tistabbilixxi loġika ta' l-intervenzjoni espliċita għall-Programm Qafas sħiħ u l-partijiet kostitwenti tiegħu.

35.

Għas-Seba' Programm Qafas, il-Kummissjoni għandha

—	tiddeskrivi biċ-ċar l-objettivi tal-Programm Qafas u l-programmi speċifiċi (u sub-programmi) kostitwenti u kif dawn għandhom jinkisbu;

—	tiċċara r-rabta bejn l-objettivi xjentifiċi u soċjo-ekonomiċi għal kull programm speċifiku (u sub-programm); u

—	tiddefinixxi objettivi operattivi rilevanti.

36.	Għas-sistema ta' monitoraġġ tas-Seba' Programm Qafas tagħha, il-Kummissjoni għandha tpoġġi fis-seħħ sett limitat, imma bilanċjat, ta' indikaturi tal-prestazzjoni, biex titkejjel l-effiċjenza u l-effettività ta' l-implimentazzjoni tal-programm għal kull programm speċifiku (u sub-programm).

37.	“Id-DĠs tar-riċerka” għandhom jarmonizzaw in-nomenklatura ta' l-ABM/ABB tagħhom biex jagħmlu l-indikaturi tal-prestazzjoni kumparabbli kemm fuq perijodu ta' żmien u, fejn possibbli, bejn programmi speċifiċi (u sub-programmi).

L-istrateġija ta' l-evalwazzjoni

38.

Strateġija ta' l-evalwazzjoni tipprovdi l-qafas konċettwali li fih l-attivitajiet ta' evalwazzjoni huma mfassla, ippjanati, imwettqa u użati. Prattika tajba f'oqsma baġitarji oħra ta' l-UE u lill hinn mill-UE tissuġġerixxi li tali strateġija għandha tikkunsidra l-kwistjonijiet legali, organizzattivi u metodoloġiċi prinċipali relatati ma' l-evalwazzjoni ta' programmi. Din tinkludi x'evalwazzjonijiet għandhom jitwettqu, minn min u meta, kif għandha tinġabar id-dejta, x'approċċi metodoloġiċi għandhom jintużaw u kif is-sejbiet għandhom jiġu kkomunikati u segwiti.

39.

Li tali strateġija tkun fis-seħħ, u l-assigurazzjoni li tiġi implimentata, huwa pre-rekwiżit biex l-evalwazzjoni tissawwar fil-kultura organizzattiva u fil-proċess ta' teħid tad-deċiżjonijiet tal-Kummissjoni. Il-Qorti tirrikonoxxi, madanakollu, li minħabba d-diversità ta' l-oqsma xjentifiċi koperti mill-programmi qafas, tali strateġija għandha tipprovdi grad xieraq ta' flessibilità lil kull DĠs responsabbli u m'għandiex tkun preskrettiva żżejjed.

40.	Il-Qorti ċċekkjat il-punt sa fejn il-Kummissjoni kellha fis-seħħ tali strateġija ta' evalwazzjoni għall-Programmi Qafas.

Nuqqas ta' strageġija ta' evalwazzjoni komprensiva għall-Programmi Qafas

41.

Għall-Programmi Qafas, l-ewwel darba li l-Kummissjoni għamlet l-approċċ ta' evalwazzjoni tagħha pubbliku kien fis-snin tmenin (27). Dan ġie aġġornat fl-1996, meta l-Kummissjoni infurmat lill-Parlament Ewropew u lill-Kunsill dwar dak li kienet tqis bħala prinċipji ta' bażi rilevanti għall-monitraġġ u l-evalwazzjoni u ffissat l-approċċ intiż tagħha wara l-adozzjoni tar-Raba' Programm Qafas (28). Dan, iżda, ma kienx jikkostitwixxi strateġija ta' evalwazzjoni komprensiva kif imsemmija fuq (ara l-paragrafi 38 u 39). Barra dan, mill-1996 sa l-2006, il-Kummissjoni ma reġgħetx fundamentalment eżaminat mil-ġdid l-approċċ tagħha biex tevalwa l-Ħames Programm Qafas u s-Sitt Programm Qafas, minkejja l-fatt li dawn tbiddlu kemm fl-ambitu kif ukoll fl-orjentazzjoni (ara l-paragrafu 7). B'mod partikolari, “id-DĠs tar-riċerka” ma qablux fuq approċċ konsistenti għall-evalwazzjoni tal-Programmi Qafas u l-programmi kostitwenti tagħhom lil hinn mir-rekwiżiti leġiżlattivi adottati fl-1999 (għall-Ħames Programm Qafas), fl-2002 (għas-Sitt Programm Qafas) u fl-2006 (għas-Seba' Programm Qafas) (29).

42.

Għall-perijodu ta' programmar attwali, in-nuqqas ta' tali approċċ strateġiku għall-evalwazzjoni f'dan il-qasam huwa problema partikolari minħabba l-implimentazzjoni konġunta tas-Seba' Programm Qafas minn varji Direttorati Ġenerali, l-ERC u l-aġenziji eżekuttivi, u r-rotazzjoni mandatorja tal-persunal f'karigi sensittivi imposta mir-Regolament Finanzjarju. Dan jikkuntrasta wkoll mal-prattika kurrenti fil-qasam ta' l-għajnuna esterna (li hija t-tieni l-akbar qasam ta' ġestjoni diretta mill-Kummissjoni). F'dan il-qasam id-DĠs, sa mill-2002, ftehmu fuq strateġiji ta' evalwazzjoni pluri-annwali komuni marbuta ma' perijodi ta' programmar (ara l-paragrafu 52).

43.	Dan in-nuqqas ta' tfassil ta' strateġija ta' evalwazzjoni ċara jikkuntrasta bis-saħħa mas-sitwazzjoni fl-Istati Uniti ta' l-Amerika u fil-Kanada, minħabba li l-qafas regolartorju jitlob li jkun hemm strateġija (ara l-Anness III).

44.

Kif muri hawn taħt, hemm differenzi sinifikanti dwar xi tkopri u l-intensità ta' l-evalwazzjoni fil-Programmi Qafas. Kien hemm ukoll nuqqasijiet oħra, bħal problemi ta' koordinazzjoni, differenzi fl-approċċi metodoloġiċi, problemi ta' twaqqit u nuqqasijiet fil-komunikazzjoni u s-segwitu tas-sejbiet ta' l-evalwazzjoni diskussi f'sezzjonijiet aktar 'il quddiem f'dan ir-rapport. Dan jirrifletti n-nuqqas ta' strateġija ta' evalwazzjoni komprensiva għall-Programmi Qafas.

Differenzi f'dak li tkopri u fl-intensità ta' l-evalwazzjoni fil-Programmi Qafas

45.

Il-Programmi Qafas huma komposti min-numru ta' programmi speċifiċi u (sub-programmi) li jistgħu jvarjaw sinifikament f'termini ta' l-għan, dinamiċi ta' bażi u approprijazzjonijiet baġitarji tagħhom (għas-Seba' Programm Qafas, ara l-Anness IV). Meħuda flimkien, id-dispożizzjonijiet speċifiċi tal-varji deċiżjonijiet tal-Programm Qafas u r-Regolament Finanzjarju (30) (li jeħtieġ l-evalwazzjoni ta' programmi u attivitajiet li jeħtieġu infiq sinifikanti) ifissru li rekwiżit legali biex jiġi evalwat kemm il-Programm Qafas sħiħ kif ukoll bosta mill-programmi speċifiċi kostitwenti tiegħu kien fis-seħħ sa mir-Raba' Programm Qafas.

46.

Il-Kummissjoni ma stabbilitx regola dwar meta programmi jew sub-programmi speċifiċi tal-Programm Qafas għandhom jiġu evalwati jew grad komuni li 'l fuq minnu din għandha titwettaq. Dan wassal għal interpretazzjonijiet inkonsistenti dwar x'għandu jiġi evalwat, u sa liema livell ta' dettall:

—	Id-DĠ Soċjetà Informatika kkunsidra li l-programm IST huwa programm ta' infiq prinċipali minnu nniffsu u organizza evalwazzjoni fuq ħames snin sħiħa fl-2004 b'mod parallelu ma' dik tal-Programm Qafas totali;

—	Id-DĠ Riċerka ma organizzax sistematikament tali evalwazzjoni fuq livell tal-programm speċifiku minkejja li l-baġits ta' bosta programmi taħt ir-responsabilità tiegħu kienu ta' daqs komparabbli.

47.

Riżultat ta' dan, għas-sena ta' evalwazzjoni fuq ħames snin ta' l-2004, partijiet sinifikanti tar-Raba' u l-Ħames Programm Qafas ma kinux evalwati (li jikkorrispondu għal 30 % ta' l-approprijazzjonijiet baġitarji kollha għar-Raba' Programm Qafas u 50 % għall-Ħames Programm Qafas). Dan ifisser li l-Kummissjoni ma kkonformatx mar-rekwiżiti ta' l-evalwazzjoni speċifikati fl-Artikolu 27 tar-Regolament Finanzjarju.

48.

Dawn l-interpretazzjonijiet diverġenti fir-rigward tar-rekwiżiti legali minimi dwar l-evalwazzjoni, u l-evalwazzjoni insuffiċjenti tal-Programmi Qafas li tirriżulta fil-passat, juru n-nuqqas ta' koordinazzjoni u l-effett tan-nuqqas ta' approċċ strateġiku mill-Kummissjoni għall-evalwazzjoni tal-Programmi Qafas.

Rakkomandazzjonijiet

49.

“Id-DĠs tar-riċerka” għandhom jiżviluppaw u jiftehmu urġentement fuq strateġija ta' evalwazzjoni komuni għall-Programmi Qafas. Mingħajr ma tkun wisq preskrittiva, din l-istrateġija għandha tinvolvi approċċ konsistenti f'dak li huwa relatat ma' l-evalwazzjoni tal-Programmi Qafas u l-programmi kostitwenti tagħhom. Tali strateġija għandha tagħti wkoll gwida f'dak li għandu x'jaqsam mal-livell minimu li fih għandha sseħħ l-evalwazzjoni dettaljata sabiex tieħu in konsiderazzjoni l-ispeċifiċitajiet ta' kull qasam xjentifiku.

L-organizzazzjoni ta' evalwazzjonijiet għall-Programmi Qafas

50.

L-evalwazzjoni tal-Programmi Qafas teħtieġ li tkun sostnuta minn arranġamenti organizzattivi xierqa, li għandhom joħorġu mill-orjentazzjoni strateġika għall-evalwazzjoni tal-Programmi Qafas tal-Kummissjoni. Il-Qorti ċċekkjat il-punt sa fejn l-istruttura organizzattiva assigurat li s-sistema ta' evalwazzjoni kienet ikkoordinata b'mod xieraq, b'riżorsi adegwati u wkoll ikkunsidrata mill-partijiet interessati bħala indipendenti biżżejjed.

Il-Kummissjoni

Il-Programmi Qafas huma implimentati b'mod konġunt minn bosta DĠs filwaqt li r-responsabilità għall-evalwazzjoni hija deċentralizzata

51.	Fil-Kummissjoni, ir-responsabilità għall-evalwazzjoni tal-programmi ta' nfiq hija tad-DĠs individwali (ara l-paragrafu 8) u unitajiet ta' evalwazzjoni ġew imwaqqfa f'kull DĠ. Dawn l-unitajiet ta' evalwazzjoni huma responsabbli mill-ippjanar, il-koordinazzjoni u l-eżekuzzjoni ta' l-evalwazzjonijiet.

52.

In-nuqqas ta' korp ta' koordinazzjoni speċifiku jew entità waħda għall-evalwazzjoni tal-Programmi Qafas totali, bħall-uffiċċju konġunt ta' evalwazzjoni għad-“DĠs tar-riċerka”, huwa ta' kuntrast ma' oqsma tal-politika oħra. Fil-qasam ta' l-għajnuna esterna, ġiet stabbilita unità konġunta ta' evalwazzjoni għal tliet DĠs (Żvilupp, Relazzjonijiet Esterni u EuropeAid) biex tieħu ħsieb l-evalwazzjoni tal-programmi ta' żvilupp tal-Kummissjoni f'pajjiżi terzi (ara l-paragrafu 42).

53.

Id-DĠ Riċerka, permezz tan-netwerk intern ta' evalwazzjoni ta' l-RTD tal-Kummissjoni, jassigura skambju ta' tagħrif bejn l-unitajiet ta' evalwazzjoni tad-DĠs differenti, imma m'għandux l-awtorità li jiffissa rekwiżiti minimi ta' evalwazzjoni. Iżda, dan il-mekkaniżmu kien insuffiċjenti biex jassigura l-koordinazzjoni xierqa ta' l-evalwazzjoni tal-Programmi Qafas mill-Kummissjoni.

54.

Il-Kummissjoni rrevediet l-approċċ ġenerali tagħha għall-evalwazzjoni fl-2000 u fl-2002, u għall-darba oħra fl-2007 (ara l-paragrafu 14). Għalkemm ma ġie osservat l-ebda titjib prinċipali fil-mod li bih l-evalwazzjonijiet għall-Programmi Qafas u l-programmi kostitwenti tagħhom kienu ppjanati, imfassla u implimentati, f'termini ġenerali, id-“DĠs tar-Riċerka” ikkonformaw mal-ħtiġijiet formali fil-Kummissjoni.

Is-servizzi ċentrali tal-Kummissjoni: l-iffissar ta' l-istandards, imma l-ebda rwol ta' infurzar

55.

Is-servizzi ċentrali tal-Kummissjoni (b'mod partikolari d-DĠ Baġit u s-Segratarjat-Ġenerali) jipprovdu konsulenza metodoloġika, jiddefinixxu standards komuni fil-Kummissjoni kollha u jimmonitorjaw kif id-DĠs u s-servizzi japplikaw l-istandards (ara l-paragrafi 14 u 70). Ma jistgħux jimponu kif l-evalwazzjonijiet għandhom isiru fil-prattika.

56.

L-esperjenza fl-Istati Uniti ta' l-Amerika u fil-Kanada tindika li l-infurzar mill-korpi li jiffissaw l-istandards huwa strumentali biex jassigura l-operat effettiv tas-sistema ta' evalwazzjoni. Fiż-żewġ pajjiżi, id-dipartimenti federali jistabbilixxu u jinfurzaw il-qafas li fih is-suċċess ta' programm jiġi finalment iġġudikat (ara l-Anness III). Filwaqt li l-isfond huwa differenti, minkejja dan, is-sistemi huma bbażati fuq l-istess prinċipju ta' bażi li korp separat minn dak li jimplimenta l-programm għandu jevalwa t-tfassil tas-sistema ta' evalwazzjoni f'ċertu dettall u jistudja fil-fond l-effettività tagħha. L-istess jista' jiġi osservat f'xi Stati Membri (eż. fi Franza (31), fi Spanja (32), fil-Ġermanja (33)), fejn korpi esterni jissorveljaw l-evalwazzjonijiet imwettqa minn aġenziji li jiffinanzjaw jew anke jwettqu dawn l-evalwazzjonijiet huma stess.

Panels

Panels ta' esperti esterni: meħtieġa mil-leġiżlazzjoni tal-Programm Qafas sa mir-Raba' Programm Qafas

57.

Sa mir-Raba' Programm Qafas, l-eżerċizzji ta' evalwazzjoni prinċipali kollha (u l-monitoraġġ annwali) tal-Programmi Qafas kellhom jitwettqu minn (jew bl-għanjuna ta') panels ta' esperti esterni (ara l-Anness II). Minkejja diffikultajiet biex jinstabu esperti adattati, tali panels għandhom il-potenzjal li jipprovdu trasparenza, joffru grad ta' indipendenza, jiffaċilitaw l-involviment ta' partijiet interessati u jużaw tagħrif dwar il-programmi qafas innifishom, l-evalwazzjoni u l-kwistjonijiet xjentifiċi ta' bażi.

58.	Dan ġie kkonfermat mill-istħarriġ tal-Qorti, li wera li l-persuni li wieġbu jqisu li s-sistema tal-Kummissjoni ta' evalwazzjoni bbażata fuq panels tipprovdi garanzija ta' indipendenza (ara l-Istampa 4).

Nuqqasijiet ta' l-approċċ tal-panel kif implimentat mill-Kummissjoni

59.

Minkejja l-impressjoni pożittiva, kif urew il-membri tal-panels u l-partijiet interessati waqt il-verifika tal-Qorti, l-użu ta' panels ta' evalwazzjoni tal-Programmi Qafas mill-Kummissjoni kien ikkaratterizzat min-nuqqasijiet li ġejjin:

—

is-soltu l-panels ta' evalwazzjoni jitwaqqfu inqas minn sena qabel ir-rapport tagħhom huwa mistenni u jiltaqgħu biss għal għadd limitat ta' laqgħat. Dan jagħmilha diffiċli għall-membri tal-panel biex jinfluwenzaw id-definizzjoni tad-dejta u l-analiżi meħtieġa għal xogħolhom. Barra dan, minħabba li l-panels huma ad hoc u temporanji, it-tagħrif dwar il-programmi ma jistax jiġi akkumulat faċilment u kwistjonijiet rilevanti ma jistgħux jiġu segwiti tul iż-żmien. Dan huwa nuqqas partikolari meta (bħal fil-każ tas-Seba' Programm Qafas) għadd ta' eżerċizzji ta' evalwazzjoni prinċipali huma ppjanati matul il-perijodu ta' programmar (ara l-Anness II). Dan joħloq kuntrast ukoll mal-prattika tal-Kummissjoni għall-Gruppi ta' Konsulenza Esperta (EAGs) għall-Programmi Qafas, li huma korpi permanenti (34). Fil-Kanada (35) ukoll il-panels ta' evalwazzjoni huma permanenti sabiex jiggarantixxu approċċ konsistenti u koerenti (ara l-Anness III);

—

meta tiddefinixxi t-termini ta' referenza għall-panels, u tispeċifika d-domandi ta' evalwazzjoni, il-Kummissjoni ma tikkonsultax mal-partijiet esterni, bħall-industrija u organizzazzjonijiet ta' riċerka prinċipali li jipparteċipaw fil-Programmi Qafas. Il-panel ta' monitoraġġ 2004 ukoll osserva din il-problema li utenti potenzjali għandhom ikunu nvoluti fil-proċess sa minn stadju bikri (36); u

—

il-panels joperaw b'mod differenti mill-“peer review”. Il-membri tagħhom ma jkollomx il-ħin li jwettqu evalwazzjonijiet tagħhom stess; dawn tipikament jipprovdu pariri bbażati fuq dejta u evidenza disponibbli għalihom minn sorsi oħra. Minħabba limitazzjonijiet ta' ħin, il-panels kellhom biss opportunitajiet limitati biex jikkummissjonaw studji addizzjonali neċessarji biex jindirizzaw id-domandi speċifikati fit-termini ta' referenza tagħhom. Fil-prattika, ħlief għal xi eċċezzjonijiet, informazzjoni provduta mill-Kummissjoni biss kienet disponibbli għall-panels fl-evalwazzjoni fuq ħames snin.

Riżorsi

L-ebda riżorsi assenjati b'mod speċifiku għall-evalwazzjoni tal-Programmi Qafas

60.

Il-finanzjament għall-evalwazzjoni jingħata fuq bażi annwali, skond il-ħtiġijiet speċifikati mid-DĠs li qegħdin jimplimentaw il-Programmi Qafas. Is-sorsi tiegħu bħalissa huma taħlita ta' riżorsi tal-Kummissjoni mid-DĠ Baġit ta' l-UE u riżorsi mill-parti amministrattiva tal-baġit fil-livell tad-DĠs ikkonċernati. Barra dan, miżuri speċifiċi huma ffinanzjati bħala azzjonijiet indiretti mill-baġit operattiv tal-Programmi Qafas. Dan ifisser li m'hemm l-ebda ammont imwarrab speċifikament għall-evalwazzjoni.

61.

Fl-2006, il-medja fil-Kummissjoni għall-persunal impjegati fil-qasam ta' l-evalwazzjoni u fil-ġestjoni bbażata fuq l-attività kienet stmata għal madwar 1 % tat-total tal-persunal (37). Iċ-ċifri korrispondenti għall-attivitajiet ta' monitoraġġ u evalwazzjoni tal-programmi qafas tar-Riċerka u l-Iżvilupp fid-DĠ Riċerka u fid-DĠ Soċjetà Informatika kienu 1,2 % u 1,3 % rispettivament. Fil-każ tad-DĠ Riċerka, aktar minn żewġ terzi ta' dawn ir-riżorsi tal-persunal kienu, madankollu, allokati għad-dipartimenti tal-programm operattivi aktar milli għall-unità ta' l-evalwazzjoni, u l-evalwazzjoni kienet biss waħda mill-ħafna kompiti assenjati lilhom.

Il-finanzjament għall-evalwazzjoni tal-Programmi Qafas aktar baxx milli rrakkomandat mill-Kummissjoni

62.

Riżorsi ddedikati għall-evalwazzjoni jistgħu jkunu wkoll espressi bħala persentaġġ ta' l-approprijazzjonijiet tal-baġit ġenerali allokati għall-programm. Ċifri miksuba matul il-verifika jindikaw li l-prattika għal programmi ta' riċerka fi ħdan l-Istati Membri ta' l-UE jinsabu bejn 0,1 % u 2 %. Il-linji gwida tal-Kummissjoni jissuġġerixxu li 0,5 % ta' baġit ta' programm għandu jkun iddedikat għall-evalwazzjoni (38). Madankollu, għal programmi akbar, ekonomiji ta' skala jfissru li sehem iżgħar tal-baġits tagħhom jista' jkun biżżejjed.

63.

Paragun taċ-ċifri tal-Kummissjoni għan-nefqa fuq l-evalwazzjoni fil-perijodu 2003-2006 ma' l-approprijazzjonijiet tal-baġit għal kull Direttorat-Ġenerali juri li l-medja ġenerali qiegħda madwar 0,15 %, li hija sinifikament taħt il-livell suġġerit mill-Kummissjoni. Analiżi eqreb għas-sena 2006 turi li d-DĠ Soċjetà Informatika nefaq erba' darbiet aktar bejn wieħed u ieħor mid-DĠ Riċerka fuq l-evalwazzjoni meta mqabbla ma' l-approprijazzjonijet taħt ir-responsabbiltajiet rispettivi. Barra dan, fid-DĠ Riċerka, 0,7 % biss ta' uffiċjal wieħed full-time huwa ddedikat għall-evalwazzjoni għal kull baġit annwali ta' miljun euro. Meta mqabbel ma' dan, id-DĠ Soċjetà Informatika jiddedika d-doppju ta' dak l-ammont.

64.

Kif muri f'dan ir-rapport, dan l-isforz addizzjonali ddedikat mid-DĠ Soċjetà Informatika rriżulta f'kopertura ta' l-evalwazzjoni aktar komprensiva (ara l-paragrafi 13 u 46) u, kif muri fil-kampjun ta' studji ta' evalwazzjoni rreveduti mill-Qorti, fl-użu ta' metodoloġiji li huma aktar adattati sabiex jindirizzaw ħtiġijiet ta' l-evalwazzjoni (ara l-paragrafu 84).

65.

Stima ta' l-ispejjeż magħmula mill-Qorti abbażi ta' dejta mogħtija mill-Kummissjoni turi li sistema ta' evalwazzjoni bbażata fuq il-proposti magħmula f'dan ir-rapport kieku, bejn wieħed u ieħor, tirrappreżenta anqas minn 0,4 % ta' l-approprijazzjonijiet tal-baġit tas-Seba' Programm Qafas. Dan kieku jkopri l-ispejjeż ta' panels, studji sub-kuntrattati, persunal kemm ta' l-uffiċċju konġunt ta' l-evalwazzjoni kif ukoll ta' l-unitajiet ta' evalwazzjoni speċifiċi tad-DĠ kurrenti kif ukoll spejjeż oħra varji (39).

Rakkomandazzjonijiet

66.

Id-“DĠs Riċerka” għandhom jikkunsidraw it-twaqqif ta' uffiċċju konġunt ta' l-evalwazzjoni flimkien ma' l-unitajiet ta' evalwazzjoni eżistenti fi ħdan kull DĠ. Skond il-prattika kurrenti f'oqsma ta' politika oħra, dan l-uffiċċju jkun jista' jikkoordina l-attivitajiet ta' evalwazzjoni tal-Kummissjoni għall-Programm Qafas fit-totalità tiegħu. Tali funzjonijiet ta' sostenn komuni kienu rrakkomandati fil-passat għad-DĠs li implimentaw il-Programmi Qafas (40) u għandhom mnejn isiru aktar importanti aktar 'il quddiem bil-ħolqien ta' l-ERC u d-delega ta' l-implimentazzjoni ta' programmi lill-aġenziji eżekuttivi.

67.

Panels ta' evalwazzjoni għandhom ikomplu jintużaw mill-Kummissjoni biex jgħinuha fl-attivitajiet tagħha ta' evalwazzjoni. Madankollu, il-Kummissjoni għandha tikkunsidra kif għandha tallinja l-istruttura ta' panel ma' l-istruttura ġenerali ta' programm tal-Progamm Qafas. Dan jista' jsir billi jkun hemm panels għal programmi speċifiċi u, fejn huwa xieraq, sub-programmi (ara l-Anness IV). Barra dan, dawn il-panels għandhom jitwaqqfu kmieni biżżejjed sabiex jagħtu sostenn effettiv lill-Kummissjoni, u jkomplu jagħmlu dan matul il-perijodu ta' programmar u wara.

68.	Il-Kummissjoni għandha tikkunsidra mill-ġdid ir-riżorsi li se jintużaw għall-evalwazzjoni tal-Programmi Qafas u l-programmi kostitwenti tagħhom.

Metodoloġiji u tekniki ta' evalwazzjoni

69.

Evalwazzjoni effettiva teħtieġ l-użu ta' metodoloġiji u tekniki xierqa. Il-Qorti ċċekkjat safejn jeżistu linji gwida speċifiċi għall-evalwazzjoni tal-Programmi Qafas, jekk ħtiġijiet ta' informazzjoni kinux analizzati tajjeb fuq bażi mwaqqta u jekk dejta relevanti kinitx magħmula disponibbli għall-evalwaturi. Filwaqt li kkunsidrat l-istudji ta' evalwazzjoni mwettqa mill- (jew f'isem il-) Kummissjoni, il-Qorti rrevediet jekk it-tekniki użati għall-istudji individwali tawx bażi biżżejjed sabiex ikunu indirizzati l-ħtiġijiet ta' evalwazzjoni stabbiliti għall-evalwazzjonijiet fuq ħames snin. Kienet ikkunsidrata wkoll il-kontribuzzjoni potenzjali li tista' ssir lill-evalwazzjoni tal-Programmi Qafas minn evalwazzjonijiet fil-livell nazzjonali.

Użu ta' standards u linji gwida speċifiċi għall-Programmi Qafas

70.

Id-DĠ Baġit ħareġ bosta Komunikazzjonijiet fejn iffissa l-politika tiegħu ta' evalwazzjoni u ta regoli għall-implimentazzjoni tagħha u waqqaf sett ta' standards tal-Kummissjoni (ara l-paragrafi 14 u 55) (41). Għal oqsma oħra ta' politika, id-DĠs kompetenti żviluppaw ukoll gwidi ta' evalwazzjoni speċifiċi (42).

71.

Dan, madankollu, mhuwiex il-każ għall-Programmi Qafas. Hemm għadd ta' gwidi u programmi metodoloġiċi għal attivitajiet ta' evalwazzjoni fil-qasam tar-riċerka li ġew ippubblikati (jew iffinanzjati) mill-Kummissjoni (43). Madankollu, dawn la jagħtu gwida speċifika dwar kif l-evalwazzjonijiet għall-Programmi Qafas għandhom jitwettqu u lanqas ma jiddefinixxu kif kunċetti ewlenin jew terminoloġija għandhom jintużaw mill-persunal tal-Kummissjoni jew minn esperti esterni. Dan ikkontribwixxa għall-problemi diskussi hawn taħt.

Dejta meħtieġa u ġbir tad-dejta

Analiżi insuffiċjenti ta' l-informazzjoni meħtieġa

72.

Ma ngħatatx biżżejjed attenzjoni mid-“DĠs Riċerka” biex jifhmu liema dejta tinħtieġ għal skopijiet ta' evalwazzjoni u ta' monitoraġġ. Minflok ma wettqet analiżi sistematika u komprensiva ta' l-informazzjoni meħtieġa, il-Kummissjoni speċifikat id-dejta meħtieġa tard fil-perijodu ta' programmar u mingħajr konsiderazzjoni xierqa għal ħtiġijiet ta' evalwazzjoni ġenerali. Il-kwestjonarju soċjo-ekonomiku tas-Sitt Programm Qafas kien l-uniku sforz komuni fost id-DĠs biex jaqblu fuq tali dejta (ara l-paragrafu 76). Madankollu, dan il-kwestjonarju kien finalizzat fl-2004 (tliet snin wara l-bidu tal-perijodu ta' programmar) u primarjament ikopri aspetti bħall-parteċipazzjoni tas-sessi u impatti ambjentali, minflok prodotti xjentifiċi (bħal kwistjonijiet dwar il-proprjetà intellettwali, pubblikazzjonijiet eċċ.), eżiti jew impatti.

73.

L-evalwazzjoni ta' programmi tiddependi ħafna fuq id-disponibbiltà ta' tliet tipi ta' dejta:

—

dejta miġbura skond indikaturi ta' effettività, li l-analiżi tagħha tagħti tagħrif dwar progress lejn l-objettivi tal-programmi. In-nuqqas ta' loġika ta' intervenzjoni li għaliha ssir referenza hawn fuq ifisser li kien diffiċli li tali indikaturi jkunu definiti (ara l-paragrafu 30). Fil-prattika, id-dejta li nġabret kienet ta' ftit relevanza biex titkejjel il-kisba ta' l-objettivi tal-programmi;

—	dejta dwar it-treġija tal-programmi (skond indikaturi ta' “effiċjenza”); u

—	dejta dwar il-parteċipanti (bħar-rati ta' parteċipazzjoni ta' organizzazzjonijet kbar tar-riċerka).

74.

B'mod partikolari, l-aħħar tnejn għandhom ikunu disponibbli fil-Kummissjoni. Madankollu, minħabba problemi rigward is-sistemi interni ta' lT tal-Kummissjoni, li huma s-sors tal-biċċa l-kbira tad-dejta dwar it-treġija u l-parteċipanti tal-programmi (44), fil-prattika ġġarrbu problemi sinifikanti (45).

75.	Dan jintwera mid-dewmien konsiderevoli biex ir-Rapporti ta' l-Artikolu 173 u r-Rapporti ta' Monitoraġġ Annwali jsiru disponibbli (sa 16-il xahar tard għar-Rapporti ta' l-Artikolu 173 (46). Peress li din l-informazzjoni kienet tard b'mod konsistenti, kienet ta' użu limitat.

Approċċ ineffettiv għat-teħid ta' dejta ta' evalwazzjoni mill-parteċipanti

76.

Sa mill-Ħames Programm Qafas, il-Kummissjoni b'mod sistematiku kienet titlob mill-parteċipanti, b'kuntratt, li jagħtu dejta meħtieġa għall-kejl tal-kisba ta' objettivi tal-programmi f'termini ta' prodotti, eżiti u impatti, kif ġej:

—	taħt il-Ħames Programm Qafas, il-parteċipanti kienu meħtieġa li jippreżentaw “Il-Pjan għall-Implimentazzjoni tat-Teknoloġija” flimkien ma' rapport finali wara li l-proġett kien tlesta. Dawn id-dokumenti spiss kienu ta' kwalità fqira jew inkella ma kienu ppreżentati xejn;

—	taħt is-Sitt Programm Qafas, huma meħtieġa li jipproduċu “Pjan għad-Disseminazzjoni u l-Użu tat-Tagħrif” u jridu jwieġbu għal kwestjonarju standardizzat dwar kwistjonijiet soċjo-ekonomiċi meta jippreżentaw ir-rapporti tekniċi annwali tagħhom.

77.

Dawn ir-rekwiżiti kuntrattwali biex tingħata dejta poġġew piżijiet amministrattivi bla bżonn fuq il-parteċipanti. Per eżempju, rigward il-kwestjonarju annwali tas-Sitt Programm Qafas, tinġabar dejta aktar spiss milli meħtieġa u mill-popolazzjoni sħiħa ta' proġetti meta kampjun rappreżentattiv kien ikun biżżejjed. Dan x'aktarx li jwassal għal “evaluation fatigue”. Barra minn hekk, din l-informazzjoni nġabret fil-ħin ħażin, ħafna mill-kwistjonijiet ta' bażi li għalihom tinġabar dejta fin-natura tagħhom huma ta' terminu medju jew itwal, b'tali mod li l-ġbir ta' dejta tul iż-żmien kuntrattwali tal-proġett huwa prematur minnu (47). Għalhekk sar użu prattiku limitat biss ta' l-informazzjoni mogħtija minn dawn l-għodod għall-evalwazzjonijiet taħt il-Ħames Programm Qafas u s-Sitt Programm Qafas.

78.

Madankollu, l-ebda waħda mis-sistemi fis-seħħ ma fiha dispożizzjoni għall-ġbir ta' informazzjoni b'mod standardizzat fi tmiem (jew ftit wara) ħajjet proġett. Il-partijiet interessati intervistati ssuġġerew li tali informazzjoni tista' tinkludi l-kisba ta' objettivi tal-proġett, riżultati intiżi (u mhux ippjanati) u l-perċezzjoni tal-valur miżjud tal-Komunità mill-parteċipanti. Tali informazzjoni tista' wkoll tifforma l-bażi għal reviżjonijiet esterni ta' proġetti kompluti (48).

79.

Flimkien ma' użu aktar estensiv ta' approċċi xjentometriċi (bħall-analiżi ta' referenzi) għall-evalwazzjoni ta' riżultati ta' proġett (ara l-paragrafu 83), din tista' tagħti bażi għall-Kummissjoni biex timxi lejn sistema ta' finanzjament ibbażata fuq ir-riżultati għall-attivitajiet ta' l-RTD ko-finanzjati mill-Komunità (49).

Sorsi ta' dejta oħra użati b'mod inadegwat

80.

Ma jsirx użu biżżejjed ta' sorsi oħra eżistenti ta' dejta fi ħdan il-Kummissjoni u l-Istati Membri (eż. databases ta' programmi nazzjonali ta' l-RTD u aġenziji ta' finanzjament u s-“Servizz Komunitarju ta' Informazzjoni dwar ir-Riċerka u l-Iżvilupp” (CORDIS) imħaddem mill-uffiċċju tal-pubblikazzjonijiet tal-Kummissjoni (50)).

Studji ta' evalwazzjoni mwettqa mill-Kummissjoni

Rapporti rreveduti mill-Qorti

81.

Il-Qorti rrevediet 86 studju ta' evalwazzjoni mwettqa mill- (jew f'isem il-) Kummissjoni sa mill-2000. Dawn kienu jinkludu s-36 studju kollha li ffurmaw il-bażi għall-evalwazzjoni fuq ħames snin ppubblikata fl-2004 u l-50 studju ieħor kompluti wara dik id-data. Minn dawn, 23 studju biss jistgħu jkunu kkunsidrati bħala evalwazzjonijiet ġenwini tal-FP u tal-programmi tiegħu (ara l-Istampa 5).

Stampa 5

Ħarsa ġenerali lejn l-istudji ta' evalwazzjoni mwettqa mill- (jew f'isem il-) Kummissjoni fil-perijodu 2000 sa 2006

Tip ta' studji

Għadd

Deskrizzjoni

Evalwazzjonijiet ta' l-attivitajiet tal-Programmi Qafas

Studji ta' evalwazzjoni

—	ibbażati fuq metodoloġiji rikonoxxuti (51);

—	jagħmlu referenza speċifika għal objettivi tal-programmi u għall-punt safejn intlaħqu l-objettivi tal-programmi.

Evalwazzjonijiet ta' l-impatt nazzjonali mibdija fil-livell ta' l-Istat Membru

Studji mwettqa mill-Istati Membri li jindirizzaw prinċipalment rati tal-parteċipazzjoni nazzjonali, minflok ma jikkonkludu dwar objettivi tal-programmi.

Studji metodoloġiċi

Studji organizzati mill-Kummissjoni biex jgħinu fl-iżvilupp ta' metodoloġiji ta' l-evalwazzjoni.

Studji tax-xenarju tar-Riċerka u l-Iżvilupp Teknoloġiku Ewropew

Studji li jindirizzaw l-analiżi kuntestwali dwar ix-xena tar-riċerka fl-Ewropa, imma mhux il-Programmi Qafas. B'mod partikolari ma ssir l-ebda referenza espliċita għall-effett li l-Programmi Qafas għandhom fuq ir-riċerka nazzjonali u sistemi ta' innovazzjoni.

Dokumenti deskrittivi u statistiċi mhux analitiċi

Dokumenti li tipikament jindirizzaw attivitajiet tal-Programmi Qafas b'mod indirett ħafna, u li spiss jiddeskrivu l-attivitajiet minflok ma janalizzawhom.

Dokumenti oħra

Firxa ta' dokumenti li jikkunsidraw kwistjonijiet ta' interess ta' politika ġenerali, mingħajr ma jeżaminaw il-Programmi Qafas f'dak il-kuntest.

Evalwazzjonijet li jiffukaw fuq kwistjonijiet ta' monitoraġġ, aktar milli fuq l-eżiti u l-impatti

82.

Żewġ osservazzjonijiet ewlenija jirriżultaw mill-meta-analiżi tal-Qorti ta' dawn l-istudji ta' evalwazzjoni speċifiċi:

—

filwaqt li ħafna mill-istudji jippruvaw jikkonkludu kontra l-objettivi tal-programm, dawn il-konklużjonijiet huma ppreżentati b'mod vag, li jħalli l-qarrej dubjuż li l-evalwazzjoni tassew indirizzat din il-kwistjoni. Ta' spiss dan huwa minħabba li n-nuqqas ta' objettivi tal-programm ċari li jxejjen il-proċess b'mod kritiku (ara l-paragrafu 28);

—

minflok ma jevalwaw l-eżiti u l-impatti tal-Programmi Qafas jew tal-programmi (u sub-programmi) speċifiċi tagħhom, ħafna mid-dokumenti huma deskrittivi, u, l-aktar, jikkonċentraw fuq il-prodotti ta' proġetti immedjati u kwistjonijiet dwar it-treġija tal-proġetti. Dawn ir-rapporti ma jistgħux jagħtu provi konvinċenti dwar eżiti jew impatti.

Fokus insuffiċjenti fuq l-iżvilupp ta' metodoloġiji innovattivi

83.

Jiddomina l-użu ta' metodoloġiji u tekniki tradizzjonali (b'mod partikolari stħarriġ, reviżjoni ta' dokumenti u intervisti) għall-evalwazzjonijiet mwettqa fil-perijodu bejn l-2000 u l-2006 (ara l-Istampa 6). Barra min hekk, għadd ta' metodoloġiji u tekniki oħra ta' l-evalwazzjoni sofistikati, imma madanankollu stabbiliti sew, ma ntużawx (jew inkella intużaw biss f'okkażżjonijiet rari), b'mod partikolari:

—	approċċi xjentometriċi (bħal għodda għall-analiżi ta' referenzi) (52);

—	mudelli kwantitattivi (bħal effiċjenza ta' l-ispejjeż, l-effettività ta' l-ispejjeż u l-benefiċċji u n-nefqa (53)); jew

—	mudelli ta' atturi (jew ta' mġiba) (li jiffukaw fuq il-perspettivi ta' dawk involuti f'intervenzjoni, bħall-karatteristiċi ta' netwerks tar-riċerka u bidliet fihom tul iż-żmien).

84.

Studji ta' l-evalwazzjoni li ppruvaw jindirizzaw xi wħud mid-diffikultajiet metodoloġiċi fl-evalwazzjoni ta' l-intervenzjoni pubblika fir-riċerka (ara l-Anness I) intużaw biss f'għadd limitat ta' każijiet:

—	dan l-aħħar tlestew żewġ studji fuq is-suġġett tal-loġika ta' intervenzjoni (54);

—

ġew identifikati tliet studji biss li jipprovaw jevalwaw l-effett li l-finanzjament Komunitarju kellu fuq l-imġiba ta' l-organizzazzjonijiet tar-riċerkaturi f'dak li għandu x'jaqsam ma' ħidma bin-netwerk pan-Ewropea (55). Dan minkejja l-fatt li s-suppożizzjoni dwar effetti pożittivi rigward ħidma bin-netwerk tinsab fiċ-ċentru tal-kunċett ERA;

—	f'każ wieħed biss sar sforz biex jinkisbu konklużjonijiet dwar l-impatt miksub fil-livell ta' programm (jew sub-programm) permezz ta' taħlita ta' l-aggregazzjoni ta' analiżi ta' evalwazzjoni fil-livell tal-proġett ma' tekniki oħra ta' l-evalwazzjoni (56); u

—

ma nstabet l-ebda prova ta' l-użu ta' metodoloġiji oħra, bħall-approċċi “kontrofattwali” (jew ta' “grupp tal-kontroll”). Dan huwa approċċ li kien ikun siewi b'mod partikolari biex juri l-valur miżjud ta' programmi fil-livell Komunitarju meta mqabbel ma' nuqqas totali ta' intervenzjoni (jew intervenzjoni fil-livell nazzjonali jew reġjonali).

85.

Partijiet interessati intervistati mill-Qorti kienu ta' l-opinjoni li l-utilità u r-relevanza ta' l-evalwazzjonijiet tal-Kummissjoni jistgħu jkunu mtejba. Dan juri l-ħtieġa għal aktar żvilupp metodoloġiku sabiex is-sistema ta' evalwazzjoni tista' tevolvi biex tieħu kont tal-karattur dejjem jinbidel tal-Programmi Qafas (ara l-paragrafu 7) (57).

Sfidi mqajma fl-evalwazzjonijiet fuq ħames snin ma setgħux ikunu indirizzati abbażi ta' l-istudji ta' evalwazzjoni speċifiċi tal-Kummissjoni

86.

Dan jintwera wkoll mill-problemi sinifikanti ffaċċjati mill-panel ta' evalwazzjoni fuq ħames snin ta' l-2004 (58) meta kienu qegħdin iwieġbu għall-mistoqsijiet dwar l-evalwazzjoni suġġeriti fit-termini ta' referenza. Ħafna minn dawn l-isfidi ma setgħux ikunu eżaminati, minħabba n-nuqqas ta' studji xierqa mwettqa mill- (jew f'isem il-) Kummissjoni minn qabel u l-impossibbiltà li l-membri tal-panel jikkummissjonaw tali studji f'ħin adegwat (ara l-Istampa 7).

Stampa 7

Indirizzati l-mistoqsijiet dwar l-evalwazzjoni fl-evalwazzjonijiet fuq ħames snin ta' l-2004

	Mistoqsija dwar l-evalwazzjoni	Indirizzata fir-rapport?
IMPLIMENTAZZJONI	L-attivitajiet twettqu b’mod effiċjenti?	parzjalment
	L-attivitajiet kienu effettivi b’relazzjoni ma’ l-ispejjeż?	parzjalment
	L-attivitajiet kienu l-aħjar mod kif setgħu jinkisbu l-objettivi stabbiliti?	le
	Il-qafas legali ġenerali (inklużi r-regoli għall-parteċipazzjoni u l-kuntratti), strumenti ta’ politika u l-modalitajiet għall-implimentazzjoni kienu ċari, xierqa u effettivi?	le
	Il-livell ta’ finanzjament u riżorsi oħra disponibbli kienu adegwati?	le
	Il-komunitajiet industrijali u ta’ riċerka mmirati, inklużi l-SMEs, setgħu jwieġbu b’mod xieraq?	iva
KISBIET	L-attivitajiet laħqu l-objettivi rispettivi tagħhom u sa liema punt kien hemm riżultati mhux mistennija?	le
	X’inhuma r-riżultati prinċipali b’mod partikolari f’termini ta’ prodotti xjentifiċi, teknoloġiċi, soċjo-ekonomiċi u ambjentali, f’termini ta’ koperazzjoni internazzjonali, trasferiment ta’ tagħrif u innovazzjoni, attivitajiet pre-normattivi, accessibbilità, tixrid u qbid ta’ riċerka, żvilupp tar-riżorsi umani, mobilità u taħriġ, u f’termini ta’ sostenn u tisħiħ tal-koordinazzjoni ta’ attivitajiet ta’ riċerka?	le
	Ir-riżultati u l-effetti u l-impatti tagħhom kienu globalment sodisfaċenti mill-perspettiva tal-benefiċjarji u l-partijiet interessati diretti jew indiretti?	le
	Il-komunitajiet industrijali u ta’ riċerka relevanti, inklużi l-SMEs, kienu indirizzati b’mod sodisfaċenti?	iva
	Kif u safejn l-attivitajiet ikkontribwew għal kompetittività mtejba fir-riċerka ta’ l-UE fil-livell internazzjonali? Ir-riċerka ta’ l-UE laħqet it-tmexxija f’oqsma speċifiċi?	parzjalment
	Kif u safejn l-attivitajiet ikkontribwew għal politiki ta’ l-UE b’mod ġenerali u għall-istrateġija ta’ l-UE ta’ żvilupp sostenibbli?	le
	Hemm provi ta’ bidla strutturali, inkluża b’mod partikolari l-ħidma bin-netwerk, integrazzjoni u koordinazzjoni ta’ riċerka, f’livell nazzjonali jew internazzjonali bħala riżultat ta’ attivitajiet ta’ riċerka tal-Komunità?	le
	Il-programmi taw valur għall-flus? L-attivitajiet kellhom impatti li jdumu?	le
EVOLUZZJONI U PERSPETTIVI FUTURI	Kif evolwew il-Programmi ta’ qafas f’termini ta’ motivazzjonijiet, objettivi, prijoritajiet tematiċi, bilanċ bejn prijoritajiet minn isfel għal fuq u minn fuq għal isfel u bejn riċerka fundamentali u applikata, strumenti, valur miżjud Ewropew u impatti oħra, b’mod partikolari fid-dawl tal-ħruġ tal-kunċett taż-Żona Ewropea tar-Riċerka (ERA), l-għanijiet ta’ Liżbona u standards ekonomiċi u tar-riċerka prinċipali internazzjonali?	iva
	Il-Programm ta’ Qafas kif kiseb il-valur miżjud Ewropew?	iva
	Il-valur miżjud Ewropew jista’ jinkiseb permezz ta’ mekkaniżmi oħra internazzjonali jew nazzjonali?	le
	L-objettivi, prijoritajiet, strumenti u ċ-ċiklu tal-ħajja tal-programmi huma xierqa għall-ġejjieni?	iva

87.	Barra dan, huwa nnutat li għal dawk l-aspetti biss fejn objettivi ċari u kwantifikabbli kienu definiti fil-programmi (bħas-sehem ta' l-intrapriżi żgħar u ta' daqs medju li kienu qegħdin jipparteċipaw), il-membri tal-panel setgħu jwieġbu għall-mistoqsijiet speċifikati fit-termini ta' referenza.

Evalwazzjonijiet mwettqa fil-livell nazzjonali għall-Programmi Qafas

88.

Bosta Stati Membri u pajjiżi assoċjati jwettqu l-evalwazzjonijiet nazzjonali tagħhom stess dwar il-FPs, li jindirizzaw mistoqsijiet relevanti u interessanti mill-perspettiva tagħhom stess (59). Fl-aħħar 8 snin, 14-il studju ta' din ix-xorta kienu prodotti għal 9 Stati Membri u pajjiż wieħed assoċjat.

89.

Filwaqt li l-Kummissjoni ħeġġet approċċi standardizzati fejn dan kien possibbli, dawn l-istudji ta' impatt nazzjonali huma eteroġeni ħafna (60). B'riżultat ta' dan, peress li ma jsegwux metodoloġija armonizzata, il-possibbiltajiet għall-aggregazzjoni, taħlit jew tqabbil ta' riżultati huma limitati. Barra minn hekk, minħabba l-karattru nazzjonali tagħhom, dawn l-istudji jistgħu jaqbdu biss parti tad-dimensjoni koperattiva Ewropea.

90.

Fil-“Green paper” ta' l-ERA għall-2007 il-Kummissjoni argumentat li kien importanti li analiżi preċiżi jkunu disponibbli fil-livell ta' l-ERA dwar l-impatt u l-effettività ta' attivitajiet u politiki tar-riċerka, inklużi dawk ta' l-Istati Membri u ta' l-UE. Irrikonoxxiet ukoll li l-arranġamenti kurrenti ma kinux adegwati biex jindirizzaw din l-isfida għax kull livell ta' intervenzjoni wettaq evalwazzjonijiet separatament mill-oħrajn (61).

Rakkomandazzjonijiet

91.

Il-Kummissjoni għandha tfassal manwal għall-evalwazzjoni ta' attivitajiet iffinanzjati mill-Programmi Qafas, li jagħti definizzjonijiet ta' kunċetti ewlenija u terminoloġija u li jidentifika l-firxa ta' metodoloġiji xierqa għal ċerti attivitajiet ta' evalwazzjoni. Dan il-manwal għandu jkun ibbażat fuq gwidi u programmi eżistenti u għandu jkun aġġornat fuq bażi regolari.

92.	Il-Kummissjoni għandha tiddefinixxi l-informazzjoni li teħtieġ, filwaqt li tieħu kont tal-ħtieġa li tillimita l-piż amministrattiv fuq il-parteċipanti.

93.

Il-Kummissjoni għandha tagħti informazzjoni ta' monitoraġġ dwar l-implimentazzjoni tal-Programmi Qafas b'mod imwaqqat. Kif meħtieġ mir-“Regoli għall-Parteċipazzjoni” tas-Seba' Programm Qafas, problemi dwar is-sistemi ta' l-IT tal-Kummissjoni li jamministraw id-dejta fuq it-treġija tal-programmi u l-parteċipanti għandhom ikun indirizzati b'mod urġenti.

94.

L-obbligi ta' rappurtar tal-parteċipanti lejn il-Kummissjoni għandhom jitnaqqsu b'mod sinifikanti u l-istħarriġ għandu jitwettaq fuq bażi ta' kampjun biss. Ir-rekwiżit kuntrattwali biex wieħed jippreżenta dejta dwar l-impatt ibbażata fuq l-indikatur għal kull proġett għandu jkun sostitwit bi stima personali malli jitlesta l-proġett.

95.	Il-Kummissjoni għandha tagħmel użu aktar estensiv għall-evalwazzjonijiet tagħha ta' sorsi komplementari eżistenti ta' dejta relevanti (kemm fi ħdan il-Kummissjoni kif ukoll fl-Istati Membri).

96.

Il-Kummissjoni għandha tuża l-firxa sħiħa ta' tekniki ta' evalwazzjoni disponibbli. Barra dan, għandha ssostni l-iżvilupp ta' approċċi innovattivi biex tindirizza d-diffikultajiet metodoloġiċi inerenti għall-evalwazzjoni ta' l-intervenzjoni pubblika fir-riċerka (ara l-Anness I) u tuża dawn l-approċċi fl-evalwazzjonijiet tagħha stess.

97.	Il-Kummissjoni għandha tikkonsulta ma' l-Istati Membri dwar kif għandha tisfrutta sa l-aħħar il-benefiċċji ta' l-evalwazzjonijiet tal-Programmi Qafas fil-livell nazzjonali.

Tixrid u użu tas-sejbiet ta' evalwazzjoni

98.

L-evalwazzjoni għandha tagħti informazzjoni u analiżi relevanti li jistgħu jintużaw b'mod effettiv għat-treġija ta' programmi u għat-tiswir ta' politika. B'mod partikolari, l-evalwazzjoni għandha tagħti bażi għar-riflessjoni infurmata dwar il-punti tajbin u l-punti dgħajfin ta' intervenzjoni pubblika li tinħtieġ sabiex isir it-tagħlim. Il-Qorti ċċekkjat safejn l-evalwazzjonijiet twaqqtu tajjeb, is-sejbiet kienu kkomunikati u mifruxa lill-partijiet interessati barra l-Kummissjoni u ttieħed kont ta' rakkomandazzjonijiet mill-Kummissjoni għal reviżjoni ta' programmi kontinwi (“programmi ta' tagħlim”).

It-twaqqit ta' evalwazzjonijiet ma ħax kont tat-tip ta' informazzjoni li wieħed seta' jistenna b'mod realistiku

99.

Il-Qorti tirrikonoxxi li ċerti tipi ta' analiżi jeħtieġu perspettiva fuq perijodu fit-tul (eż. l-evalwazzjoni ta' eżiti u impatti soċjo-ekonomiċi) u li xi aspetti huma relatati ma' perijodu ta' programmar speċifiku (eż. objettivi tal-programm, saħansitra fi ħdan qasam xjentifiku partikolari), filwaqt li oħrajn le (ara l-Istampa 8). Madankollu, il-Kummissjoni m'addottatx approċċ fl-attivitajiet tagħha ta' evalwazzjoni li jieħu kont ta' dawn l-iskadenzi.

100.

Il-leġiżlazzjoni talbet lill-attivitajiet ewlenija ta' evalwazzjoni tal-Kummissjoni jiffukaw b'mod esklussiv fuq il-ħames snin li ġew qabel l-evalwazzjonijiet fuq ħames snin u b'hekk ikopru partijiet minn żewġ perijodi ta' programmar suċċessivi. Riżultat ta' dan, eżiti u impatti fuq perijodi medji u fit-tul bilkemm ġew indirizzati. Konsegwenza ta' dan, l-evalwazzjonijiet fuq ħames snin ġeneralment iffukaw l-aktar fuq aspetti ta' monitoraġġ, kwistjonijiet ta' tfassil ta' programmi fuq perijodu qasir u osservazzjonijiet ġenerali dwar l-orjentazzjoni tal-Programmi Qafas. Il-Qorti tilqa' l-fatt li l-leġiżlazzjoni tas-Seba' Programm Qafas m'għadhiex teħtieġ evalwazzjonijiet fuq ħames snin, jew kwalunkwe perijodu ieħor ta' kopertura pre-definit.

Stampa 8

Kwistjonijiet ta' monitoraġġ u ta' evalwazzjoni skond l-iskadenzi

Monitoraġġ ta’ l-implimentazzjoni tal-programm

(kontinwu)

—	Kwistjonijiet dwar it-treġija ta’ programmi (eż. żmien biex isir il-kuntratt, żmien biex jitwettaq il-pagament, rati ta’ sottoskrizzjoni u ta’ suċċess, eżekuzzjoni tal-baġit, rati ta’ finanzjament, eċċ.)

Evalwazzjoni

Fuq perijodu ta’ żmien qasir

(eżempju, l-aktar kmieni wara sena sa sentejn)

—	Kwistjonijiet dwar it-treġija ta’ programmi (eż. effiċjenza tal-proċeduri amministrattivi)

—	Kwistjonijiet dwar tfassil ta’ programmi (eż. aċċessibbiltà u flessibbiltà ta’ strumenti, xkiel għall-parteċipazzjoni, implikazzjonijiet għal nuqqas ta’ suċċess f’sejħiet għal proposti, eċċ.)

—	Analiżi ta’ profil tal-parteċipazzjoni (prinċipalment kwantitattiva f’dan l-istadju)

Evalwazzjoni

Fuq perijodu ta’ żmien medju

(eżempju, wara 7 snin)

—	Kwistjonijiet dwar tfassil ta’ programmi (eż. effettività ta’ strumenti)

—	Analiżi tal-parteċipazzjoni, (li tħallat aspetti kwalitattivi u kwantitattivi, eż. analiżi tan-netwerks tar-riċerka, impatti fuq l-imġiba tar-riċerkaturi, eċċ.)

—	Analiżi tal-prodotti ta’ proġetti (62) (eż. pubblikazzjonijet, dokumenti, privattivi, liċenzji, prototipi, xjenzati mħarrġa, eċċ.)

Evalwazzjoni

Fuq perijodu ta’ żmien twil

(eżempju, wara aktar minn 10 snin)

—	Evalwazzjoni ta’ riżultati u impatti

Sors: Il-Qorti Ewropea ta’ l-Awdituri.

101.

In-nuqqasijiet ta' l-evalwazzjonijiet fuq ħames snin li jevalwaw ir-riżultati u l-impatti tal-Programmi Qafas kien innutat ukoll mill-esperti tal-Kummissjoni:

—

il-panel ta' l-2004 innota li l-evalwazzjoni għandha tkopri u tagħti biżżejjed attenzjoni għal kwistjonijiet fuq perijodi ta' żmien kemm twal kif ukoll qosra u li r-riżorsi jistgħu jkunu meħlusa biex jippermettu studji ta' evalwazzjoni aktar ambizzjużi fuq perijodu ta' żmien twil li jkunu jistgħu jesploraw il-kwistjonijiet strutturali u soċjo-ekonomiċi aktar wiesgħa b'mod aktar sistematiku (63);

—

studju kkummissjonat mid-DĠ Riċerka sab illi prattiċi kurrenti ta' evalwazzjoni tar-Riċerka u l-Iżvilupp ta' l-UE (li jinvolvu monitoraġġ kontinwu, evalwazzjonijiet fuq ħames snin u evalwazzjoni ta' nofs it-terminu) huma kkaratterizzati minn fokus qawwi fuq il-monitoraġġ meta mqabbel ma' l-evalwazzjoni ta' l-impatt u, sabiex ikun hemm ċaqliq tat-talba u ta' l-aspettattiva lejn l-impatt soċjo-ekonomiku, ikunu jinħtieġu evalwazzjoni u qafas ta' monitoraġġ ġodda li jobbligaw sforz akbar fil-livell ta' l-impatt aktar milli l-monitoraġġ tal-prodotti (64).

102.

Il-kwistjoni ta' twaqqit tolqot ukoll evalwazzjonijiet speċifiċi meħtieġa mil-leġiżlazzjoni. Per eżempju, ir-rapport Marimón għall-2004, li analizza l-istrumenti ġodda mdaħħla fis-Sitt Programm Qafas (2003-2006), intalab kmieni wisq, u b'riżultat ta' dan, kien hemm ftit li xejn esperjenza prattika u provi empiriċi li fuqhom wieħed seta' jibbaża l-konklużjonijiet tiegħu (65).

Komunikazzjoni u tixrid

103.

Waħidha, il-Kummissjoni tista' tiżviluppa u tadatta programmi ta' ħidma operazzjonali skond ċikli ta' perijodi qosra, soġġetti għal approvazzjoni mill-kumitat ta' programm relevanti. Dan jista' jirrapreżenta opportunità biex isiru aġġustamenti għat-treġija ta' programm, u wkoll għal allokazzjonijiet mill-ġdid ta' baġits fi ħdan is-sub-programmi. Ma nstabet l-ebda prova li l-Kummissjoni tagħmel użu minn din il-possibbiltà (ara l-paragrafu 107).

104.

Barra minn hekk, minħabba l-mod kif il-Programmi Qafas huma mfassla u adottati, huwa kwazi impossibbli għall-Kummissjoni biex hi tagħmel bidliet sinifikanti, bħal modifikazzjonijiet ta' objettivi tal-programmi jew l-allokazzjoni mill-ġdid ta' baġits bejn sub-programmi. Il-leġiżlatur biss jista' jippromulga tali modifikazzjonijiet fuq firxa wiesgħa matul reviżjoni tal-leġiżlazzjoni tal-Programm Qafas (bħal fl-2010 għas-Seba' Programm Qafas) jew l-adozzjoni tal-Programm Qafas sussegwenti. Għal din ir-raġuni, il-leġiżlazzjoni tipikament stipulat li l-eżerċizzji ewlenija ta' evalwazzjoni għandhom jitwaqqtu sabiex ikun jista' jittieħed kont tar-riżultati tagħhom b'mod siewi ħafna għat-tiswir tal-politika.

105.	Għalhekk, xi wħud mill-utenti ewlenija ta' l-evalwazzjonijiet tal-Kummissjoni huma d-“DĠs Riċerka” infushom (66). Madankollu, il-leġiżlazzjoni tal-Programm Qafas teħtieġ ukoll b'mod espliċitu li l-evalwazzjonijiet ikunu kkomunikati lill-Parlament Ewropew u lill-Kunsill.

106.	Fl-istħarriġ tal-Qorti dwar il-kumitat ITRE tal-Parlament Ewropew u l-kumitat CREST tal-Kunsill, il-biċċa l-kbira ta' dawk li wieġbu, madankollu, indikaw li ma ħassewhomx infurmati biżżejjed dwar l-implimentazzjoni u r-riżultati tal-Programmi Qafas (ara l-Istampa 9) (67).

Segwitu tas-sejbiet ta' evalwazzjoni

107.

Fir-Reviżjonijiet ta' l-Evalwazzjoni Annwali tagħha, il-Kummissjoni tipprovdi sommarju tas-sejbiet u l-azzjonijiet meħuda bħala riżultat ta' l-evalwazzjonijiet tagħha (68). Rigward is-segwitu, il-Kummissjoni tat ukoll tweġibiet formali għas-sejbiet u għar-rakkomandazzjonijiet ta' l-evalwazzjoni fuq ħames snin u għall-evalwazzjonijiet speċifiċi meħtieġa mil-leġiżlazzjoni u, safejn possibbli, ħadet miżuri xierqa biex tindirizza n-nuqqasijiet identifikati hemmhekk. Dan, madankollu, ma kienx il-każ għal ħafna mir-rapporti l-oħra ta' evalwazzjoni rreveduti u ma nstabet l-ebda prova li kien qiegħed jittieħed kont tas-sejbiet u tar-rakkomandazzjonijiet tagħhom għal emendi fil-programmi ta' ħidma. Bl-istess mod, ir-rendikonti baġitarji ABB tad-DĠs u r-Rapporti ta' Attività Annwali tagħhom ma jindikawx safejn ittieħdet azzjoni fuq is-sejbiet ta' l-evalwazzjoni.

Rakkomandazzjonijiet

108.

Il-Kummissjoni għandha tistabbilixxi t-tip u l-ambitu ta' evalwazzjoni li wieħed jista' jistenna b'mod raġonevoli għad-dati speċifikati fil-leġiżlazzjoni (2008, 2010 u 2015), tfiehem kif l-evalwazzjonijiet jistgħu jintużaw biex il-programmi (“programmi ta' tagħlim”) ikunu adattati u tispeċifika x'kontribuzzjoni jistgħu jagħtu l-evalwazzjonijiet lil deċiżjonijiet ta' politika. B'mod partikolari, il-Kummissjoni għandha tiċċara l-approċċ intiż tagħha fir-rigward ta' l-evalwazzjoni tar-riżultati fuq perijodu itwal ta' Programmi Qafas tal-passat u tal-preżent, minħabba li tali riżultati jistgħu jieħdu bejn 7 u 10 snin biex jitwettqu (ara l-Istampa 8).

109.

Il-Kummissjoni għandha tirrevedi l-prattika tagħha dwar il-komunikazzjoni u t-tixrid tas-sejbiet ta' evalwazzjoni biex tiżgura li l-partijiet interessati jirċievu l-informazzjoni meħtieġa. B'mod partikolari, id-“DĠs Riċerka” għandhom jagħtu tweġiba formali għall-evalwazzjonijiet kollha u jagħmlu dawn l-istudji pubbliċi fil-ħin, flimkien mat-tweġibiet tagħhom. Id-“DĠs Riċerka” għandhom ukoll jirrappurtaw fir-rendikonti baġitarji ABB tagħhom u fir-Rapporti ta' Attività Annwali tagħhom dwar is-segwitu mogħti u jagħmlu użu mir-rakkomandazzjonijiet meta jaġġornaw programmi ta' ħidma u jfasslu programmi futuri.

KONKLUŻJONI ĠENERALI

110.	Il-Qorti tirrikonoxxi li l-evalwazzjoni ta' programmi tar-Riċerka u l-Iżvilupp Teknoloġiku, u b'mod partikolari l-evalwazzjoni tar-riżultati tagħhom fuq perijodu twil, hija diffiċli b'mod inerenti u huwa diffiċli biex wieħed jiddefinixxi l-aħjar prattika.

111.

Fl-opinjoni tal-Qorti, l-evalwazzjoni hija essenzjali għat-treġija ta' programm, għall-ippjanar għall-quddiem u għat-tiswir ta' politika. L-evalwazzjoni tagħti wkoll bażi għar-responsabbiltà. Hija tagħti informazzjoni ta' valur dwar liema riżultati intiżi (jew mhux intiżi) inkisbu, il-punt safejn inkisbu l-objettivi tal-programmi, ir-relevanza u l-utilità tal-programmi u l-effiċjenza u l-effettività ta' l-implimentazzjoni tal-programmi. Peress li huwa l-Parlament Ewropew u l-Kunsill li jiddeċiedu dwar l-orjentazzjoni ġenerali, affarijiet baġitarji u tfassil ta' programmi għall-Programmi Qafas, tinħtieġ sistema ta' evalwazzjoni trasparenti, kredibbli u robusta biex tagħtihom l-informazzjoni xierqa.

112.

Il-Kummissjoni waqqfet qafas ta' evalwazzjoni ġenerali fl-2000 u fl-2002 u rrevedietu wara fl-2007. Għalkemm matul il-perijodu verifikat mill-Qorti ma kien osservat l-ebda titjib prinċipali fil-mod kif l-evalwazzjonijiet tal-Programmi Qafas u l-programmi kostitwenti tagħhom kienu ppjanati, mfassla u implimentati, f'termini ġenerali, id-“DĠs Riċerka” kkonformaw mar-rekwiżiti formali tal-Kummissjoni.

113.

Għall-perijodu kopert minn dan ir-rapport, kif meħtieġ mil-leġiżlazzjoni tal-Programm Qafas, id-“DĠs Riċerka” kellhom sistema ta' evalwazzjoni fis-seħħ u l-Kummissjoni tista' tirreferi għal ammont imdaqqas ta' studji ta' evalwazzjoni. Madankollu, jibqa' l-fatt li ftit li xejn huwa magħruf dwar il-kisba ta' objettivi ta' programmi u r-riżultati tal-Programmi Qafas. Dan għaliex l-evalwazzjonijiet ġeneralment iffukaw fuq kwistjonijiet ta' implimentazzjoni tal-programm ta' perijodu qasir. B'riżultat ta' dan, l-evalwazzjonijiet tal-Kummissjoni kienu ta' utilità limitata għal min jagħmel il-politika, għall-partijiet interessati u saħansitra għall-Kummissjoni nfisha.

114.

Minħabba l-importanza ta' l-evalwazzjoni għat-treġija ta' programmi u t-tiswir ta' politika, l-approċċ tal-Kummissjoni lejn l-evalwazzjoni tal-Programmi Qafas u tal-programmi kostitwenti tagħhom għandha tkun eżaminata mill-ġdid fid-dawl ta' sfidi politiċi ġodda, finanzjament miżjud, twessigħ ta' l-orjentazzjoni tal-politika tar-riċerka tal-Komunità u r-riforma reċenti tal-Kummissjoni. Dan kien ukoll irrakkomandat mill-EURAB fir-rapport tiegħu ta' l-2007.

115.

Fl-opinjoni tal-Qorti, l-użu ta' loġika ta' intervenzjoni espliċita fit-tfassil ta' programmi tal-Programmi Qafas futuri kieku jwassal għal programmi aktar iffukati u strutturati aħjar. Jikkontribwixxi wkoll għal politika ta' “regolament aħjar” tal-Kummissjoni, li timmira għal ambjent regolatorju mfassal aħjar, aktar sempliċi, aktar effettiv u mifhum aħjar (69).

116.

L-evalwazzjoni tal-Programmi Qafas u tal-programmi kostitwenti jkunu aktar effettivi kieku l-objettivi u l-indikaturi tal-programmi kienu aktar ċari mill-bidunett, kieku kien hemm ftehim dwar strateġija ta' evalwazzjoni robusta, iżda mhux preskrittiva żżejjed, mid-“DĠs Riċerka” li qegħdin jimplimentaw il-Programmi Qafas u kieku ntużaw metodoloġiji ta' evalwazzjoni aktar avvanzati, inklużi approċċi kwantitattivi.

117.

Il-Qorti nnutat ukoll għadd ta' każijiet fejn hemm ambitu għall-Kummissjoni biex tikkunsidra mill-ġdid l-arranġamenti organizzattivi ezistenti tagħha għall-evalwazzjoni tal-Programmi Qafas. Jista' jkun hemm vantaġġi jekk,

—	panels ta' evalwazzjoni jkunu involuti aktar kmieni fil-proċess ta' evalwazzjoni, u b'hekk jagħtu għajnuna lill-Kummissjoni matul il-perijodu ta' programmar u lil hinn minnu u jżidu l-ispeċjalizzazzjoni billi jkun hemm panels għal programmi speċifiċi u, fejn xieraq, sub-programmi;

—	l-unitajiet ta' evalwazzjoni speċifiċi għad-DĠ eżistenti jkunu supplimentati b'uffiċċju konġunt ta' evalwazzjoni inkarigat bil-koordinazzjoni ta' l-evalwazzjonijiet tal-Programm Qafas.

118.

Ir-rakkomandazzjonijiet li hemm f'dan ir-rapport huma bbażati jew fuq prattiċi eżistenti fi ħdan il-Kummissjoni jew fuq prattika internazzjonali tajba. Fir-rigward ta' riżorsi, huwa ċar li d-daħla ta' l-approċċ suġġerit għall-evalwazzjoni tal-programmi tkun tinvolvi spejjeż ogħla. Madankollu, fl-opinjoni tal-Qorti, probbabbilment li din se tipproduċi riżultat finali pożittiv ta' mill-anqas l-istess xorta.

Dan ir-rapport ġie adottat mill-Qorti ta' l-Awdituri fil-Lussemburgu fil-laqgħa tagħha tat-22 ta' Novembru 2007.

Għall-Qorti ta' l-Awdituri

Hubert WEBER

President

(1) Skond l-OECD, ir-riċerka u l-iżvilupp jistgħu jiġu definiti bħala x-xogħol kreattiv imwettaq fuq bażi sistematika sabiex iżid ir-riżerva ta' l-għarfien, inkluż l-għarfien uman, kulturali u tas-soċjetà u l-użu ta' din ir-riżerva ta' l-għarfien biex jinħolqu applikazzjonijiet ġodda (ara l-OECD, Manwal Frascati — Standard ta' prattika propost għall-istħarriġ fuq ir-riċerka u l-iżvilupp sperimentali, Pariġi, 2002, p. 30). Fil-kuntest Komunitarju, l-akronimu RTD huwa użat, u jkopri t-teknoloġija kif ukoll ir-riċerka u l-iżvilupp.

(2) Id-DĠ Riċerka huwa d-Direttorat-Ġenerali principali li jamministra u jikkoordina l-Programmi Qafas. Ħames DĠs oħra li jamministraw ukoll (partijiet) mill-programmi speċifiċi fosthom l-aktar importanti d-DĠ Soċjetà Informatika u Media (l-oħrajn huma d-DĠ Enerġija u Trasport, id-DĠ Intrapriżi u Industrija, id-DĠ Sajd u ċ-Ċentru Konġunt tar-Riċerka tal-Kummissjoni).

(3) Fl-2000, il-Kunsill Ewropew ta' Liżbona ffissa l-objettiv li jagħmel l-UE l-ekonomija l-aktar dinamika, kompetittiva, b'bażi sostenibbli ta' tagħrif sa l-2010, li tgawdi sitwazzjoni mingħajr qgħad u koeżjoni ekonomika u soċjali msaħħa.

(4) Fl-2002, il-Kunsill Ewropew ftehem li l-infiq b'mod ġenerali fuq l-RTD u l-innovazzjoni fl-Unjoni Ewropea għandu jiżdied bil-għan li jqarreb it-3 % tal-Prodott Gross Domestiku sa l-2010. Barra dan, ikkjarifika li tnejn minn tlieta ta' dan l-investiment il-ġdid għandu jiġi mis-settur privat (ara l-Kummissjoni Ewropea, Investiment fir-riċerka: pjan ta' azzjoni għall-Ewropa; Komunikazzjoni mill-Kumissjoni lill-Kunsill, il-Parlament Ewropew, Il-Kumitat Ekonomiku u Soċjali Ewropew u l-Kumitat tar-Reġjuni, COM(2003) 226 finali, p. 7).

(5) F'każijiet ta' tmexxija diretta, il-Kummissjoni teżegwi l-operazzjonijiet meħtieġa biex twettaq l-attivitajiet ta' implimentazzjoni tal-baġit tagħha mingħajr l-ebda involviment mill-Istati Membri jew pajjiżi terzi li d-destinatarji ta' l-infiq huma residenti fihom.

(6) Sa mill-2006, aktar minn 22 000 entità pubblika u legali kienu pparteċipaw fis-Sitt Programm Qafas biss, generalment f'konsorzji ta' imsieħba.

(7) Dan huwa metodu ta' koperazzjoni bbażat fuq il-prinċipju ta' koperazzjoni intergovernattiva volontarja. Dan jibbaża b'mod partikolari fuq it-tagħlim reċiproku, l-iffissar tal-livelli (benchmarking) u l-qsim ta' l-aħjar prattika.

(8) Ir-Regolament tal-Kunsill (KE, Euratom) Nru 1605/2002 tal-25 ta' Ġunju 2002 (ĠU L 248, 16.9.2002, p. 1), l-Artikoli 27, 48, 59 u 60.

(9) Il-Kummissjoni Ewropea, id-DĠ Baġit, Komunikazzjoni lill-Kummissjoni mis-Sinjorina Grybauskaitė bi qbil mal-President, Inwieġbu għall-bżonnijiet strateġiċi: rinfurzar ta' l-użu ta' valutazzjoni, SEC(2007) 213, 21 ta' Frar 2007; Il-Kummissjoni Ewropea, id-DĠ Baġit, Komunikazzjoni lill-Kummissjoni mis-Sinjura Schreyer, Fok fuq ir-Riżultati: it-Tisħiħ ta' l-Evalwazzjoni ta' l-Attivitajiet tal-Kummissjoni, SEC(2000) 1051, is-26 ta' Lulju 2000.

(10) Id-Deċiżjoni Nru 1982/2006/KE tal-Parlament Ewropew u tal-Kunsill tat-18 ta' Diċembru 2006 dwar is-Seba' Programm Qafas tal-Komunità Ewropea għar-riċerka, żvilupp teknoloġiku u attivitajiet ta' dimostrazzjoni (2007 sa 2013) (ĠU L 412, 30.12.2006, p. 1): l-Artikolu 7(1); l-informazzjoni ta' monitoraġġ li għandha tingħata mill-Kummissjoni lill-Kumitati ta' Programmar hija definita fid-deċiżjonjiet tal-programm speċifiċi (ara per eżempju d-Deċiżjoni tal-Kunsill 2006/971/KE tad-19 ta' Diċembru 2006 dwar Koperazzjoni tal-Programm Speċifika li timplimenta s-Seba' Programm Qafas tal-Komunità Ewropea għar-riċerka, żvilupp teknoloġiku u attivitajiet ta' dimostrazzjoni (2007 sa 2013) (ĠU L 400, 30.12.2006, p. 86): l-Artikolu 8(4) u l-Anness V).

(11) Il-Kummissjoni Ewropea, Komunikazzjoni lill-Kunsill dwar Pjan ta' Azzjoni Komunitarju dwar l-Evalwazzjoni ta' l-attivitajiet Komunitarji tar-riċerka u l-iżvilupp għas-snin 1987 sa 1991, COM(86) 660 finali, 20 ta' Novembru 1986, bi tweġiba għar-riżoluzzjoni tal-Kunsill tat-28 ta' Ġunju 1983.

(12) Il-Kummissjoni Ewropea, Evalwazzjoni fuq ħames snin tal-Programmi ta' Żvilupp ta' l-Unjoni Ewropea dwar ir-Riċerka u l-Iżvilupp Teknoloġiku, 1992-1996. Rapport tal-Panel ta' Esperti indipendenti ppresedut mill-Viskonti Davignon (1997); Il-Kummissjoni Ewropea, Evalwazzjoni fuq ħames snin tal-Programmi ta' Żvilupp ta' l-Unjoni Ewropea dwar ir-Riċerka u l-Iżvilupp Teknoloġiku, 1995-1999; Rapport tal-Panel ta' Esperti indipendenti ppresedut minn Joan Majó (Lulju 2000); Il-Kummissjoni Ewropea, Evalwazzjoni ta' ħames snin tal-Programmi ta' Żvilupp ta' l-Unjoni Ewropea dwar ir-Riċerka u l-Iżvilupp Teknoloġiku, 1999-2003; Rapport tal-Panel ta' Esperti indipendenti ppresedut minn Erkki Ormala (15 ta' Diċembru 2004).

(13) Il-Kummissjoni Ewropea, Evalwazzjoni ta' l-effettività ta' l-Istrumenti l-Ġodda tas-Sitt Programm Qafas, 21 ta' Ġunju 2004, Rapport ta' Panel ta' Esperti ta' livell għoli bil-presidenza tal-Professur Ramon Marimón.

(14) Il-Kummissjoni Ewropea, id-DĠ Baġit, Komunikazzjoni lill-Kummissjoni mis-Sinjura Schreyer, Fok fuq ir-Riżultati: it-Tisħiħ ta' l-Evalwazzjoni ta' l-Attivitajiet tal-Kummissjoni, Lulju 2000, SEC(2000) 1051; Il-Kummissjoni Ewropea, id-DĠ Baġit, Komunikazzjoni lill-Kummissjoni mingħand il-President u s-Sinjura Schreyer, Standards ta' l-Evalwazzjoni u Prattika Tajba, C(2002) 5267, 23.12.2002.

(15) Il-Kummissjoni Ewropea, id-DĠ Baġit, Komunikazzjoni lill-Kummissjoni mis-Sinjorina Grybauskaitė bi qbil mal-President, Inwieġbu għall-bżonnijiet strateġiċi: rinfurzar ta' l-użu ta' valutazzjoni, SEC(2007) 213, 21 ta' Frar 2007.

(16) Il-Kummissjoni Ewropea, Dokument ta' Ħidma tal-Persunal, Evalwazzjoni ta' l-Impatt u evalwazzjoni ex-ante, SEC(2005) 430.

(17) Il-Kumitat għall-Industrija, ir-Riċerka u l-Enerġija (ITRE) tal-Parlament Ewropew huwa (b'mod partikolari) responsabbli għall-politika industrijali, il-politika tar-riċerka (inkluża t-tixrid u l-isfruttar tas-sejbiet tar-riċerka), il-politika ta' l-ispazju, l-attivitajiet taċ-Ċentru Konġunt tar-Riċerka, it-Trattat Euratom, u s-soċjetà informatika u l-informazzjoni teknoloġika.

(18) Il-CREST (“Comité de la Recherche Scientifique et Technique” — Il-Kumitat Xjentifiku u ta' Riċerka Teknika) ġie stabbilit minn Riżoluzzjoni tal-Kunsill ta' l-14 ta' Jannar 1974 u huwa magħmul minn rappreżentanti ta' awtoritajiet nazzjonali li huma responsabbli għall-politika xjentifika u teknoloġika ta' l-Istati Membri. Il-CREST għandu rwol konsultattiv, li jinforma lill-Kummissjoni u lill-Kunsill, b'mod partikolari dwar suġġetti relatati mal-koordinazzjoni tal-politika tar-Riċerka u l-Iżvilupp nazzjonali u l-monitoraġġ u l-evalwazzjoni tal-Programmi Qafas.

(19) Il-mudelli tal-loġika li juru kif ir-riżorsi fl-attivitajiet differenti jwasslu għal riżultati mistennija huma l-mod l-aktar xieraq biex tintwera l-loġika ta' l-intervenzjoni. Dawn il-mudelli għandhom il-kapaċità li jispjegaw b'mod ċar is-suppożizzjonijiet li fuqhom huwa bbażat it-tfassil ta' programm u kif l-objettivi ġenerali jiġu maqsuma f'objettivi operattivi.

(20) Il-Kummissjoni Ewropea, DĠ Baġit, Evalwazzjoni ta' l-attivitajiet ta' l-UE: linja ta' ġwida prattika għas-servizzi tal-Kummissjoni, Lulju 2004, p. 87 u 106.

(21) Evalwazzjoni fuq ħames snin tal-Programmi Qafas tar-Riċerka ta' l-Unjoni Ewropea, 1999-2003, Rapport tal-Panel ta' Espert Indipendenti bil-presidenza ta' Erkki Ormala (15 ta' Diċembru 2004): Sezzjoni 6 Evalwazzjoni tal-Programm Qafas, p. 19.

(22) Pajjiżi li jirċievu għajnuna esterna huma meħtieġa li jippreżentaw mudelli tal-loġika għall-iffinanzjar tagħhom mill-Komunità (Il-Kummissjoni Ewropea, Metodi ta' għoti ta' għajnuna, Volum 1, Linji ta' gwida dwar it-tmexxija taċ-ċiklu ta' progett, Marzu 2004, is-Sezzjoni 5: L-approċċ tal-qafas loġiku).

(23) Ir-Regolament (KE, Euratom) Nru 1605/2002, l-Artikolu 27(3).

(24) Fl-2006, il-qasam tal-politika “08 riċerka” kien strutturat abbażi ta' programmi speċifiċi (u sub-programmi) tal-perijodu ta' programmar għas-Sitt Programm Qafas (u b'konsegwenza mibdul minn struttura differenti fl-2007), filwaqt li fil-qasam tal-politika “09 Soċjetà Informatika” il-programm speċifiku kurrenti u l-preċedenti tpoġġew flimkien bħala attività ABB waħda (il-Kummissjoni Ewropea, id-DĠ Riċerka, Direttorat A: Koordinazzjoni ta' l-attivitajiet Komunitarji, Ippjanar, Programmar, Evalwazzjoni, Pjan ta' Ġestjoni Annwali 2006, 20.12.2005; il-Kummissjoni Ewropea, id-DĠ Soċjetà Informatika u Media, Pjan ta' ġestjoni annwali 2006, 23.12.2005).

(25) Fil-każ tad-DĠ Riċerka, l-objettivi ta' l-ABM (u l-indikaturi użati biex ikejlu l-kisba tagħhom) tbiddlu minn sena għall-oħra. Id-DĠ Soċjeta Informatika, min-naħa uża objettivi pluriannwali, iżda li, ma kinux l-istess bħall-objettivi tal-programm (jew dawk speċifikati fil-livell tal-programm ta' xogħol).

(26) Il-Kummissjoni Ewropea, Servizz tal-verifika interna, Reviżjoni ta' l-effettività u l-effiċjenza taċ-ċiklu SPP/ABM — SĠ u DĠ Baġit, 2005: paragrafu 4.1, p. 31.

(27) Il-Kummissjoni Ewropea, Komunikazzjoni mill-Kummissjoni lill-Kunsill dwar pjan ta' azzjoni Komunitarju dwar l-evalwazzjoni tal-programmi ta' riċerka u l-iżvilupp tal-Komunità, COM(83) 1 finali, 19 ta' Jannar 1983.

(28) Komunikazzjoni mill-Kummissjoni lill-Kunsill u lill-Parlament Ewropew, Monitoraġġ u evalwazzjoni esterna indipendenti ta' l-attivitajiet tal-Komunità fil-qasam tar-riċerka u l-iżvilupp teknoloġiku, 22.5.1996 (COM(1996) 220 finali).

(29) Kull DĠ li jimplimenta l-Programmi Qafas jiddokumenta l-evalwazzjonijiet ippjanati tiegħu fi pjanijiet ta' evalwazzjoni annwali (u pluriannwali). Iżda, wieħed ma jistax jgħid li dawn id-dokumenti ta' l-ippjanar jirrappreżentaw strateġija ta' l-evalwazzjoni.

(30) Ir-Regolament (KE, Euratom) Nru 1605/2002, l-Artikolu 27(4).

(31) “Loi de programme pour la recherche no 2006-450” tat-18.4.2006 u “Décret no 2006-1334 relatif à l'organisation et au fonctionnement de l'Agence d'évaluation de la recherche et de l'enseignement supérieur (AERES)” tat-3.11.2006.

(32) Agencia Nacional de Evaluación y Prospectiva under the Ministerio de Educación y Ciencia: Orden ECI/1252/2005 ta' l-4 ta' Mejju 2005 li tistabbilixxi l-“Comisión Asesora de Evaluación y Prospectiva” (Kummissjoni Konsultattiva ta' l-Evalwazzjoni u l-Previżjoni).

(33) Fl-2004 d-“Deutsche Forschungsgemeinschaft” (DFG) waqqfet stitut speċjalizzat, l-“Institut für Forschungsinformation und Qualitätssicherung” (IFQ), u tatu r-responsabilità biex jiżviluppa u jistandardizza l-metodoloġiji ta' l-evalwazzjoni, l-assigurazzjoni tal-kwalità u t-twettiq ta' evalwazzjonijiet ta' attivitajiet RTD iffinanzjati mid-DFG.

(34) Fis-Seba' Prorgramm Qafas, 15-il Grupp ta' Konsulenza Esperta twaqqfu mill-Kummissjoni meta mqabbla ma' 12-il Grupp ta' Konsulenza Esterna fis-Sitt Programm Qafas u 17-il Grupp ta' Konsulenza Esperta fil-Ħames Programm Qafas. Dawn il-Gruppi ta' Konsulenza Esperta jagħtu pariri lill-Kummissjoni fuq kwistjonijiet ta' politika u tal-programm relatati mal-Programmi Qafas. Iżda, wieħed għandu jinnota li dawn il-Gruppi ta' Konsulenza Esperta ma jagħmlux kompletament parti mill-istruttura tal-programm fil-Programmi Qafas. Fi kliem ieħor, m'hemmx Grupp ta' Konsulenza Esperta għal kull programm speċifiku (jew sub-programm).

(35) Fil-Kanada kważi d-dipartimenti governattivi federali kollha waqqfu kumitati ta' evalwazzjoni permanenti, li jinvolvu uffiċjali dipartimentali anzjani u ta' sikwit partijiet interessati esterni wkoll, biex jissorveljaw is-sistema ta' evalwazzjoni (“Social Sciences and Humanities Research Council of Canada”: Evaluation Standing Committee — Mandate and Membership).

(36) Il-Kummissjoni Ewropea, Rapport ta' Monitoraġġ 2004: L-implimentazzjoni ta' l-Attivitajiet taħt il-qafas tal-KE u l-Euratom u programmi speċifiċi korrispondenti, Awwissu 2005, p. 5.

(37) Il-Kummissjoni Ewropea, L-ippjanar u l-aħjar użu tar-riżorsi umani tal-Kummissjoni biex iservu l-prijoritajiet ta' l-UE, SEC(2007) 530, l-24 ta' April 2007.

(38) Il-Kummissjoni Ewropea, Komunikazzjoni lill-Kummissjoni mill-President u s-Sinjura Schreyer, Standards ta' evalwazzjoni u prattika tajba, C(2002) 5267, 23.12.2002; Il-Kummissjoni Ewropea, Dokument tal-Ħidma tal-Persunal, “Evalwazzjoni ta' l-Impatt u evalwazzjoni ex-ante”, SEC(2005) 430, is-6 ta' April 2005, l-Anness 1, in-nota ta' qiegħ 209.

(39) Fl-2007, il-Bord Konsultattiv Ewropew għar-Riċerka (EURAB) irrikkmanda wkoll żjieda fir-riżorsi allokati għall-evalwazzjoni tal-Programmi Qafas (EURAB, “Recommendations on Ex-Post Impact Assessments”, Lulju 2007).

(40) Ir-Rapport Speċjali Nru 1/2004 dwar l-amministrazzjoni ta' azzjonijiet tar-Riċerka u l-Iżvilupp Teknoloġiku indiretti taħt il-ħames programm qafas (FP5) għar-riċerka u żvilupp teknoloġiku (1998 sa 2002) (ĠU C 99, 23.4.2004), il-paragrafi 116 u 122.

(41) Il-Kummissjoni Ewropea, id-DĠ Baġit, Komunikazzjoni lill-Kummissjoni mis-Sinjura Grybauskaitė bi qbil mal-President, “Inwieġbu għall-bżonnijiet strateġiċi: rinfurzar ta' l-użu ta' valutazzjoni”, SEC(2007) 213, il-21 ta' Frar 2007; Kummissjoni Ewropea, Standards ta' evalwazzjoni u prattika tajba, C(2002) 5267, 23.12.2002.

(42) 14-il DĠ għandhom tali manwali ta' evalwazzjoni għall-oqmsa ta' politika u programmi taħt ir-responsabbiltà tagħhom (il-Kummissjoni Ewropea, id-DĠ Baġit — Unità ta' Evalwazzjoni, Ħarsa ġenerali lejn il-Gwidi ta' l-Evalwazzjoni fil-Kummissjoni, Ottubru 2004).

(43) Fahrenkrog, G. et al, RTD Evaluation Toolbox — Assessing the Socio-Economic Impact of RTD-Policies, IPTS-JRC, 2002; PREST et al.; “Assessing the Socio-economic Impacts of the Framework Programme”; Università ta' Manchester; 2002.

(44) Filwaqt li l-Kummissjoni ġeneralment ikollha tali informazzjoni dwar il-parteċipanti, sikwit ma tkunx tista' tintuża faċilment għal analiżi dettaljata minħabba li dejta dwar parteċipant partikolari la tinżamm f'post uniku u lanqas ma tiġi bilfors irreġistrata f'forma kumpatibbli. Dan jagħmilha diffiċli li l-involviment tal-parteċipant jiġi traċċat tul iż-żmien, per eżempju għall-evalwazzjoni tar-raġunijiet ta' nuqqas ta' parteċipazzjoni, u relazzjoniiet bejn parteċipanti, per eżempju għall-istudju ta' l-effetti ta' networking (ara l-paragrafu 84).

(45) Ir-Rapport Annwali għas-sena finanzjarja 2006, it-tabella 2.3, ir-Rapport Annwali għas-sena finanzjarja 2005, il-paragrafu 7.13; ir-Rapport Annwali għas-sena finanzjarja 2004, il-paragrafi 6.8 u 6.10; ir-Rapport Annwali għas-sena finanzjarja 2003, il-paragrafi 6.9 u 6.70; ir-Rapport Speċjali Nru 1/2004, il-paragrafi 105-108; l-Opinjoni Nru 1/2006 dwar il-proposta għar-regolament tal-Parlament Ewropew u tal-Kunsill li jistabbilixxi regoli għall-parteċipazzjoni ta' l-intrapriżi, iċ-ċentri tar-riċerka, u l-universitajiet f'azzjonijiet taħt is-Seba' Programm Qafas tal-Komunità Ewropea u għat-tifrix tar-riżultati tar-riċerka (2007 sa 2013) (ĠU C 203, 25.8.2006), il-paragrafu 57.

(46) It-Trattat li jwaqqaf il-Komunità Ewropea, l-Artikolu 173: “Fil-bidu ta' kull sena l-Kummissjoni għandha tibgħat rapport lill-Parlament Ewropew u lill-Kunsill. Ir-rapport għandu jinkludi informazzjoni dwar ir-riċerka u l-attivitajiet ta' żvilupp teknoloġiku, u d-disseminazzjoni tar-riżultati matul is-sena ta' qabel, u l-programm ta' xogħol għas-sena kurrenti.”

(47) Ma kien hemm l-ebda sforz sistematiku biex tinġabar dejta mill-parteċipanti wara t-tlestija tal-proġett, ħlief għal stħarriġ speċifiku fil-qafas ta' l-evalwazzjonijiet. L-użu ta' stħarriġ kien imxekkel mill-fatt li l-parteċipanti, b'differenza minn għadd ta' programmi tar-Riċerka u l-Iżvilupp Teknoloġiku nazzjonali (eż. il-Ġermanja), mhumiex legalment obbligati li jagħtu tali dejta analitika.

(48) Ir-Rapport Speċjali Nru 1/2004, il-paragrafu 94; l-Opinjoni Nru 1/2006, il-paragrafu 56.

(49) Ir-Rapport Annwali għas-sena finanzjarja 2006, il-paragrafu 7.33; ir-Rapport Annwali għas-sena finanzjarja 2005, il-paragrafi 7.8 u 7.29; l-Opinjoni Nru 1/2006, il-paragrafi 58 sa 61.

(50) CORDIS hija l-unika database li tagħti informazzjoni dwar proposti, proġetti u riżultati li hija komuni għall-Programm Qafas kollu, tkopri bosta perijodi ta' programmar, u hija aċċessibbli minn barra l-Kummissjoni. Madankollu, dejta f'CORDIS għal proġetti individwali spiss ma tkunx aġġornata wara li tkun intgħażlet proposta. Sa u fis-Sitt Programm Qafas, il-parteċipanti tas-setturi pubbliċi u privati fil-Programmi Qafas ma kinux obbligati li jagħmlu r-riżultati tagħhom pubbliċi (Bord Konsultattiv Ewropew għar-Riċerka (EURAB), “Scientific publication: policy on open access”, Diċembru 2006).

(51) Hanne Foss Hansen, “Choosing evaluation models: A discussion on evaluation design,” Evalwazzjoni, il-Volum 11 Nru 4, 2005, p. 447-462.

(52) Sa u fis-Sitt Programm Qafas, il-parteċipanti tas-setturi pubbliċi u privati fil-Programmi Qafas ma kinux obbligati li jagħmlu r-riżultati tagħhom pubbliċi. F'Diċembru 2006, il-EURAB irrikkmanda l-garanzija ta' aċċess pubbliku b'xejn għar-riċerka ffinanzjata mill-Komunità billi wieħed jagħmel il-pubblikazzjoni mandatorja. Kien issuġġerit ukoll li l-Kummissjoni twaqqaf repositorju bbażat fuq il-web għal riżultati tal-proġetti ppubblikati (ara l-EURAB, “Scientific publication policy on open access”, Diċembru 2006).

(53) Huwa nnutat li ntużaw tali mudelli biex ibassru l-effetti mikro u makro-ekonomiċi tas-Seba' Programm Qafas ippjanat (ara l-Kummissjoni Ewropea, “Monitoring Report 2004: implementation of activities under the EC and Euratom framework and corresponding specific programmes”, Awwissu 2005, p. 23-25). Madankollu, m'hemmx provi li din l-evalwazzjoni ta' l-impatti ekonomiċi potenzjali tal-Programmi Qafas hija marbuta ma' xi pjan għal evalwazzjoni ex-post.

(54) Id-DĠ Soċjetà Informatika u Media, “IST-RTD Monitoring and Evaluation: Results and impact indicators (2003-2004)”, 2005; “Networks of innovation in information society development and deployment in Europe”, 2006.

(55) Id-DĠ Soċjetà Informatika u Media: ERAnets — “Evaluation of Networks of Collaboration among participants in IST research and their evolution to collaborations in the European Research Area” (Rapport Finali), 2005; “Evaluation of progress towards a European Research Area for information society technologies”, 2005; “Networks of innovation in information society development and deployment in Europe”, 2006.

(56) Id-DĠ Soċjetà Informatika u Media: “Framework contract for Impact Assessments for research in the field of Information Society Technologies”.

(57) EURAB, “Recommendations on Ex-Post Impact Assessment”, Lulju 2007.

(58) Il-Kummissjoni Ewropea, “Evalwazzjoni fuq Ħames Snin tal-Programmi ta' Qafas għar-Riċerka ta' l-Unjoni Ewropea, 1999-2003”. Rapport tal-Bord ta' l-Esperti Indipendenti mmexxi minn Erkki Ormala (il-15 ta' Diċembru 2004), l-Anness 1.

(59) Il-Kummissjoni Ewropea, “The impact of EC R&D policy on the European science and technology community; National impact studies synthesis final report” (1995).

(60) Il-Kummissjoni Ewropea, Tfassil ta' metodoloġija ta' studju dwar l-impatt armonizzat għall-Programmi Qafas ta' l-Unjoni Ewropea dwar ir-Riċerka u l-Iżvilupp, 1992.

(61) Il-Kummissjoni Ewropea, Dokument ta' ħidma tal-persunal, “Iż-Żona Ewropea tar-Riċerka: perspettivi ġodda”, SEC(2007) 412/2, l-4 ta' April 2007, it-taqsima 3.3.3, ERA u l-implikazzjonijiet għall-monitoraġġ u l-evalwazzjoni bbażati fuq l-evidenza, p. 93.

(62) Għandu jkun innutat li akkordji ta’ għotja għal proġetti huma ffirmati matul il-perijodu ta’ programmar, l-ewwel akkordji ġeneralment jiġu fis-seħħ fi tmiem l-ewwel sena ta’ programm. Il-perijodu ta’ żmien ta’ dawn l-akkordji huwa fil-biċċa l-kbira bejn tliet snin u ħames snin, riżultat ta’ dan wieħed jista’ jistenna li l-prodotti finali jaslu wara perijodu ta’ bejn erba’ sa sitt snin.

Sors: Il-Qorti Ewropea ta’ l-Awdituri.

(63) Il-Kummissjoni Ewropea, “Evalwazzjoni fuq Ħames Snin tal-Programmi ta' Qafas għar-Riċerka ta' l-Unjoni Ewropea, 1999-2003”, Rapport tal-Bord ta' l-Esperti Indipendenti mmexxi minn Erkki Ormala (il-15 ta' Diċembru 2004): It-Taqsima 6 “L-Evalwazzjoni tal-Programm ta' Qafas”, p. 19.

(64) Il-Kummissjoni Ewropea, “Evaluation Toolbox — Assessing the Socio-Economic Impact of RTD Policies”, l-hekk imsejjaħ “EPUB Toolbox” editjat miċ-Ċentru Konġunt tar-Riċerka (JRC) — L-Istitut ta' l-Istudji Teknoloġiċi Prospettivi (IPTS) u Joanneum Research (Awwissu 2002), Sommarju Eżekuttiv, p. 9 u 12.

(65) Il-Kummissjoni Ewropea, Evalwazzjoni ta' l-Effettività ta' l-Istrumenti Ġodda tas-Sitt Programm ta' Qafas, il-21 ta' Ġunju 2004, Rapport ta' Panel ta' Esperti Indipendenti mmexxi mill-Professur Ramon Marimón, p. 20.

(66) Konsorzju Ewropew għall-Evalwazzjoni tal-Politika (EPEC), Technopolis Franza, Studju dwar l-użu tar-riżultati ta' evalwazzjonijiet fil-Kummissjoni:, Id-Dossier Nru 1 Rapport ta' sintesi u annessi, Mejju 2005.

(67) Il-livell ogħla ta' sodisfazzjon irrapurtat minn dawk li wieġbu mill-CREST, li spiss ikunu wkoll membri ta' Kumitati ta' Programmi, jista' jkun minħabba r-rwol formali tagħhom fil-monitoraġġ ta' l-implimentazzjoni ta' programmi.

(68) Il-Kummissjoni Ewropea, Dokument ta' Ħidma tal-Persunal, Reviżjoni ta' l-Evalwazzjoni Annwali 2004 — Ħarsa ġenerali lejn is-sejbiet u l-attivitajiet ta' evalwazzjoni tal-Kummissjoni, SEC(2005) 587, it-28 ta' April 2005.

(69) Il-Kummissjoni Ewropea, id-DĠ Baġit, Komunikazzjoni lill-Kummissjoni mis-Sinjura Grybauskaitė bi qbil mal-President, “Inwieġbu għall-bżonnijiet strateġiċi: rinfurzar ta' l-użu ta' valutazzjoni”, SEC(2007) 213, 21 ta' Frar 2007, p. 4.

ANNESS I

KEJL TA' L-IMPATT U TAR-RIŻULTATI TA' L-INTERVENZJONI PUBBLIKA FIR-RIĊERKA U L-IŻVILUPP TEKNOLOĠIKU

Xi wħud mid-diffikultajiet metodoloġiċi ewlenija fil-kejl ta' l-impatt u tar-riżultati ta' l-intervenzjoni pubblika fir-Riċerka u l-Iżvilupp Teknoloġiku huma:

—

“problemi ta' attribuzzjoni”: Problemi ta' attribuzzjoni huma ċari fl-evalwazzjonijiet u fil-kejl tal-prestazzjoni. Huma marbuta mill-qrib mal-mistoqsija dwar l-“addizzjonalità”, li ssaqsi jekk bidliet ikunux seħħew xorta waħda. Id-diffikultà li wieħed jattribwixxi r-riżultati għal intervenzjoni pubblika speċifika hija influwenzata wkoll minn għadd kbir ta' fatturi esterni (bħal effetti ta' politika jew programmi oħra, bidliet fil-qafas legali, bidliet fis-soċjetà eċċ.). Barra minn hekk, fir-riċerka, il-fatt li wieħed ma jiksibx ir-riżultati mistennija jista' jkun ukoll suċċess. Kumplikazzjoni oħra hija d-diffikultà apparenti li wieħed jattribwixxi prodotti tar-riċerka, biex ma nsemmux eżiti u impatti, għal aspetti speċifiċi tal-proċess tar-riċerka u l-iżvilupp teknoloġiku, jew saħansitra għal entitajiet individwali involuti f'attività tar-riċerka.

—

“Problemi ta' kejl”:

—	“Disponibbiltà tad-dejta”: B'mod ġenerali, il-biċċa l-kbira tad-dejta disponibbli, partikolarment id-dejta miġbura permezz ta' sistemi ta' monitoraġġ, hija fuq ir-riżorsi u l-prodotti ta' attivitajiet tar-riċerka u l-iżvilupp teknoloġiku, aktar milli fuq l-eżiti jew l-impatti.

—

“Fehma tad-dinamiċi”: Minħabba d-diffikultà apparenti biex wieħed jimmudella r-relazzjonijiet kawżali bejn ir-riżorsi u l-prodotti, il-ħidma interna tal-proċess tar-riċerka mhix ċara, u fl-assenza ta' loġika ta' intervenzjoni espliċita, il-proċess innifsu huwa kkunsidrat l-aktar bħala “kaxxa sewda”.

—

“Komparabilità tar-riżultati”: il-punt safejn jista' jsir paragun tar-riżultati bejn oqsma xjentifiċi differenti huwa limitat, b'tali mod li dawn ġeneralment għandhom ikunu interpretati fil-kuntest ta' programmi speċifiċi u sub-programmi. Minbarra dan, l-evalwazzjoni tar-riżultati hija aktar diffiċli għar-riċerka bażika (jew fundamentali), milli għar-riċerka applikata jew għall-iżvilupp teknoloġiku. Ir-raġuni ewlenija għal dan huwa l-fatt li r-riċerka bażika hija ġeneralment magħmula minn proċeduri uniċi li mhumiex replikabbli. Saħansitra fil-qasam tar-riċerka applikata, ir-riżultati jvarjaw b'mod konsiderevoli u għalhekk ma jistgħux jitqabblu faċilment.

—

“Aggregazzjoni”: Il-wasla għal konklużjoni minn riżultati ta' l-evalwazzjoni f'termini ta' prodotti, eżiti u impatti miksuba fil-livell aktar baxx toħloq problemi (per eżempju waqt l-aggregazzjoni tar-riżultati tal-proġett, l-ewwel għal gruppi ta' proġetti, u mbagħad għal setturi fi ħdan programm u fl-aħħar fil-livell tal-programm innifsu).

—

“Adegwatezza ta' indikaturi”: Mistoqsija oħra hija jekk l-evalwaturi humiex qegħdin ikejlu l-ħaġa t-tajba. Il-metriċi għandhom ikunu faċli biex jitkejlu, diffiċli biex ikunu manipulati u għandhom jistimulaw l-imġiba korretta. Madankollu, indikatur “miżurabbli” għal prodott mhux bilfors jippermetti konklużjonijiet dwar l-eżiti jew l-impatti li għandhom jinkisbu.

—

“Problemi ta' twaqqit”: Xkiel ieħor huwa d-differenza konsiderevoli fiż-żmien bejn l-attività ta' riċerka u l-ġenerazzjoni ta' prodotti u eżiti, sabiex l-impatt jista' jkun evalwat. Id-dejta trid tinġabar fuq perijodu ta' żmien twil sabiex ikunu jistgħu jinkisbu konklużjonijiet sinifikanti u robusti. Tali skali ta' żmien għall-evalwazzjoni spiss mhumiex konsistenti ma' l-aspettattivi u l-ħtiġijiet ta' min jagħmel il-politika, u għandha ssir korrelazzjoni bejn it-twassil bikri tat-tiswir ta' politika u l-konċessjoni ta' ħin adegwat biex joħorġu l-effetti.

—

“Il-fallaċja ta' proġett”: l-evalwazzjoni ta' eżiti u ta' impatti ta' proġetti individiwali fi ħdan programm trid tieħu kont tad-dilemma li r-riżultati teknoloġiċi u xjentifiċi s-soltu nkisbu bl-użu ta' xogħol preċedenti. B'mod simili, qabel ma jseħħ il-pubblikazzjoni u l-isfruttar tar-riżultati xjentifiċi, ir-riżultati tal-proġett jistgħu jintużaw għal xogħol ieħor mill-parteċipant. Għalhekk, proġett fih innifsu mhux bilfors il-qafas ta' evalwazzjoni xieraq, b'mod partikolari għal eżiti u impatti fuq terminu ta' żmien itwal.

—

“Kredibbiltà, integrità u indipendenza”: Il-kwalità ta' evalwazzjoni tiddependi l-parti l-kbira fuq il-livell ta' impenn li l-evalwaturi jkollhom lejn is-suġġett, li tinvolvi korrelazzjoni bejn il-fehma u l-kompetenza minn banda waħda, u l-indipendenza u l-oġġettività mill-banda l-oħra. Tiddependi wkoll mis-suppożizzjonijiet u l-interessi ta' min jagħmel il-politika u mir-raġunijiet u l-iskopijiet ta' l-evalwazzjoni.

ANNESS II

DISPOŻIZZJONIJIET DWAR IL-MONITORAĠĠ U L-EVALWAZZJONI F'DEĊIŻJONIJIET LEĠIŻLATTIVI GĦAR-RABA' PROGRAMM QAFAS SAS-SEBA' PROGRAMM QAFAS

FP 4 (1995 sa 1998) (1)

FP 5 (1999 sa 2002) (2)

FP 6 (2003 sa 2006) (3)

FP 7 (2007 sa 2013) (4)

Deċiżjoni dwar il-programm qafas — il-Kunsill u l-Parlament Ewropew

Id-Deċiżjoni Nru 1110/1994/KEE tal-Parlament Ewropew u tal-Kunsill tas-26 ta' April 1994 rigward ir-raba' programm qafas (1994 sa 1998) fil-qasam tar-riċerka u l-iżvilupp teknoloġiku u d-dimostrazzjoni: L-Artikolu 4

Id-Deċiżjoni Nru 182/1999/KE tal-Parlament Ewropew u tal-Kunsill tat-22 ta' Diċembru 1998 dwar il-ħames programm qafas tal-Komunità Ewropea għall-attivitajiet tar-riċerka, l-iżvilupp teknoloġiku u dimostrazzjoni (1998 sa 2002): L-Artikoli 5 u 6

Id-Deċiżjoni Nru 1513/2002/KE tal-Parlament Ewropew u tal-Kunsill tas-27 ta' Ġunju 2002 dwar is-sitt programm qafas tal-Komunità Ewropea għall-attivitajiet ta' riċerka, ta' żvilupp teknoloġiku u ta' dimostrazzjoni, li jikkontribwixxu għall-ħolqien taż-Żona Ewropea tar-Riċerka u għall-innovazzjoni (2002 sa 2006): premessa (20), l-Artikoli 4 u 6, l-Anness III

Id-Deċiżjoni Nru 1982/2006/KE tal-Parlament Ewropew u tal-Kunsill tat-18 ta' Diċembru 2006 dwar is-seba' programm qafas tal-Komunità Ewropea għall-attivitajiet ta' riċerka, ta' żvilupp teknoloġiku u ta' dimostrazzjoni (2007 sa 2013): l-Artikolu 7

Monitoraġġ

—	li tissorvelja kontinwament u sistematikament, bl-għajnuna xierqa minn esperti esterni indipendenti, il-progress b'relazzjoni ma' l-objettivi inizjali tagħha (l-Artikolu 4(1))

—

tissorvelja kontinwament u b'mod sistematiku kull sena, bl-għajnuna ta' esperti kwalifikati indipendenti, l-implimentazzjoni tal-Programm Qafas u l-programmi speċifiċi tiegħu fid-dawl tal-kriterji speċifikati fl-Anness I u l-objettivi xjentifiċi u teknoloġiċi speċifikati fl-Anness II (l-Artikolu 5(1))

—	tissorvelja kontinwament u b'mod sistematiku [kull sena] bl-għajnuna ta' esperti kwalifikati indipendenti, l-implimentazzjoni tal-Programm Qafas u l-programmi speċifiċi tiegħu (l-Artikolu 4 u 6(1))

—	kontinwament u sistematikament timmonitorja l-implimentazzjoni tal-Programm Qafas u l-programmi speċifiċi tiegħu (l-Artikolu 7(1))

—	tevalwa jekk l-objettivi, prijoritajiet u riżorsi finanzjarji għadhomx xierqa għas-sitwazzjoni li qiegħda tinbidel, u jekk le tippreżenta proposti dwar kif tadatta jew tissupplimenta l-Programm Qafas u/jew il-programmi speċifiċi (l-Artikolu 5(1))

—	tirrevedi l-attivitajiet ta' riċerka kollha regolarment u dan jinkludi, b'mod partikolari, il-monitoraġġ tal-livell ta' eċċellenza fir-riċerka (l-Anness III, 1. Strumenti)

—	regolarment tirrapporta u xxerred ir-riżultati ta' dan il-monitoraġġ (l-Artikolu 7(1))

L-Artikolu 173 — Rapport annwali

—

tirraporta fid-dettall il-progress li jkun sar fl-implimentazzjoni tal-Programm Qafas, u b'mod partikolari l-progress lejn l-objettivi tiegħu u l-kisba tal-prijoritajiet imniżżla taħt kull intestatura ta' l-Anness I; inklużi informazzjoni dwar l-aspetti finanzjarji u l-użu ta' l-istrumenti fil-kuntest tar-rapport annwali li għandu jiġi sottomess mill-Kummissjoni skond l-Artikolu 173 tat-Trattat (l-Artikolu 4)

Evalwazzjoni interim

—	tirrevedi l-progress fil-programm f'nofs it-terminu tal-Programm Qafas (l-Artikolu 6)

—	tissottometti lill-Parlament Ewropew u lill-Kunsill abbażi ta' l-evalwazzjonijiet tal-programmi speċifiċi varji, komunikazzjoni flimkien ma', jekk hu xieraq, proposta għall-adattazzjoni ta' din id-Deċiżjoni (l-Artikolu 6)

—

sa l-2010, twettaq, bl-għajnuna ta' esperti esterni, evalwazzjoni interim ibbażata fuq l-evidenza ta' dan il-Programm Qafas u l-programmi speċifiċi tiegħu filwaqt li tibni fuq l-evalwazzjoni ex-post tal-Programm Qafas preċedenti. Din l-evalwazzjoni għandha tkopri b'mod partikolari l-kwalità ta' l-attivitajiet ta' riċerka eżistenti, il-kwalità ta' l-implimentazzjoni u l-amministrazzjoni, u l-progress li sar lejn il-kisba ta' l-objettivi stabbiliti (l-Artikolu 7(2))

—	tikkomunika l-konklużjonijiet ta' dan, flimkien ma' l-osservazzjonijiet tagħha u, fejn xieraq, proposti għall-adattament tal-Programm Kwadru, lill-Parlament Ewropew, lill-Kunsill, lill-Kumitat Ekonomiku u Soċjali Ewropew u lill-Kumitat tar-Reġjuni (l-Artikolu 7(2))

—	regolarment tinforma lill-Parlament Ewropew u lill-Kunsill dwar il-progress ġenerali ta' l-implimentazzjoni tal-Programm Qafas u l-programmi speċifiċi (l-Artikolu 5(4))

—	tissottometti rapporti ta' progress regolari lill-Parlament Ewropew u lill-Kunsill dwar l-implimentazzjoni tal-Programm Qafas (il-premessa (20))

—

tippreżenta rapport dwar il-progress (li tippreċiedi l-evalwazzjoni interim) hekk kif tkun disponibbli dejta biżżejjed, fejn jingħataw ir-riżultati inizjali dwar l-effikaċja ta' l-azzjonijiet il-ġodda mibdija taħt is-Seba' Programm Qafas u l-isforzi magħmula fir-rigward tas-simplifikazzjoni (l-Artikolu 7(2))

—	fl-2004 issawwar evalwazzjoni minn esperti indipendenti dwar l-effiċjenza ta' kull wieħed mill-istrumenti fl-eżekuzzjoni ta' dan il-programm (l-Anness III, 1. Strumenti)

Evalwazzjoni fuq perijodu ta' ħames snin (5YA)

—	tordna evalwazzjoni esterna minn esperti kwalifikati ħafna ta' l-amministrazzjoni u l-progress ta' l-attivitajiet tal-Komunità matul il-ħames snin ta' qabel dik ta' l-evalwazzjoni (l-Artikolu 4(2))

—

tordna evalwazzjoni esterna minn esperti kwalifikati ħafna ta' l-implimentazjoni u l-kisbiet ta' l-attivitajiet tal-Komunità matul il-ħames snin ta' qabel dik ta' l-evalwazzjoni fid-dawl tal-kriterji speċifikati fl-Anness I u l-objettivi xjentifiċi u teknoloġiċi speċifikati fl-Anness II (l-Artikolu 5(2))

—

tordna evalwazzjoni esterna minn esperti kwalifikati ħafna ta' l-implimentazjoni u l-kisbiet ta' l-attivitajiet tal-Komunità matul il-ħames snin ta' qabel dik ta' l-evalwazzjoni (l-Artikolu 6(2)) (rispettivament ta' l-implimentazzjoni ta' l-attivitajiet li jkunu saru, waqt li tittieħed in konsiderazzjoni l-kontribuzzjoni tas-Sitt Programm Qafas għall-ħolqien taż-Żona Ewropea tar-Riċerka (il-premessa (20))

—	tikkomunika l-evalwazzjoni, akkumpanjata mill-kummenti tal-Kummissjoni, lill-Parlament Ewropew, il-Kunsill u l-Kumitat Ekonomiku u Soċjali qabel ma tissottometti l-proposta tagħha għall-Programm Qafas li jmiss (l-Artikolu 4(2))

—	tikkomunika l-evalwazzjoni, akkumpanjata mill-kummenti tal-Kummissjoni, lill-Parlament Ewropew, il-Kunsill, il-Kumitat Ekonomiku u Soċjali u l-Kumitat tar-Reġjuni qabel ma tissottometti l-proposta tagħha għall-Programm Qafas li jmiss (l-Artikolu 5(2))

—

tikkomunika l-konklużjonijiet ta' din l-evalwazzjoni, akkumpanjati mill-kummenti tal-Kummissjoni, lill-Parlament Ewropew, il-Kunsill, il-Kumitat Ekonomiku u Soċjali u l-Kumitat Tar-Reġjuni (l-Artikolu 6.2) fi żmien xieraq u qabel ma tissottometti l-proposta tagħha għall-Programm Qafas li jmiss (il-premessa (20))

Evalwazzjoni finali

[ara d-Deċiżjoni Speċifika dwar Programm]

—	tagħmel evalwazzjoni esterna sentejn wara t-tlestija tas-Seba' Programm Qafas (jiġifieri 2015) minn esperti indipendenti tal-motivazzjonijiet, l-implimentazzjoni u l-kisbiet tiegħu (l-Artikolu 7(3))

—	tikkomunika l-konklużjonijiet ta' dan, flimkien ma' l-osservazzjonijiet tagħha, lill-Parlament Ewropew, lill-Kunsill, lill-Kumitat Ekonomiku u Soċjali Ewropew u lill-Kumitat tar-Reġjuni (l-Artikolu 7(3))

Esperti indipendenti

—

tiżgura, fl-għażla ta' l-esperti indipendenti, li jittieħed kont, b'mod bilanċjat, ta' komunitajiet xjentifiċi, industrijatli u utenti differenti u tippubblika l-ismijiet ta' esperti u tal-kwalifiki tagħhom individwali wara l-ħatra tagħhom (l-Artikolu 5(3))

[għal dispożizzjonijiet addizzjonali dwar l-esperti independenti ara d-Deċiżjoni tal-Kunsill 1999/65/KE, l-Artikolu 9]

—	Il-Kummissjoni għandha taħtar esperti indipendenti biex jgħinu fl-evalwazzjoni meħtieġa taħt is-Sitt Programm Kwadru u l-programmi speċifiċi, u għall-għajnuna msemmija fl-Artikolu 10(6) u t-tieni subparagrafu ta' l-Artikolu 18(1).

—	Tista’ ukoll twaqqaf gruppi ta' esperti indipendenti biex jagħtu parir fuq l-implimentazzjoni tal-politika tal-Komunità dwar ir-riċerka.

—	[għal dispożizzjonijiet dwar esperti indipendenti ara r-Regolament (KE) Nru 2321/2002, l-Artikolu 11]

Eżempju ta' Deċiżjoni speċifika dwar programm — il-Kunsill

Id-Deċiżjoni tal-Kunsill 94/801/KE tat-23 ta' Novembru 1994: L-Artikolu 4

Id-Deċiżjoni tal-Kunsill 1999/168/KE tal-25 ta' Jannar 1999: l-Artikolu 4 u 6

Id-Deċiżjoni tal-Kunsill 2002/834/KE u 2002(835)/KE tat-30 ta' Settembru 2002 — l-Artikolu 8

Id-Deċiżjoni tal-Kunsill 2006/971/KE tad-19 ta' Diċembru 2006 dwar il-Programm Speċifiku “Koperazzjoni”: L-Artikolu 8

Monitoraġġ

—	li tissorvelja kontinwament u sistematikament, bl-għajnuna xierqa minn esperti esterni indipendenti, il-progress b'relazzjoni ma' l-objettivi inizjali tagħha (l-Artikolu 4(1))

—	timmonitorja, b'għajnuna xierqa minn esperti esterni indipendenti l-implimentazzjoni tal-programm speċifiku u, fejn hu xieraq, tissottometti proposti lill-Kunsill skond l-Artikolu 5.1 tad-Deċiżjoni tal-Ħames Programm Qafas (l-Artikolu 4(a))

—	tqabbad esperti indipendenti sabiex iwettqu monitoraġġ u evalwazzjoni indipendenti skond l-Artikolu 6 tal-Programm Qafas fil-konfront ta' l-attivitajiet li jkun saru fl-oqsma li jaqgħu taħt il-program speċifiku (l-Artikolu 8(2))

—	tagħmel arranġamenti għall-kontroll, l-evalwazzjoni u r-reviżjoni indipendenti kif previst fl-Artikolu 7 tal-Programm Kwadru li għandhom isiru fir-rigward ta' l-attivitajiet imwettqa fl-oqsma koperti mill-programm speċifiku. (l-Artikolu 9)

—	monitoraġġ ta' l-informazzjoni li għandha tingħata lill-Kumitat tal-Programm skond l-Artikolu (4) mill-Kummissjoni huwa speċifikat fl-Anness V.

L-Artikolu 173 — Rapport annwali

—	tirrapporta regolarment dwar l-implimentazzjoni tal-programm speċifiku; u għandha tkun inkluża informazzjoni fuq l-aspetti finanzjari u dwar l-użu ta' l-istrumenti, b'mod konformi ma' l-Artikolu 4 tad-Deċiżjoni tas-Sitt Programm Qafas (l-Artikolu 8(1))

—	tinkludi kisbiet prinċipali [fir-rigward tal-Faċilità finanzjarja għall-qsim tar-riskju] fir-rapport annwali dwar l-attivitajiet tar-Riċerka u l-Iżvilupp Teknoloġiku li hija se tibgħat lill-Parlament Ewropew u lill-Kunsill skond l-Artikolu 173 tat-Trattat (l-Anness III).

Evalwazzjoni fuq perijodu ta' ħames snin (5YA)

—	tordna evalwazzjoni esterna minn esperti kwalifikati indipendenti ta' l-attivitajiet imwettqa fi ħdan l-oqsma koperti mill-programm u l-amministrazzjoni tagħhom matul il-ħames snin ta' qabel dik ta' l-evalwazzjoni (l-Artikolu 4(2))

—	tagħmel arranġamenti għall-evalwazzjoni esterna indipendenti kif previst fl-Artikolu 5(2) tad-Deċiżjoni tal-Ħames Programm Qafas li għandhom isiru fir-rigward ta' l-attivitajiet imwettqa fl-oqsma koperti mill-programm speċifiku (l-Artikolu 4(b))

Evalwazzjoni finali

—	tagħti, wara t-tlestija ta' kull programm speċifiku, evalwazzjoni finali indipendenti tar-riżultati miksuba meta mqabbla ma' l-objettivi (l-Artikolu 4(3))

—	tgħaddi din l-evalwazzjoni lill-Parlament Ewropew, lill-Kunsill u lill-Kumitat Ekonomiku u Soċjali Ewropew (l-Artikolu 4(3))

Esperti indipendenti

—	tfassal it-termini ta' referenza għall-evalwazzjoni esterna kif previst fl-Artikolu 5(2) tad-Deċiżjoni tal-Ħames Programm Qafas (l-Artikolu 6(2))

Informazzjoni bażika dwar l-istruttura tal-Programm Qafas

—	ir-Raba' Programm Qafas (KE): 7 programmi speċifiċi li fihom 17 sub-programmi u żewġ gruppi ta' attivitajiet

—	il-Ħames Programm Qafas (KE): 7 programmi speċifiċi, li minnhom 4 huma programmi tematiċi u 3 huma programmi orizzontali

—

is-Sitt Programm Qafas (KE): 20 programm, li minnhom 10 huma miġburin mill-ġdid skond 7 prijoritajiet tematiċi, u 4 programmi li għandhom x'jaqsmu ma' attivitajiet ta' riċerka transversali, fil-Programm speċifiku “Il-konċentrazzjoni u l-integrazzjoni tar-riċerka tal-Komunità”. Il-Programm speċifiku “l-Istrutturar taż-Żona Ewropea tar-Riċerka” jirrapreżenta 4 programmi, u l-Programm speċifiku “It-tisħiħ tal-pedamenti taż-Żona Ewropea tar-Riċerka” 2 programmi speċifiċi

—

is-Seba Programm Qafas (KE): 24 sub-programm speċifiku, li minnhom 10 huma miġburin mill-ġdid fil-programm speċifiku “Koperazzjoni”, wieħed għandu x'jaqsam mal-programm speċifiku “Ideat”, 5 sub-programmi għandhom x'jaqsmu mal-kategorija “Nies” u 8 sub-programmi għandhom x'jaqsmu mal-programm speċifiku “Kapaċitajiet”. (wieħed minnhom huwa ddedikat għall-attivitajiet li mhumiex ta' natura nukleari tal-JRC)

—	Total tal-baġit (KE): 11 046 miljun euro (jiġifieri 2 761 miljun euro p.a. )

—	Total tal-baġit (KE): 13 700 miljun euro (jiġifieri 3 425 miljun euro p.a. ; +24 %)

—	Total tal-baġit (KE): 16 270 miljun euro (jiġifieri 4 061 miljun euro p.a. , +19 %) wara t-tkabbir ta' l-UE żdied għal

—	Total tal-baġit (KE): 17 883 miljun euro (jiġifieri 4 447 miljun euro p.a. ; +10 %)

—	Total tal-baġit (KE): 50 521 miljun euro (jiġifieri 7 217 miljun euro p.a. ; +62 %)

—	7 Direttorati Ġenerali: Riċerka, Soċjetà Informatika, Enerġija, Trasport, Sajd, Agrikoltura, Intrapriża

—	5 Direttorati Ġenerali: RTD, Soċjetà Informatika, Enerġija u Trasport, Sajd, Intrapriża

—	4 Direttorati Ġenerali: RTD, Soċjetà Informatika, Enerġija u Trasport, Intrapriża

—	5 Direttorati Ġenerali: RTD, Soċjetà Informatika u Media, Enerġija u Trasport, Intrapriża u Industrija, Ċentru Konġunt għar-Riċerka; barra minn hekk il-“Kunsill Ewropew tar-Riċerka” (ERC) u aġenziji eżekuttivi

(1) FP4: It-Teknoloġiji ta' l-Informatika u l-Komunikazzjonijiet (Teknoloġiji u Servizzi tal-Komunikazzjonijiet Avvanzati (ACTS); Teknoloġiji ta' l-Informatika (ESPRIT); Applikazzjonijiet Telematiċi); it-Teknoloġiji Industrijali (it-Teknoloġiji Industrijali u tal-Materjali (BRITE/EURAM); Standards, Kejl u Ttestjar (SMT)); l-Ambjent (l-Ambjent u l-Klima, ix-Xjenzi u t-Teknoloġiji Marini (MAST III)); ix-Xjenzi u t-Teknoloġiji tal-Ħajja (Bijoteknoloġija BIOTECH 2), il-Bijomedeċina u s-Saħħa (BIOMED 2), l-Agrikoltura u s-Sajd (FAIR), Aspetti Etiċi, Legali u Soċjali (ELSA)); l-Enerġija (Riċerka u Żvilupp (JOULE), Wiri (THERMIE)); it-Trasport (Programm tar-Riċerka tat-Trasport), ir-Riċerka Soċjo-Ekonomika Mmirata (ir-Riċerka Soċjo-Ekonomika Mmirata (TSER), Netwerk Ewropew ta' l-Evalwazzjoni tat-Teknoloġija (ETAN)); Koperazzjoni ma' Pajjiżi Terzi u ma' Organizzazzjonijiet Internazzjonali (Koperazzjoni Internazzjonali (INCO)); Tixrid u Sfruttar ta' Riżultati (Programm ta' Innovazzjoni); Stimulazzjoni tar-riċerkaturi tat-taħriġ u l-mobbiltà (Taħriġ u Mobbiltà tar-Riċerkaturi (TMR), Assoċjazzjoni tal-Fellowship Marie Curie).

(2) FP5: 4 Programmi Tematiċi (Kwalità ta' Ħajja u amministrazzjoni tar-riżorsi ħajjin (Kwalità ta' Ħajja); Soċjetà Informatika faċli għall-utenti (IST), Tkabbir kompetittiv u sostenibbli (GROWTH), L-Enerġija, l-ambjent u l-iżvilupp sostenibbli (EESD)); 3 Programmi Orizzontali (il-Konferma tar-rwol internazzjonali tar-riċerka Komunitarja (INCO 2), Promozzjoni ta' l-innovazzjoni u l-istimolu tal-parteċipazzjoni ta' l-SME (Innovazzjoni/SMEs), Titjib tal-potenzjal tar-riċerka umana u l-bażi tat-tagħrif soċjo-ekonomiku (Titjib)).

(3) FP6:“L-Iffukar u l-integrazzjoni tar-riċerka tal-Komunità”.

—

7 prijoritajiet tematiċi li jirrappreżentaw 10 programmi: Xjenzi tal-ħajja, Il-ġenomiċi u l-bioteknoloġija għas-saħħa (inkl. il-ġenomiċi avvanzati u l-applikazzjoni tagħhom għas-saħħa, Il-ġlieda kontra l-mard ewlieni), Teknoloġiji tas-soċjetà ta' l-informazzjoni, Nanoteknoloġiji u nanoxjenzi, materjali multifunzjonali bbażati fuq it-tagħrif u l-proċessi u l-apparti ġodda tal-produzzjoni, L-Ajrunawtika u l-ispazju, Il-kwalità u s-sigurtà ta' l-ikel, Żvilupp sostenibbli, it-tibdil globali u l-ekosistemi (inkl. Sistemi ta' l-eneġija sostenibbli, Trasport sostenibbli ta' fuq l-art, It-tibdil globali u l-ekosistemi), Iċ-ċittadini u l-governanza f'soċjetà bbażata fuq it-tagħrif,

—

attivitajiet ta' riċerka transversali li jkopru firxa aktar wiesgħa ta' riċerka li tirrappreżenta 4 programmi: Appoġġ ta' l-istrateġija u l-antiċipazzjoni tal-ħtiġiet xjentifiċi u teknoloġiċi, Attivitajiet ta' riċerka oriżżontali li tinvolvi lill-SMEs, Miżuri speċifiċi b'appoġġ tal-koperazzjoni internazzjonali; Attivitajiet mhux-nukleari taċ-Ċentru Konġunt tar-Riċerka; “L-istrutturar taż-Żona tar-Riċerka Ewropea” li tirrappreżenta 4 programmi: Riċerka u innovazzjoni, Riżorsi umani, Infrastruttura tar-riċerka, Ix-xjenza u s-soċjetà “It-Tisħiħ u l-pedamenti taż-Żona tar-Riċerka Ewropea” li tirrappreżenta 2 programmi: L-appoġġ għall-koordinazzjoni ta' l-attivitajiet, L-appoġġ għal żvilupp koerenti ta' l-istrateġiji.

(4) FP7: programm speċifiku “Koperazzjoni” li tirrapreżenta 10 sub-programmi (is-Saħħa; l-Ikel, l-Agrikoltura u l-Bijoteknoloġija; It-Teknoloġija tat-Tagħrif u l-Komunikazzjoni; In-Nanoxjenza, In-Nanoteknoloġija, Il-Materjali u Teknoloġiji tal-Produzzjoni ġodda; L-Enerġija; L-Ambjent (inkluża l-Bidla fil-Klima); It-Trasport (inkluża l-Ajrunawtika); Ix-Xjenza Soċjo-ekonomika u l-Istudji Umanistiċi; Is-Sigurtà; l-Ispazju), programm speċifiku “Ideat” li jirrapreżenta sub-programm wieħed (Kunsill Ewropew ta’ Riċerka), programm speċifiku “Nies” li jirrapreżenta 5 sub-programmi (Taħriġ inizjali; Taħriġ tul il-ħajja; Industrija-akkademja; Id-dimensjoni internazzjonali; Azzjonijiet speċifiċi), programm speċifiku “Kapaċitajiet” li jirrapreżenta 8 sub-programmi (L-Infrastrutturi ta’ riċerka, Ir-riċerka għall-benefiċċju ta' l-SMEs; Reġjuni ta’ tagħrif; Il-potenzjal tar-riċerka; Ix-xjenza fis-soċjetà; L-iżvilupp koerenti tal-politika tar-riċerka; Il-koperazzjoni internazzjonali; Attivitajiet mhux nukleari tal-JRC).

ANNESS III

DIFFERENZI EWLENIN FL-EVALWAZZJONI EX-POST TA' PROGRAMMI TAR-RIĊERKA BEJN L-UE (FP4 — FP6), L-ISTATI UNITI TA' L-AMERIKA U L-KANADA

	UE (FP4 — FP6)	l-Istati Uniti ta' l-amerika	Il-Kanada
Kwistjonijiet sistemiċi
Loġika ta' intervenzjoni	mhix espliċita	il-biċċa l-kbira fis-seħħ, meħtieġa b'mod impliċitu mill-PART (1)	meħtieġa mill-RMAF (2) bħala parti minn proposta ta' programm
Strateġija ta' evalwazzjoni	mhix komprensiva	meħtieġa mill-PART (1)	meħtieġa mill-RMAF (2) bħala parti minn proposta ta' programm
Speċifikazzjoni ta' riżultati mistennija	le	meħtieġa mill-PART (1) (inkluż l-użu ta' indikaturi kwantifikabbli)	meħtieġa mill-RMAF (2) bħala parti minn proposta ta' programm
Mistoqsijiet dwar l-evalwazzjoni mill-	Kummissjoni bħala amministratur tal-programm	aġenzija bħala amministratur tal-programm (evalwata fi ħdan qafas OMB)	aġenzija bħala amministratur ta' programm (evalwata fi ħdan qafas TBS)
Kwistjonijiet organizzattivi
Fażi ta' tfassil	matul il-perijodu ta' programmar	matul il-perijodu ta' programmar	lesta qabel ma jibda l-programm
L-użu ta' panels	Panels ad hoc għal eżerċizzji ta' evalwazzjoni speċifiċi	Skond l-aġenzija/programm	Panels permanenti bħala kumitati permanenti
Perjodiċità	dati fissi (marbuta mal-perijodu ta' programmar, li jkopri l-5 snin ta' qabel)	ċiklu ta' bejn sentejn u tlieta (marbut ma' l-approvazzjoni tal-baġit)	wara t-tiġdid tal-programm

(1) Programme Assessment Rating Tool (PART) sa mill-2002: ara l-Uffiċċju tal-Ġestjoni u tal-Baġit (OMB), l-Uffiċċju Eżekuttiv tal-President, l-Istati Uniti ta' l-Amerika.

(2) Results-based Management and Accountability Framework (RMAF): ara l-Bord tat-Teżor tas-Segretarjat tal-Kanada (TBS).

ANNESS IV

STRUTTURA POSSIBBLI TAL-PANEL GĦAS-SEBA' PROGRAMM QAFAS

IR-RISPOSTI TAL-KUMMISSJONI

Il-Programmi Qafas RTD tal-Komunità (Community RTD Framework Programmes) (FPs) żviluppaw matul l-aħħar għexieren ta’ snin f’sistema ta’ mekkaniżmi ta’ sostenn ferm mifruxa iżda koerenti għar-riċerkaturi fis-27 Stat Membru ta’ l-UE, fil-pajjiżi assoċjati u lilhinn minnhom.

Illum l-FPs huma l-akbar sistema pubblika multinazzjonali mad-dinja kollha li tiffinanzja r-riċerka.

Fil-preżent l-FP tirrappreżenta 5 % ta’ finanzjament pubbliku totali ta’ l-UE għar-riċerka. F’termini tal-parteċipazzjoni finanzjarja annwali tal-Komunità l-FP7 ser tkun madwar 60 % akbar minn ta’ FP6.

Il-valutazzjoni ta’ skema unika bħal din hi sfida partikolari għal dawk kollha involuti. L-arranġamenti għall-valutazzjoni u l-monitoraġġ għaddew minn tibdiliet sinifikanti matul is-snin riċenti, l-aktar riċenti bit-tnedija tal-FP7 fl-2007.

Is-sistema ta’ valutazzjoni u monitoraġġ li qed tħaddem il-Kummissjoni hi bbażata fuq ir-responsabbiltà direttta tas-servizzi li jimplimentaw tal-Kummissjoni. Huwa hawn li l-ogħla livell ta’ kapaċità teknika huwa disponibbli.

Il-valutazzjonijiet fuq il-livell tal-Programmi Qafas qed isiru permezz ta’ sforzi kkoordinati fid-Direttorati Ġenerali (DGs) kollha.

IV.

Il-Kummissjoni tilqa’ l-kummenti tal-Qorti li d-DGs li jimplimetaw l-FPs (“Direttorati Ġenerali għar-riċerka”) kienu konformi mar-rekwiżiti tal-Kummissjoni, li jinkludu dawk speċifikati fil-Komunikazzjonijiet dwar il-valutazzjoni tas-sena 2000 u ta’ l-2002.

Ġew introdotti tibdiliet sinifikanti għall-valutazzjoni tal-FP, inkluż risrutturar kbir għall-FP7.

Il-Kummissjoni tikkunsidra wkoll li

i)	l-FPs minn dejjem kienu bbażati fuq loġika ta’ intervent b’saħħitha. Fl-FP7 dan jidher aktar espliċitu, li jkompli jsaħħaħ is-sistema ta’ valutazzjoni u monitoraġġ tal-Kummissjoni.

ii)

l-elementi strateġiċi prinċipali ta’ l-approċċ tal-Kummissjoni għall-valutazzjoni u l-monitoraġġ kienu definiti fl-atti suċċessivi ta’ leġiżlazzjoni ta’ l-FPs sa min-nofs is-snin 90.

Minn mindu fl-1996 il-Kummissjoni adottat l-aħħar Komunikazzjoni tagħha dwar il-valutazzjoni tar-riċerka, seħħ proċess ta’rfinar kostanti ta’ l-approċċ tal-Kummissjoni għall-valutazzjoni ta’ l-FP, u saru tibdiliet sinifikanti għall-eċerċizzju tal-valutazzjoni.

Matul il-perjodu tal-verifika mill-Qorti, kull erba’ snin saru eżerċizzji kbar ta’ valutazzjoni ta’ l-FPs, l-hekk imsejħa “il-Valutazzjonijiet għal ħames snin”.

iii)

l-FPs huma implimentati b’mod konġunt mid-“DIRETTORAT ĠENERALIs għar-riċerka”, li jaġixxu b’mod independenti u jikkooperaw fejn ikun meħtieġ. Is-servizzi ċentrali tal-Kummissjoni, u d-DIRETTORAT ĠENERALI għall-Baġit b’mod partikolari, jippartiċipaw b’mod attiv fl-istadji differenti relatati mal-proċess ta’ valutazzjoni.

Minħabba l-organizzazzjoni diċentralizzata tal-Kummissjoni u l-ispeċifitajiet ta’ kull qasam xjentifiku, il-valutazzjonijiet jeħtieġ li jkunu ġestiti mis-servizzi operattivi inkarigati.

In-“Netwerk” intern tal-Kummissjoni għall-valutazzjoni RTD wera li kien ferm siewi biex ikun hemm koordinazzjoni.

Il-Kummissjoni taqbel li l-panels għandhom ikollhom rwol importanti fil-valutazzjoni u tilqa’ s-sejbiet tal-verifika għall-“valutazzjonijiet ta’ ħames snin” u valutazzjonijiet oħra kbar li tqiesu mill-partijiet interessati fl-istituzzjoni bħala garanzija għall-indipendenza ta’ l-approċċ segwit mill-Kummissjoni matul il-perjodu kopert mill-verifika.

iv)

il-provvista ta’ gwida metodoloġika diretta għall-valutazzjonijiet hi kostretta mill-ħtieġa li żżomm l-indipendenza ta’ dawk li jagħmlu l-valutazzjoni. Il-Kummissjoni tagħraf id-diffikultajiet bil-ġbir tad-data tal-passat u taċċetta li ftit hu magħruf dwar termini itwal ta’ l-impatti u r-riżultati ta’ l-FPs, kif fil-fatt huma l-biċċa l-kbira tal-valutazzjonijiet ta’ l-interventi pubbliċi fil-qasam tar-riċerka u lilhinn minnha.

it-tempestività tal-parti l-kbira tal-valutazzjonijiet hi speċifikata fil-leġiżlazzjoni ta’ l-FP adottata mill-Parlament Ewropew u mill-Kunsill. Globalment, il-Kummissjoni tikkonsidra li s-sistemi ta’ valutazzjoni u monitoraġġ tagħha għall-FPs huma effettivi. Il-Parlament Ewropew u l-Kunsill qasmu dan il-ħsieb meta fl-2006 kienu adottati l-proposti leġiżlattivi riċenti tal-Kummissjoni għall-FP7.

Minħabba r-rakkomandazzjonijiet tal-Qorti, il-Kummissjoni

tirreferi għal-loġika aktar espliċita ta’ intervent li tinsab fil-leġiżlazzjoni FP7 (adottata mill-Parlament Ewropew u l-Kunsill fl-2006) u ser terġa’ tirrinforza l-użu ta’ loġika espliċita ta’ intervent fil-proposti leġiżlattivi tal-futur. Barra minn hekk, il-Kummissjoni bi ħsiebha tikkjarifika aktar l-għanijiet operattivi tagħha għall-FP7 fuq il-livell ta’ programmi ta’ ħidma u li tkompli tiżviluppa l-approċċ tagħha biex tkun tista’ titkejjel il-ħidma;

ii)

ser tkompli tiżviluppa l-istrateġija tagħha tal-valutazzjoni għall-FP7, ibbażata fuq il-proposti tal-valutazzjoni ta’ l-impatt ta’ l-FP7. Ser tingħata attenzjoni biez ikun assigurat livell xieraq ta’ flessibiltà sabiex kull servizz operattiv jista’ jiddetermina l-ħtiġiet speċifiċi għall-valutazzjoni;

iii)

Filwaqt li ma tikkunsidrax li hu neċessarju li jitwaqqaf uffiċċju konġunt għall-valutazzjoni, il-Kummissjoni taqbel li tikkunsidra għażliet oħrajn biex tittejjeb il-koordinazzjoni.

Il-panels għandhom jitlaqqgħu fl-aktar mument kmieni possibbli biex isostnu valutazzjoni speċifika. Madanakollu, Panels iddedikati, li jitlaqqgħu għall-skopijiet speċifiċi, aktarx li jipprovdu aktar benefiċċji f’termini ta’ kjarezza u ffokar;

iv)

diġà ħadet azzjoni biex ikunu sfruttati aħjar is-sorsi eżistenti u dawk ġodda għall-valutazzjoni tagħha.

Il-ħtiġiet tar-rappurtaġġ ta’ l-FP7 kienu riveduti fuq il-bażi tal-ħtiġiet ta’ valutazzjoni u monitoraġġ.

Barra minn hekk, il-Kummissjoni bħalissa qed tiżviluppa sistema ġdida ta’ l-IT għall-FP7 li hi maħsuba biex tipprovdi bażi aktar b’saħħitha f’termini ta’ data dwar il-proġetti.

Il-Kummissjoni ser tikkonsidra l-possibiltà ta’ manwal ġdid dwar il-valutazzjoni tal-FP, billi tikkunsidra eżempji li ġew prodotti riċentement;

v)	il-Kummissjoni bi ħsiebha tiżviluppa u ssaħħaħ l-ippjanar fit-tul tal-valutazzjonijiet taħt l-FP7, li jirriflettu l-vantaġġi possibbli, u r-riżultati tas-sejbiet.

1-13.

Il-Programmi Qafas RTD tal-Komunità (FPs) żviluppaw matul l-aħħar għexieren ta’ snin f’sistema ta’ mekkaniżmi ta’ sostenn mifruxa ħafna iżda koerenti għar-riċerkaturi fis-27 Stat Membru, fil-pajjiżi assoċjati u lilhinn minnhom.

Illum l-FPs huma l-akbar sistema multinazzjonali ta’ finanzjament għar-riċerka mifruxa mad-dinja kollha (ara l-paragrafu 6 tat-test tal-Qorti). F’termini tal-parteċipazzjoni finanzjarja annwali tal-Komunità l-FP7 ser tkun madwar 60 % akbar minn ta’ FP6. (ara ċ-ċifra 1 tat-test tal-Qorti).

Il-valutazzjoni ta’ skema unika bħal din hi sfida partikolari għal dawk kollha involuti. Il-modalitajiet tal-valutazzjoni għaddew minn tibdiliet sinifikanti matul is-snin riċenti (ara ċ-ċifra 2 tat-test tal-Qorti), l-aktar riċenti bit-tnedija ta’ l-FP7 fl-2007 (pereżempju ara t-tweġibiet għall-paragrafi 23, 30, 41, 46, 72, 76-78, 93).

14.	Id-DIRETTORAT ĠENERALI li jimplimentaw l-RTD FPs (“Direttorati Ġenerali għar-riċerka”) kienu formalment konformi mal-ħtiġiet tal-Kummissjoni għall-valutazzjoni, inklużi dawk speċifikati mill-Komunikazzjonijiet tas-sena 2000 u ta’ l-2002 dwar il-valutazzjoni (ara l-paragrafu 54 tat-test tal-Qorti).

22.

Il-Kummissjoni taqbel ma’ l-importanza ta’ loġika b’saħħitha ta’ intervent għat-tfassil tal-programm u taqbel ma’ l-opinjoni li l-mandat speċifikat fl-Artikolu 163 tat-Trattat hu element prinċipali f’dan ir-rigward. Barra minn hekk, il-kontribuzzjoni ta’ l-attivitajiet ta’ l-RTD iffinanzjati mill-Kummissjoni għall-politiki u għanijiet oħra tal-Komunità hi ta’ importanza kbira. Riċentement, kienet ippreżentata fid-dettal l-opinjoni tal-Kummissjoni dwar i-rwol ta’ l-investiment ta’ l-RTD ta’ l-UE kemm fl-istrateġiji ta’ “Liżbona” u kemm dik dwar l-“Iżvilupp Sostenibbli” (1).

23.	L-FPs minn dejjem kienu bbażati fuq loġika b’saħħitha ta’ intervent. Fl-FP7 dan jidher aktar espliċitu (2), li ser ikompli jsaħħaħ is-sistema ta’ valutazzjoni u monitoraġġ tal-Kummissjoni.

25.	Numru ta’ pajjiżi inklużi wħud mill-Istati Membri qed jiżviluppaw dan l-approċċ, iżda dan ma jfissirx li hu approċċ uniformi. It-tagħlimiet mill-Istati Uniti u l-Kanada jistgħu jkunu anqas trasferibbli minn Stati membri ta’ l-UE.

26.	Il-Kummissjoni tikkonsidra li kellha sistema effettiva ta’ valutazzjoni u monitoraġġ matul il-perjodu vverifikat mill-Qorti (ara wkoll it-tweġiba għall-paragrafu 23).

28.

B’mod partikolari, minħabba l-inċertezzi dwar ir-riċerka, hi sfida li jkun zgurat li l-għanijiet kollha jimxu id f’id mad-definizzjonijiet stretti tal-kriterji tas-SMART. Il-programmi kollha ta’ ħidma taħt l-FP7 fihom dikjarazzjonijiet mistennija ta’ impatt, li jikkorrispondu ma’ l-għanijiet, ir-raġunijiet u l-attivitajiet stabbiliti fil-Programmi Speċifiċi.

29.	Ingħatat attenzjoni akbar għall-kisbiet f’terminu ta’ żmien qasir matul il-perjodu verifikat mill-Qorti; Hemm lok għal aktar analiżi għat-tul ta’ żmien.

30.

Fuq il-livell ta’ FP sistema ta’ monitoraġġ qed tkun preżentement żviluppata mill-Kummissjoni għall-FP7 li għandha l-għan li tipprovdi użu aktar koerenti u sistematiku ta’ l-indikaturi ta’ prestazzjoni. Diversi inizzjattivi separati għall-iżvilupp ta’ indikaturi ta’ prestazzjoni għadhom ukoll għaddejjin fi ħdan is-servizzi differenti li jimplimentaw l-FP7.

34.	Il-Kummissjoni hi diġà kommessa li tiżgura kjarezza akbar fil-loġika ta’ programm ta’ intervent, li tibni fuq l-avvanzi li huma inklużi fil-leġiżlazzjoni ta’ l-FP7 u l-Valutazzjoni fuq l-Impatt u ser tikkonsidra r-rakkomandazzjoni tal-Qorti għall-proposti leġiżlattivi tal-futur.

35.	Il-Kummissjoni tilqa’ r-rakkomandazzjoni tal-Qorti biex tiċċara aktar l-għanijiet tal-programm FP7, u, ser taħdem biex tilħaq dan l-għan fil-limiti ta’ l-atti bażiċi rilevanti adottati mill-Parlament Ewropew u mill-Kunsill.

36-37.

Il-Kummissjoni tilqa’ r-rakkomandazzjonijiet tal-Qorti u qed tieħu l-inizzjattivi għal żvilupp akbar tal-kejl tal-prestazzjoni u għall-modifika tan-nomenklatura ta’ l-ABM/ABB.

38-39.

Il-Kummissjoni tikkonsidra li l-istrateġija tal-valutazzjoni tagħha għall-FPs għandha tistabbilixxi prinċipji komuni għall-organizzazzjoni u l-iżvilupp tal-valutazzjoni u l-monitoraġġ ta’ l-FP. L-istrateġija għandha tipprovdi dikjarazzjoni ta’ skop, tiddefinixxi l-elementi prinċipali tas-sistema inklużi l-eżerċizzji prinċipali u telabora viżjoni għall-futur. Din għandha tibqa’ tiffoka fuq il-livell strateġiku minħabba s-sistema diċentralizzata tal-valutazzjoni tal-Kummissjoni għall-FPs.

41.

L-elementi strateġiċi prinċipali ta’ l-approċċ tal-Kummissjoni għall-valutazzjoni u l-monitoraġġ kienu definiti fl-atti bażiċi suċċessivi għall-FPs sa min-nofs is-snin 90 (ara l-Anness II).

Għall-perjodu kurrenti ta’ ipprogrammar, l-istrateġija ppjanata tal-valutazzjoni tal-Kummissjoni hi stabbilita b’mod aktar espliċitu fil-Valutazzjoni ta’ l-Impatt ta’ l-FP7 ex ante (SEC(2005) 430). Din tkopri t-tfassil tas-sistema ta’ valutazzjoni, kif se tiġi implimentata u skeda dettaljata tal-valutazzjonijiet ippjanati fuq il-livell FP.

Hu meħtieġ aktar xogħol biex din l-istrateġija tissarraf fi pjanijiet speċifiċi u għal dan l-iskop l-Kummissjoni ser tuża’ strutturi speċifiċi ta’ koordinazzjoni għal dan l-iskop.

43.	Filwaqt li tirrikonoxxi l-osservazzjonijiet tal-Qorti, il-Kummissjoni tinnota li s-sitwazzjoni fl-Istati Uniti u l-Kanada hi konsiderevolment aktar sottili milli tista’ tkun ippreżentata minn strateġiji uniċi ta’ valutazzjoni.

44.	Id-differenzi fl-użu u fl-approċċ għall-valutazzjoni ta’ l-FP jirriflettu s-sistema diċentralizzata tal-Kummissjoni, li tgħaqqad il-valutazzjoni mat-teħid tad-deċiżjonijiet.

46.

Minħabba l-organizzazzjoni diċentralizzata tal-Kummissjoni, il-kwistjoni tal-livell xieraq għall-attività tal-valutazzjoni hemm bżonn li tkun indirizzata mis-servizzi operattivi inkarigati (ara wkoll it-tweġibiet għall-paragrafi 41 u 49).

—

(it-tieni inċiż) il-Valutazzjoni għall-Ħames Snin ta’ l-2004 (1999-2003), ikkoordinata mid-DirettoratĠenerali għar-riċerka, ipprovdiet valutazzjoni fuq il-livell globali tal-FP. Id-deċiżjoni dwar jekk tagħmilx eżerċizzji separati fuq livelli ta’ ipprogrammar irriflettiet il-ħtiġiet tas-servizzi involuti u l-kuntesti differenti u l-iskala ta’ l-attivitajiet ikkonċernati.

47.	Il-Valutazzjoni għal Ħames Snin ta’ l-2004 ipprovdiet valutazzjoni kkoordinata, komprensiva u fil-ħin fuq il-livell globali tal-FP, f’konformità mar-Regolament Finanzjarju. Din twettqet minn esperti esterni distinti bir-riżultati jinxterdu b’mod wiesa’.

48.	Ara t-tweġibiet għall-paragrafi 41 u 46.

49.

Għall-perjodu kurrenti ta’ ipprogrammar, l-istrateġija ppjanata tal-valutazzjoni tal-Kummissjoni hi stabbiliti b’mod aktar espliċitu fil-Valutazzjoni ex ante ta’ l-Impatt ta’ l-FP7 (SEC(2005) 430). Din tkopri t-tfassil tas-sistema ta’ valutazzjoni, kif set tiġi implimentata u skeda dettaljata tal-valutazzjonijiet ippjanati fuq il-livell FP.

Il-Kummissjoni taċċetta li jeħtieġ isir aktar xogħol biex din l-istrateġija tissarraf fi pjanijiet speċifiċi u għal dan l-iskop il-Kummissjoni ser tuża’ strutturi speċifiċi ta’ koordinazzjoni.

Madanakollu, il-Kummissjoni tikkonsidra li livell minimu ta’ valutazzjoni dettaljata ma tistax tkun stabbilita dejjem minħabba l-ħtieġa biex tinżamm il-flessibiltà għal ġestjoni biex tiddetermina l-ħtiġiet xierqa ta’ valutazzjoni.

51.	L-FPs huma implimentati b’mod konġunt mid-“Direttorati Ġenerali għar-riċerka”, li jaġixxu b’mod independenti u jikkooperaw fejn ikun meħtieġ.

52.

EuropeAid għandha responsabbiltajiet operattivi u ta’ ġestjoni li hi twettaq b’kollaborazzjoni ma’ delegazzjonijiet tal-Kummissjoni u mal-korpi li jimplimentaw fil-pajjiżi terzi. Dan jagħmilha diffiċli biex tikkonsidra din il-parti tal-Kummissjoni bħala eżempju peress li mhux komparabbli mas-sistema diċentralizzata tar-resposabbiltajiet u r-rwoli fil-qasam tar-riċerka.

53.	In-“netwerk intern tal-valutazzjoni RTD” tal-Kummissjoni jipprovdi mezzi informali għall-iżvilupp ta’ strateġija ta’ valutazzjoni u għal koordinament ta’ l-eżerċizzji ta’ valutazzjoni fuq il-livell ta’ l-FP. Dan il-mekkaniżmu flessibbli wera li kien ferm utli.

55.

Ir-reviżjoni riċenti ta’ l-istandards interni ta’ kontroll tal-Kummissjoni, adottati fis-16 ta’ Ottubru 2007 (SEC(2007) 1341) jinkludu l-21 standard ta’ valutazzjoni u l-konformità ma’ dawn l-istandards għaldaqstant ser ikunu inklużi fl-ambitu tar-rapport annwali ta’ attività tad-DirettoratĠenerali.

Is-servizzi ċentrali tal-Kummissjoni, u d-DIRETTORAT ĠENERALI għall-Baġit b’mod partikolari, jippartiċipaw b’mod attiv fl-istadji differenti relatati mal-proċess ta’ valutazzjoni.

L-attivitajiet tal-valutazzjoni tas-servizzi jistgħu jkunu soġġetti għall-verifika permezz ta’ verifika interna u tas-servizz intern tal-verifika.

Fil-futur, il-valutazzjoni tar-rekwiżiti minimi tal-kwalità ser tuża l-“Quality Assessment Framework” tal-Kummissjoni li kienet żviluppata riċentement (3). Mill-2007, il-kontroll tal-kwalità għal valutazzjoni prospettiva fuq l-impatt kienet mgħejjuna mill-“Bord tal Valutazzjoni fuq l-Impatt”.

56.

Il-paragun ipprovdut fl-Anness III ikopri l-perjodu verifikat mill-Qorti. Għalhekk, mhux ikkunsidrat it-titjib sinifikanti taħt l-FP7, l-aktar fir-rigward ta’ l-istateġija ġdida ta’ valutazzjoni, loġika aktar espliċita ta’ intervent u dikjarazzjonijiet ċari tar-riżultati mistennija fil-programmi ta’ ħidma.

Il-Qorti tissottolinja ċerti Stati Membri fejn ir-responsabbiltà għal valutazzjoni u finanzjament huma separati. Bl-istess mod, jeżistu eżempji oħrajn (bħalma hu r-Renju Unit) fejn il-valutazzjoni hi parti mill-ġestjoni tal-programm (bħal fil-każ tal-Kummissjoni). Dwar il-kwistjoni ewlenija ta’ l-indipendenza, il-verifika tal-Qorti wriet li l-partijiet interessati esterni huma sodisfatti bil-ħidma tal-Kummissjoni fuq dan il-punt (ara l-paragrafu 58 u ċ-ċifra 4 tat-test tal-Qorti).

59.

—	(l-ewwel inċiż) Hu diffiċli li jkun assigurat li membri ta’ livell għoli għal panels jitlaqqgħu fuq perjodu twil ta’ żmien b’involviment adegwat.

—

(it-tieni inċiż) It-termini ta’ referenza għal panels fuq livell ta’ FP huma stabbiliti minn Deċiżjoni tal-Kummissjoni, wara konsultazzjoni informali estensiva mal-partijiet interessati, li jinkludu l-opinjoni formali tal-Kumitati għal Programmi tal-FP li huma ffurmati mill-Istati Membri u l-pajjiżi assoċjati. Dan ukoll ser ikun il-każ għall-valutazzjoni ex-post FP6 li jmiss fl-2008.

62.	Il-Kummissjoni tirrakkomanda li bħala medja għandha tkun allokata għal valutazzjoni l-mira ta’ 0.5 % ta’ baġit ta’ programm. Ir-riżorsi li huma fil-fatt allokati jiddependu ħafna min-natura tal-programm.

66.

Filwaqt li ma tikkunsidrax li hu neċessarju li jitwaqqaf uffiċju konġunt għall-valutazzjoni, il-Kummissjoni taqbel li tikkunsidra għażliet oħrajn biex tittejjeb il-koordinazzjoni.

Ir-rabta bejn il-valutazzjoni u l-ġestjoni tat-teħid tad-deċiżjonijiet tista’ tintlaħaq minn funzjonijiet ta’ valutazzjoni li jinsabu f’kull DIRETTORAT ĠENERALI u billi tingħata spinta ġdida lin-“netwerk intern ta’ valutazzjoni RTD” eżistenti tal-Kummissjoni bis-sostenn tas-servizzi ċentrali. Dan hu konformi wkoll mal-proċessi leġiżlattivi u baġitarji, kif rikjest mir-Regolament Finanzjarju, mill-Komunikazzjoni tal-Kummissjoni ta’ l-2007 dwar il-valutazzjoni u mill-proċeduri fil-kuntest ta’ l-ABM.

67.

Il-Kummissjoni taqbel li l-panels jista’ jkollhom rwol importanti fil-valutazzjoni. Filwaqt li taqbel ukoll li l-panels għandhom jitlaqqgħu fl-aktar mument kmieni possibbli biex isostnu valutazzjoni speċifika, il-Kummissjoni ma tikkunsidrax li hu xieraq li tistabbilixxi standing panels matul il-perjodu ta’ l-ipprogrammar.

Panel iddedikat, li jitlaqqa’ għall-skopijiet speċifiċi, aktarx li jkun ta’ aktar benefiċċju f’termini ta’ kjarezza u ffokar.

68.	Il-Kummissjoni ser tivvaluta bir-reqqa l-ħtiġiet għar-riżorsi biex tagħmel il-valutazzjoni għall-FPs fis-snin li ġejjin.

70-71.

Il-gwida tad-Direttorat Ġenerali tal-Baġit (4) qed tipprovdi gwida metodoloġika, li tinkludi l-għodod u l-glossarju tat-termini u dawn is-servizzi, inklużi d-“DIRETTORAT ĠENERALIs għar-riċerka” bħalissa qed ikunu aġġornati.

Barra minn hekk, gwida ta’ valutazzjoni speċifika fl-2002 kienet żviluppata mid-DIRETTORAT ĠENERALI għall-Intrapriżi li jkopru l-attivitajiet kollha li għalihom id-DIRETTORAT ĠENERALI hu responsabbli, inklużi l-FPs.

Ser jiġu kkunsidrati aktar inizzjattivi ta’ sostenn għat-tnedija mill-ġdid tan-“Netwerk Ewropew ta’ Valutazzjoni RTD” (li jikkonsisti minn esperti mill-Istati Membri u l-pajjiżi assoċjati) u min-“Netwerk intern tal-Valutazzjoni RTD” tal-Kummissjoni. Il-Kummissjoni ser tkompli tagħti sostenn għal studji indipendenti ta’ metododoloġija ta’ valutazzjoni u workshops.

72.

Il-Kummissjoni taqbel li l-proċess għall-ġbir ta’ rutina tad-data minn proġetti kien biss parzjalment effettiv. Il-proċeduri ta’ rappurtaġġ tal-proġetti kienu riveduti taħt l-FP6, u ser ikomplu jittejbu għall-FP7 (eż. rappurtaġġ perjodiku ser ikun simplifikat; il-kwestjonarji interim tneħħew; ir-rapportaġġ finali ser isir aktar utli, l-aktar fir-rigward tal-ġbir tad-data għall-implimentazzjoni tal-proġetti u r-riżultati).

74.	Id-“Direttorati Ġenerali għar-riċerka” bħalissa qed jiżviluppaw sistema ġdida ta’ l-IT għall-FP7 bl-appoġġ tad-Direttorat Ġenerali għall-informatika. Dan l-appoġġ imtejjeb għall-IT hu maħsub biex jipprovdi bażi aktar b’saħħitha għall-valutazzjoni u l-monitoraġġ.

76-78.

Is-sorsi tad-data ta’ valutazzjoni kien biss parzjalment effettiv matul il-perjodu kopert mill-verifika. Il-Kummissjoni qed tintroduċi titjib taħt l-FP7 (ara t-tweġiba għall-paragrafu 72).

79.	Il-Kummissjoni għandha l-għan li tinkoraġġixxi l-kwalitajiet ta’ studji kwantitattivi proposti mill-Qorti.

81.	Fl-opinjoni tal-Kummissjoni, riċentement saru ħafna valutazzjonijiet metodoloġiċi aktar interessanti (ara l-paragrafu 84) u għandha ssir distinzjoni bejn il-valutazzjonijiet fuq skala kbira u eżerċizzji aktar ta’ rutina.

82.

B’mod ġenerali, il-Kummissjoni taċċetta li xogħol ta’ valutazzjoni ta attenzjoni akbar għas-suċċessi f’terminu ta’ żmien qasir u taqbel li hemm lok għal aktar analiżi fir-rigward tar-riżultati u l-impatti. Madanakollu, dan l-approċċ jeħtieġ perspettivi ta’ żmien itwal u għalhekk il-valutazzjonijiet tal-Kummissjoni jistgħu tipikament jitqabblu ma’ xogħol ieħor li sar fi bnadi oħra.

83.

Il-Kummissjoni tfittex li tirrispetta l-indipendenza ta’ l-esperti tal-valutazzjoni, speċjalment l-għażla tal-metodoloġiji xierqa.

Għall-valutazzjoni ex post li jmiss ta’ l-FP6 fl-2008 hu propost li jsiru studji dwar l-addizzjonalità ta’ kif titmexxa l-analiżi tan-netwerk u l-użu ta’ approċċi xjentometriċi.

84.

Meta-analiżi ta’ l-istudji ta’ valutazzjoni preċedenti saru minn espert indipendenti għall-Valutazzjoni ta’ Ħames Snin ta’ l-2004 (1999-2003) (5).

—	(it-tieni inċiż) Minbarra l-istudji msemmija mill-Qorti, fl-2007 kienu mnedija aktar studji kbar (6).

85.	Il-Kummissjoni taqbel li hemm aktar ħtieġa li jkunu żviluppati strateġiji ta’ metodoloġija ġdida biex tkun indirizzata n-natura li qed tinbidel ta’ l-FPs. Dawn l-iżviluppi metodoloġiċi huma, u ser ikomplu jkunu sostnuti mill-Kummissjoni.

86.

Peress li l-mistoqsijiet elenkati fit-Terminu ta’ Referenza għall-Valutazzjoni ta’ Ħames Snin ta’ l-2004 (1999-2003) kienu biss indikattivi, il-panel kien liberu li jagħżel l-oqsma li fihom kellu jiffoka u li jiddetermina l-modalitajiet tal-ħidma tiegħu. Il-membri tal-panel ikkumentaw dwar il-livell ferm għoli ta’ l-eżerċizzju (7).

87.	Il-natura proprja tal-programm ta’ riċerka, li jittratta dwar l-inċertezza, tfisser li hemm limiti safejn jistgħu jiġu speċifikati l-għanijiet kwantifikabbli.

90.

Fl-2007, il-Kummissjoni nediet mill-ġdid in-“Netwerk Ewropew tal-Valutazzjoni RTD”, li kien jikkonsisti minn uffiċjali u esperti fil-valutazzjoni ta’ l-Istati Membri, li qed tippjana li tuża’ biex tippromwovi aktar koerenza fl-attivitajiet ta’ valutazzjoni tar-riċerka fl-UE, l-aktar fir-rigward ta’ l-istudji fuq l-impatt fuq livell ta’ Stat membru.

91.	Il-Kummissjoni ser tikkonsidra l-possibiltà ta’ manwal ġdid dwar il-valutazzjoni ta’ l-FP, billi tikkunsidra eżempji li kienu prodotti riċentement (8).

92.	Il-proċeduri ta’ rappurtaġġ tal-proġetti kienu riveduti taħt l-FP6, u ser ikomplu jittejbu għall-FP7 (ara t-tweġiba għall-paragrafu 72).

93.

Id-“Direttorati Ġenerali għar-riċerka” bħalissa qed jiżviluppaw sistema ġdida ta’ l-IT għall-FP7 bl-appoġġ tad-DIRETTORAT ĠENERALI għall-informatika. Dan l-appoġġ imtejjeb għall-IT hu maħsub biex jipprovdi bażi aktar b’saħħitha għall-valutazzjoni u l-monitoraġġ.

94.	Il-Kummissjoni ukoll turi t-tħassib tal-Qorti fir-rigward tal-problema dwar il-piż tar-rappurtaġġ u kkunsidrat dan b’mod speċifiku meta speċifikat il-ħtiġiet tar-rapportaġġ fħall-FP7 (ara t-tweġiba għall-paragrafu 72).

95.	Bħalissa il-Kummissjoni qed tagħmel sforzi biex tisfrutta s-sorsi eżistenti u dawk ġodda tad-data għall-valutazzjoni u l-monitoraġġ (ara t-tweġiba għall-paragrafu 72).

96.	Fi ħdan l-FP7, hemm linja speċifika ta’ azzjoni taħt it-tema 8 (ix-Xjenzi soċjali u l-umanistika) biex jindirizzaw l-istateġiji innovattivi għall-valutazzjoni u l-monitoraġġ.

97.

Fl-2007 il-Kummissjoni nediet mill-ġdid in-Netwerk Ewropew għall-Valutazzjoni RTD (ara t-tweġiba għall-paragrafi 70-71 u 90), li qed tippjana li tużahom biex tippromwovi aktar koerenza fl-attivitajiet ta’ valutazzjoni għar-riċerka fl-UE, speċjalment l-istudji fuq l-impatt ta’ l-Istati Membri

Il-Kummissjoni bi ħsiebha wkoll iżżomm il-pożizzjoni tagħha fuq quddiem nett tas-sostenn għal netwerking internazzjonali u bl-iskambju tal-prattiċi tar-riċerka tal-valutazzjoni permezz ta’ workshops u avvenimenti oħra.

99.	It-tempestività tal-valutazzjoni hi deteminata mill-ħtiġiet speċifiċi fl-atti bażiċi adottati mill-Parlament Ewropew u mill-Kunsill. Il-Kummissjoni taċċetta li ftit li xejn hu magħruf dwar l-impatti fit-tul taż-żmien u taqbel li hemm lok għal aktar ħidma f’dan il-qasam.

100.

Il-Kummissjoni taqbel li l-Valutazzjonijiet għal Ħames Snin kellhom it-tendenza li jiffokaw aktar fuq valutazzjoni għal tul iqsar ta’ żmien milli fuq dik għal tul itwal ta’ żmien. Dan hu spjegat minn fatturi li jinkludu l-interess tal-partijiet interessati esterni, bħalma huma l-Parlament Ewropew u l-Kunsill, dwar ir-reazzjonijiet ta’ malajr għall-ħidma tal-FP, l-isfida ta’ l-impatti attribwenti għar-riċerka fuq perjodu twil ta’ żmien u l-iffokar magħżul mill-panels indipendenti li jwettqu l-eżerċizzji. Il-Kummissjoni taċċetta li madanakollu għandha tingħata aktar attenzjoni biex ikunu vvalutati l-effetti fuq tul ta’ żmien.

108.	Il-Kummissjoni qiegħda fil-proċess li tippjana l-attivitajiet prinċipali tal-valutazzjoni taħt l-FP7 u ser tikkunsidra bir-reqqa r-rakkomandazzjoni tal-Qorti. Il-Kummissjoni taċċetta li ftit li xejn hu magħruf dwar l-impatti fuq tul ta’ żmien u taqbel li hemm lok għal aktar ħidma f’dan il-qasam.

109.

Kif kien innutat mill-Qorti fil-paragrafu 107, il-Kummissjoni tipprovdi sommarju tas-sejbiet u l-azzjonijiet kollha li ttieħdu mill-valutazzjonijiet tar-riċerka fir-Reviżjoni Annwali tal-Valutazzjoni. Il-Kummissjoni hi impenjata li turi trasparenza sħiħa għall-valutazzjoni tagħha u ser tadotta r-rakkomandazzjoni tal-Qorti biex tirrevedi l-mezzi għal komunikazzjoni u t-tixrid tas-sejbiet.

110-111.

Il-Kummissjoni taqbel mal-Qorti li l-valutazzjoni għar-riċerka, speċjalment għal programm hekk komprensiv bħall-FP, hu ta’ sfida kbira.

Il-Kummissjoni tinnota li sar titjib sinifikanti fis-sistema matul l-aħħar 25 sena u li s-sistema globali kienet effettiva għal dawk li jfasslu l-politika, għall-maniġers tar-riċerka u għall-partijiet interessati l-oħra.

112.

Il-Kummissjoni tilqa’ l-kummenti tal-Qorti li d-Direttorati Ġenerali li jimplimetaw l-FPs kienu konformi mar-rekwiżiti tal-Kummissjoni, li jinkludu dawk speċifikati fil-Komunikazzjonijiet dwar il-valutazzjoni tas-sena 2000 u ta’ l-2002.

Kienu introdotti tibdiliet sinifikanti għall-valutazzjoni tal-FPs, inkluż ir-ristrutturar kbir għall-FP7, kif stabbilit fl-istrateġija pprovduta mill-Valutazzjoni fuq l-Impatt (SEC(2005) 430).

113.

Dwar ir-rilevanza u l-utilità tal-valutazzjonijiet, il-Kummissjoni tista’ tirreferi għar-reazzjoni pożittiva li rċeviet, speċjalment bl-eżerċizzji prinċipali riċenti bħalma hija l-Valutazzjoni għal Ħames Snin ta’ l-2004 (1999-2003). Kien hemm tixrid estensiv tas-sejbiet tal-Valutazzjoni għal Ħames Snin inkluża l-preżentazzjoni għal korpi prinċipali bħalma huma l-Parlament Ewropew, il-Kunsill, il-CREST u l-Kumitat tal-Programm ta’ l-FP. Minħabba li kien rekwiżit obbligatorju li dan l-eżerċizzju jitwettaq qabel il-proposta tal-Kummissjoni għall-Programm Qafas ġdid (f’dan il-każ l-FP7), l-adozzjoni eventwali ta’ l-FP7 indikat li dan kien globalment aċċettat.

Dan ma jfissirx li ma jistax isir titjib u l-Kummissjoni taċċetta bis-sħiħ il-ħtieġa li jsiru tidiliet li jkunu kkunsidrati bir-reqqa li jibnu fuq l-elementi ta’ l-approċċ preżenti li diġà qed jiffunzjona tajjeb.

114.	Il-Kummissjoni tilqa’ r-rikonoxximent tal-Qorti dwar l-importanza għal valutazzjoni u monitoraġġ u, li tibni fuq it-titjib sinifikanti li diġà sar, u ser tkompli taġġorna l-prattiċi tagħha fid-dawl ta’ realtajiet politiċi u prattiċi ġodda.

115.	Il-Kummissjoni hi diġà impenjata li tiżgura kjarezza akbar fil-loġika ta’ programm ta’ intervent, li tibni fuq l-avvanzi li huma inklużi fil-leġiżlazzjoni tal-FP7 u l-Valutazzjoni fuq l-Impatt, u ser tikkonsidra r-rakkomandazzjoni tal-Qorti għall-proposti leġiżlattivi tal-futur.

116.

Il-Kummissjoni taqbel li għad hemm lok għal titjib inkluża kooperazzjoni eqreb fuq livell operattiv fost is-servizzi kkonċernati, billi tibni fuq it-titijib sinifikanti li diġà sar fuq il-valutazzjoni tal-FP. Il-Kummissjoni ser tkompli bl-isforzi tagħha biex issostni l-iżviluppi fil-metodoloġija tal-valutazzjoni.

117.

Fir-rigward ta’ l-arraġamenti organizzattivi, il-Kummissjoni tikkunsidra li

—	(l-ewwel inċiż) il-panels għandhom jitlaqqgħu fl-aktar mument kmieni possibbli biex isostnu valutazzjoni speċifika. Madanakollu, Panels iddedikati, li jitlaqqgħu għall-skopijiet speċifiċi, aktarx li jipprovdu aktar benefiċċji f’termini ta’ kjarezza u ffokar.

—

(it-tieni inċiż) il-koordinazzjoni bejn id-Direttorati Ġenerali li jimplimentaw l-FPs teħtieġ li tkun rinfurzata. Flimkien ma’ l-istrateġija ġdida ta’ valutazzjoni tal-FP7, din tista’ tintlaħaq billi jintużaw strutturi speċifiċi ta’ koordinazzjoni biex ikunu komplimentari man-“netwerk intern tal-valutazzjoni RTD”, tal-Kummissjoni, aktar milli jkun stabbilit uffiċju konġunt ta’ valutazzjoni.

(1) Komunikazzjoni mill-Kummissjoni lill-Kunsill Ewropew tar-Rebbiegħa — li jimplimenta l-Istrateġija mġedda ta’ Liżbona għat-Tkabbir u l-Impjiegi (Com(2006) 816).

(2) Pereżempju, il-proposta tal-Kummissjoni għall-FP7 kienet żviluppata fuq il-bażi ta’ valutazzjoni fuq l-impatt dettaljat ex ante, li kienet tinkludi mudell ekonometriku ta’ l-impatti potenzjali ta’ l-attività tar-riċerka dwar kwistjonijiet bħalma huma t-tkabbir ekonomiku u l-ħolqien ta’ l-impjiegi (ara l-Istaff Working Paper tal-Kummissjoni Ewropea, “Impact Assessment and Ex Ante Evaluation for the proposals for the Council and European Parliament decision on the 7th Framework Programme (KE u Euratom)”, SEC(2005) 430). Id-Deċiżjonijiet FP7 jipprovdu struttura ċara li tgħaqqad l-għanijiet, ir-raġunijiet u l-attivitajiet. Barra minn hekk, id-Deċiżjonijiet speċifiċi tal-ProgrammFP7 stabbilixxew għanijiet, approċċ u attivitajiet.

(3) Il-“Quality Assessment Framework” jinsab fuq http://ec.europa.eu/budget/documents/evaluation_en.htm.

(4) Il-Kummissjoni Ewropea, Direttorat Ġenerali tal-Baġit, “Evaluating EU Activities — A Practical Guide for the Commission services”, Lulju 2004, jinsab fuq http://ec.europa.eu/budget/publications/other_en.htm.

(5) E. Arnold, “What the Evaluation Record tells us about the Framework Programme Performance”, 2004.

(6) Id-DIRETTORAT ĠENERALI għar-Riċerka, “Structuring Effects of Community Research — The Impact of The Framework Programme on Research & Technological Development (RTD) Network Formation”, 2007; Id-DIRETTORAT ĠENERALI għas-Soċjetà ta’ l-Informatika u l-Midja “Effectiveness of IST-RTD Impacts on the EU Innovation System”, 2007.

(7) Ara C. Mandl, “Evaluating Evaluations or The Case for Action Research”, Austrian Platform Newsletter, Nru 30, Ġunju 2007.

(8) Pereżempju ara ċ-Ċentru Konġunt tar-Riċerka tal-Kummissjoni Ewropea, “Assessing the Socio-Economic Impact of RTD-Policies” (EPUB), 2002, u l-Università ta’ Manchester, “Assessing the Socio-economic Impacts of the Framework Programme” (ASIF), 2002, li t-tnejn jinsabu fuq http://circa.europa.eu/Public/irc/rtd/fiveyearasskb/library?l=/iii-knowledge_base/040-evaluation_methodolo&vm=detailed&sb=Title. Dawn ir-rapporti kienu mqassma b’mod mifrux u kienu disponibbli għall-kuntratturi u l-esperti li wettqu l-istudji tal-valutazzjoni f’isem il-Kummissjoni.

		ISSN 1725-5198
Il-Ġurnal Uffiċjali ta’ l-Unjoni Ewropea		C 26

Edizzjoni bil-Malti	Informazzjoni u Avviżi	Volum 51 30ta' Jannar 2008

Avviż Nru	Werrej	Paġna
	IV Informazzjoni
	INFORMAZZJONI MINN ISTITUZZJONIJIET U KORPI TA' L-UNJONI EWROPEA
	Il-Qorti ta’ l-Awdituri
2008/C 026/01	Rapport Speċjali Nru 9/2007 dwar L-evalwazzjoni tal-programmi qafas ta' l-UE dwar ir-Riċerka u l-Iżvilupp Teknoloġiku — L-approċċ tal-Kummissjoni jista' jittejjeb? flimkien mar-risposti tal-Kummissjoni	1