|
ISSN 1725-5201 |
||
|
Eiropas Savienības Oficiālais Vēstnesis |
C 26 |
|
|
||
|
Izdevums latviešu valodā |
Informācija un paziņojumi |
51. sējums |
|
Paziņojums Nr. |
Saturs |
Lappuse |
|
|
IV Informācija |
|
|
|
EIROPAS SAVIENĪBAS IESTĀŽU UN STRUKTŪRU SNIEGTA INFORMĀCIJA |
|
|
|
Revīzijas palāta |
|
|
2008/C 026/01 |
||
|
LV |
|
IV Informācija
EIROPAS SAVIENĪBAS IESTĀŽU UN STRUKTŪRU SNIEGTA INFORMĀCIJA
Revīzijas palāta
|
30.1.2008 |
LV |
Eiropas Savienības Oficiālais Vēstnesis |
C 26/1 |
ĪPAŠAIS ZIŅOJUMS Nr. 9/2007
par “ES pētniecības un tehnoloģiju attīstības (RTD) pamatprogrammu vērtēšanu – vai Komisijas pieeju iespējams uzlabot?”, ar Komisijas atbildēm
(saskaņā ar EK Līguma 248. panta 4. punkta otro daļu)
(2008/C 26/01)
SATURS
|
I–V |
KOPSAVILKUMS |
|
1.–14. |
IEVADS |
|
1.–7. |
Eiropas Savienības loma pētniecības un tehnoloģiju attīstības pasākumu atbalstā |
|
8.–14. |
Pamatprogrammu vērtēšana un uzraudzība |
|
15.–18. |
REVĪZIJAS TVĒRUMS UN METODE |
|
19.–109. |
REVĪZIJAS APSVĒRUMI |
|
19.–37. |
Intervences loģika, mērķu noteikšana un izpildes rādītāji |
|
38.–49. |
Vērtēšanas stratēģija |
|
50.–68. |
Pamatprogrammu vērtēšanas organizēšana |
|
69.–97. |
Vērtēšanas metodoloģijas un paņēmieni |
|
98.–109. |
Vērtēšanas konstatējumu izplatīšana un izmantošana |
|
110.–118. |
VISPĀRĒJI SECINĀJUMI |
I pielikums: Ietekmes un rezultātu mērīšana publiskajai intervencei pētniecībā un tehnoloģiju attīstībā
II pielikums: Noteikumi attiecībā uz uzraudzību un vērtēšanu likumdevēja lēmumos (Ceturtajai, Piektajai, Sestajai un Septītajai pamatprogrammai)
III pielikums: Galvenās atšķirības pētniecības programmu ex post novērtējumā Eiropas Savienībā (PP4–PP6), ASV un Kanādā
IV pielikums: Ekspertu grupas iespējamā struktūra Septītajai pamatprogrammai
Komisijas atbildes
KOPSAVILKUMS
|
I. |
Kopienas pētniecības un tehnoloģiju attīstības pamatprogrammas (PP) ir lielākais pētniecības publiskā finansējuma avots Eiropas Savienībā. Komisija atbild par pamatprogrammu pārvaldību un to rezultātu novērtēšanu. |
|
II. |
Revīzija aptvēra uzraudzības un vērtēšanas pasākumus, kuri kopš 1995. gada ieviesti pēdējiem trim programmu posmiem (PP4, PP5 un PP6), un tā arī sniedz ieskatu par Septīto pamatprogrammu (2007–2013). Revīziju veica kopā ar EBTA Revīzijas padomi un ar ārēju ekspertu atbalstu. |
|
III. |
Revīzijā Palāta pievērsās jautājumam par to, vai Komisijas izmantotā pieeja pamatprogrammu vērtēšanā bija atbilstīga. Šādā kontekstā Palāta pārbaudīja, vai Komisija ir izpildījusi tiesību aktu prasības, kas attiecas uz vērtēšanu, un noskaidroja, vai tās vērtēšanas un uzraudzības sistēma apmierināja ieinteresēto pušu prasības. Palāta tostarp noskaidroja, vai:
|
|
IV. |
Palātas konstatējumi un secinājumi bija šādi:
|
|
V. |
Palāta iesaka:
|
IEVADS
Eiropas Savienības loma pētniecības un tehnoloģiju attīstības pasākumu atbalstā
|
1. |
Pētniecība un tehnoloģiju attīstība (RTD) (1) ir zinātnes un tehnoloģiju progresa un jauninājumu galvenais virzītājs, tāpēc tai ir svarīga loma dzīves līmeņa uzlabošanā. Publiska intervence pētniecībā un tehnoloģiju attīstībā galvenokārt ir pamatota kā tā sauktās “tirgus izgāšanās” korekcija, jo valsts atbalsts mazina nenoteiktību un nodrošina ieguldījumu tur, kur pētniecība ir sabiedrisks labums vai kur ir nozīmīgas sekundāras sekas. |
|
2. |
EK Līguma 163. pantā noteikta Kopienu loma RTD atbalstā, paredzot, ka “Kopienas mērķis ir stiprināt Kopienas rūpniecības zinātnisko un tehnoloģisko pamatu un veicināt tās konkurētspēju starptautiskā līmenī, atbalstot visas pētniecības darbības, kas atzītas par vajadzīgām.” Līguma 164.–173. pantā ir noteiktas darbības, kuras veic šajā nolūkā, kā arī daudzgadu RTD pamatprogrammu tvērums un īstenošana. Komisija atbild par priekšlikumu izvirzīšanu saistībā ar pamatprogrammām, bet lēmumus par pamatprogrammām un noteikumus par līdzdalību un izplatīšanu ar koplēmuma procedūru pieņem Eiropas Parlaments un Padome. Īpašās programmas Padome pieņem viena pati. Pamatprogrammas kopīgi īsteno seši ģenerāldirektorāti (ĢD), tā sauktie pētniecības ģenerāldirektorāti (2). |
|
3. |
Starp daudzajām politikas jomām, ko Eiropas Savienībā īsteno, lai stiprinātu jaunievedumus un konkurētspēju, pamatprogrammas ir svarīgākais finanšu instruments, kas Kopienas līmenī veicina Lisabonas stratēģijas (3) un Barselonas mērķa (4) sasniegšanu.
|
|
4. |
Ar pamatprogrammu starpniecību Kopiena nodrošina finansējumu pētniekiem Eiropas Savienībā, asociētajās valstīs un starptautiskās organizācijās. Pamatprogrammu budžets gadu gaitā ir ievērojami palielinājies – Septītajai pamatprogrammai tas ir 7 217 miljoni EUR gadā, salīdzinot ar 2 761 miljonu EUR gadā Ceturtajai pamatprogrammai (sk. 1. attēlu). No budžeta apropriāciju viedokļa, pamatprogrammas ir lielākā joma, kuru Komisijā pārvalda tieši centralizēti (5). |
|
5. |
Pamatprogrammas atšķiras no daudzām valstu programmām ar to, ka tās aptver gan fundamentālos pētījumus, gan lietišķos pētījumos, un tajās piedalās rūpniecības pārstāvji un valstu pētniecības iestādes (6). Pamatprogrammās ietilpst īpašās programmas (un apakšprogrammas) daudzās zinātnes nozarēs. Šajās programmās parasti ietilpst vairākas jomas, kas pievēršas visai specifiskiem zinātnes sektoriem. Šīs jomas īsteno ar projektu starpniecību (“netiešas darbības”) pēc uzaicinājumiem izteikt priekšlikumus. Tādējādi katrā jomā finansē simtiem individuālu projektu. |
|
6. |
Pamatprogrammu vispārējais īpatsvars kopējā publiskajā RTD finansējumā Eiropas Savienībā un tās dalībvalstīs svārstās starp 4 % un 5 %. Tomēr pamatprogrammu ietekme uz to, kādus pētniecības pasākumus veic Eiropā, ir daudz lielāka, jo Kopienas dotācijas parasti ir tikai daļa no projekta kopējā finansējuma. Turklāt, piesakoties uz finansējumu, zinātniekiem jāparāda, ka viņu projekti veicina to mērķu sasniegšanu, kas norādīti uzaicinājumos izteikt priekšlikumus. Tādējādi pamatprogrammas stimulē RTD pasākumu virzīšanu atbilstīgi īpašiem ES mērķiem. |
|
7. |
To, ka pēdējos gados pamatprogrammās ir veiktas būtiskas izmaiņas, ir veicinājuši šādi faktori:
|
Pamatprogrammu vērtēšana un uzraudzība
|
8. |
Komisija ir atbildīga par programmu izpildi un programmu rezultātu izvērtējumu (8). Komisijā novērtēšana ir decentralizēta – to veic ģenerāldirektorāti –, bet centrālie dienesti (konkrēti, Budžeta ĢD un Ģenerālsekretariāts) sniedz atbalstu un koordinē. |
|
9. |
Šajā ziņojumā izmantota Komisijas definīcija vārdam “novērtēšana” kā “spriedums par intervencēm atkarībā no to rezultātiem, ietekmes un vajadzībām, kuras tās tiecas apmierināt” (9) un vārdam “uzraudzība” kā informācijas sniegšana par kārtējo programmu un projektu īstenošanu, lai apmierinātu pārvaldības vajadzības (10). Šādi šīs divas darbības nošķir arī tiesību aktos, kas attiecas uz pašreizējo Septīto pamatprogrammu. |
|
10. |
RTD pasākumu rezultātu aprakstam turpmāk izmantota šāda terminoloģija:
1. izcēlumsPiemērs par “globālo mobilo sakaru sistēmu” (GSM)Šajā gadījumā Kopienas finansējuma “faktiskie rezultāti” bija tūlītējie projekta rezultāti, piem., GSM standarta izstrāde. “Iznākums” bija tā pieņemšana par ciparu šūnu telefonijas standartu Eiropā un citur, un tas ievērojami veicināja telekomunikāciju nozares attīstību. Visbeidzot, “ietekme” bija šīs tehnoloģijas starptautiskā pielietojuma ekonomiskās, sociālās un politiskās sekas, tostarp darba vietu izveides veicināšana telekomunikāciju un saistītās nozarēs un šīs rūpniecības nozares nozīmīguma pieaugums Eiropas ekonomikā. GSM galu galā ir arī nodrošinājis cilvēku savstarpējās saziņas jaunu veidu. |
|
11. |
Šo rezultātu izvērtēšanā tomēr ir vairākas metodoloģiskas grūtības (sk. I pielikumu). Sociālekonomiskas izmaiņas ir sarežģītas, un, konkrētāk, ir grūti izsekot sakarībai starp pētniecības pasākumu un novēroto iznākumu un ietekmi. Kaut arī šīs metodoloģiskās grūtības ir ievērojams izaicinājums, tām tomēr nav obligāti jābūt par šķērsli efektīvam novērtējumam. |
|
12. |
Kopš astoņdesmitajiem gadiem (11) Komisija ir izveidojusi sistēmu pamatprogrammu uzraudzībai un novērtēšanai. Sākot ar Ceturto pamatprogrammu deviņdesmito gadu vidū, uzraudzības un novērtēšanas sistēmā ietilpa vairāki daļēji saistīti pasākumi, tostarp:
Abi pasākumi bija jāveic, iesaistot ārējus ekspertus (sk. 2. attēlu un II pielikumu). 2. attēls Galvenās prasības uzraudzībai un novērtēšanai (PP4–PP7)
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
13. |
Līdz šim ir veikti trīs piecu gadu novērtējumi (12), un to rezultātā ir tapuši V. Davignon, J. Majó un E. Ormala vadībā sagatavotie ziņojumi (attiecīgi 1997., 2000. un 2004. gadā). Informācijas sabiedrības ģenerāldirektorāts ir veicis arī mērķtiecīgus izvērtējumus savai īpašajai programmai. Jāpiebilst, ka piecu gadu novērtējumus pārtrauca ar Septītās pamatprogrammas tiesību aktiem, tādējādi atceļot ierobežojumu, kas lika galvenajiem novērtēšanas pasākumiem koncentrēties uz iepriekšējiem pieciem gadiem, kā rezultātā bija jāaptver divu secīgu programmu posmu daļas. R. Marimón vadībā sagatavotajā ziņojumā (13) 2004. gadā publicēja arī īpašu novērtējumu par Sestajā pamatprogrammā ieviesto jauno instrumentu efektivitāti. |
|
14. |
Komisijas novērtēšanas pasākumu sistēmu caurlūkoja 2000. un 2002. gadā (14). Šos ziņojumus atjaunināja 2007. gadā, ņemot vērā Komisijas administratīvās reformas ietekmi un jauno Finanšu regulu (15). Šajos dokumentos novērtēšanas loma un funkcija ir aprakstīta Komisijas vispārējās plānošanas, programmu sagatavošanas un ziņošanas cikla kontekstā, un ir konkretizēts 21 novērtēšanas standarts un 18 “labas prakses” modeļi. Turklāt šajos dokumentos ir iztirzāta novērtēšanas izmantošana ES tiesību aktu sagatavošanā un vienkāršošanā. |
REVĪZIJAS TVĒRUMS UN METODE
15. Revīzijas galvenais mērķis bija noteikt, vai Komisijai ir atbilstīga pieeja RTD pamatprogrammu rezultātu izvērtēšanā.
|
16. |
Šajā nolūkā Palāta izvērtēja, kādā mērā:
|
|
17. |
Šis ziņojums aptver attiecīgos pasākumus saskaņā ar Ceturto pamatprogrammu (1995.–1998. g.), Piekto pamatprogrammu (1999.–2002. g.) un Sesto pamatprogrammu (2003.–2006. g.). Tajā izskatītas arī tiesību aktos noteiktās prasības, kas šobrīd ir spēkā Septītajai pamatprogrammai (2007.–2013. g.), bet nav sniegts vērtējums par Komisijas “Ietekmes izvērtējumu un ex ante novērtējumu” (16) par Septīto pamatprogrammu. Ziņojumā uzmanība pievērsta programmu uzraudzībai un ex post novērtējumam, nevis projektu priekšlikumu ex ante novērtējumam vai pašu projektu ex post novērtējumam. |
|
18. |
Revīziju veica ar EBTA Revīzijas padomes līdzdalību un ārēju ekspertu palīdzību. Revīzijas pierādījumu iegūšanai izmantoja:
|
REVĪZIJAS APSVĒRUMI
Intervences loģika, mērķu noteikšana un izpildes rādītāji
|
19. |
Efektīvai novērtēšanai un uzraudzībai ir vajadzīgi skaidri mērķi un atbilstīgi izpildes rādītāji politikas, programmas un projekta līmenī, lai ar to palīdzību varētu izvērtēt publiskās intervences rezultātus. Laba prakse citās budžeta jomās Eiropas Savienībā un ārpus tās rāda, ka šie mērķi un rādītāji jādefinē saskaņā ar intervences loģiku. |
|
20. |
Intervences loģiku var definēt kā iespējamu cēloņsakarību virkni, kas parāda, kā intervence sasniegs tās galvenos mērķus (19). Komisijas pamatnostādnēs par novērtēšanu ir teikts, ka intervences loģika nodrošina “konceptuālu saikni no intervences ieguldījuma līdz iegūtajiem faktiskajiem rezultātiem un tālāk līdz ietekmei uz sabiedrību koprezultāta un iznākuma veidā” (20). Visā šajā ziņojumā ir izmantota šī definīcija. |
|
21. |
Palāta izvērtēja, kādā mērā pamatprogrammām un tajās ietilpstošajām programmām bija izstrādāta intervences loģika, kas tādējādi nodrošina pietiekamu pamatojumu novērtējumam un uzraudzībai. |
Pamatprogrammu intervences loģika nav skaidri formulēta
|
22. |
Intervences loģikas definēšanai jau no paša sākuma būtu jābūt programmas izstrādes pamatelementam. Līguma 163. pantam, kurā norādīta vajadzība stiprināt zinātnisko un tehnoloģisko pamatu un veicināt konkurētspēju, būtu jānodrošina sākumpunkts šādai pamatprogrammu intervences loģikai (sk. 2. punktu). Precizējumi būtu vajadzīgi attiecībā uz dažādām zinātnes jomām, uz kurām attiecas pamatprogrammas, un dažādiem izmantotajiem instrumentiem. |
|
23. |
Tomēr skaidri formulēts loģiskais modelis, kas izskaidrotu, kā pamatprogrammas un tajās ietilpstošās programmas veicina zinātnes un tehnoloģiju progresu un jauninājumus, iztrūkst visos līmeņos. |
|
24. |
Intervences loģikas trūkumu pamatprogrammām uzsvēra arī 2004. gada piecu gadu novērtējuma ekspertu grupa, kura norādīja, ka “ekspertu grupas – tādas kā šī – ir aicinātas aizpildīt plaisu starp pierādījumiem, kas galvenokārt savākti projektu līmenī, no vienas puses, un pētniecības politikas augstāka līmeņa sociālekonomiskajiem mērķiem, no otras puses. Tomēr tas, kādā veidā pamatprogramma ir plānota, šobrīd apgrūtina šādas saiknes veidošanu. Pamatprogrammai trūkst skaidri formulētas loģikas, kas savienotu augstākos mērķus ar konkrētiem pētniecības un zināšanu mērķiem” (21). |
|
25. |
Atšķirīgu pieeju izmanto dažās dalībvalstīs (piem., Nīderlandē un Somijā) un ASV (sk. 3. attēlu), kur intervences loģikas definēšana ir daudz plašāk izplatīta, un Kanādā, kur tā ir obligāta visām programmām (sk. III pielikumu). Intervences loģikas izmantošana programmu izstrādē tiešām nodrošina to, ka programmas ir koncentrētākas un labāk strukturētas. Komisija ievieš intervences loģiku arī citās Kopienas politikas jomās (piem., ārējā atbalstā) (22). 3. attēls Mērķu hierarhijas definēšana, kas pamatota ar loģiskajiem modeļiem. ASV lauksaimniecības pētniecības paraugs
|
|||||||||||||||||||||||||||
|
26. |
Ja nesistematizē pamatojumu, kas pakārtots publiskajai intervencei, un pieņemto cēloņsakarību saikni (saskaņā ar kuru programmu detalizēti plāno, izpilda un izvērtē), pamatprogrammu efektīva novērtēšana un uzraudzība ir apgrūtināta un veids, kādā nosaka programmas mērķus un izpildes rādītājus, jo īpaši rada šīs grūtības. |
Bez skaidri formulēta loģiskā modeļa ir grūtāk nospraust saskanīgus programmas mērķus
|
27. |
Ja publiskajai intervencei pakārtotais loģiskais pamatojums nav skaidri formulēts, ir grūtāk saskanīgi nospraust un strukturēt programmas mērķus. To parāda tas, ka:
|
|
28. |
Komisija ir mēģinājusi nospraust darbības mērķus darba programmās, pamatojoties uz programmu mērķiem, kas definēti pamatprogrammu tiesību aktos, tomēr gandrīz visos gadījumos šajās iniciatīvās nav precizēta programmām pakārtotā loģika, un darba programmās izklāstītie mērķi nebija konkrēti, izmērāmi, sasniedzami, atbilstīgi un ar noteiktiem termiņiem (SMART). Šādu regulējumu 2003. gadā ieviesa ar Finanšu regulu (23). |
|
29. |
Nav skaidrs, cik lielā mērā iespējams izsekot politikas mērķiem īpašajās programmās, darba programmās un uzaicinājumos iesniegt priekšlikumus līdz atsevišķu Kopienas līdzfinansētu projektu līmenim. Kamēr nav noskaidrota šī saikne, nav iespējams izvērtēt pamatprogrammu un tajās ietilpstošo programmu ieguldījumu šo politikas mērķu sasniegšanā. Revīzijā konstatēja, ka Komisija savos novērtējumos ir sniegusi maz pārliecinošu pierādījumu par ilgāka termiņa mērķu sasniegšanu gan projektu, gan programmu līmenī, vai arī šādi pierādījumi nemaz nebija sniegti (sk. 82. punktu). |
Bez skaidri formulētas intervences loģikas un skaidriem mērķiem ir grūtāk izstrādāt izpildes rādītājus
|
30. |
Nepārprotami formulēta loģiskā modeļa un skaidri definētu programmas mērķu trūkums ir arī traucējis izstrādāt izpildes rādītājus programmas mērķu sasniegšanas uzraudzībai attiecībā uz faktiskajiem rezultātiem, iznākumu un ietekmi tādā mērā, ka līdz šim šādi efektivitātes rādītāji pamatprogrammām nemaz nav definēti (sk. 73. punktu). |
|
31. |
Šāds stāvoklis apgrūtina šo programmu finansēto uzsākto projektu pārskatīšanu un izpildīto projektu ex post novērtēšanu, kā arī sarežģī novērtējumu salīdzināšanu projektu un programmu līmenī (sk. I pielikumu un 84. punktu). |
Šobrīd īstenotā ABB/ABM nav piemērots instruments pamatprogrammu rezultātu mērīšanai
|
32. |
Daži rādītāji, kas raksturo programmu izpildes produktivitāti (piem., līgumu slēgšanas laiks, samaksas laiks), ir atrodami Komisijas ikgadējos uzraudzības ziņojumos un arī saistībā ar Komisijas sistēmu pārvaldībai pa darbības jomām (ABM). |
|
33. |
Tomēr līdz šim “pētniecības ģenerāldirektorāti” – pat īstenojot vienu un to pašu īpašo programmu (vai apakšprogrammu) – nav piemērojuši standartizētu vai salīdzināmu nomenklatūru budžeta līdzekļu sadalei pa darbības jomām (ABB) un saistītus rādītājus. Tādējādi šos rādītājus nevar izmantot, lai salīdzinātu izpildi dažādās programmās un pašās programmās. 2. izcēlumsABB/ABM, kuru šobrīd īsteno “pētniecības ģenerāldirektorāti”ABB/ABM sistēmā uz pamatprogrammām attiecas divas dažādas politikas jomas, kurās pamatprogrammu darbības ir parādītas saskaņā ar katram ģenerāldirektorātam atšķirīgu nomenklatūru (24). Tas attiecas pat uz tām īpašajām programmām un apakšprogrammām, kuras īsteno vairāk nekā viens ĢD. ABM mērķi bija definēti saskaņā ar atšķirīgiem pakārtotajiem principiem (25), un – kā to norāda Komisijas iekšējās revīzijas dienests (26) – tie galvenokārt bija vispārīgi formulēti un aprakstīja centienus vai darbības. Rādītāji pārsvarā bija orientēti uz resursu izlietojumu (piem., sanāksmju skaits utt.). Daži rādītāji attiecās uz procesa produktivitāti (piem., līgumu slēgšanas laiks, samaksas laiks), bet tie nebija salīdzināmi starp programmām un ģenerāldirektorātiem, jo bija atšķirības ABB nomenklatūrā, ĢD raksturīgos pieņēmumos (tādos kā konkrētu administratīvu procesu sākums un beigas) un pakārtotajā datu kopā (piem., dotācijas līguma veids, maksājuma veids), kas ņemta vērā rādītāju aprēķinos. |
Ieteikumi
34. Komisijai, izstrādājot turpmākos tiesību aktu projektus Padomei un Eiropas Parlamentam, jānorāda skaidra intervences loģika pamatprogrammai kopumā un tās sastāvdaļām. 35. Attiecībā uz Septīto pamatprogrammu Komisijas pienākums būtu: — skaidri izklāstīt pamatprogrammas un tajā ietilpstošo īpašo programmu (un apakšprogrammu) mērķus un to, kā šos mērķus sasniegt, — precizēt saikni starp zinātniskajiem un sociālekonomiskajiem mērķiem katrai īpašajai programmai (un apakšprogrammai) un — definēt atbilstīgus darbības mērķus. 36. Septītās pamatprogrammas uzraudzības sistēmā Komisijai jāievieš ierobežots, bet līdzsvarots izpildes rādītāju kopums, kas mēra programmas izpildes produktivitāti un efektivitāti katrai īpašajai programmai (un apakšprogrammai). 37. “Pētniecības ģenerāldirektorātiem” jāharmonizē ABM/ABB nomenklatūra, lai padarītu izpildes rādītājus salīdzināmus laikā un, ja iespējams, starp īpašajām programmām (un apakšprogrammām).
Vērtēšanas stratēģija
|
38. |
Vērtēšanas stratēģija nodrošina konceptuālu sistēmu, saskaņā ar kuru vērtēšanas pasākumus iecer, plāno, izpilda un izmanto. Laba prakse citās ES budžeta jomās un citviet rāda, ka šādas stratēģijas izveidē jāņem vērā svarīgākie juridiskie, organizatoriskie un metodoloģiskie jautājumi, kas skar programmu vērtēšanu, tostarp tas, kādi novērtējumi jāveic, kam un kad tie jāveic, kā jāvāc dati, kāda metodoloģiskā pieeja jāizmanto un kā jāpaziņo konstatējumi un jāveic to pēcpārbaude. |
|
39. |
Šādas stratēģijas izstrāde un tās īstenošanas nodrošināšana ir priekšnosacījums, lai novērtēšana kļūtu par Komisijas organizācijas kultūras un lēmumu pieņemšanas procesa sastāvdaļu. Tomēr, ņemot vērā pamatprogrammu aptverto zinātnes jomu daudzveidību, Palāta atzīst, ka šādai stratēģijai jāparedz pietiekama elastība katram atbildīgajam ĢD, un tā nedrīkst būt pārlieku ierobežojoša. |
|
40. |
Palāta pārbaudīja, kādā mērā Komisijai bija šāda pamatprogrammu vērtēšanas stratēģija. |
Nav visaptverošas vērtēšanas stratēģijas pamatprogrammām
|
41. |
Komisija pirmo reizi publiskoja pamatprogrammu vērtēšanas pieeju pagājušā gadsimta astoņdesmitajos gados (27). To atjaunināja 1996. gadā, kad Komisija informēja Eiropas Parlamentu un Padomi par to, ko tā tolaik uzskatīja par svarīgiem uzraudzības un vērtēšanas pakārtotajiem principiem, un izklāstīja paredzēto pieeju pēc Ceturtās pamatprogrammas pieņemšanas (28). Tomēr tā nebija iepriekš minētā visaptverošā vērtēšanas stratēģija (sk. 38. un 39. punktu). Turklāt no 1996. līdz 2006. gadam Komisija nav pārskatījusi pēc būtības savu pieeju PP5 un PP6 vērtēšanai, lai gan pamatprogrammas ir mainījušās gan tvēruma, gan orientācijas ziņā (sk. 7. punktu). Proti, “pētniecības ģenerāldirektorāti” nav vienojušies par konsekventu pieeju pamatprogrammu un tajās ietilpstošo programmu vērtēšanai ārpus tiesību aktu prasībām, kas pieņemtas 1999. gadā (Piektajai pamatprogrammai), 2002. gadā (Sestajai pamatprogrammai) un 2006. gadā (Septītajai pamatprogrammai) (29). |
|
42. |
Pašreizējā programmu posmā šādas stratēģiskas pieejas trūkums vērtēšanai šajā jomā jo īpaši rada problēmas tāpēc, ka Septīto pamatprogrammu kopīgi īsteno vairāki ĢD, EPP (Eiropas Pētniecības padome) un izpildaģentūras, un Finanšu regula prasa obligātu personāla rotāciju svarīgos amatos. Tas ir arī pretstatā pašreizējai praksei ārējā atbalsta jomā (kas ir otrā lielākā Komisijas tiešās pārvaldības sfēra). Šajā jomā attiecīgie ģenerāldirektorāti kopš 2002. gada ir vienojušies par vienotām daudzgadu vērtēšanas stratēģijām, kas saistītas ar programmu posmiem (sk. 52. punktu). |
|
43. |
Skaidri formulētas vērtēšanas stratēģijas trūkums ir krasā pretstatā arī stāvoklim ASV un Kanādā, kur stratēģiju paredz tiesiskais regulējums (sk. III pielikumu). |
|
44. |
Kā turpmāk aprakstīts, ir būtiskas atšķirības pamatprogrammu vērtējuma tvērumā un intensitātē. Bija arī citas nepilnības, piemēram, koordinācijas problēmas, atšķirības metodoloģiskajā pieejā, ar laika plānošanu saistītās problēmas un nepilnības novērtēšanas konstatējumu paziņošanā un pēcpārbaudē. Tās iztirzātas šā ziņojuma turpmākajās iedaļās. Tas atspoguļo visaptverošas vērtēšanas stratēģijas trūkumu pamatprogrammām. |
Atšķirības pamatprogrammu vērtējuma tvērumā un intensitātē
|
45. |
Pamatprogrammās ietilpst vairākas īpašās programmas (un apakšprogrammas), kas var būtiski atšķirties pēc uzdevuma, pakārtotās dinamikas un budžeta apropriācijām (ziņas par Septīto pamatprogrammu sk. IV pielikumā). Kopumā dažādu pamatprogrammu lēmumu īpašie noteikumi un Finanšu regula (30) (kas prasa novērtēt programmas un darbības, kas saistītas ar lieliem izdevumiem) norāda, ka tiesību aktu prasība novērtēt gan pamatprogrammu kopumā, gan lielāko daļu tajā ietilpstošo īpašo programmu ir bijusi spēkā kopš Ceturtās pamatprogrammas. |
|
46. |
Komisija nav izstrādājusi noteikumus par to, kad jānovērtē pamatprogrammu īpašās programmas vai apakšprogrammas, vai kopēju robežvērtību, virs kuras tas jādara. Tādējādi nav konsekventi interpretēts tas, kas jāvērtē un kādā detalizācijas pakāpē tas jādara:
|
|
47. |
Tādējādi 2004. gada piecu gadu novērtējumā Ceturtās un Piektās pamatprogrammas būtiskas daļas nemaz netika izvērtētas (tas atbilst 30 % no visām budžeta apropriācijā m Ceturtajai pamatprogrammai un 50 % no Piektās pamatprogrammas budžeta apropriācijām). Tas nozīmē, ka Komisija neizpildīja novērtēšanas prasības, kas norādītas Finanšu regulas 27. pantā. |
|
48. |
Šī atšķirīgā interpretācija attiecībā uz obligātajām tiesību aktu prasībām novērtēšanai un tādējādi nepietiekami veiktā pamatprogrammu novērtēšana pagātnē liecina par koordinācijas trūkumu un ir sekas tam, ka Komisijai nav stratēģiskas pieejas pamatprogrammu vērtēšanā. |
Ieteikumi
49. “Pētniecības ģenerāldirektorātiem” steidzami jāizstrādā vienota vērtēšanas stratēģija pamatprogrammām un jāvienojas par to. Šai stratēģijai nav jābūt pārlieku ierobežojošai, bet tai jāparedz konsekventa pieeja pamatprogrammu un tajās ietilpstošo programmu novērtēšanai. Šādas stratēģijas uzdevums ir arī nodrošināt metodiku saistībā ar obligāto līmeni, kurā jāveic detalizēts vērtējums, lai ņemtu vērā katras zinātnes nozares īpatnības.
Pamatprogrammu vērtēšanas organizēšana
|
50. |
Pamatprogrammu vērtēšanai ir vajadzīgs atbilstīgu organizatorisku pasākumu atbalsts. Šiem pasākumiem ir jāizriet no Komisijas stratēģiskās orientācijas pamatprogrammu vērtēšanai. Palāta pārbaudīja, cik lielā mērā organizatoriskā struktūra nodrošināja to, lai vērtēšanas sistēma būtu pienācīgi koordinēta, lai tai būtu atbilstīgi resursi un lai ieinteresētās puses vērtēšanu uztvertu kā pietiekami neatkarīgu. |
Komisija
Pamatprogrammas īsteno vairāki ĢD kopā, bet atbildība par novērtēšanu ir decentralizēta
|
51. |
Komisijā atsevišķi ĢD ir atbildīgi par izdevumu programmu novērtēšanu (sk. 8. punktu), un katrā ĢD ir izveidotas vērtēšanas struktūrvienības. Šīs vērtēšanas struktūrvienības atbild par vērtēšanu plānošanu, koordinēšanu un izpildi. |
|
52. |
Tas, ka nav īpašas koordinējošas iestādes vai vienas struktūras, kas vērtētu pamatprogrammas kopumā, tādas kā kopējs vērtēšanas birojs “pētniecības ģenerāldirektorātiem”, ir pretstatā citām politikas jomām. Ārējā atbalsta jomā trim ĢD (Attīstības, Ārējo sakaru un EuropeAid) ir izveidota kopēja vērtēšanas struktūrvienība, kas atbild par vērtēšanu Komisijas attīstības programmām trešās valstīs (sk. 42. punktu). |
|
53. |
Pētniecības ĢD ar Komisijas iekšējā pētniecības un tehnoloģiju attīstības vērtēšanas tīkla starpniecību nodrošina zināšanu apmaiņu starp dažādu ĢD vērtēšanas struktūrvienībām, bet tas nav tiesīgs noteikt obligātās vērtēšanas prasības. Šis mehānisms tomēr nav bijis pietiekams, lai nodrošinātu pienācīgu koordinēšanu Komisijas veiktajai pamatprogrammu vērtēšanai. |
|
54. |
Komisija pārskatīja tās vispārējo pieeju vērtēšanai 2000., 2002. un arī 2007. gadā (sk. 14. punktu). Kaut arī netika konstatēti būtiski uzlabojumi veidā, kādā pamatprogrammu un tajās ietilpstošo programmu vērtēšanu plāno, izstrādā un īsteno, kopumā “pētniecības ģenerāldirektorāti” bija izpildījuši Komisijas oficiālās prasības. |
Komisijas centrālie dienesti nosaka standartus, bet nepārbauda to piemērošanu
|
55. |
Komisijas centrālie dienesti (konkrēti – Budžeta ĢD un Ģenerālsekretariāts) sniedz metodoloģiskus ieteikumus, definē vienotus standartus Komisijā kopumā un uzrauga to, kā ģenerāldirektorāti un dienesti piemēro standartus (sk. 14. un 70. punktu), bet tie nevar noteikt, kā vērtēšana jāveic praksē. |
|
56. |
ASV un Kanādas pieredze liecina: ja standartus izstrādājošas organizācijas veic izpildes uzraudzību, tas ievērojami veicina vērtēšanas sistēmas efektīvu darbību. Abās valstīs federālie departamenti izstrādā un piemēro sistēmu, ar kuras palīdzību galu galā spriež par to, cik veiksmīga ir programma (sk. III pielikumu). Kaut arī konteksts ir atšķirīgs, šo valstu sistēmas tomēr ir balstītas uz vienu un to pašu pamatprincipu, proti, iestādei, kas nav tā pati iestāde, kura īsteno programmu, ir jānovērtē vairāki vērtēšanas sistēmas koncepcijas aspekti un rūpīgi jāpārbauda tās efektivitāte. To pašu var vērot dažās dalībvalstīs (piem., Francijā (31), Spānijā (32) un Vācijā (33)), kur ārējas iestādes uzrauga vērtēšanu, ko veic finansēšanas aģentūras, vai pat pašas veic šo vērtēšanu. |
Ekspertu grupas
Ārēju ekspertu grupas: pamatprogrammu tiesību aktu prasība kopš Ceturtās pamatprogrammas
|
57. |
Kopš Ceturtās pamatprogrammas visi lielie pamatprogrammu vērtēšanas pasākumi (un ikgadējā uzraudzība) jāveic ārēju ekspertu grupām (vai ar to palīdzību) (sk. II pielikumu). Kaut arī ir grūti atrast atbilstīgus ekspertus, šādas grupas spēj nodrošināt caurskatāmību, sniedz zināmu neatkarību, veicina ieinteresēto pušu iesaistīšanu un dod zināšanas par pašām pamatprogrammām, vērtēšanu un pakārtotajiem zinātniskajiem darbiem. |
|
58. |
To apstiprināja Palātas apsekojumi: aptaujātie uzskatīja, ka Komisijas ekspertu grupu vērtēšanas sistēma garantē neatkarību (sk. 4. attēlu).
|
Nepilnības Komisijas ieviestajā ekspertu grupu pieejā
|
59. |
Kaut arī, kā to Palātas revīzijā norādīja ekspertu grupu dalībnieki un ieinteresētās puses, uztvere bija pozitīva, Komisijas organizētajā ekspertu grupu izmantošanā pamatprogrammu vērtēšanai bija raksturīgas šādas nepilnības:
|
Resursi
Pamatprogrammu novērtēšanai nav īpaši rezervēti resursi
|
60. |
Finansējumu vērtēšanai piešķir katru gadu saskaņā ar vajadzībām, ko precizē ĢD, kas īsteno pamatprogrammas. Finansējuma avots šobrīd ir Komisijas līdzekļi no Budžeta ĢD un līdzekļi no budžeta administratīvo izdevumu daļas attiecīgo ĢD līmenī. Turklāt īpašos pasākumus finansē kā netiešas darbības no pamatprogrammu darbības budžeta. Tas nozīmē, ka nav summas, kas ir īpaši rezervēta vērtēšanai. |
|
61. |
Komisijas personāls, kas 2006. gadā bija nodarbināts vērtēšanas jomā un pārvaldībā pa darbības jomām, vidēji tika lēsts kā aptuveni 1 % no kopējā darbinieku skaita (37). Atbilstošie skaitļi par RTD pamatprogrammu uzraudzību un vērtēšanas pasākumiem Pētniecības ĢD un Informācijas sabiedrības ĢD bija attiecīgi 1,2 % un 1,3 %. Pētniecības ĢD vairāk nekā divas trešdaļas šo personāla resursu tomēr strādāja darbības programmu nodaļās, nevis vērtēšanas vienībā, un vērtēšana bija tikai viens no daudziem pienākumiem, kas bija uzticēti šiem darbiniekiem. |
Finansējums pamatprogrammu vērtēšanai ir mazāks, nekā to iesaka Komisija
|
62. |
Līdzekļus, kas paredzēti vērtēšanai, var izteikt arī procentuāli no visām budžeta apropriācijām, kas piešķirtas programmai. Revīzijā iegūtie skaitļi liecināja, ka pētniecības programmām ES dalībvalstīs tie parasti ir 0,1 % līdz 2 %. Komisijas pamatnostādnēs ir ieteikts vērtēšanai atvēlēt 0,5 % no programmas budžeta (38). Tomēr lielākām programmām apjoma ekonomija nozīmē, ka pietiktu ar mazāku daļu no programmu budžeta. |
|
63. |
Salīdzinot Komisijas vērtēšanas izdevumus 2003.–2006. gadā un budžeta apropriācijas katram ģenerāldirektorātam, tika konstatēts, ka vidējais rādītājs ir aptuveni 0,15 %, kas ir būtiski zem Komisijas ieteiktā līmeņa. Sīkāka analīze par 2006. gadu rāda, ka Informācijas sabiedrības ĢD par vērtēšanu iztērēja aptuveni četras reizes vairāk nekā Pētniecības ĢD salīdzinājumā ar apropriācijām, kas ir to pārziņā. Turklāt Pētniecības ĢD uz katru miljonu EUR no gada budžeta tikai 0,7 % ierēdņa pilna darba laika ir veltīti vērtēšanai, turpretī Informācijas sabiedrības ĢD piešķir divtik. |
|
64. |
Kā atspoguļots šajā ziņojumā, šīs papildu pūles, ko ieguldījis Informācijas sabiedrības ĢD, ir devušas rezultātu: vērtējuma tvērums ir aptverošāks (sk. 13. un 46. punktu), un – kā redzams Palātas pārbaudītajā vērtēšanas pētījumu paraugā – ir izmantotas metodoloģijas, kas ir piemērotākas vērtēšanas vajadzībām (sk. 84. punktu). |
|
65. |
Palātas veiktais izmaksu novērtējums, kas balstīts uz Komisijas sniegtajiem datiem, rāda, ka vērtēšanas sistēma, kuras pamatā ir šajā ziņojumā iekļautie priekšlikumi, vidēji veidotu mazāk nekā 0,4 % no Septītās pamatprogrammas budžeta apropriācijām un iekļautu ekspertu grupu izmaksas, pētījumus, par kuriem slēgti apakšlīgumi, personāla izmaksas gan kopējā vērtēšanas birojā, gan pašreizējās katram ĢD raksturīgajās vērtēšanas vienībās, kā arī dažādas citas izmaksas (39). |
Ieteikumi
66. Komisijas “pētniecības ģenerāldirektorātiem” jāapsver kopēja vērtēšanas biroja izveide papildus pašreizējām vērtēšanas vienībām katrā ĢD. Saskaņā ar pašreizējo praksi citās politikas jomās šis birojs varētu koordinēt Komisijas vērtēšanas pasākumus pamatprogrammai kopumā. Šādas kopējas atbalsta funkcijas ir iepriekš ieteiktas ģenerāldirektorātiem, kas īsteno pamatprogrammas (40), un tās var kļūt vēl svarīgākas nākotnē līdz ar EPP izveidi un programmu īstenošanas deleģēšanu izpildaģentūrām. 67. Komisijai jāturpina izmantot vērtēšanas ekspertu grupas, kas tai palīdzētu veikt vērtēšanas pasākumus, tomēr jāapsver, kā saskaņot ekspertu grupu struktūru ar kopējo pamatprogrammas programmu struktūru. To varētu darīt, veidojot ekspertu grupas īpašajām programmām un, ja vajadzīgs, apakšprogrammām (sk. IV pielikumu). Turklāt šīs ekspertu grupas jāveido pietiekami agri, lai tās sniegtu efektīvu atbalstu Komisijai un turpinātu to darīt programmu izstrādes posmā un pēc tam. 68. Komisijai jāpārskata pamatprogrammu un tajās ietilpstošo programmu vērtēšanai izmantojamie līdzekļi.
Vērtēšanas metodoloģijas un paņēmieni
|
69. |
Efektīva vērtēšana prasa izmantot atbilstīgas metodoloģijas un paņēmienus. Palāta pārbaudīja, kādā mērā bija izstrādātas īpašas pamatnostādnes pamatprogrammu vērtēšanai, vai vajadzības pēc informācijas bija savlaicīgi un pienācīgi analizētas un vai svarīgi dati bija darīti pieejami vērtētājiem. Ņemot vērā Komisijas (vai tās uzdevumā) veiktos vērtēšanas pētījumus, Palāta pārbaudīja, vai atsevišķos pētījumos izmantotie paņēmieni sniedza pietiekamu pamatu to vērtēšanas jautājumu risināšanai, kas izvirzīti piecu gadu novērtējumos. Palāta arī pievērsās jautājumam par iespējamo ieguldījumu, ko pamatprogrammu vērtēšanai varētu sniegt valstu līmeņa vērtējumi. |
Pamatprogrammām raksturīgu standartu un pamatnostādņu izmantošana
|
70. |
Budžeta ĢD ir izdevis vairākus paziņojumus, kuros tas ir formulējis savu vērtēšanas politiku un paredzējis noteikumus tās īstenošanai, kā arī izstrādājis Komisijas mēroga standartu kopumu (sk. 14. un 55. punktu) (41). Citās politikas jomās kompetentie ĢD arī ir izstrādājuši īpašas vērtēšanas rokasgrāmatas (42). |
|
71. |
Tomēr tas tā nav attiecībā uz pamatprogrammām. Komisija ir publicējusi (vai finansējusi) vairākas metodoloģijas rokasgrāmatas un instrumentu kopumu vērtēšanas pasākumiem pētniecības jomā (43), tomēr šīs publikācijas nesniedz ne īpašas norādes par to, kā veikt pamatprogrammu vērtēšanu, ne arī definē to, kā Komisijas darbiniekiem vai ārējiem ekspertiem jālieto galvenie jēdzieni vai terminoloģija. Tas ir pastiprinājis turpmāk aprakstītās problēmas. |
Vajadzīgie dati un datu vākšana
Informācijas vajadzības nav pietiekami analizētas
|
72. |
“Pētniecības ģenerāldirektorāti” nav pievērsuši pietiekamu uzmanību tam, lai saprastu, kādi dati ir vajadzīgi vērtēšanai un uzraudzībai. Vajadzīgos datus Komisija precizēja vēlu programmu izstrādes posmā un pienācīgi neņēma vērā vispārējās vērtēšanas vajadzības, nevis veica sistemātisku un visaptverošu informācijas vajadzību analīzi. Sociālekonomiskā anketa Sestajai pamatprogrammai bija vienīgais ģenerāldirektorātu kopīgais mēģinājums vienoties par šādiem datiem (sk. 76. punktu). Tomēr 2004. gadā (trīs gadus pēc programmu posma sākuma) šo anketu pabeidza gatavot, un tā galvenokārt aptver tādus aspektus kā abu dzimumu pētnieku līdzdalība programmās un programmu ietekme uz vidi, nevis zinātniskos faktiskos rezultātus (piem., intelektuālā īpašuma tiesību jautājumus, publikācijas u. c.), iznākumu vai ietekmi. |
|
73. |
Programmu novērtēšana ir ļoti atkarīga no trīs veidu datu pieejamības:
|
|
74. |
Divu pēdējo veidu datiem jo īpaši jābūt pieejamiem Komisijai, taču to problēmu dēļ, kas saistītas ar Komisijas iekšējām IT sistēmām, kuras ir avots lielākajai daļai datu par programmu pārvaldību un dalībniekiem (44), praksē ir novērotas nozīmīgas grūtības šajā sakarā (45). |
|
75. |
Par to liecina ievērojama kavēšanās – 2002.–2005. gada posmā 173. panta ziņojumus un ikgadējos uzraudzības ziņojumus Komisija sagatavoja attiecīgi par sešpadsmit mēnešiem un septiņiem mēnešiem vēlāk (46). Tā kā šo informāciju pastāvīgi iesniedza novēloti, tās derīgums bija ierobežots. |
Neefektīva pieeja vērtēšanas datu ieguvē no dalībniekiem
|
76. |
Kopš Piektās pamatprogrammas Komisija ar līguma starpniecību ir sistemātiski prasījusi dalībniekiem sniegt datus, kas vajadzīgi, lai mērītu programmas mērķu sasniegšanas faktisko rezultātu, iznākumu un ietekmi. Prasības bija šādas:
|
|
77. |
Šīs līgumprasības sniegt datus ir uzlikušas dalībniekiem nevajadzīgu administratīvu slogu. Piemēram, Sestās pamatprogrammas ikgadējai aptaujas anketai datus vāc daudz biežāk, nekā vajadzīgs, un no visas projektu datu kopas, lai gan pietiktu ar reprezentatīvu paraugu, un tādējādi var rasties zināms vērtēšanas izraisīts “pagurums”. Turklāt šī informācija ir vākta nepareizā laikā: daudzi pakārtotie jautājumi, kuriem datus vāc, pēc būtības ir vidēja termiņa un ilgtermiņa, tādējādi datu vākšana projekta līguma darbības laikā ir pēc definīcijas priekšlaicīga (47). Tāpēc informācijai, kas sniegta ar Piektās un Sestās pamatprogrammas vērtēšanas instrumentu starpniecību, ir bijis tikai ierobežots praktiskais pielietojums. |
|
78. |
Tomēr neviena no esošajām sistēmām neparedz standartizētu informācijas vākšanu projekta dzīves cikla beigās (vai īsi pēc tā). Aptaujātās ieinteresētās personas ierosināja, ka šāda informācija varētu iekļaut projekta mērķu sasniegšanu, paredzētus (vai neplānotus) rezultātus un to, kā dalībnieki uztver Kopienas pievienoto vērtību. Šāda informācija varētu arī kalpot par pamatu pabeigtu projektu ārējām pārbaudēm (48). |
|
79. |
Līdztekus plašākai scientiometriskās pieejas izmantošanai (piemēram, citātu analīze) projektu rezultātu novērtēšanā (sk. 83. punktu) minētā informācija varētu nodrošināt pamatu, lai Komisija virzītos uz Kopienas līdzfinansētu RTD pasākumu finansēšanas sistēmu, kas vairāk atkarīga no rezultātiem (49). |
Citi nepietiekami izmantotie datu avoti
|
80. |
Nav pietiekami izmantoti citi esošie datu avoti Komisijā un dalībvalstīs (piem., valstu RTD programmu un finansēšanas aģentūru datubāzes un Kopienas Pētniecības un attīstības informācijas dienests (CORDIS), kuru izveidoja Komisijas publikāciju birojs (50)). |
Komisijas veiktie vērtēšanas pētījumi
Palātas pārbaudītie ziņojumi
|
81. |
Palāta pārbaudīja 86 vērtēšanas pētījumus, kurus kopš 2000. gada veica Komisija (vai tās uzdevumā): visus 36 pētījumus, kas ir pamatā 2004. gadā publicētajam piecu gadu novērtējumam, un turpmākos 50 pētījumus, kuri pabeigti pēc tam. No tiem tikai 23 pētījumus var uzskatīt par īstiem pamatprogrammas un tās programmu novērtējumiem (sk. 5. attēlu). 5. attēls Pārskats par Komisijas (vai tās uzdevumā) veiktajiem vērtēšanas pētījumiem 2000.–2006. gadā
|
Vērtēšanā koncentrējas uz uzraudzības jautājumiem, bet neizvērtē iznākumu un ietekmi
|
82. |
No Palātas veiktās šo īpašo vērtēšanas pētījumu metaanalīzes izriet divi galvenie apsvērumi:
|
Nepietiekama pievēršanās inovatīvu metodoloģiju attīstīšanai
|
83. |
Dominē tradicionālo metodoloģiju un paņēmienu izmantošana (konkrēti, apsekojumi, dokumentu pārbaude un intervijas) vērtējumiem, kas veikti 2000.–2006. gadā (sk. 6. attēlu). Turklāt daudzas citas sarežģītas, bet tajā pašā laikā vispāratzītas vērtēšanas metodes un paņēmieni nebija izmantoti (vai arī bija izmantoti tikai ļoti reti), proti:
|
|
84. |
Vērtēšanas pētījumus, kas mēģina risināt kādas no metodoloģiskajām grūtībām publiskās intervences novērtēšanā pētniecībā (sk. I pielikumu), izmantoja tikai atsevišķos gadījumos:
|
|
85. |
Palātas aptaujātās ieinteresētās personas uzskatīja, ka Komisijas vērtējumu lietderību un nozīmīgumu iespējams uzlabot. Tas norāda, ka ir vajadzīga turpmāka metodoloģiju izstrāde, lai vērtēšanas sistēma attīstītos un lai būtu ņemts vērā pamatprogrammu mainīgais raksturs (sk. 7. punktu) (57). |
Problēmas, kas norādītas piecu gadu novērtējumos, nevarēja risināt, pamatojoties uz Komisijas īpašajiem vērtēšanas pētījumiem
|
86. |
Par to liecina arī nozīmīgas grūtības, ar kurām saskārās 2004. gada piecu gadu novērtējuma ekspertu grupa (58), atbildot uz darba uzdevumā piedāvātajiem vērtēšanas jautājumiem. Daudzas no šīm problēmām nemaz nevarēja izskatīt tāpēc, ka Komisija iepriekš nebija veikusi pienācīgus pētījumus (vai šādi pētījumi nebija veikti Komisijas uzdevumā) un ekspertu grupas dalībniekiem nebija iespējams savlaicīgi pasūtīt šādus pētījumus (sk. 7. attēlu). 7. attēls Vērtēšanas jautājumu atspoguļojums 2004. gada piecu gadu novērtējumā
|
|
87. |
Turklāt ir atzīmēts, ka ekspertu grupas dalībnieki spēja atbildēt uz darba uzdevumā konkretizētajiem jautājumiem tikai par tiem aspektiem, kuriem programmās bija definēti skaidri un skaitļos izsakāmi mērķi (tādi kā mazo un vidējo uzņēmumu līdzdalības daļa). |
Valstu līmenī veiktie pamatprogrammu vērtējumi
|
88. |
Vairākas dalībvalstis un asociētās valstis pašas veic vērtējumus pamatprogrammām un šajos vērtējumos risina svarīgus un interesantus jautājumus no sava redzes viedokļa (59). Pēdējos astoņos gados 14 šādi pētījumi ir veikti deviņās dalībvalstīs un vienā asociētajā valstī. |
|
89. |
Kaut arī Komisija mudināja, ja iespējams, lietot standartizētu pieeju, šie valstu ietekmes pētījumi ir ļoti neviendabīgi (60). Tāpēc iespējas apkopot, apvienot vai salīdzināt rezultātus ir ierobežotas, jo šajos pētījumos nav ievērota harmonizēta metodoloģija. Turklāt, tā kā šie pētījumi attiecas uz konkrētu valsti, tie tikai daļēji var ietvert Eiropas sadarbības dimensiju. |
|
90. |
Komisija 2007. gada ERA Zaļajā grāmatā apgalvoja, ka ir svarīgi, lai ERA līmenī būtu pieejama precīza analīze par pētniecības pasākumu un politiku – tostarp dalībvalstu un ES – ietekmi un efektivitāti. Tā arī atzina, ka pašreizējie pasākumi nav pietiekami, lai risinātu šo problēmu, jo katrā intervences līmenī vērtējumus veica atsevišķi no citiem (61). |
Ieteikumi
91. Komisijai jāizstrādā pamatprogrammu finansēto pasākumu novērtēšanas rokasgrāmata, kurā jāiekļauj galveno jēdzienu definīcijas un terminoloģija un jāparedz atbilstīgas metodoloģijas atsevišķiem vērtēšanas pasākumiem. Par pamatu šai rokasgrāmatai jāņem esošie metodiskie līdzekļi un instrumenti un tā regulāri jāatjaunina. 92. Komisijai jādefinē savas informācijas vajadzības, bet jāņem vērā, ka jāierobežo administratīvais slogs, kas gulstas uz dalībniekiem. 93. Komisijas pienākums ir savlaicīgi sniegt informāciju par pamatprogrammu īstenošanas uzraudzību. Saskaņā ar PP7 “Līdzdalības noteikumu” prasībām steidzami jārisina problēmas saistībā ar Komisijas IT sistēmām to datu pārvaldīšanai, kas attiecas uz programmu pārvaldību un dalībniekiem. 94. Būtiski jāsamazina dalībnieku ziņošanas prasības Komisijai, un apsekojumi jāveic tikai izlases veidā. Līgumprasības iesniegt uz rādītājiem balstītus ietekmes datus par katru projektu jāaizstāj ar īsu pašnovērtējumu pēc projekta pabeigšanas. 95. Komisijai savos vērtējumos plašāk jāizmanto esošie svarīgu datu papildavoti (gan Komisijā, gan dalībvalstīs). 96. Komisijai jāizmanto visi pieejamie vērtēšanas paņēmieni. Turklāt tai jāatbalsta novatorisku pieeju izstrāde, lai risinātu metodoloģiskas grūtības, kas raksturīgas publisku intervenču vērtēšanai pētniecībā (sk. I pielikumu), un jāizmanto šīs pieejas savos vērtējumos. 97. Komisijai jāapspriežas ar dalībvalstīm par to, kā palielināt ieguvumu, ko sniedz pamatprogrammu vērtēšana valstu līmenī.
Vērtēšanas konstatējumu izplatīšana un izmantošana
|
98. |
Vērtējumam jāsniedz būtiska informācija un analīze, ko var efektīvi izmantot programmas pārvaldībai un politikas veidošanai. Proti, vērtēšanai jāsniedz pamatotas atziņas par publiskas intervences stiprajām un vājajām pusēm, lai no tām varētu mācīties. Palāta pārbaudīja, kādā mērā vērtēšanā bija atbilstīgi noteikti termiņi, kā tika paziņoti konstatējumi, kā tie tika izplatīti ieinteresētajām personām ārpus Komisijas un kā Komisija ņēma vērā ieteikumus, lai pārskatītu kārtējās programmas (“mācību programmas”). |
Vērtēšanas termiņu noteikšanā nebija ņemts vērā, kāda veida informāciju var reāli iegūt
|
99. |
Palāta atzīst, ka ir tādas analīzes, kurām ir vajadzīga ilgtermiņa perspektīva (piem., iznākuma un sociālekonomiskās ietekmes novērtēšanai), un ka daži aspekti ir saistīti ar konkrētu plānošanas posmu (piem., programmas mērķi – arī tad, ja tie attiecas uz konkrētu zinātnes jomu), bet citi nav (sk. 8. attēlu). Tomēr Komisija savos vērtēšanas pasākumos nav izmantojusi tādu pieeju, kas ņemtu šos laikposmus vērā. |
|
100. |
Tiesību aktos prasīts, lai Komisijas galvenie vērtēšanas pasākumi koncentrētos tikai uz piecu gadu periodu pirms piecu gadu novērtējuma un tādējādi aptvertu divu secīgu plānošanas posmu daļas. Rezultātā vidēja termiņa un ilgtermiņa iznākums un ietekme tikpat kā nav apskatīta. Līdz ar to piecu gadu novērtējumi galvenokārt pievēršas uzraudzības aspektiem, īstermiņa programmas plānošanas jautājumiem un vispārīgiem konstatējumiem par pamatprogrammu orientāciju. Palāta ir gandarīta, ka PP7 tiesību aktos vairs nav prasības pēc piecu gadu novērtējumiem vai jebkura cita iepriekš definēta aptveramā laikposma. 8. attēls Uzraudzības un vērtēšanas jautājumi dažādos laikposmos
|
||||||||||||||||||||||||||
|
101. |
Piecu gadu novērtējumu nepilnības pamatprogrammu iznākuma un ietekmes novērtēšanā atzīmējuši arī Komisijas eksperti:
|
|
102. |
Savlaicīguma jautājums arī ietekmē tiesību aktos prasītos īpašos novērtējumus. Piemēram, 2004. gada R. Marimón ziņojums, kurā analizēti jaunie instrumenti, kas ieviesti Sestajā pamatprogrammā (2003.–2006. g.), tika prasīts pārāk agri, un rezultātā bija maz praktiskās pieredzes (vai arī tās vispār nebija) un empīrisko pierādījumu, uz kā balstīt ziņojuma secinājumus (65). |
Paziņošana un izplatīšana
|
103. |
Komisija pati var izstrādāt un pielāgot darbības programmas saskaņā ar īstemiņa cikliem, ja šīs programmas apstiprina attiecīgā programmas komiteja. Tādējādi varētu veikt pielāgojumus programmas pārvaldībā un arī pārdalīt apakšprogrammu budžetu. Netika atrasti pierādījumi tam, ka Komisija izmanto šo iespēju (sk. 107. punktu). |
|
104. |
Turklāt, ņemot vērā to, kā pamatprogrammas plāno un pieņem, Komisijai gandrīz nav iespēju izdarīt nozīmīgas izmaiņas, piemēram, grozīt programmas mērķus vai budžetu starp apakšprogrammām. Tikai likumdevējs var ieviest šādas plašas izmaiņas, veicot grozījumus pamatprogrammu tiesību aktos (piemēram, 2010. gadā Septītajai pamatprogrammai) vai pieņemot turpmākas pamatprogrammas. Tāpēc tiesību aktos parasti paredzēts, ka galveno vērtēšanas pasākumu laiks jāizvēlas tā, lai rezultātus varētu visnoderīgāk ņemt vērā politikas veidošanā. |
|
105. |
Tāpēc daži no Komisijas novērtējumu galvenajiem lietotājiem ir paši “pētniecības ģenerāldirektorāti” (66). Taču pamatprogrammu tiesību akti arī skaidri nosaka, ka novērtējumi jādara zināmi Eiropas Parlamentam un Padomei. |
|
106. |
Palātas veiktajā apsekojumā Eiropas Parlamenta ITRE komitejā un Padomes CREST komitejā vairums aptaujāto tomēr norādīja, ka nejūtas pietiekami informēti par pamatprogrammu īstenošanu un rezultātiem (sk. 9. attēlu) (67).
|
Vērtējumu konstatējumu pēcpārbaude
|
107. |
Gada vērtēšanas pārskatos Komisija sniedz kopsavilkumu par konstatējumiem un darbībām, kas veiktas, ņemot vērā tās vērtējumus (68). Attiecībā uz pēcpārbaudi Komisija ir arī sniegusi oficiālas atbildes uz tiesību aktos prasīto piecu gadu novērtējumu un īpašo novērtējumu konstatējumiem un ieteikumiem un, cik tas iespējams, ir attiecīgi rīkojusies, lai risinātu norādītās nepilnības. Tomēr tas tā nebija saistībā ar daudziem citiem pārbaudītajiem novērtējuma ziņojumiem un netika atrasti pierādījumi tam, ka to konstatējumus un ieteikumus ņēma vērā, lai izdarītu grozījumus darba programmās. Arī ģenerāldirektorātu ABB budžeta pārskati un gada darbības pārskati neparāda, kādā mērā vērtējumu konstatējumiem ir sekojusi rīcība. |
Ieteikumi
108. Komisijai jānosaka vērtēšanas veids un tvērums, ko var pamatoti paredzēt tiesību aktos norādītajā laikā (2008., 2010. un 2015. gadā), jāpaskaidro, kā vērtējumus var izmantot, lai pielāgotu programmas (“mācību programmas”), un jāprecizē, kādu devumu vērtējumi var dot politikas lēmumiem. Proti, Komisijai jākonkretizē tās paredzētā pieeja attiecībā uz iepriekšējo un pašreizējo pamatprogrammu ilgtermiņa rezultātu novērtēšanu, ņemot vērā to, ka var paiet 7–10 gadi, kamēr šādi rezultāti īstenojas (sk. 8. attēlu). 109. Komisijai jāpārskata savu vērtējumu konstatējumu paziņošanas un izplatīšanas prakse, lai nodrošinātu, ka ieinteresētās puses saņem vajadzīgo informāciju. Konkrēti, “pētniecības ģenerāldirektorātu” pienākums ir sniegt oficiālas atbildes uz visiem novērtējumiem, un kopā ar savām atbildēm savlaicīgi jādara šie pētījumi publiski pieejami. “Pētniecības ģenerāldirektorātiem” savos ABB budžeta pārskatos un gada darbības pārskatos arī jāziņo par veikto pēcpārbaudi un jāizmanto ieteikumi darba programmu atjaunināšanā un turpmāko programmu plānošanā.
VISPĀRĒJI SECINĀJUMI
|
110. |
Palāta atzīst, ka pētniecības un tehnoloģiju attīstības programmu vērtēšana, un jo īpaši to ilgtermiņa rezultātu novērtēšana, pēc savas būtības ir sarežģīta un labāko praksi ir grūti formulēt. |
|
111. |
Palāta uzskata, ka vērtēšanai ir būtiska loma programmu pārvaldībā, turpmākā plānošanā un politikas veidošanā. Vērtēšana arī kalpo par pamatu pārskatatbildībai. Tā sniedz vērtīgu informāciju par sasniegtajiem paredzētajiem (vai neparedzētajiem) rezultātiem, to, kādā mērā ir sasniegti programmas mērķi, programmu nozīmīgumu un lietderību un programmas īstenošanas produktivitāti un efektivitāti. Tā kā par pamatprogrammu vispārējo orientāciju, budžeta jautājumiem un programmas koncepciju lemj Eiropas Parlaments un Padome, ir vajadzīga caurskatāma, ticama un stabila vērtēšanas sistēma, kas šīm iestādēm sniegtu atbilstīgu informāciju. |
|
112. |
Komisija 2000. un 2002. gadā izveidoja vispārēju vērtēšanas sistēmu un 2007. gadā izdarīja tajā grozījumus. Kaut arī laika posmā, uz kuru attiecas Palātas revīzija, netika konstatēti būtiski uzlabojumi veidā, kādā pamatprogrammu un tajās ietilpstošo programmu vērtēšanu plāno, izstrādā un īsteno, kopumā “pētniecības ģenerāldirektorāti” bija izpildījuši Komisijas oficiālās prasības. |
|
113. |
Laika posmā, kas aptverts šajā ziņojumā, “pētniecības ģenerāldirektorāti” bija izveidojuši vērtēšanas sistēmu, kā tas paredzēts pamatprogrammu tiesību aktos, un Komisija var parādīt ievērojamu kopumu vērtēšanas pētījumu. Taču paliek spēkā fakts, ka maz ir zināms vai arī nekas nav zināms par programmas mērķu sasniegšanu un pamatprogrammu rezultātiem. Tas tāpēc, ka vērtēšana galvenokārt bija vērsta uz īstemiņa jautājumiem, kas saistīti ar programmu ieviešanu. Rezultātā Komisijas vērtējumu lietderīgums bija ierobežots politikas veidotājiem, ieinteresētajām personām un pat pašai Komisijai. |
|
114. |
Ņemot vērā vērtēšanas nozīmīgumu programmas pārvaldībā un politikas veidošanā, Komisijas pieeja pamatprogrammu un tajās ietilpstošo programmu vērtēšanā jāpārskata, ievērojot jaunus politiskus izaicinājumus, palielinātu finansējumu, Kopienas pētniecības politikas orientācijas paplašināšanos un neseno Komisijas reformu. To savā 2007. gada ziņojumā ieteica arī EURAB. |
|
115. |
Palāta uzskata: ja turpmāko pamatprogrammu programmas koncepcijā izmantotu skaidri formulētu intervences loģiku, programmas būtu koncentrētākas un labāk strukturētas. Intervences loģisko modeļu izmantošana būtu arī ieguldījums Komisijas “labākas reglamentācijas” politikā, kuras mērķis ir veiksmīgāk saplānota, vienkāršāka, efektīvāka un saprotamāka normatīvā vide (69). |
|
116. |
Pamatprogrammu un tajās ietilpstošo programmu vērtēšana būtu efektīvāka, ja programmas mērķi un rādītāji būtu skaidrāki jau no paša sākuma, ja “pētniecības ģenerāldirektorāti” vienotos par stabilu, bet ne pārāk ierobežojošu vērtēšanas stratēģiju un ja tiktu izmantotas progresīvākas vērtēšanas metodoloģijas, tostarp kvantitatīvas pieejas. |
|
117. |
Palāta arī atzīmēja vairākus aspektus, kuros Komisija var pārskatīt tās pašreizējo organizatorisko kārtību pamatprogrammu vērtēšanai. Uzlabojumu var panākt, ja:
|
|
118. |
Šajā ziņojumā ietvertie ieteikumi ir balstīti vai nu uz esošo praksi Komisijā, vai uz labu starptautisko praksi. Attiecībā uz resursiem ir skaidrs, ka ieteiktās pieejas ieviešana programmu vērtēšanai paaugstinātu izmaksas, tomēr Palāta uzskata, ka, visticamāk, tā dos vismaz līdzvērtīgu pozitīvu atdevi. |
Šo ziņojumu Revīzijas palāta pieņēma 2007. gada 22. novembra sēdē Luksemburgā.
Revīzijas palātas vārdā –
priekšsēdētājs
Hubert WEBER
(1) Ekonomiskās sadarbības un attīstības organizācija (ESAO) pētniecību un attīstību definē kā “.. sistemātisku radošu darbu, lai vairotu zināšanas, tostarp zināšanas par cilvēku, kultūru un sabiedrību, un šo zināšanu izmantošanu jaunu pielietojumu izstrādē” (sk. ESAO, Frascati Manual – Proposed standard practice for surveys on research and experimental development, Paris, 2002, 30. lpp.). Kopienas kontekstā akronīmu RTD lieto, lai aptvertu gan tehnoloģiju, gan pētniecību un attīstību.
(2) Pētniecības ĢD ir galvenais ģenerāldirektorāts, kas pārvalda un koordinē pamatprogrammas. No pieciem pārējiem ĢD, kas arī pārvalda īpašo programmu daļas, svarīgākais ir Informācijas sabiedrības un plašsaziņas līdzekļu ĢD (pārējie ir Enerģētikas un transporta ĢD, Uzņēmējdarbības un rūpniecības ĢD, Zivsaimniecības ĢD un Komisijas Kopīgais pētniecības centrs).
(3) Eiropadomes sanāksmē Lisabonā 2000. gadā nosprauda mērķi līdz 2010. gadam padarīt ES par dinamiskāko, konkurētspējīgāko un ilgtspējīgāko uz zinātnes atziņām balstīto ekonomiku ar pilnu nodarbinātību un lielu ekonomisko un sociālo kohēziju.
(4) Eiropadome 2002. gadā vienojās, ka kopējie izdevumi RTD un jauninājumiem Eiropas Savienībā jāpalielina, lai tie līdz 2010. gadam sasniegtu 3 % no IKP. Tā precizēja, ka divām trešdaļām šīs summas jābūt no privātām investīcijām (sk. Komisijas paziņojumu Padomei, Eiropas Parlamentam, Eiropas Ekonomikas un sociālo lietu komitejai un Reģionu komitejai “Ieguldījumi pētniecībā: Eiropas rīcības plāns”, COM(2003) 226, galīgā redakcija, 7. lpp.).
(5) Tiešas pārvaldības gadījumā Komisija veic darbības, kas vajadzīgas, lai īstenotu budžeta izpildes pasākumus, bez jebkādas to dalībvalstu vai trešu valstu līdzdalības, kurās atrodas līdzekļu saņēmēji.
(6) Līdz 2006. gadam tikai Sestajā pamatprogrammā vien ir piedalījušies vairāk nekā 22 000 publisku un privātu juridisku personu, galvenokārt daudzpartneru konsorcijos.
(7) Šī ir sadarbības metode, kas balstās uz starpvaldību brīvprātīgas sadarbības principu, jo īpaši uz savstarpēju mācīšanos, standartizāciju un labākās prakses apmaiņu.
(8) Padomes 2002. gada 25. jūnija Regula (EK, Euratom) Nr. 1605/2002 (OV L 248, 16.9.2002., 1. lpp.), 27., 48., 59. un 60. pants.
(9) Eiropas Komisija, Budžeta ĢD, D. Grybauskaitė ziņojums Komisijai (saskaņots ar priekšsēdētāju) “Reaģējot uz stratēģiskām vajadzībām: novērtēšanas pastiprināta izmantošana”, SEC(2007) 213, 2007. gada 21. februāris; Eiropas Komisija, Budžeta ĢD, M. Schreyer ziņojums Komisijai “Uzsvars uz rezultātiem: Komisijas pasākumu vērtēšanas stiprināšana”, SEC(2000) 1051, 2000. gada 26. jūlijs.
(10) Eiropas Parlamenta un Padomes 2006. gada 18. decembra Lēmums Nr. 1982/2006/EK par Eiropas Kopienas Septīto pamatprogrammu pētniecībai, tehnoloģiju attīstībai un demonstrējumu pasākumiem (2007. līdz 2013. gads) (OV L 412, 30.12.2006., 1. lpp.), 7. panta 1. punkts; uzraudzības informācija, ko Komisija sniedz programmas komitejām, ir definēta īpašajos programmu lēmumos (piem., sk. Padomes 2006. gada 19. decembra Lēmumu 2006/971/EK par īpašo programmu “Sadarbība”, ar ko īsteno Eiropas Kopienas Septīto pamatprogrammu pētniecībai, tehnoloģiju attīstībai un demonstrāciju pasākumiem (2007.–2013. g.) (OV L 400, 30.12.2006., 86. lpp.), 8. panta 4. punkts un V pielikums).
(11) Eiropas Komisijas 1986. gada 20. novembra ziņojums Padomei par Kopienas rīcības plānu saistībā ar Kopienas pētniecības un attīstības pasākumu novērtējumu 1987.–1991. gadam, COM(86) 660, galīgā redakcija, atbilde uz Padomes 1983. gada 28. jūnija rezolūciju.
(12) Eiropas Komisija, “Eiropas Savienības pētniecības un tehnoloģiju attīstības programmu piecu gadu novērtējums, 1992–1996”; neatkarīgu ekspertu grupas ziņojums Viscount Davignon vadībā (1997); Eiropas Komisija, “Eiropas Savienības pētniecības un tehnoloģiju attīstības programmu piecu gadu novērtējums, 1995–1999”; neatkarīgu ekspertu grupas ziņojums Joan Majó vadībā (2000. gada jūlijs); Eiropas Komisija, “Eiropas Savienības pētniecības pamatprogrammu piecu gadu vērtējums par laika posmu no 1999. līdz 2003. gadam”; neatkarīgu ekspertu grupas ziņojums Erkki Ormala vadībā (2004. gada 15. decembris).
(13) Eiropas Komisija, “Sestās pamatprogrammas jauno instrumentu efektivitātes novērtējums”, 2004. gada 21. jūnijs, augsta līmeņa ekspertu grupas ziņojums profesora Ramon Marimón vadībā.
(14) Eiropas Komisija, Budžeta ĢD, M. Schreyer ziņojums Komisijai “Uzsvars uz rezultātiem: Komisijas pasākumu vērtēšanas stiprināšana”, 2000. gada jūlijs, SEC(2000) 1051; Eiropas Komisija, Budžeta ĢD, priekšsēdētāja un M. Schreyer ziņojums Komisijai “Vērtēšanas standarti un laba prakse”, C(2002) 5267, 2002. gada 23. decembris.
(15) Eiropas Komisija, Budžeta ĢD, D. Grybauskaitė ziņojums Komisijai (saskaņots ar priekšsēdētāju) “Reaģējot uz stratēģiskām vajadzībām: novērtēšanas pastiprināta izmantošana”, SEC(2007) 213, 2007. gada 21. februāris.
(16) Eiropas Komisijas dienestu darba dokuments “Ietekmes izvērtējums un ex ante novērtējums” par “Septīto pamatprogrammu”, SEC(2005) 430.
(17) Eiropas Parlamenta Rūpniecības, pētniecības un enerģētikas komiteja (ITRE) (jo īpaši) atbild par rūpniecības politiku, pētniecības politiku (tostarp pētniecības atzinumu izplatīšanu un izmantošanu), kosmosa politiku, Kopīgā pētniecības centra darbību, Euratom līgumu, kā arī par informācijas sabiedrību un informācijas tehnoloģiju.
(18) CREST (Comité de la Recherche Scientifique et Technique – Zinātniskās un tehniskās pētniecības komiteju) izveidoja ar Padomes 1974. gada 14. janvāra rezolūciju, un tajā ietilpst valstu iestāžu pārstāvji, kas atbild par dalībvalstu zinātnes un tehnoloģiju politiku. CREST ir padomdevēja loma, tā informē Komisiju un Padomi, jo īpaši par jautājumiem, kas saistīti ar valstu pētniecības un attīstības politikas koordinēšanu un pamatprogrammu uzraudzību un vērtēšanu.
(19) Loģiskie modeļi, kas rāda, kā ieguldījums dažādās darbībās noved pie paredzētā rezultāta, ir vispiemērotākais veids intervences loģikas ilustrēšanai. Šie modeļi var precīzi paskaidrot pieņēmumus, kas pakārtoti programmas koncepcijai un tam, kā vispārējie mērķi sadalās darbības mērķos.
(20) Eiropas Komisija, Budžeta ĢD, “ES darbību vērtēšana: praktiska rokasgrāmata Komisijas dienestiem”, 2004. gada jūlijs, 87. un 106. lpp.
(21) “Eiropas Savienības pētniecības pamatprogrammu piecu gadu vērtējums par laika posmu no 1999. līdz 2003. gadam”, neatkarīgu ekspertu grupas ziņojums Erkki Ormala vadībā (2004. gada 15. decembris), 6. iedaļa “Pamatprogrammas vērtēšana”, 19. lpp.
(22) Ārējā atbalsta saņēmējvalstīm ir jāiesniedz loģiskie modeļi, lai saņemtu Kopienas finansējumu (Eiropas Komisija, “Atbalsta sniegšanas metodes”, 1. sējums “Projekta cikla pārvaldības pamatnostādnes”, 2004. gada marts, 5. iedaļa “Loģiskas sistēmas pieeja”).
(23) Regula (EK, Euratom) Nr. 1605/2002, 27. panta 3. punkts.
(24) Politikas jomas “08. Pētniecība” struktūras pamatā 2006. gadā bija kārtējā PP6 programmu posma īpašās programmas un apakšprogrammas (un tāpēc struktūra attiecīgi mainījās 2007. gadā), taču politikas jomā “09. Informācijas sabiedrība” kārtējo un iepriekšējo īpašo programmu apvienoja kā vienu ABB darbības jomu (Eiropas Komisija, Pētniecības ĢD, A direktorāts “Kopienas darbību koordinēšana, plānošana, programmu izstrāde un vērtēšana. 2006. gada pārvaldības plāns”, 20.12.2005.; Eiropas Komisija, Informācijas sabiedrības un plašsaziņas līdzekļu ĢD, 2006. gada pārvaldības plāns, 23.12.2005.).
(25) Pētniecības ĢD gadījumā ABM mērķi (un rādītāji šo mērķu sasniegšanas mērīšanai) mainījās katru gadu. Savukārt Informācijas sabiedrības ĢD lietoja daudzgadu mērķus, kas tomēr nebija tādi paši kā programmas mērķi (vai tie mērķi, kas precizēti darba programmas līmenī).
(26) Eiropas Komisija, Iekšējās revīzijas dienesta pārskats par SPP/ABM cikla efektivitāti un produktivitāti; Ģenerālsekretariāts un Budžeta ĢD, 2005. g., 4.1. punkts, 31. lpp.
(27) Eiropas Komisijas paziņojums Padomei par Kopienas rīcības plānu saistībā ar Kopienas pētniecības un attīstības programmu vērtēšanu, COM(83) 1, galīgā redakcija, 1983. gada 19. janvāris.
(28) Komisijas paziņojums Padomei un Eiropas Parlamentam “Neatkarīga ārējā uzraudzība un vērtēšana Kopienas rīcībai pētniecības un tehnoloģiju attīstības jomā” (COM(1996) 220, galīgā redakcija), 1996. gada 22. maijs.
(29) Katrs ĢD, kas īsteno pamatprogrammas, dokumentē savus plānotos vērtējumus gada (un daudzgadu) vērtēšanas plānos, taču nevar teikt, ka šie plānošanas dokumenti atspoguļo vērtēšanas stratēģiju kā tādu.
(30) Regula (EK, Euratom) Nr. 1605/2002, 27. panta 4. punkts.
(31) “Loi de programme pour la recherche no 2006–450”, 18.4.2006.; “Décret no 2006–1334 relatif à l'organisation et au fonctionnement de l'Agence d'évaluation de la recherche et de l'enseignement supérieur (AERES)”, 3.11.2006.
(32) Agencia Nacional de Evaluación y Prospectiva under the Ministerio de Educación y Ciencia: Orden ECI/1252/2005, 2005. gada 4. maijs, ar kuru izveido Comisión Asesora de Evaluación y Prospectiva (Vērtēšanas un prognozēšanas padomdevēju komisiju).
(33) Deutsche Forschungsgemeinschaft (DFG) 2004. gadā izveidoja specializētu institūtu Institut für Forschungsinformation und Qualitätssicherung (IFQ), kuru pilnvaroja izstrādāt un standartizēt vērtēšanas metodoloģijas un kvalitātes nodrošināšanu un veikt DFG finansēto RTD pasākumu novērtējumu.
(34) Saistībā ar PP7 Komisija izveidoja 15 ekspertu padomdevējas grupas, salīdzinot ar 12 ekspertu padomdevējām grupām PP6 un 17 ekspertu padomdevējām grupām PP5. Šīs ekspertu padomdevējas grupas sniedz padomus Komisijai par politikas jomu un programmu jautājumiem, kas saistīti ar pamatprogrammām. Tomēr jāmin, ka šīs ekspertu padomdevējas grupas pilnībā neatbilst pamatprogrammu struktūrai, jo ne katrai īpašajai programmai (vai apakšprogrammai) ir izveidota ekspertu padomdevēja grupa.
(35) Kanādā, lai pārraudzītu vērtēšanas sistēmu, gandrīz visos federālajos valdības departamentos ir izveidotas pastāvīgas vērtēšanas komitejas, kurās darbojas vecākie departamentu ierēdņi un parasti arī ārējās ieinteresētās personas (Kanādas Sociālo un humanitāro zinātņu pētniecības padomes Pastāvīgās vērtēšanas komitejas pilnvaras un locekļi).
(36) Eiropas Komisijas 2004. gada pārraudzības ziņojums par EK un Euratom pasākumu un attiecīgo īpašo programmu īstenošanu, 2005. gada augusts, 5. lpp.
(37) Eiropas Komisija, “Komisijas cilvēkresursu plānošana un optimizēšana, lai kalpotu ES prioritātēm”, SEC(2007) 530, 2007. gada 24. aprīlis.
(38) Eiropas Komisija, priekšsēdētāja un M. Schreyer ziņojums Komisijai “Vērtēšanas standarti un laba prakse”, C(2002) 5267, 2002. gada 23. decembris; Eiropas Komisijas dienestu darba dokuments “Ietekmes izvērtējums un ex ante novērtējums”, SEC(2005) 430, 2005. gada 6. aprīlis, 1. pielikums, 209. zemsvītras piezīme.
(39) Eiropas Pētniecības padomdevēja valde (EURAB) 2007. gadā arī ieteica palielināt resursus, kas paredzēti pamatprogrammu vērtēšanai (EURAB, “Recommendations on Ex-Post Impact Assessment”, 2007. gada jūlijs).
(40) Īpašais ziņojums Nr. 1/2004 par netiešo darbību pārvaldību pētniecības un tehnoloģiju attīstības jomā saskaņā ar Piekto pamatprogrammu attiecībā uz pētniecību un tehnoloģiju attīstību (1998.–2002. g.) (OV C 99, 23.4.2004.), 116. un 122. punkts.
(41) Eiropas Komisija, Budžeta ĢD, D. Grybauskaitė ziņojums Komisijai (saskaņots ar priekšsēdētāju) “Reaģējot uz stratēģiskām vajadzībām: novērtēšanas pastiprināta izmantošana”, SEC(2007) 213, 2007. gada 21. februāris; Eiropas Komisija, priekšsēdētāja un M. Schreyer ziņojums Komisijai “Vērtēšanas standarti un laba prakse”, C(2002) 5267, 2002. gada 23. decembris.
(42) Šādas vērtēšanas rokasgrāmatas ir 14 ģenerāldirektorātiem tām politikas jomām un programmām, par kurām šie ĢD atbild (Eiropas Komisija, Budžeta ĢD, Izvērtēšanas struktūrvienība, “Pārskats par vērtēšanas rokasgrāmatām Komisijā”, 2004. gada oktobris).
(43) Fahrenkrog, G. et al. “RTD Evaluation Toolbox – Assessing the Socio-Economic Impact of RTD-Policies”, IPTS-JRC, 2002; PREST et al. “Assessing the Socio-economic Impacts of the Framework Programme”, University of Manchester; 2002.
(44) Kaut arī Komisijai ir šāda informācija par dalībniekiem, bieži vien to nevar viegli izmantot detalizētai analīzei, jo dati par konkrētu dalībnieku neglabājas vienā vietā, kā arī tie var nebūt reģistrēti saderīgā formātā. Tāpēc ir grūti izsekot dalībnieka līdzdalībai laika gaitā, piemēram, lai novērtētu iemeslus, kāpēc dalībnieks nav piedalījies, un attiecības starp dalībniekiem, piemēram, lai pētītu tīklu izmantošanas ietekmi (sk. 84. punktu).
(45) Pārskats par 2006. finanšu gadu, 2.3. tabula; Pārskats par 2005. finanšu gadu, 7.13. punkts; Pārskats par 2004. finanšu gadu, 6.8. un 6.10. punkts; Pārskats par 2003. finanšu gadu, 6.9. un 6.70. punkts; Īpašais ziņojums Nr. 1/2004, 105.–108. punkts; Atzinums Nr. 1/2006 par priekšlikumu Eiropas Parlamenta un Padomes regulai, kas nosaka uzņēmumu, zinātniskās pētniecības centru un universitāšu dalību Septītajā pamatprogrammā un pētījumu rezultātu izplatīšanu (no 2007. līdz 2013. gadam), OV C 203, 25.8.2006., 57. punkts.
(46) Eiropas Kopienas dibināšanas līgums, 173. pants: “Katra gada sākumā Komisija nosūta ziņojumu Eiropas Parlamentam un Padomei. Ziņojums ietver informāciju par darbībām pētniecības, tehnoloģiju attīstības un rezultātu izplatīšanas jomā iepriekšējā gadā, kā arī darba programmu kārtējam gadam.”
(47) Datus no dalībniekiem nemēģināja sistemātiski vākt pēc projekta beigām, izņemot īpašu apsekojumu veikšanu saistībā ar novērtējumiem. Apsekojumu izmantošanu traucēja tas, ka tiesību aktos nav noteikts dalībnieku pienākums sniegt šādus analītiskus datus, pretēji tam, kā tas ir vairākās valstu RTD programmās (piem., Vācijā).
(48) Īpašais ziņojums Nr. 1/2004, 94. punkts; Atzinums Nr. 1/2006, 56. punkts.
(49) Pārskats par 2006. finanšu gadu, 7.33. punkts; Pārskats par 2005. finanšu gadu, 7.8. un 7.29. punkts; Atzinums Nr. 1/2006, 58.–61. punkts.
(50) CORDIS ir vienīgā datubāze, kas sniedz informāciju par piekšlikumiem, projektiem un rezultātiem, kuri ir kopēji visai pamatprogrammai, aptver vairākus programmu posmus un ir pieejama ārpus Komisijas, taču CORDIS datubāzē datus par atsevišķiem projektiem bieži neatjaunina pēc tam, kad priekšlikums ir izvēlēts. Līdz Sestajai pamatprogrammai un to ieskaitot, pamatprogrammu valsts un privātā sektora dalībniekiem nebija obligāti jāpublicē savi rezultāti (Eiropas Pētniecības padomdevēja valde (EURAB), “Scientific publication: policy on open access”, 2006. gada decembris).
(51) Hanne Foss Hansen “Choosing evaluation models: A discussion on evaluation design,” Evaluation, Vol 11 No 4, 2005, pp. 447–462.
(52) Līdz Sestajai pamatprogrammai un to ieskaitot, pamatprogrammu valsts un privātā sektora dalībniekiem nebija obligāti jāpublicē savi zinātniskie rezultāti. Brīvas publiskas piekļuves garantēšanu Kopienas finansētai pētniecībai, padarot publicēšanu obligātu, 2006. gada decembrī ieteica EURAB. Tā arī ierosināja Komisijai izveidot uz tīmekļa balstītu glabātavu publicētiem projektu rezultātiem (sk. EURAB, “Scientific publication: policy on open access”, 2006. gada decembris).
(53) Komisija atzīmē, ka plānotajai Septītajai pamatprogrammai mikroekonomiskās un makroekonomiskās ietekmes prognozēšanai izmantoja šādus modeļus (sk. Eiropas Komisijas 2004. gada pārraudzības ziņojums par EK un Euratom pasākumu un attiecīgo īpašo programmu īstenošanu, 2005. gada augusts, 23.–25. lpp.). Tomēr nekas neliecina par to, ka šis pamatprogrammas iespējamās ekonomiskās ietekmes izvērtējums ir saistīts ar kādu ex post novērtējuma plānu.
(54) Informācijas sabiedrības un plašsaziņas līdzekļu ĢD, “IST-RTD uzraudzība un vērtēšana, rezultātu un ietekmes rādītāji (2003–2004)”, 2005. g.; “Jauninājumu tīkli informācijas sabiedrības attīstībā un attīstībā Eiropā”, 2006. g.
(55) Informācijas sabiedrības un plašsaziņas līdzekļu ĢD noslēguma ziņojums “Eiropas Pētniecības telpas tīkli (ERAnets) – IST pētniecības dalībnieku sadarbības tīklu novērtēšana un to pāraugšana par sadarbību Eiropas Pētniecības telpā”, 2005. g.; “Vērtējums par virzību uz Eiropas pētniecības telpu saistībā ar informācijas sabiedrības tehnoloģijām”, 2005. g.; “Jauninājumu tīkli informācijas sabiedrības attīstībā un attīstībā Eiropā”, 2006. g.
(56) Informācijas sabiedrības un plašsaziņas līdzekļu ĢD, “Ietekmes novērtējumu pamatlīgums attiecībā uz pētniecību informācijas sabiedrības tehnoloģiju jomā”.
(57) EURAB, “Recommendations on Ex-Post Impact Assessment”, 2007. gada jūlijs.
(58) Eiropas Komisija, “Eiropas Savienības pētniecības pamatprogrammu piecu gadu vērtējums par laika posmu no 1999. līdz 2003. gadam”. Erkki Ormala vadītas neatkarīgu ekspertu grupas ziņojums (2004. gada 15. decembris), 1. pielikums.
(59) Eiropas Komisija, “EK pētniecības un attīstības politikas ietekme uz Eiropas zinātnes un tehnoloģijas kopienu. Valstu ietekmes pētījuma noslēguma kopsavilkuma ziņojums”, 1995.
(60) Eiropas Komisija, “Harmonizētas ietekmes pētījumu metodoloģijas koncepcija ES pētniecības un attīstības pamatprogrammām”, 1992.
(61) Eiropas Komisija, Komisijas dienestu darba dokuments “Eiropas Pētniecības telpa: jaunas perspektīvas”, SEC(2007) 412/2, 2007. gada 4. aprīlis, 3.3.3. sadaļa “Eiropas Pētniecības telpa un ietekme uz uzraudzību un vērtēšanu, kas balstīta uz faktiem”, 93. lpp.
(62) Jāatzīmē, ka dotāciju līgumus projektiem paraksta visā programmu posmā; pirmie līgumi parasti stājas spēkā programmas pirmā gada beigās. Šo līgumu ilgums parasti ir trīs līdz pieci gadi, tāpēc galīgos faktiskos rezultātus var gaidīt agrākais pēc četriem līdz sešiem gadiem.
Avots: Eiropas Revīzijas palāta.
(63) Eiropas Komisija, “Eiropas Savienības pētniecības pamatprogrammu piecu gadu vērtējums par laika posmu no 1999. līdz 2003. gadam”, Erkki Ormala vadītas neatkarīgu ekspertu grupas ziņojums (2004. gada 15. decembris), 6. iedaļa “Pamatprogrammas vērtēšana”, 19. lpp.
(64) Eiropas Komisija, “Evaluation Toolbox – Assessing the Socio-Economic Impact of RTD Policies” jeb tā sauktais “EPUB Toolbox”, ko izdevis Kopīgais pētniecības centrs (KPC) – Institute for Prospective Technological Studies (IPTS) and Joanneum Research (2002. gada augusts), kopsavilkums, 9. un 12. lpp.
(65) Eiropas Komisija, “Sestās pamatprogrammas jauno instrumentu efektivitātes novērtējums”, 2004. gada 21. jūnijs, augsta līmeņa ekspertu grupas ziņojums profesora Ramon Marimón vadībā, 20. lpp.
(66) European Policy Evaluation Consortium (EPEC), Technopolis France, “Study on the use of evaluation results in the Commission: Final report”, Dossier No 1 Synthesis report and annexes, 2005. gada maijs.
(67) Augstāks apmierinātības rādītājs CREST aptaujāto vidū (šie aptaujātie bieži ir arī programmas komiteju locekļi) var būt saistīts arī ar šo respondentu oficiālo lomu programmas īstenošanas uzraudzībā.
(68) Eiropas Komisijas dienestu darba dokuments “2004. gada vērtēšanas pārskats; kopsavilkums par Komisijas vērtēšanas konstatējumiem un darbībām”, SEC(2005) 587, 2005. gada 28. aprīlis.
(69) Eiropas Komisija, Budžeta ĢD, D. Grybauskaitė ziņojums Komisijai (saskaņots ar priekšsēdētāju) “Reaģējot uz stratēģiskām vajadzībām: novērtēšanas pastiprināta izmantošana”, SEC(2007) 213, 2007. gada 21. februāris, 4. lpp.
I PIELIKUMS
IETEKMES UN REZULTĀTU MĒRĪŠANA PUBLISKAJAI INTERVENCEI PĒTNIECĪBĀ UN TEHNOLOĢIJU ATTĪSTĪBĀ
Turpmāk ir minētas dažas no galvenajām metodoloģiskajām grūtībām ietekmes un rezultātu mērīšanā publiskajai intervencei pētniecībā un tehnoloģiju attīstībā.
|
— |
Attiecināšanas problēmas. Ar attiecināšanas problēmām sastopas vērtēšanā un izpildes mērīšanā. Šīs problēmas ir cieši saistītas ar “papildināmības” jautājumu, t. i., jautājumu par to, vai izmaiņas nebūtu notikušas arī tāpat. To, ka rezultātus ir grūti attiecināt uz konkrētu publisku intervenci, ietekmē arī daudzi ārēji faktori (kā citu politiku un programmu ietekme, izmaiņas tiesiskajā regulējumā, izmaiņas sabiedrībā u. c.). Turklāt pētniecībā gaidīto rezultātu nesasniegšana arī var būt veiksme. Nākamais sarežģījums ir nepārprotamas grūtības skaidri attiecināt pētniecības faktiskos rezultātus, nemaz nerunājot par iznākumu un ietekmi, uz RTD procesa īpašiem aspektiem vai pat atsevišķām vienībām, kas iesaistītas pētniecības pasākumā. |
|
— |
Mērīšanas problēmas
|
|
— |
Ar laika plānošanu saistītas problēmas. Nākamais šķērslis ietekmes vērtēšanā ir ievērojamā laika starpība starp pētniecības pasākumu un faktiskajiem rezultātiem un iznākumu, lai varētu novērtēt ietekmi. Dati ir jāvāc ilgtermiņā, lai izdarītu jēgpilnus un pārdomātus secinājumus. Šāds laika mērogs vērtējumam bieži nesaskan ar politikas veidotāju vēlmēm un vajadzībām, un ir jāatrod kompromiss starp vērtēšanas rezultātu agru nodošanu politikas veidošanai un pietiekamu laikposmu, kurā parādās sekas. |
|
— |
Projektu kļūdaina interpretācija. Atsevišķu programmas projektu iznākuma un ietekmes vērtēšanā jāņem vērā dilemma, ka tehnoloģiskie un zinātniskie rezultāti parasti ir sasniegti, izmantojot iepriekš padarītu darbu. Līdzīgi iespējams, ka pirms zinātnisko rezultātu publicēšanas un izmantošanas dalībnieks projektu rezultātus lieto citam darbam. Tāpēc projekts pats par sevi ne vienmēr ir piemērota vērtēšanas sistēma, jo īpaši attiecībā uz ilgāka termiņa iznākumu un ietekmi. |
|
— |
Ticamība, objektivitāte un neatkarība. Vērtējuma kvalitāte ir ievērojami atkarīga no tā, cik lielā mērā vērtētāji ir saistīti ar attiecīgo tematu, un tas nozīmē kompromisu starp izpratni un kompetenci, no vienas puses, un neatkarību un objektivitāti, no otras puses. Vērtējuma kvalitāte ir atkarīga arī no politikas veidotāju pieņēmumiem un interesēm un vērtējuma motīviem un nolūka. |
II PIELIKUMS
NOTEIKUMI ATTIECĪBĀ UZ UZRAUDZĪBU UN VĒRTĒŠANU LIKUMDEVĒJA LĒMUMOS (CETURTAJAI, PIEKTAJAI, SESTAJAI UN SEPTĪTAJAI PAMATPROGRAMMAI)
|
PP4 (1995–1998) (1) |
PP5 (1999–2002) (2) |
PP6 (2003–2006) (3) |
PP7 (2007–2013) (4) |
||||||||||
|
Pamatprogrammas lēmums. Padome un EP |
|||||||||||||
|
Eiropas Parlamenta un Padomes 1994. gada 26. aprīļaLēmums Nr. 1110/94/EK par Eiropas Kopienas Ceturto pamatprogrammu pētniecībai, tehnoloģiju attīstībai un demonstrējumu pasākumiem (no 1994. līdz 1998. gadam), 4. pants |
Eiropas Parlamenta un Padomes 1998. gada 22. decembraLēmums Nr. 182/1999/EK par Eiropas Kopienas Piekto pamatprogrammu pētniecībai, tehnoloģiju attīstībai un demonstrējumu pasākumiem (no 1998. līdz 2002. gadam), 5. un 6. pants |
Eiropas Parlamenta un Padomes 2002. gada 27. jūnijaLēmums Nr. 1513/2002/EK par Sesto Eiropas Kopienas pamatprogrammu attiecībā uz pētniecības, tehnoloģijas attīstības un izstāžu pasākumiem, kas veicina Eiropas pētniecības telpas izveidi un jauninājumus (no 2002. līdz 2006. gadam), 20. apsvērums, 4. un 6. pants, III pielikums |
Eiropas Parlamenta un Padomes 2006. gada 18. decembraLēmums Nr. 1982/2006/EK par Eiropas Kopienas Septīto pamatprogrammu pētniecībai, tehnoloģiju attīstībai un demonstrējumu pasākumiem (2007. līdz 2013. gads), 7. pants |
||||||||||
|
Uzraudzība |
|||||||||||||
|
|
|
|
||||||||||
|
|
|
|
|
||||||||||
|
|
|
|
|
||||||||||
|
173. pants. Ikgadējs ziņojums |
|||||||||||||
|
|
|
|
|
||||||||||
|
Starpposma novērtējums |
|||||||||||||
|
|
|
|
|
||||||||||
|
|
|
|
|
||||||||||
|
|
|
|
|
||||||||||
|
Piecu gadu novērtējums |
|||||||||||||
|
|
|
|
||||||||||
|
|
|
|
||||||||||
|
Galīgais novērtējums |
|||||||||||||
|
(sk. Lēmumu par īpašo programmu) |
|
|
|
||||||||||
|
Neatkarīgi eksperti |
|||||||||||||
|
|
|
|
|
||||||||||
|
Viena īpašās programmas lēmuma piemērs. Padome |
|||||||||||||
|
Padomes1994. gada 23. novembraLēmums 94/801/EK, 4. pants |
Padomes1999. gada 25. janvāraLēmums 1999/168/EK, 4. un 6. pants |
Padomes2002. gada 30. septembraLēmuma 2002/834/EK un Padomes Lēmuma 2002/835/EK 8. pants |
Padomes2006. gada 19. decembraLēmums 2006/971/EK par īpašo programmu “Sadarbība”, 8. pants |
||||||||||
|
Uzraudzība |
|||||||||||||
|
|
|
|
||||||||||
|
173. pants. Ikgadējs ziņojums |
|||||||||||||
|
|
|
|
|
||||||||||
|
Piecu gadu novērtējums |
|||||||||||||
|
|
|
|
||||||||||
|
Galīgais novērtējums |
|||||||||||||
|
|
|
|
||||||||||
|
Neatkarīgie eksperti |
|||||||||||||
|
|
|
|
|
||||||||||
|
Vispārīga informācija par pamatprogrammas struktūru |
|||||||||||||
|
|
|
|
||||||||||
|
|
|
|
||||||||||
|
|
|
|
||||||||||
(1) PP4: Informācijas un komunikāciju tehnoloģijas (Progresīvās komunikāciju tehnoloģijas un pakalpojumi (ACTS), Informācijas tehnoloģijas (ESPRIT), Tālvadības izmantošana);
Rūpniecības tehnoloģijas (Rūpniecības un materiālu tehnoloģijas (BRITE/EURAM), Standarti, mērījumi un testēšana (SMT)); Vide (Vide un klimats, jūras zinātnes un tehnoloģijas (MAST III)); Zinātnes par dzīvību un tehnoloģijas (Biotehnoloģija (BIOTECH 2), Biomedicīna un veselība (BIOMED 2), Lauksaimniecība un zivsaimniecība (FAIR), Ētiskie, juridiskie un sociālie aspekti (ELSA)); Enerģētika (Pētniecība un attīstība (JOULE), Demonstrējumi (THERMIE)); Transports (Transporta pētniecības programma), Mērķtiecīga sociālekonomiska pētniecība (TSER), Eiropas tehnoloģiju novērtēšanas tīkls (ETAN)); Sadarbība ar trešām valstīm un starptautiskām organizācijām (Starptautiska sadarbība (INCO)); Rezultātu izplatīšana un izmantošana (Jauninājumu programma); Zinātnieku mācību un mobilitātes stimulēšana (Zinātnieku mācības un mobilitāte (TMR), Marijas Kirī vārdā nosauktās stipendijas asociācija).
(2) PP5: četras tematiskās programmas (Dzīves kvalitāte un dzīvo resursu apsaimniekošana (Dzīves kvalitāte (Quality of Life)), Lietotājam draudzīga informācijas sabiedrība (IST), Konkurētspējīga un noturīga izaugsme (GROWTH), Enerģētika, vide un noturīga attīstība (EESD)); trīs horizontālas programmas (Kopienas pētniecības starptautiskās nozīmes apstiprināšana (INCO 2), Programma, kas veicina jauninājumus un mazo un vidējo uzņēmumu (MVU) līdzdalību (Jauninājumi/MVU (Innovation/SMEs)), Pētniecības potenciāla un sociālās ekonomikas zināšanu pamata uzlabošana (Uzlabošana (Improving))).
(3) PP6:“Kopienas pētniecības koncentrēšana un integrēšana”
|
— |
septiņas tematiskas prioritātes, kurās ir desmit programmas: Zinātnes par dzīvību, genomika un biotehnoloģija veselībai (tostarp modernā genomika un tās piemērošana veselībā, galveno slimību apkarošana), Informācijas sabiedrības tehnoloģijas, Nanotehnoloģijas un nanozinātnes, uz zinātnes atziņām balstīti daudzfunkcionāli materiāli un jauni ražošanas procesi un ierīces, Aeronautika un kosmoss, Pārtikas kvalitāte un drošība, Ilgtspējīga attīstība, globālās izmaiņas un ekosistēmas (tostarp ilgtspējīgas enerģijas sistēmas, ilgtspējīgs sauszemes transports, globālās izmaiņas un ekosistēmas), Pilsoņi un pārvalde sabiedrībā, kas balstīta uz zinātnes atziņām, |
|
— |
vairāku nozaru pētniecības pasākumi, kuri aptver plašāku pētniecības lauku un kuros ietilpst četras programmas: Politikas atbalsts un zinātnes un tehnoloģijas vajadzību paredzēšana, Horizontālās pētniecības pasākumi, iesaistot MVU, Konkrēti pasākumi starptautiskās sadarbības atbalstam, Kopīgā pētniecības centra (KPC) pasākumi, kas neattiecas uz kodoljautājumiem; īpašajā programmā “Eiropas pētniecības telpas strukturēšana” ir četras programmas: Pētniecība un jauninājumi, Cilvēku resursi, Pētniecības infrastruktūras, Zinātne un sabiedrība, īpašajā programmā “Eiropas pētniecības telpas pamatu stiprināšana” ir divas programmas: Atbalsts darbību saskaņošanai un Atbalsts saskaņotai politikas izstrādei. |
(4) PP7: īpašajā programmā “Sadarbība” ir desmit apakšprogrammas (Veselība, Pārtika, lauksaimniecība un biotehnoloģija, Informācijas un komunikācijas tehnoloģijas, Nanozinātnes, nanotehnoloģijas, materiāli un jaunas ražošanas tehnoloģijas, Enerģētika, Vide (tostarp klimata pārmaiņas), Transports (tostarp aeronautika), Sociālekonomiskās zinātnes un humanitārās zinātnes, Drošība un Kosmoss), īpašajā programmā “Idejas” ir viena apakšprogramma (Eiropas Pētniecības padome), īpašajā programmā “Cilvēki” ir piecas apakšprogrammas (Sākotnējā sagatavošana, Mūžizglītība, Rūpniecības un akadēmiskās aprindas, Starptautiskā dimensija, Īpašie pasākumi), īpašajā programmā “Iespējas” ir astoņas apakšprogrammas (Pētniecības infrastruktūras, Pētniecība MVU vajadzībām, Zināšanu reģioni, Pētniecības potenciāls, Zinātne sabiedrībā, Pētniecības politikas saskaņota attīstība, Starptautiskā sadarbība KPC darbības, kas nav saistītas ar kodoljautājumiem).
III PIELIKUMS
GALVENĀS ATŠĶIRĪBAS PĒTNIECĪBAS PROGRAMMU EX POST NOVĒRTĒJUMĀ EIROPAS SAVIENĪBĀ (PP4–PP6), ASV UN KANĀDĀ
|
|
ES (PP4–PP6) |
ASV |
KANĀDA |
|
Sistēmiskie jautājumi |
|||
|
Intervences loģika |
nav skaidri formulēta |
pārsvarā ir izmantota, netieša PART prasība (1) |
jāatspoguļo programmas priekšlikumā saskaņā ar RMAF prasību (2) |
|
Vērtēšanas stratēģija |
nav visaptveroša |
PART prasība (1) |
jāatspoguļo programmas priekšlikumā saskaņā ar RMAF prasību (2) |
|
Gaidāmo rezultātu konkretizēšana |
nav |
PART prasība (1) (tostarp jāizmanto kvantitatīvi rādītāji) |
jāatspoguļo programmas priekšlikumā saskaņā ar RMAF prasību (2) |
|
Vērtēšanas jautājumi, kurus uzdod |
Komisija kā programmas pārvaldītājs |
aģentūra kā programmas pārvaldītājs (izvērtē atbilstīgi OMB sistēmai) |
aģentūra kā programmas pārvaldītājs (izvērtē atbilstīgi TBS sistēmai) |
|
Organizatoriski jautājumi |
|||
|
Izstrādes stadija |
programmu plānošanas posmā |
programmu plānošanas posmā |
pabeigta pirms programmas sākuma |
|
Ekspertu grupu izmantošana |
Ad hoc ekspertu grupas konkrētiem vērtēšanas pasākumiem |
atkarīga no aģentūras/programmas |
pastāvīgas ekspertu grupas kā pastāvīgās komitejas |
|
Periodiskums |
noteikti datumi (saistīti ar programmu plānošanu, aptver iepriekšējos piecus gadus) |
divu līdz trīs gadu cikls (saistīts ar budžeta apstiprināšanu) |
līdz ar programmas atjaunināšanu |
(1) Programmu vērtēšanas reitingu instruments (Programme Assessment Rating Tool (PART)) kopš 2002. gada, sk. Pārvaldības un budžeta birojs (Office of Management and Budget (OMB)), Prezidenta padomnieku kabinets (Executive Office of the President), ASV.
(2) Rezultātos balstīta pārvaldības un pārskatatbildības sistēma (Results-based Management and Accountability Framework (RMAF)), sk. Kanādas Valsts kases sekretariāts (Treasury Board of Canada Secretariat (TBS)).
IV PIELIKUMS
EKSPERTU GRUPAS IESPĒJAMĀ STRUKTŪRA SEPTĪTAJAI PAMATPROGRAMMAI
KOMISIJAS ATBILDES
|
I. |
Kopienas pētniecības un tehnoloģiju attīstības (RTD) pamatprogrammas (PP) pēdējo desmitgažu laikā ir izveidojušās par pētnieku atbalsta mehānismu plašu, bet saskaņotu sistēmu 27 ES dalībvalstīs, asociētajās valstīs un citur. PP šodien ir lielākā starptautiskās pētniecības publiskā finansējuma sistēma pasaulē. PP pašlaik veido aptuveni 5 % no ES kopējā publiskā finansējuma pētniecībai. Kopienas ikgadējās finanšu līdzdalības ziņā PP7 aptuveni par 60 % pārsniegs PP6. Šīs unikālās sistēmas vērtēšana ir īpaši sarežģīts uzdevums visām iesaistītajām personām. Vērtēšanas un uzraudzības pasākumos pēdējo gadu laikā ir notikušas nozīmīgas izmaiņas, no kurām pēdējās ir saistītas ar PP7 sākšanu 2007. gadā. Vērtēšanas un uzraudzības sistēma Komisijā ir balstīta uz īstenojošo Komisijas dienestu tiešo atbildību. Šeit ir pieejami augstākā līmeņa eksperti. Vērtējumus pamatprogrammu līmenī veic ar koordinētām darbībām visos ģenerāldirektorātos (ĢD). |
|
IV. |
Komisija atzinīgi vērtē Palātas apsvērumu, ka ĢD, kuri īsteno PP (“pētniecības ĢD”), ir izpildījuši Komisijas prasības, tostarp tās, kas noteiktas 2000. un 2002. gada paziņojumos par vērtēšanu. PP vērtēšanā ir ieviestas nozīmīgas izmaiņas, tostarp būtiska pārstrukturēšana PP7 vajadzībām. Komisija uzskata arī, ka:
|
|
V. |
Ņemot vērā Palātas ieteikumus, Komisija:
|
|
1.–13. |
Kopienas pētniecības un tehnoloģiju attīstības (RTD) pamatprogrammas (PP) pēdējo desmitgažu laikā ir izveidojušās par pētnieku atbalsta mehānismu plašu, bet saskaņotu sistēmu 27 ES dalībvalstīs, asociētajās valstīs un citur. PP šodien ir lielākā starptautiskās pētniecības finansējuma sistēma pasaulē (sk. Palātas dokumenta 6. punktu). Kopienas ikgadējās finanšu līdzdalības ziņā PP7 aptuveni par 60 % pārsniegs PP6 (sk. Palātas dokumenta 1. attēlu). Šīs unikālās sistēmas vērtēšana ir īpaši sarežģīts uzdevums visām iesaistītajām personām. Vērtēšanas veidos pēdējo gadu laikā ir notikušas nozīmīgas izmaiņas (sk. Palātas dokumenta 2. attēlu), no kurām pēdējās ir saistītas ar PP7 sākšanu 2007. gadā (sk., piemēram, atbildes uz 23., 30., 41., 46., 72., 76.–78., 93. punktu). |
|
14. |
ĢD, kuri īsteno RTD PP (“pētniecības ĢD”), ir formāli izpildījuši Komisijas prasības par vērtēšanu, tostarp tās, kas noteiktas 2000. un 2002. gada paziņojumos par vērtēšanu (sk. Palātas dokumenta 54. punktu). |
|
22. |
Komisija piekrīt pamatotas intervences loģikas nozīmei programmu izstrādē un piekrīt uzskatam, ka Līguma 163. pantā noteiktās pilnvaras ir galvenais elements šajā ziņā. Turklāt liela nozīme ir Komisijas finansēto RTD darbību ieguldījumam citos Kopienas politikas virzienos un mērķos. Nesen Komisijas uzskats par ES RTD ieguldījuma lomu tika sīki izklāstīts atjaunotajā “Lisabonas” un “Ilgtspējīgas attīstības” stratēģijā (1). |
|
23. |
PP vienmēr ir bijušas balstītas uz pamatotu intervences loģiku. PP7 tas ir padarīts skaidrāks (2), tādējādi tiks papildus stiprināta Komisijas vērtēšanas un uzraudzības sistēma. |
|
25. |
Vairākas valstis, tostarp dažas dalībvalstis, attīsta šo pieeju, bet tā nekādā ziņā nav vienota pieeja. ASV un Kanādas pieredze var nebūt tik viegli nododama kā ES dalībvalstu pieredze. |
|
26. |
Komisija uzskata, ka Palātas revidētā perioda laikā tai ir bijusi efektīva vērtēšanas un uzraudzības sistēma (sk. arī atbildi uz 23. punktu). |
|
28. |
Ir sarežģīti, jo īpaši ņemot vērā pētniecības nenoteiktību, nodrošināt, lai visi mērķi precīzi atbilstu SMART kritēriju stingrajām definīcijām. Visās darba programmās PP7 ietvaros ir paredzētās ietekmes pārskati, kuri atbilst mērķiem, loģiskajam pamatam un darbībām, kas izklāstītas konkrētajās programmās. |
|
29. |
Lielāka nozīme ir pievērsta īsāka termiņa sasniegumiem Palātas revidētā perioda laikā; ir iespējams veikt vairāk ilgtermiņa analīžu. |
|
30. |
PP līmenī Komisija pašlaik izstrādā PP7 uzraudzības sistēmu, kuras mērķis ir nodrošināt rezultātu rādītāju saskaņotāku un sistemātiskāku izmantošanu. Notiek arī vairāki atsevišķi pasākumi rezultātu rādītāju izveidei dažādajos dienestos, kuri īsteno PP7. |
|
34. |
Komisija jau ir apņēmusies nodrošināt lielāku skaidrību programmu intervences loģikā, pamatojoties uz PP7 tiesību aktos un ietekmes novērtējumā ietverto progresu, un apsvērs Palātas ieteikumu par turpmākiem tiesību aktu priekšlikumiem. |
|
35. |
Komisija atzinīgi vērtē Palātas ieteikumu sīkāk skaidrot PP7 programmas mērķus, un Eiropas Parlamenta un Padomes pieņemto attiecīgo pamata tiesību aktu ierobežojumu ietvaros strādās, lai to sasniegtu. |
|
36.–37. |
Komisija atzinīgi vērtē Palātas ieteikumus un veic pasākumus rezultātu mērīšanas turpmākai izstrādei un izmaiņu veikšanai ABM/ABB nomenklatūrā. |
|
38.–39. |
Komisija uzskata, ka tās PP vērtēšanas stratēģijā jāizklāsta kopējie principi PP vērtēšanas un uzraudzības organizēšanai un izstrādei. Stratēģijai jāsniedz pārskats par mērķi, jādefinē sistēmas galvenie komponenti, tostarp svarīgākie pasākumi, un jāizstrādā nākotnes vīzija. Tai joprojām jābūt vērstai uz stratēģisko līmeni, ņemot vērā Komisijas decentralizēto vērtēšanas sistēmu attiecībā uz PP. |
|
41. |
Komisijas pieejas vērtēšanai un uzraudzībai galvenie stratēģiskie elementi tika noteikti secīgos pamata tiesību aktos attiecībā uz PP kopš 20. gadsimta 90. gadu vidus (sk. II pielikumu). Tā kā Komisija 1996. gadā pieņēma paziņojumu par pētniecības vērtēšanu, notika tās pieejas PP vērtēšanai pastāvīgas uzlabošanas process un tika veiktas nozīmīgas izmaiņas vērtēšanas pasākumos (sk. Palātas dokumenta 2. attēlu). Pašreizējam programmas posmam Komisijas plānotā vērtēšanas stratēģija ir skaidrāk izklāstīta PP7 ex ante ietekmes novērtējumā (SEC(2005) 430). Tas ietver vērtēšanas sistēmas izstrādi, to, kā tā tiks ieviesta, un sīki izstrādātu laika grafiku plānotajiem PP līmeņa vērtējumiem. Būs jāiegulda lielāks darbs, lai pārveidotu šo stratēģiju konkrētos plānos, un Komisija šim nolūkam izmantos konkrētas koordinācijas struktūras. |
|
43. |
Atzinīgi vērtējot Palātas apsvērumu, Komisija atzīmē, ka situācija ASV un Kanādā ir ievērojami niansētāka, nekā to varēja attēlot ar vienotām vērtēšanas stratēģijām. |
|
44. |
Atšķirības vērtēšanas izmantošanā un pieejā tai starp PP atspoguļo decentralizēto Komisijas sistēmu, kas saista vērtēšanu ar lēmumu pieņemšanu. |
|
46. |
Ņemot vērā Komisijas decentralizēto organizāciju, atbildīgajiem darbības dienestiem jāatbild uz jautājumu par vērtēšanas darbības atbilstīgo līmeni (sk. arī atbildes uz 41. un 49. punktu).
|
|
47. |
2004. gada piecu gadu novērtējums nodrošināja koordinētu, visaptverošu, savlaicīgu vērtēšanu vispārējā PP līmenī saskaņā ar Finanšu regulu. To veica izcili ārējie eksperti, un tā rezultāti tika plaši izplatīti. |
|
48. |
Sk. atbildes uz 41. un 46. punktu. |
|
49. |
Pašreizējam programmas posmam Komisijas plānotā vērtēšanas stratēģija ir izklāstīta PP7 ex ante ietekmes novērtējumā (SEC(2005) 430). Tas ietver vērtēšanas sistēmas izstrādi, to, kā tā tiks ieviesta, un sīki izstrādātu laika grafiku plānotajiem PP līmeņa vērtējumiem. Komisija piekrīt, ka ir jāiegulda lielāks darbs, lai pārveidotu šo stratēģiju konkrētos plānos, un šim nolūkam izmantos konkrētas koordinācijas struktūras. Tomēr Komisija uzskata, ka ne vienmēr var noteikt sīki izstrādātas vērtēšanas minimālo līmeni sakarā ar nepieciešamību saglabāt pietiekamu elastību vadībai, lai noteiktu atbilstīgās vērtēšanas vajadzības. |
|
51. |
“Pētniecības ĢD”, kuri darbojas neatkarīgi un nepieciešamības gadījumā sadarbojas, kopīgi īsteno PP. |
|
52. |
EuropeAid ir uzticēti operatīvi un vadības pienākumi, kurus tas pilda sadarbībā ar Komisijas delegācijām un īstenošanas iestādēm trešās valstīs. Tas apgrūtina šīs Komisijas daļas uzskatīšanu par paraugu, jo tā nav salīdzināma ar pienākumu decentralizēto sistēmu pētniecības jomā. |
|
53. |
Komisijas iekšējais “RTD vērtēšanas tīkls” nodrošina neformālus līdzekļus vērtēšanas stratēģijas izstrādei un PP līmeņa vērtēšanas pasākumu koordinēšanai. Šis elastīgais mehānisms ir izrādījies ļoti noderīgs. |
|
55. |
Komisijas Iekšējās kontroles standartu nesen pārskatītajā redakcijā, kas pieņemta 2007. gada 16. oktobrī (SEC(2007) 1341), ir 21 vērtēšanas standarts, un tādēļ šo standartu ievērošana tiks iekļauta ĢD gada darbības pārskatos. Komisijas centrālie dienesti, jo īpaši Budžeta ĢD, aktīvi piedalās dažādajos ar vērtēšanas procesu saistītajos posmos. Dienestu vērtēšanas darbību revīziju var veikt iekšējās revīzijas nodaļa un iekšējās revīzijas dienests. Turpmāk minimālo kvalitātes prasību novērtējumā izmantos nesen izstrādāto Komisijas “kvalitātes novērtējuma sistēmu” (3). Kopš 2007. gada kvalitātes kontrolē par paredzamo ietekmes novērtējumu ir palīdzējusi Komisijas “Ietekmes novērtējuma kolēģija”. |
|
56. |
Salīdzinājums, kas sniegts III pielikumā, aptver Palātas revidēto periodu. Tādēļ tajā nav ņemti vērā PP7 nozīmīgi uzlabojumi, īpaši attiecībā uz jaunu vērtēšanas stratēģiju, skaidrāku intervences loģiku un skaidriem pārskatiem par paredzamajiem rezultātiem darba programmās. Palāta norāda dažas dalībvalstis, kurās atbildība par vērtēšanu un finansēšanu ir nodalīta. Tāpat ir citi piemēri (piemēram, Apvienotā Karaliste), kad vērtēšana ir programmas vadības daļa (kā tas ir Komisijas gadījumā). Attiecībā uz galveno jautājumu par neatkarību Palātas veiktā revīzija ir parādījusi, ka ārējās ieinteresētās personas ir apmierinātas ar Komisijas rezultātiem šajā jautājumā (sk. Palātas dokumenta 58. punktu un 4. attēlu). |
|
59. |
|
|
62. |
Mērķi, ka 0,5 % no programmas budžeta jāvelta vērtēšanai, Komisija iesaka kā vidusmēru. Faktiski piešķirtie līdzekļi lielā mērā ir atkarīgi no programmas veida. |
|
66. |
Lai gan Komisija neuzskata par nepieciešamu nodibināt kopēju vērtēšanas biroju, tā piekrīt apsvērt citas iespējas koordinācijas uzlabošanai. Saikni starp vērtēšanu un vadības lēmumu pieņemšanu vislabāk var panākt ar vērtēšanas funkcijām, kas atrodas katrā ĢD, un dodot jaunu impulsu Komisijas esošajam iekšējam “RTD vērtēšanas tīklam” ar centrālo dienestu atbalstu. Tas atbilst arī likumdošanas un budžeta sastādīšanas procesiem, kā noteikts Finanšu regulā, Komisijas 2007. gada paziņojumā par vērtēšanu un procedūrās ABM kontekstā. |
|
67. |
Komisija piekrīt, ka grupām var būt svarīga loma vērtēšanā. Lai gan tā piekrīt, ka grupas jāsasauc pēc iespējas drīz, lai atbalstītu konkrētu vērtēšanu, tā neuzskata par lietderīgu nodibināt pastāvīgas grupas visam programmas posmam. Speciālam nolūkam sasaukta grupa, visticamāk, nodrošinās priekšrocības skaidrības un uzmanības koncentrēšanas ziņā. |
|
68. |
Komisija rūpīgi novērtēs vajadzīgos resursus, lai veiktu PP vērtēšanu nākamajos gados. |
|
70.–71. |
Metodoloģiskie norādījumi par vērtēšanu, tostarp pieejamie rīki un terminu glosārijs, ir pieejami Budžeta ĢD rokasgrāmatā (4), kuru dienesti, tostarp “pētniecības ĢD”, pašlaik atjaunina. Turklāt Uzņēmējdarbības ĢD 2002. gadā izstrādāja konkrētus vērtēšanas norādījumus, kuri aptver visas darbības, par kurām ir atbildīgs šis ĢD, tostarp PP. Tiks apsvērti papildu atbalsta pasākumi atsāktajam “Eiropas RTD vērtēšanas tīklam” (kurā ir dalībvalstu un asociēto valstu eksperti) un Komisijas iekšējam “RTD vērtēšanas tīklam”. Komisija arī turpinās atbalstīt neatkarīgus vērtēšanas metodoloģijas pētījumus un seminārus. |
|
72. |
Komisija piekrīt, ka projektu datu ierastās vākšanas process ir bijis tikai daļēji efektīvs. Projektu ziņošanas procedūras tika pārskatītas PP6 ietvaros un tiks papildus uzlabotas attiecībā uz PP7 (piemēram, tiks vienkāršota periodiska ziņošana; ir aizliegtas starpposma anketas; nobeiguma ziņošana kļūs noderīgāka, īpaši attiecībā uz datu vākšanu par projekta īstenošanu un rezultātiem). |
|
74. |
“Pētniecības ĢD” ar Informātikas ĢD atbalstu pašlaik izstrādā jaunu IT sistēmu PP7 vajadzībām. Šis uzlabotais IT atbalsts ir paredzēts, lai nodrošinātu noturīgāku pamatu vērtēšanai un uzraudzībai. |
|
76.–78. |
Vērtēšanas datu iegūšana bija tikai daļēji efektīva revīzijas aptvertā perioda laikā. Komisija ievieš uzlabojumus PP7 ietvaros (sk. atbildi uz 72. punktu). |
|
79. |
Komisijas mērķis ir veicināt Palātas ierosināto kvantitatīvo pētījumu veidus. |
|
81. |
Komisija uzskata, ka pēdējā laikā ir veikti daudzi metodoloģiski interesantāki vērtējumi (sk. 84. punktu) un jānodala liela mēroga vērtējumi no ierastākiem pasākumiem. |
|
82. |
Komisija piekrīt, ka parasti vērtēšanas darbā lielāka uzmanība tika pievērsta īsāka termiņa sasniegumiem, un piekrīt, ka ir iespējams vairāk veikt analīzi attiecībā uz iznākumiem un ietekmēm. Tomēr šai pieejai ir nepieciešama ilgāka termiņa perspektīva, un tādēļ Komisijas veiktie vērtējumi parasti ir salīdzināmi ar līdzīgu darbu citur. |
|
83. |
Komisija cenšas ievērot vērtēšanas ekspertu neatkarību, īpaši par atbilstīgo metodoloģiju izvēli. Nākamajai PP6 ex post vērtēšanai 2008. gadā tiek ierosināts veikt pētījumus par rīcības papildināmību, tīklu analīzi un scientometrisku pieeju izmantošanu. |
|
84. |
Neatkarīgs eksperts veica iepriekšējo vērtēšanas pētījumu metaanalīzi par 2004. gada piecu gadu novērtējumu (1999.–2003. g.) (5).
|
|
85. |
Komisija piekrīt, ka turpmāk jāizstrādā jaunas metodoloģiskas pieejas, lai pievērstos PP mainīgajam raksturam. Komisija atbalsta un turpinās atbalstīt šo metodoloģisko izstrādi. |
|
86. |
Tā kā darba uzdevumos uzskaitītie jautājumi par 2004. gada piecu gadu novērtējumu (1999.–2003. g.) bija tikai orientējoši jautājumi, grupa varēja izvēlēties jomas, uz kurām koncentrēt uzmanību, un noteikt savus darbības veidus. Grupas dalībnieki ir snieguši atsauksmes par pasākuma izcilību (7). |
|
87. |
Pētniecības programmas būtība, attieksme pret nenoteiktību nozīmē, ka pastāv ierobežojumi apmēram, kādā var nospraust kvantitatīvi nosakāmus mērķus. |
|
90. |
Komisija 2007. gadā atsāka savu “Eiropas RTD vērtēšanas tīklu”, kurā ir dalībvalstu amatpersonas un vērtēšanas eksperti, ko tā plāno izmantot, lai veicinātu ES pētniecības vērtēšanas darbību lielāku saskaņotību, īpaši attiecībā uz ietekmes pētījumiem dalībvalstu līmenī. |
|
91. |
Komisija apsvērs iespēju izstrādāt jaunu rokasgrāmatu par PP vērtēšanu, ņemot vērā nesen sagatavotos paraugus (8). |
|
92. |
Projektu ziņošanas procedūras tika pārskatītas PP6 ietvaros un tiks papildus uzlabotas attiecībā uz PP7 (sk. atbildi uz 72. punktu). |
|
93. |
PP līmenī Komisija pašlaik izstrādā PP7 uzraudzības sistēmu, kuras mērķis ir nodrošināt rezultātu rādītāju saskaņotāku un sistemātiskāku izmantošanu (sk. atbildi uz 30. punktu). “Pētniecības ĢD” ar Informātikas ĢD atbalstu pašlaik izstrādā jaunu IT sistēmu PP7 vajadzībām. Šis uzlabotais IT atbalsts ir paredzēts, lai nodrošinātu noturīgāku pamatu vērtēšanai un uzraudzībai. |
|
94. |
Komisija piekrīt Palātas bažām par ziņošanas sloga problēmu un ir īpaši ņēmusi to vērā, precizējot ziņošanas prasības attiecībā uz PP7 (sk. atbildi uz 72. punktu). |
|
95. |
Komisija pašlaik veic pasākumus, lai izmantotu esošos un jaunos datu avotus vērtēšanai un uzraudzībai (sk. atbildi uz 72. punktu). |
|
96. |
PP7 ietvaros 8. tematā (Sociālās un humanitārās zinātnes) ir īpašs darbības virziens, lai pievērstos novatoriskām pieejām vērtēšanai un uzraudzībai. |
|
97. |
Komisija 2007. gadā ir atsākusi savu Eiropas RTD vērtēšanas tīklu (sk. atbildes uz 70.–71. un 90. punktu), kuru tā plāno izmantot, lai veicinātu ES pētniecības vērtēšanas darbību, īpaši dalībvalstu ietekmes pētījumu, lielāku saskaņotību. Komisija plāno arī saglabāt savu pirmo vietu starptautisku sakaru veidošanas atbalstā un pētniecības vērtēšanas prakses apmaiņā ar semināru un citu pasākumu palīdzību. |
|
99. |
Vērtēšanas laiku nosaka prasības, kas noteiktas Eiropas Parlamenta un Padomes pieņemtajos pamata tiesību aktos. Komisija piekrīt, ka mazāk ir zināms par ilgtermiņa ietekmēm, un piekrīt, ka šajā jomā ir iespējams ieguldīt vairāk darba. |
|
100. |
Komisija piekrīt, ka piecu gadu novērtējumos īsāka termiņa novērtējumam parasti pievērsa lielāku uzmanību nekā ilgāka termiņa novērtējumam. Tas skaidrojams ar faktoriem, tostarp ārējo ieinteresēto personu, piemēram, Eiropas Parlamenta un Padomes, interesi par ātrām atsauksmēm par PP rezultātiem, problēmu saistībā ar ietekmju attiecināšanu uz pētniecību ilgākā termiņā un pasākumus veicošo neatkarīgo grupu izvēlētā uzmanības koncentrēšanas joma. Tomēr Komisija piekrīt, ka vairāk uzmanības ir jāpievērš ilgāka termiņa ietekmju novērtēšanai. |
|
108. |
Komisija pašlaik plāno galvenās vērtēšanas darbības PP7 ietvaros un rūpīgi ņems vērā Palātas ieteikumu. Komisija piekrīt, ka mazāk ir zināms par ilgtermiņa ietekmēm, un piekrīt, ka šajā jomā ir iespējams ieguldīt vairāk darba. |
|
109. |
Kā Palāta atzīmējusi 107. punktā, Komisija savā ikgadējā vērtēšanas pārskatā sniedz kopsavilkumu par visiem konstatējumiem un darbībām, kas veiktas pētniecības novērtējumu nolūkā. Komisija ir apņēmusies nodrošināt sava vērtēšanas darba pilnīgu pārredzamību un izskatīs Palātas ieteikumu pārskatīt konstatējumu paziņošanas un izplatīšanas veidus. |
|
110.–111. |
Komisija piekrīt Palātai, ka pētniecības vērtēšana, īpaši tik visaptverošai programmai kā PP, ir ļoti sarežģīta. Tā atzīmē, ka pēdējo 25 gadu laikā sistēmā ir veikti ļoti nozīmīgi uzlabojumi un ka sistēma kopumā ir bijusi efektīva politikas veidotājiem, pētniecības vadītājiem un citām ieinteresētajām personām. |
|
112. |
Komisija atzinīgi vērtē Palātas apsvērumu, ka ĢD, kuri īsteno PP, ir izpildījuši Komisijas prasības, tostarp tās, kas noteiktas 2000. un 2002. gada paziņojumos par vērtēšanu. PP vērtēšanā ir ieviestas nozīmīgas izmaiņas, tostarp PP7 būtiska pārstrukturēšana, kā izklāstīts stratēģijā, ko nodrošina ietekmes novērtējums (SEC(2005) 430). |
|
113. |
Attiecībā uz vērtējumu būtiskumu un noderīgumu Komisija var norādīt uz kopumā pozitīvajām atsauksmēm, ko tā ir saņēmusi, īpaši saistībā ar nesenajiem galvenajiem pasākumiem, piemēram, 2004. gada piecu gadu novērtējumu (1999.–2003. g.). Notika piecu gadu novērtējuma konstatējumu plaša izplatīšana, tostarp iesniegšana galvenajām iestādēm, piemēram, Eiropas Parlamentam, Padomei, Komitejai zinātniskās un tehniskās pētniecības jautājumos (CREST) un PP programmu komitejai. Ņemot vērā to, ka bija obligāta prasība, lai šis pasākums tiktu veikts pirms Komisijas priekšlikuma par jaunu pamatprogrammu (šajā gadījumā PP7), par tā vispārējo pieņemamību liecināja PP7 iespējamā pieņemšana. Tas nenozīmē, ka nevar veikt uzlabojumus, un Komisija pilnībā piekrīt, ka ir jāveic rūpīgi pārdomātas izmaiņas, kuras ir balstītas uz pašreizējās pieejas elementiem, kas jau labi darbojas. |
|
114. |
Komisija atzinīgi vērtē to, ka Palāta atzīst vērtēšanas un uzraudzības nozīmi, un, pamatojoties uz jau veiktajiem nozīmīgajiem uzlabojumiem, turpinās tālāk atjaunināt savu pašreizējo praksi, ņemot vērā jaunu politisko un praktisko realitāti. |
|
115. |
Komisija jau ir apņēmusies nodrošināt lielāku skaidrību programmu intervences loģikā, pamatojoties uz PP7 tiesību aktos un ietekmes novērtējumos ietverto progresu, un tā apsvērs Palātas ieteikumu par turpmākiem tiesību aktu priekšlikumiem. |
|
116. |
Pamatojoties uz jau veiktajiem PP vērtēšanas nozīmīgajiem uzlabojumiem, Komisija piekrīt, ka joprojām ir iespējams uzlabojums, tostarp ciešāka koordinācija darbības līmenī starp attiecīgajiem dienestiem. Komisija turpinās savus centienus, lai atbalstītu vērtēšanas metodoloģijas pilnveidošanu. |
|
117. |
Attiecībā uz organizatoriskajiem pasākumiem Komisija uzskata, ka:
|
(1) Komisijas paziņojums pavasara Eiropadomes sanāksmei – Lisabonas izaugsmes un nodarbinātības atjaunotās stratēģijas īstenošana (COM(2006) 816).
(2) Piemēram, Komisijas priekšlikums par PP7 tika izstrādāts, pamatojoties uz sīku ex ante ietekmes novērtējumu, kurš ietvēra pētniecības darbības potenciālās ietekmes uz tādiem jautājumiem kā ekonomiskā izaugsme un darba vietu radīšana ekonometrisko modelēšanu (sk. Eiropas Komisija, Komisijas dienestu darba dokuments, “Ietekmes novērtējums un ex ante vērtējums par priekšlikumiem Padomes un Eiropas Parlamenta lēmumam par 7. pamatprogrammu (EK un Euratom)”, SEC(2005) 430). PP7 lēmumi nodrošina skaidru struktūru, kas saista mērķus, loģisko pamatu un darbības. Turklāt PP7 speciālo programmu lēmumos izklāstīti mērķi, pieeja un darbības.
(3) “Kvalitātes novērtējuma sistēma” ir pieejama http://ec.europa.eu/budget/documents/evaluation_en.htm.
(4) Eiropas Komisija, Budžeta ĢD rokasgrāmata “Evaluating EU Activities – A Practical Guide for the Commission services”, 2004. gada jūlijs, ir pieejama http://ec.europa.eu/budget/publications/other_en.htm.
(5) E. Arnold, “What the Evaluation Record tells us about the Framework Programme Performance”, 2004. gads.
(6) Pētniecības ĢD, “Structuring Effects of Community Research – The Impact of The Framework Programme on Research & Technological Development (RTD) Network Formation”, 2007. gads; Informācijas sabiedrības un saziņas līdzekļu ĢD, “Effectiveness of IST-RTD Impacts on the EU Innovation System”, 2007. gads.
(7) Sk. C. Mandl, “Evaluating Evaluations or The Case for Action Research”, Austrijas Plattform Forschungs- und Technologieevaluierung, Nr. 30, 2007. gada jūnijs.
(8) Sk., piemēram, Eiropas Komisija, Kopīgais pētniecības centrs, “Assessing the Socio-Economic Impact of RTD-Policies” (EPUB), 2002. gads, un Mančestras Universitāte, “Assessing the Socio-economic Impacts of the Framework Programme” (ASIF), 2002. gads, abi pieejami http://circa.europa.eu/Public/irc/rtd/fiveyearasskb/library?l=/iii-knowledge_base/040-evaluation_methodolo&vm=detailed&sb=Title. Šie ziņojumi ir plaši izplatīti un tika darīti pieejami darbuzņēmējiem un ekspertiem, kuri veic vērtēšanas pētījumus Komisijas uzdevumā.