EUROOPA KOMISJON

Brüssel,1.9.2016

COM(2016) 550 final

KOMISJONI ARUANNE EUROOPA PARLAMENDILE JA NÕUKOGULE

ISA programmi lõpphindamise tulemused

{SWD(2016) 279 final}

Sisukord

1. Sissejuhatus    

2. Koostalitlusvõime kui avaliku sektori moderniseerimise tegur    

3. Taust    

4. Metoodika    

5. Hindamise teemad ja küsimused    

6. Tähelepanekud    

Programmi eesmärkide saavutamine    

6.1. Asjakohasus    

6.2. Tõhusus    

6.3. Tulemuslikkus    

6.4. Kasulikkus    

6.5. Jätkusuutlikkus    

6.6. Sidusus    

6.7. Koordineerimine    

7.    Lõpphindamise järeldused    

8. Soovitused    

8.1.    Suhtlus haldusasutustega ja nende teadlikkuse tõstmine koostalitlusvõime kohta    

8.2.    Tervikliku lähenemise ja koostalitlusvõime valdkondadevahelise vaatenurga edendamine    

8.3.    Koostöö teiste ELi poliitikate ja algatustega    

9. Järgmised sammud    

1. Sissejuhatus

Euroopa Parlamendi ja nõukogu otsusega (edaspidi „ISA otsus“) 1 käivitati 1. jaanuaril 2010 kuus aastat kestev koostalitlusvõimealaste lahenduste programm Euroopa haldusasutustele (ISA programm), mis oli jätkuks programmile üleeuroopaliste evalitsuse teenuste koostalitlusvõimelise osutamise kohta riiklikele haldusasutustele, ettevõtetele ja kodanikele (IDABC) 2 . Seda rakendati 1. jaanuarist 2010 kuni 31. detsembrini 2015.

Nagu on mainitud ISA otsuse artiklis 1, oli ISA programmi eesmärk toetada Euroopa haldusasutuste koostööd, hõlbustades tõhusat ja tulemuslikku piirülest ja valdkondadevahelist elektroonilist suhtlemist nende vahel (sealhulgas nende eest avalik-õiguslikke ülesandeid täitvate asutuste vahel), mis võimaldaks osutada elektrooniliselt ELi poliitikate ja meetmete rakendamist toetavaid avalikke teenuseid 3 . 

Käesolevas aruandes esitatakse kooskõlas ISA otsuse artikli 13 lõikega 3 läbi viidud programmi lõpphindamise peamised tulemused 4 . Selle sätte järgi tuli lõpphinnang edastada Euroopa Parlamendile ja nõukogule 31. detsembriks 2015. Lõpphindamist teostas komisjon 2014. aasta detsembrist 2016. aasta veebruarini, mil juhtgrupp kiitis komisjoni aruande projekti heaks. Kuid hiljutised muutused komisjoni hindamismenetlustes tõid kaasa märkimisväärse viivituse õiguslikuks aluseks olevas aktis sätestatud tähtaegadest kinnipidamises.

Lõpphindamise ajal abistas komisjoni ühe konsultatsioonifirma sõltumatute ekspertide meeskond (lõpphindamise meeskond). Asjaomaste komisjoni talituste esindajad jälgisid lõpphindamist komisjoni juhtgrupi 5 kaudu.

2. Koostalitlusvõime kui avaliku sektori moderniseerimise tegur

Haldusasutuste moderniseerimine on üks olulisemaid prioriteete strateegia „Euroopa 2020“ 6 edukaks rakendamiseks. Aastatel 2011–2015 7 avaldatud komisjoni aasta majanduskasvu analüüsid näitavad, et Euroopa haldusasutuste kvaliteet mõjutab otseselt majanduskeskkonda ning seetõttu etendab tootlikkuse, konkurentsivõime ja majanduskasvu stimuleerimises tähtsat osa.

Nagu on mainitud komisjoni 2013. aasta majanduskasvu analüüsis, 8 peab komisjon internetiteenuste piiriülest koostalitlusvõimet ja Euroopa haldusasutuste digitaliseerimist tähtsateks majanduskasvu ja tõhususe suurendamise teguriteks. Koostalitlusvõime haldusasutuste vahel on oluline abivahend digitaalteenuste tõhusamaks ja tulemuslikumaks osutamiseks.

Euroopa digitaalarengu tegevuskava 9 kirjeldab, kuidas koostalitlusvõime aitab oluliselt suurendada IKT sotsiaalset ja majanduslikku potentsiaali, ja sellest tulenevalt saab digitaalarengu tegevuskava olla edukas vaid siis, kui koostalitlusvõime on tagatud. Selle tegevuskava üks tugisambaid, „koostalitlusvõime ja standardid“, õhutas liikmesriike võtma kasutusele konkreetseid koostalitlusvõimega seotud meetmeid, 10 nimelt täitma Granada ja Malmö ministrite deklaratsioonis sätestatud kohustusi, sealhulgas võtma Euroopa koostalitlusvõime raamistiku 11 vastu siseriikliku õigusnormina.

24. ja 25. oktoobril 2013 tegi Euroopa Ülemkogu järeldused, 12 milles rõhutati, et haldusasutuste moderniseerimine peab jätkuma koos selliste teenuste kiire rakendamisega, mis oma tõhusaks toimimiseks toetuvad koostalitlusvõimele, nagu e-valitsus, e-tervis, e-arved ja e-hanked. See toob avalikus sektoris kaasa arvukamad ja paremad digitaalsed teenused kõikidele Euroopa kodanikele ja ettevõtetele, kulude kokkuhoiu ning avalike teenuste suurema tõhususe, läbipaistvuse ja kvaliteedi.

Samas jäävad liikmesriikide püüdlused sageli riiklikule tasandile ning Euroopa ühist lähenemisviisi ei järgita, mis aga ohustab koostalitlusvõimet Euroopa tasandil ja halvendab piiriüleste avalike digitaalteenuste kättesaadavust. Seetõttu on olemas suur oht, et luuakse uued elektroonilised tõkked (e-tõkked), mis takistavad kodanikke ja ettevõtteid kasutamast avalikke teenuseid väljaspool nende endi riike ning piiravad siseturu sujuvat toimimist.

3. Taust

ISA programmi loomisel toetuti selle eelkäijate, IDA ja IDABC programmide raames tehtud edusammudele. Nagu ISA otsuses3 selgeks tehti, oli ISA programmi peamine eesmärk toetada Euroopa haldusasutuste koostööd, et võimaldada elektrooniliste avalike teenuste osutamist, mis toetaksid ELi poliitikate ja meetmete rakendamist. Vahe-eesmärk oli hõlbustada tõhusat ja tulemuslikku piiriülest ja valdkondadevahelist elektroonilist suhtlust asutuste vahel.

Nimetatud eesmärkide saavutamiseks, ISA otsuse artiklites 1 ja 3 sätestatud meetmete rakendamise hõlbustamiseks ning üldiste ja ühiste koostalitlusvõimet soodustavate lahenduste 13 pakkumiseks nägi programm ette uuringute, projektide ja kaasmeetmete algatamist konkreetsete vahendite abil, et toetada:

olemasolevate ühisteenuste toimimist ja parendamist ning uute loomist;

olemasolevate taaskasutatavate baasvahendite parendamist ja uute loomist;

ühiste raamistike loomist ja parendamist piiriülese ja valdkondadevahelise koostalitlusvõime toetamiseks ning

ELi õigusaktide IKT-mõjude hindamist (ISA otsuse artikkel 3).

Nagu on määratletud ISA otsuse artiklis 2, on „ühisteenused“ üldist laadi operatiivrakendused ja infrastruktuurid, mis vastavad kõikide poliitikavaldkondade tavakasutajate nõuetele. „Baasvahendid“ on baasplatvormid, ühiskasutatavad ja koostööpõhised platvormid, ühised komponendid ja samalaadsed vahendid, mis vastavad kõikide poliitikavaldkondade tavakasutajate nõuetele. „Ühised raamistikud” on strateegiad, tehnilised kirjeldused, metoodikad, suunised ja samalaadsed lähenemisviisid ning dokumendid.

ISA programmi viiakse ellu rakendusaktide kaudu (ISA otsuse artikkel 9) jooksva tööprogrammi baasil, mis vaadatakse läbi vähemalt kord aastas ning mis sisaldab meetmeid ühe või mitme koostalitlusvõime tasandiga (tehniline, semantiline, organisatsiooniline ja õiguslik) seotud rahastamiseks 14 . Iga-aastased tööprogrammid määratakse kindlaks pärast komisjoni talitustele ja liikmesriikidele suunatud iga-aastasi projektikonkursse ning need peab kinnitama ISA komitee ja kiitma heaks komisjon, enne kui need jõustuvad. Konkreetsed rahastatavad meetmed on loetletud jooksvas tööprogrammis.

4. Metoodika

ISA programmi lõpphindamine põhines kvantitatiivsetel ja kvalitatiivsetel andmetel, mida koguti mitmel viisil (dokumendiuuring, veebiküsitlused, vestlused, kirjalikud taotlused täiendava teabe saamiseks ja juhtumiuuringud), kaasates suurt hulka esindajaid liikmesriikide ja ELi talitustest ning piiratud hulka sidusrühmi kodanikuühiskonnast ja programmiga seotud eraorganisatsioonidest.

5. Hindamise teemad ja küsimused

Lõpphindamisel kasutati samu kriteeriume, mida kasutati vahehindamisel, 15 mis on ka tulemuste võrdlusaluseks. Lõpphindamise tulemused, järeldused ja soovitused põhinevad suurel hulgal andmetel, mis moodustavad kindlad tõendid, mida on vaja programmi sekkumisloogika valiidsuse ja eesmärkide saavutamise kontrollimiseks. Keskenduti järgmisele seitsmele peamisele kriteeriumile:

– asjakohasus – mil määral olid programmi eesmärgid asjakohased kasvavate vajaduste ja prioriteetide täitmiseks riiklikul ja ELi tasandil?

– tõhusus – kui ökonoomselt teisendati erinevad sisendid väljunditeks ja millised olid selle tagajärjed ressursside võimalikult parema kasutuse seisukohalt? Millised programmi aspektid olid kõige (eba)tõhusamad, eriti kasutatud ressursside seisukohalt?

– tulemuslikkus – mil määral täitsid programmi tulemused ja mõjud selle eesmärke? Kas on aspekte, mis olid rohkem või vähem tulemuslikud kui teised, ja kui on, siis milliseid järeldusi võib sellest teha?

– kasulikkus – kuidas olid programmi tegelikud ja oodatud tulemused ja mõjud võrreldavad ettevõtete vajadustega, millele need suunatud olid? Milliseid abinõusid tuleks rakendada, et suurendada meetmete kasulikkust järgmise programmi raames?

– jätkusuutlikkus – mil määral on tagatud selliste välja töötatud lahenduste rahaline, tehniline ja operatiivne jätkusuutlikkus, mida peetakse ülal ja käitatakse programmi kaudu?

– sidusus – mil määral moodustasid ISA meetmed osa „terviklikust“ lähenemisest (pidades silmas meetmete omavahelist sidusust ning sidusust teiste ELi poliitikate ja algatustega)? Kui hästi saavutati sünergia programmi meetmete ja muu ELi tegevuse vahel?

– koordineerimine – mil määral koordineeriti liikmesriike hõlmavaid tegevusi, sealhulgas ISA komitee omi, et tagada sidusrühmade kaasamine ISA programmi? Mil määral koordineeriti või kooskõlastati tegevusi teiste sidusrühmade vajadustega, kellega komisjon pidi ISA raames suhtlema?

6. Tähelepanekud

Programmi eesmärkide saavutamine

Lõpphindamisel leiti, et ISA programm on olnud edukas oma eesmärkide saavutamisel ja operatiivsete lahenduste pakkumisel, et „toetada Euroopa haldusasutuste koostööd, hõlbustades kõnealuste asutuste [….] vahelist tõhusat ja tulemuslikku piiriülest ja valdkondadevahelist elektroonilist suhtlemist, mis võimaldab osutada elektrooniliselt ühenduse poliitikate ja meetmete rakendamist toetavaid avalikke teenuseid”.3 See puudutab eriti ühiseid raamistikke, taaskasutatavaid baasvahendeid ja ühisteenuseid ning uute ELi õigusaktide IKT-mõjude hindamist. Üldiselt täidavad ISA programmiga saavutatud ja oodatud tulemused ja mõjud suuresti neid ettevõtete vajadusi, millele need olidki suunatud, ehkki mõni tegevus oli kasulikum kui teised.

Hindamine tegi kindlaks mitmed olulised valdkonnad, mille puhul järgmises, ISA² programmis tehtavatel muutustel on kollektiivselt potentsiaali olla rohkem seotud praeguste vajadustega koostalitlusvõime osas ja suurendada programmi kasulikkust. Samuti kinnitab see, et ISA programm aitas kaasa jagamisele ja taaskasutamisele ühiste raamistike loomise kaudu. Lõpuks oli ISA programmiga võimalus muuta „parema õigusloome“ suuniseid, 16 tagamaks, et IKT-mõjude hindamine on selgelt osa Euroopa Komisjoni mõjuhindamisprotsessist.

Üldised tähelepanekud on kokku võetud allpool.

6.1. Asjakohasus

ISA programmi eesmärk (“toetada Euroopa haldusasutuste koostööd, hõlbustades kõnealuste asutuste vahelist tõhusat ja tulemuslikku piiriülest ja valdkondadevahelist elektroonilist suhtlemist“) on ikka veel asjakohane vastama kasvavatele vajadustele nii riiklikul kui ka ELi tasandil. Seda näitas programmi lõpphindamine ISA tulemuste mõju osas, samuti näitasid seda liikmesriikide poliitilised tegevuskavad, mis näitasid selgelt vajadust avalike digitaalteenuste tõhusa ja tulemusliku osutamise järele.12 Lisaks töötati ISA programmi raames välja Euroopa koostalitlusvõime raamistik ning rakendati ja jälgiti seda. Euroopa koostalitlusvõime raamistiku soovitused ja suunised näitavad, kuidas liikmesriigid peaksid koostalitlusvõimet haldusasutustes rakendama, ning nende eesmärk on:

a)edendada ja toetada Euroopa avalike teenuste osutamist piiri- ja sektoriülese koostalitlusvõime soodustamise teel;

b)suunata Euroopa haldusasutusi nende töös teenuste osutamisel ettevõtjatele ja kodanikele ning

c)täiendada ja siduda omavahel erinevaid riiklikke koostalitusvõime raamistikke Euroopa tasandil.

Euroopa koostalitlusvõime raamistik loob ühise arusaama kootalitlusvõimest Euroopa Liidus, mida tunnustab digitaalse ühtse turu strateegia, mis hõlmab üht erimeedet haldusasutustevahelise koostalitlusvõime valdkonnas (meede 15: prioriteetsete IKT standardite kava vastuvõtmine ja Euroopa avalike teenuste koostalitlusvõime raamistiku laiendamine).

Euroopa koostalitlusvõime raamistiku jätkuv läbivaatamine rajaneb tööl, mida on viimastel aastatel teinud riiklike koostalitlusvõime raamistike vaatluskeskus (NIFO), 17 mis jälgib ja toetab selle rakendamist liikmesriikides.

ISA programm aitab kaasa teistele digitaalse ühtse turu tegevustele, kus koostalitlusvõime toimib aluseks oleva tegurina 18 . Programmi eesmärgid on kooskõlas digitaalarengu tegevuskavaga ja aastate 2010–2015 Euroopa e-valitsuse tegevuskavaga, mis mõlemad peavad koostalitlusvõimet edu tingimuseks. Lisaks on programm kooskõlas Euroopa ühendamise rahastuga, mille eesmärk on edendada Euroopa digitaalteenuste ühenduvust ja koostalitlusvõimet, kuna mõned selle komponendid 19 (nt e-tarned, tõlge, e-arved) tuginevad ISA tulemustele 20 . Euroopa ühendamise rahastu võib pakkuda operatiivset toetust ISA programmi raames välja töötatud ja küpsenud lahendustele.

ISA programm aitas aktiivselt kaasa mitmele ELi poliitilisele strateegiale, näiteks siseturule, 21 Euroopa Ühenduse ruumiandmete infrastruktuurile (INSPIRE), 22 ühisele teabejagamiskeskkonnale (CISE), 23 üleeuroopalisele avatud andmete portaalile 24 ja konkurentsiõigusele, 25 mis on saanud sellelt toetust sihtotstarbeliste tegevuste ja jagatud lahenduste kujul 26 . Nende strateegiate kaudu on kindlaks määratud sihid ja eesmärgid, mis tuginevad koostalitlusvõimel nende rakendamiseks.

Euroopa haldusasutuste vajadused, näiteks avalike teenuste osutamise moderniseerimine, koordineerimise parendamine liikmesriikide haldusasutuste ja komisjoni talituste vahel, organisatsiooniline kooskõlastamine haldusasutustes ning lahenduste suurem taaskasutatavus, mis tehti kindlaks ISA2 eelhindamiste 27 ja ISA vahehindamiste 28 ajal, on jäänud endiseks. Piiriülese ja valdkondadevahelise teenuste osutamise hõlbustamine ühetaolisel ja ressursitõhusal viisil nõuab olemasolevate koostalitlusvõime lahenduste suuremat taaskasutust ning tihedamat koostööd liikmesriikide haldusasutuste vahel ning samuti nende ja komisjoni vahel. Ühised lähenemisviisid tagavad, et ei tehta topelttööd 29 .

6.2. Tõhusus

Üldiselt võib öelda, et ISA programm on olnud tõhus. Esiteks näitasid järelevalve ja hindamisega saadud tõendid, 30 et programm on püsinud aastate 2010–2015 vältel graafikus keskmise viivitusega alla 5% 31 . Teiseks ulatus aastate 2010–2014 tööprogrammide kogu täidetud eelarve 128,2 miljoni euroni, mis on keskmiselt ligikaudu 2% vähem kui selle perioodi jaoks eraldatud kumulatiivne eelarve 32 . Neid tulemusi arvestades võib programmi pidada eelarve seisukohalt tõhusaks.30

Lisaks kinnitas 90% küsitletud liikmesriikide esindajatest ja komisjoni asjaomaste talituste ametnikest, et programm rakendati õigeaegselt ja selle algses ulatuses 33 . Nagu ISA lõpphindamises märgitud, tundis enamik sidusrühmadest end täielikult või mõneti programmi iga-aastase läbivaatamisega seotuna 34 .

Uute meetmete ettepanekute vastuvõtmise menetlust ja rahaliste vahendite vabastamise protsessi võib pidada tõhusaks 35 . Tõhusust inimressursside eraldamise osas kinnitab fakt, et tegelikult eraldati inimressursse alati vähem, kui nägi ette algne ISA seadusandlik ettepanek.

6.3. Tulemuslikkus

ISA programm on pakkunud rakenduslikke lahendusi, st ühiseid raamistikke, taaskasutatavaid baasvahendeid ja ühisteenuseid, mis aitavad täita Euroopa haldusasutuste vahelise tõhusa koostöö hõlbustamise eesmärki. Üldiselt tundis enamik intervjueerituid ja veebiküsitlusele vastanuid, et kõik ISA lahendused hõlbustavad koostalitlusvõimet nende haldusasutuste vahel 36 .

Ühiste raamistike, näiteks Euroopa koostalitlusvõime raamistiku loomine toetas oma spetsiaalsete soovitustega samuti lahenduste jagamist ja taaskasutust 37 . Loodi jagamise ja taaskasutuse raamistik, mis arenes ISA raames ja mida praegu viimistletakse ISA2 programmi raames.

Programm alustas tööd koostalitlusvõime kahel ülemisel tasandil: organisatsioonilise ja õigusliku koostalitlusvõime tasandil; neil valdkondadel on suur potentsiaalne mõju liikmesriikide haldusasutuste moderniseerimisele ning neid tuleb veelgi arendada ja tugevdada.

Uute ELi õigusaktide IKT-mõjude, näiteks uute IKT lahenduste rakendamise ja olemasolevate kohandamisega seotud mõjude hindamine lisati komisjoni mõjuhindamisprotsessi „Parema õigusloome suuniste“ raames.16 ISA programm on läinud edasi, edendades selliseid hindamisi ning toetades neid teostavaid peadirektoraate ja talitusi.

Jõupingutus, mille programm tegi semantilise koostalitlusvõime valdkonnas, samuti tugevamate sidemete loomises standardiorganisatsioonidega, kujutas endast olulist panust suurenenud valdkondadevahelisse koostalitlusvõimesse.

Ehkki programm ja ISA tulemuste kasutajad taaskasutavad olemasolevaid ühiseid raamistikke, ühisteenuseid ja taaskasutatavaid baasvahendeid, peaks programm nende taaskasutust veelgi edendama, nagu märkisid küsitletud liikmesriikide esindajad ja komisjoni ametnikud 38 .

6.4. Kasulikkus

ISA programmiga saavutatud ning oodatud tulemused ja mõjud puudutavad peamiselt ettevõtete kindlakstehtud vajadusi 39 . Programmi raames loodi 23 lahendust, mis tehti vabalt kättesaadavaks programmi veebilehel 40 või mida pakuti jagatud teenustena. Need lahendused varieeruvad alates süsteemidest, mis toetavad ELi poliitikate rakendamist, näiteks siseturu infosüsteem (IMI), ning lõpetades ühiste spetsifikatsioonidega, näiteks andmekataloogi rakendusprofiil (DCAT-AP), mida kasutatakse üleeuroopalises avatud andmete portaalis. 23 lahendusest 15 kasutavad mõningad või kõik liikmesriigid, 14 kasutavad mitmed komisjoni talitused ning viite kasutab mõni üksik muu ELi institutsioon. See edu on veelgi rabavam, kui arvestada, et liikmesriigid pole kohustatud lahendusi taaskasutama.

Uute ELi õigusaktide IKT-mõjude hindamiseks välja töötatud meetodit, mis lisati komisjoni parema õigusloome vahendite hulka, taaskasutatakse laialdaselt mõjuhindamisprotsessi kontekstis.16 

Muud meetmed on tõestanud oma kasulikkust oma laialdase kasutatusega, nagu näitab seire- ja hindamistegevusega kogutud statistika 41 .

Liikmesriikide esindajad ja komisjoni ametnikud tegid kindlaks järgmised neli aspekti, milles liikmesriigid saavad ISA programmist suurimat kasu 42 : 

1)ISA lahenduste kasutamine 43 ;

2)programmi enda olemasolu, mis on kasvatanud teadlikkust koostalitlusvõime tähtsusest ja hoidnud seda poliitilises päevakorras 44 ;

3)NIFO toetatud tugisüsteemide, näiteks Euroopa koostalitlusvõime raamistiku pakkumine ja

4)osutatavad teenused, näiteks sTESTA võrgustik ja CIRCABC platvorm.

Lõplik hinnang tõstab esile vähese teadlikkuse programmist peamiste sidusrühmade hulgas, kellega vesteldi ja keda küsitleti, samuti liikmesriikide esindajate ja komisjoni ametnike hulgas 45 . Seda kinnitab fakt, et intervjueeritute ja küsitlusele vastajate pakutud täiendavad meetmed on kõik kas kasutusel või neid arendatakse ja laiendatakse 46 .

Programmi panus teistesse ELi poliitikatesse ja algatustesse ning Euroopa avaliku sektori moderniseerimisse suurendas selle kasulikkust.30 Lõpuks tuleks iga ISA lahenduse tegelikku kasutamist (kaasa arvatud kasutajate arvu) süstemaatiliselt mõõta ja iga lahenduse pakutavat kasu edendada.

6.5. Jätkusuutlikkus

Lõpphindamisel leiti, et väljatöötatud lahendused, nagu neid programmi kaudu ülal peeti ja käitati, olid rahalisest, tehnilisest ja operatiivsest seisukohast jätkusuutlikud.

ISA lahenduse tehnilist ja operatiivset jätkusuutlikkust hinnatakse kaudselt selle toimimise ja kasutuse järgi, mõõdetuna jälgimis- ja hindamistoimingute käigus.

Rahaliselt tagavad jätkusuutlikkuse eeskätt ISA² jätkuprogramm või muud ELi algatused ja programmid, näiteks Euroopa ühendamise rahastu. Teatud juhtudel võiks selliseid rahastamisvõimalusi nagu kulude jagamine ja kasutamise eest maksmine näha kui viise pikaajalise rahalise jätkusuutlikkuse tagamiseks.

Üldises jätkusuutlikkuses on oluline ka korralduslik jätkusuutlikkus. Pikaajalist lahenduste ja teenuste juhtimist tuleks järjekindlalt planeerida, et tagada nende katkematus 47 . On oluline märkida, et teavet programmi raames rahastatud lahenduste juhtimise kohta on alati vaja kui osa iga-aastasest taotlemisprotsessist.

6.6. Sidusus

Lõpphindamisel leiti, et ISA programmi meetmed toetavad terviklikku lähenemist. Selle tervikliku lähenemise kohaselt, mida tutvustati ISA komiteele 2013. aasta jaanuaris, 48 nõuab tõeline koostalitlusvõime haldusasutuste vahel tööd erinevatel liinidel: strateegilised eesmärgid, raamistikud ja arhitektuurilised suunised, spetsifikatsioonide väljatöötamine ning lahenduste rakendamine, kasutamine ja levitamine. Lisaks peetakse tähtsateks koostalitlusvõime teguriteks Euroopa koostalitlusvõime maastiku seiret ja kaardistamist ning teadlikkuse tõstmist. Terviklik lähenemine võimaldab leida lünki ning käivitada nende kõrvaldamiseks asjakohaseid tegevusi ja projekte.

See terviklik lähenemine pole ilmselge ISA sidusrühmadele, 49 kes on rohkem tuttavad individuaalsete tegevustega kui programmi endaga. Samuti leidis intervjueeritute ja küsitlusele vastajate hulgas kinnitust vähene teadlikkus programmi sünergiatest, ehkki lõpphindamine näitas võrreldes vahehindamisega paranemist.

Sidusrühmad mainisid vestlustes ja internetiküsitlustes teistest tunduvalt rohkem vaid üht ISA meedet (EUSurvey), 50 mis nende arvates pole programmi eesmärkidega seotud.36 

Sidusust suurendas programmi käigus märkimisväärne hulk sünergiat, mis tekkis selle meetmete ning teiste ELi poliitikate ja algatuste vahel, mille rakendamise võtmetegur on koostalitlusvõime. See, mida programmi kaudu selgelt näidati ja mis käsile võeti, oli vajadus tegutseda horisontaalselt, et tagada koostalitlusvõime üle poliitikavaldkondade. Selline horisontaalne mõõde puudub valdkonnaspetsiifilistes rakendustes. ISA tekitas sünergiat selliste valdkondadega nagu siseturg, konkurentsiõigus, INSPIRE, CISE, üleeuroopaline avatud andmete portaal ning viimasel ajal ka Euroopa ühendamise rahastu, mis põhineb teataval määral programmi tulemustel.

Valdkonnaülene lähenemine koostalitlusvõimele toob reaalset kasu, mida sektorispetsiifilistes lähenemistes ja lahendustes ei ole võimalik muul viisil saavutada. Riigihangete, avaliku sektori valduses oleva teabe, IKT standardiseerimise, justiits- ja siseküsimuste ning maksunduse valdkond saaksid kasu paremast kooskõlast valdkonnaüleste koostalitlusvõime lahenduste vahel ELi tasandil ja võimalikust järgnevast koostööst.

ISA programmi viimastel etappidel arendati sünergiat Euroopa struktuuri- ja investeerimisfondide eest vastutavate komisjoni talitustega. Temaatilise eesmärgi nr 11 kohaselt, mille kaudu püütakse suurendada haldusasutuste institutsioonilist suutlikkust ja tõhusust, saavad Euroopa struktuuri- ja investeerimisfondid toetada riiklike, piirkondlike ja kohalike haldusasutuste jõupingutusi koostalitlusvõime kui nende haldusasutuste moderniseerimise vahendi parendamiseks 51 . Tihedam koostöö ISA2 programmi raames võiks anda vastastikku kasulikke tulemusi programmi ja Euroopa struktuuri- ja investeerimisfondide rakendamiseks liikmesriikides. Lisaks tagab informaatika peadirektoraadi aktiivne osalemine hiljuti loodud talitustevahelises avaliku halduse kvaliteedi ja innovatsiooni rühmas 52 koostöö programmi ja Euroopa struktuuri- ja investeerimisfondide vahel.

Programmi raames tehtud töö ning informaatika peadirektoraadi jõupingutused viisid tihedamate sidemeteni komisjoni IT haldusega.

6.7. Koordineerimine

Programmi rakendamise ajal saavutati kooskõlas ISA otsusega (artiklid 12 ja 14) formaalsete tegevuste hea koordineeritus liikmesriikide ja komisjoni talituste vahel. Kaks kolmandikku liikmesriikide esindajatest ja üle poole komisjoni ametnikest nõustusid täielikult või mingil määral sellega, et suhtlemine ISA ja selle sidusrühmade vahel oli piisavalt tulemuslik tagamaks katkematu teabe, seisukohtade ja parimate tavade vahetamise 53 .

Lisaks saavutati programmi raames tegevuste hea koordineeritus sidusrühmadega väljaspool haldusautusi, et tagada vajadusel nende kaasamine. Nende hulka kuuluvad, kui see on asjakohane ja vajalik, standardiorganisatsioonid, akadeemilised ringkonnad, erasektori organisatsioonid ja ELi mittekuuluvad riigid, nt Ameerika Ühendriigid, Jaapan ja Austraalia.

Lõpphindamisel tunnustati kooskõlastatud jõupingutusi, mida on tehtud koordineerimisel ELi tasandil vaieldamatult positiivsete tulemustega 54 . Talitustevahelisest avaliku halduse kvaliteedi ja innovatsiooni rühmast saab vahend kõigi nende ELi tasandi algatuste koordineerimise parandamiseks, mis aitavad kaasa Euroopa haldusasutuste moderniseerimisele.

Hindamisel järeldati, et liikmesriikide esindajatel on ISA komitees, koordineerimisgrupis ja töögrupis veel arenguruumi, et paremini koordineerida koostalitlusvõime küsimusi oma kolleegidega teistest liikmesriikidest, aitamaks kaasa jätkuprogrammi edule 55 .

Programm annab hea ülevaate koostalitlusvõime arengutest riiklikul tasandil, sest NIFO ja e-valitsuse liikmesriikide teabelehtede komplektid on koondatud ühte kohta Joinupi platvormil 56 .

Enamik liikmesriikide esindajaid ja komisjoni ametnikke nõustus täielikult või mingil määral väitega, et elektroonilised platvormid, mida ISA kasutas pideva suhtluse tagamiseks sidusrühmade vahel ja komisjoniga (nt Joinup, ISA veebileht ja programmi tulemuste jälgimise leht), olid asjakohased. Kuid sidusrühmade hulgas puudus teadlikkus riiklikul (nt programmi taaskasutus) ja ELi tasandil saavutatud tulemustest ning ISA tulemuste kasutusest komisjoni talituste poolt 57 .

7.    Lõpphindamise järeldused

Lõpphinnang oli suures osas positiivne ning järeldati, et ISA programm on olnud kooskõlas Euroopa Liidu poliitika prioriteetidega ja liikmesriikide vajadustega 58 . Lõpphindamisel leiti, et programmi rakendati tõhusalt ning see andis tulemusi, mida taaskasutavad nii komisjoni talitused kui ka liikmesriigid. ISA programm on olnud tõhus oma eesmärkide saavutamisel ja operatiivsete lahenduste pakkumisel, hõlbustades Euroopa haldusasutuste koostööd, sealhulgas uute ELi õigusaktide IKT-mõjude hindamist. Üldiselt täidavad ISA programmiga saavutatud ning oodatud tulemused ja mõjud suuresti ettevõtete vajadusi, millele need olidki suunatud, ning programmi raames on tegevusi hästi sidusrühmadega koordineeritud, tagades nende kaasamise.

Järeldustes leiti, et on vaja keskenduda ISA lahenduste taaskasutuse parendamisele ja uute arenevate vajaduste rahuldamisele. Lisaks on vaja suurendada algatuste koordineerimist ELi tasandil, eriti peadirektoraatide hulgas talitustevahelise avaliku halduse kvaliteedi ja innovatsiooni rühma raames ning liikmesriikide ja komisjoni ametnike vahel, et tagada suurem sidusus teiste ELi ja riiklike algatustega ning koordinatsioon sidusrühmadega.

Programmi üldine strateegiline lähenemine alates 2013. aastast näitab, et sidus terviklik lähenemine ISA programmi raamistikus on olemas. Programmi meetmete ja teiste ELi meetmete vahel saavutati sünergiat, kuid ulatuslikuma sünergia jaoks on veel ruumi.

8. Soovitused

On oluline märkida, et ISA otsus keskendus programmi meetmetele koostalitlusvõime saavutamiseks haldusasutuste vahel. Tõenäoliselt on see mõjutanud kasulikkuse, teadlikkuse ja taaskasutuse tasandeid, sest programm ei hõlmanud haldusasutuste sidemeid ettevõtete ja kodanikega. Siiski laiendas programm mõnel juhul pragmaatiliselt oma sidusrühmade baasi, et kaasata ettevõtteid ja kodanikke koostalitlusvõimeliste lahenduste väljatöötamisse ja panna kokku terviklikum lähenemine, kui see muidu oleks olnud võimalik.

Koostalitlusvõimeliste lahenduste väljatöötamisel muutub vajadus kaaluda seost ühest küljest haldusautuste ning teisest küljest kodanike, ettevõtete ja nende konkreetsete vajaduste vahel järjest ilmsemaks, arvestades, et viimased on kõigi riigihalduse teenuste lõppkasutajad 59 . ISA otsuses ei nähtud ette meetmeid lõppkasutajate vajaduste täitmiseks, kuid programmi rakendamise kogemus ning konsulteerimine meetme „omanike“ ja liikmesriikidega tegi selgeks, et see oli vajalik. Seda piirangut käsitletakse soovituses laiendada uut ISA² programmi ettevõtetele ja kodanikele.

Hindamisel leiti, et ISA² programm peaks välja töötama süstemaatilisema, n-ö majanduslikul huvil põhineva lähenemisviisi, mis ühtlasi tõstaks esile koostalitlusvõime edasist rolli majandusliku ja ühiskondliku kasu saamisel 60 . Lisaks peaks komisjon ISA² programmi täie tõhususe tagamiseks püüdma järgida oma personalihõive sihttaset, 61 eriti kui tegelik inimressursside eraldamine on pidevalt olnud programmis algselt ettenähtust madalam.

Mis puutub vahehindamise soovitustesse, siis on programm neid piisavas ulatuses arvestanud, parandades suhtlemist sidusrühmadega ja suurendades kohalolekut suurüritustel, ning on teinud järjekindlalt edusamme ka teiste soovituste täitmises. Hindamisel järeldati siiski, et järgmised valdkonnad vajavad uue ISA² programmi raames jätkuvaid jõupingutusi:

suhtlus haldusasutustega ja nende teadlikkuse tõstmine koostalitlusvõime küsimuses;

tervikliku lähenemise ja koostalitlusvõime horisontaalse valdkondadevahelise vaatenurga edendamine ning

koostöö teiste ELi poliitikate ja algatustega.

Lisaks arvab lõpphindamise meeskond, et 11-st IDABC programmi lõpphindamisest tulenevast soovitusest on kaks ikka veel ISA programmi suhtes kohaldatavad; need on: 62

koostada tuleb ühine „reklaamdokument“, mis keskendub poliitika kooskõlastamisele ja sünergiale Euroopa Liidu programmide ja algatuste vahel (IDABC soovitus 5); ja

teave projektide rahalise ja operatiivse jätkusuutlikkuse kohta tuleb muuta nähtavamaks ning seda tuleb välistele sidusrühmadele paremini selgitada (IDABC soovitus 8).

Peamised soovitused on toodud allpool.

8.1.                    Suhtlus haldusasutustega ja nende teadlikkuse tõstmine koostalitlusvõime kohta 

Ligikaudu kaks kolmandikku ajavahemiku 2010–2015 üritustest, mis korraldati ISA programmi raames koos liikmesriikide esindajatega, ning 63% (25) 40-st liikmesriikide korraldatud üritusest, milles osales ISA programm, leidis aset alles pärast 2013. aastat ehk pärast vahehindamist. Programm suurendas oma kohalolekut konverentsidel ja teistel üritustel; rohkem kui 60 üritusest, millesse see oli kaasatud, toimus kolm neljandikku pärast vahehindamist 63 .

ISA² programm peaks uuendama ja rakendama kommunikatsioonistrateegiat, keskendudes suunatud tegevusele, sealhulgas sektoripõhiste sidusrühmade kaasamisele. See vähendaks senist lõhet programmi tegelike tulemuste ja sidusrühmade arusaama vahel 64 .

8.2.    Tervikliku lähenemise ja koostalitlusvõime valdkondadevahelise vaatenurga edendamine

Alates 2013. aastast kasutatud terviklikku lähenemist tuleks ISA² programmis jätkata, kuna õiguslik ja organisatsiooniline koostalitlusvõime on alles lapsekingades. Euroopa koostöövõime etalonarhitektuurist (EIRA) 65 ja Euroopa koostöövõime kaardistusest (EICart), 66 mis dokumenteerivad olemasolevaid teenuseid ja vahendeid, saavad sellise tervikliku lähenemise toetamisel abinõud, mis aitavad kindlaks teha ja taaskasutada olemasolevaid lahendusi ning tõstavad esile kohad, kus koostalitlusvõimet soodustavad vahendid puuduvad 67 . EIRA ja EICart mängivad olulist rolli tulemuste levitamises ja vajaduste paremas väljaselgitamises. Need võimaldavad suuremat teadlikkust, paremat koordinatsiooni ja suurema sünergia tekkimist.

Nüüd, kus uute ELi-i õigusaktide IKT-mõjude hindamine on lisatud mõjuhindamisprotsessi, peaks ISA² programm jätkama oma ettenähtud rolli mängimist ja rakendama oma asjatundlikkust selle toimingu edendamiseks ning nende peadirektoraatide ja talituste toetamiseks, kes viivad läbi selliseid hindamisi 68 .

Lõpuks peaks ISA² programmi abil välja töötatama süstemaatilisem lähenemine ühisteenuste ja baasvahendite toetamiseks ja jälgimiseks, samuti ühiste raamistike kohaldamiseks ja rakendamiseks 69 .

8.3.    Koostöö teiste ELi poliitikate ja algatustega

Jõupingutused ISA/ISA² programmi kooskõlastamiseks teiste asjaomaste ELi poliitikatega jätkuvad, kui võtta näitena Euroopa ühendamise rahastu, mis toetub selle tulemustele. Samuti tuleb juhul, kui lahendusi rakendatakse teiste ELi poliitikate toetuseks, alates 2016. aastast arvesse võtta uuendatud Euroopa koostalitlusvõime raamistikku.

ISA² programm peaks tuginema selgetele edasiminekutele koostalitlusvõime ja e-valitsusega seotud tegevuste koordineerimisel kogu komisjoni ulatuses, mille ISA programm on alates vahehindamisest ka saavutanud 70 . See hõlmab jätkuvat koostööd DG CNECT-iga Euroopa ühendamise rahastu ja uue 2016.–2020. aasta e-valitsuse tegevuskava kallal. Lisaks on plaanid teha koostööd DG EMPL-i ja DG REGIO-ga, et teha kindlaks olemasolevad või uued ISA/ISA2 meetmed, millel on potentsiaal kaasa aidata Euroopa struktuuri- ja investeerimisfondide temaatiliste eesmärkide nr 2 (IKT juurdepääsu ning kasutuse ja kvaliteedi parandamine) ja nr 11 (riigiasutuste ja sidusrühmade institutsioonilise suutlikkuse ning haldusasutuste tõhususe suurendamine) saavutamisele. See toimub lisaks riiklike rakenduskavade hindamisele ja tingimuste kindlaksmääramisele. Lõpuks on ISA programm näidanud tugevat potentsiaali tihedamaks koostööks muu hulgas DG HOME, DG JUSTi, DG MARE, DG FISMA, DG GROW' ja teadusuuringute ühiskeskusega.

Lõpphindamisel nähti uues talitustevahelise avaliku halduse kvaliteedi ja innovatsiooni rühmas peamist tegurit järjepideva koostöö ja sidususe saavutamiseks ELi poliitikate ja algatuste vahel, mis aitab kaasa avaliku sektori moderniseerimisele 71 .

9. Järgmised sammud

Järgmise ISA² programmi rakendamisel pöörab komisjon ülimat tähelepanu eespool nimetatud järeldustele ja soovitustele, analüüsides neid, et leida kinnitust tõstatatud küsimustele ja lahendada need vajadusel tihedas koostöös liikmesriikide ja teiste sidusrühmadega, sealhulgas ettevõtete ja kodanikega.

(1)

  Euroopa Parlamendi ja nõukogu 2009. aasta 16. septembri otsus nr 922/2009/EÜ Euroopa haldusasutuste koosvõimealaste lahenduste kohta (ISA), ELT L 260, 3.10.2009, lk 20.

(2)

  Euroopa Parlamendi ja nõukogu 21. aprilli 2004. aasta otsus 2004/387/EÜ üleeuroopaliste e-valitsuse teenuste koostalitusvõimelise osutamise kohta riiklikele haldusasutustele, ettevõtetele ja kodanikele (IDABC), ELT L 144, 30.4.2004 (vt ELT L 181, 18.5.2004, lk 25 ).

(3)

ISA otsuse artikli 1 lõige 2.

(4)

ISA programmi lõpphinnangut saab vaadata veebilehel http://ec.europa.eu/isa/library/official-documents/index_en.htm

(5)

See koosnes informaatika peadirektoraadi (DIGIT), siseturu peadirektoraadi, tööstuse ja ettevõtluse ning VKEde (GROW) peadirektoraadi, maksunduse ja tolliliidu (TAXUD) peadirektoraadi, teadusuuringute ühiskeskuse (JRC) ja peasekretariaadi ametnikest.

(6)

„Euroopa 2020. aastal: aruka, jätkusuutliku ja kaasava majanduskasvu strateegia“, komisjoni teatis (KOM(2010) 2020 lõplik, 3.3.2010, lk 12).

(7)

  http://ec.europa.eu/europe2020/index_et.htm  

(8)

Komisjoni 2013. aasta majanduskasvu analüüs, COM(2012) 750 final, 28.11.2012, lk 13.

(9)

Komisjoni teatis Euroopa Parlamendile, nõukogule, Euroopa Majandus- ja Sotsiaalkomiteele ning Regioonide Komiteele (KOM(2010) 245 lõplik/2), lk 5.

(10)

  http://daeimplementation.eu/dae_actions.php?action_n=26&id_country=1  

(11)

„Euroopa avalike teenuste koosvõime alused“, komisjoni teatis Euroopa Parlamendile, nõukogule, Euroopa Majandus- ja Sotsiaalkomiteele ning Regioonide Komiteele (KOM(2010) 744 lõplik, 1. lisa).

(12)

http://data.consilium.europa.eu/doc/document/ST-169-2013-INIT/en/pdf

(13)

ISA otsuse artikli 1 lõige 1.

(14)

Euroopa avalike teenuste kohta vt Euroopa koostalitlusvõime raamistik (KOM(2010) 744 lõplik, 2. lisa), lk 21.

(15)

ISA programmi vahehindamine, 2012,

  http://ec.europa.eu/isa/documents/interim_evaluation_of_the_isa_programme.pdf  

(16)

„Parema õigusloome suunised“, komisjoni talituste töödokument (SWD(2015) 111 final);    
„Mõjuhindamissuunised“ (COM(2015) 215 final) (SWD(2015) 110 final), lk 18.

(17)

IDABC programmi raames loodud NIFO toetab Euroopa koostalitlusvõime raamistiku rakendamist liikmesriikide tasandil läbi Euroopa koostalitlusvõime raamistiku ülevõtmise riiklikesse koostalitlusvõime raamistikesse. http://ec.europa.eu/isa/actions/04-accompanying-measures/4-2-3action_en.htm  

(18)

Näited on rahastu kaasaaitamine ettevõtlusregistrite vastastikusele sidumisele, põhimõtte „ainult üks kord“ rakendamisele (digitaalse ühtse turu meede 16) oma tegevuse kaudu baasregistrite valdkonnas ning ühtse digiportaali eesmärgile koos tööga semantika alal ja teenuste kataloogiga.

(19)

  https://joinup.ec.europa.eu/community/cef/og_page/catalogue-building-blocks

(20)

ISA programmi lõpphindamine, tabel 10 „Alignment of the ISA programme with CEF“, lk 54.

(21)

„Üheskoos uue majanduskasvu eest – ühtse turu akt: 12 vahendit majanduskasvu edendamiseks ja usalduse suurendamiseks“, komisjoni teatis Euroopa Parlamendile, nõukogule, Euroopa Majandus- ja Sotsiaalkomiteele ning Regioonide Komiteele (KOM(2011) 206 lõplik), lk 10.

(22)

Euroopa Parlamendi ja nõukogu 14. märtsi 2007. aasta direktiiv 2007/2/EÜ, millega rajatakse Euroopa Ühenduse ruumiandmete infrastruktuur (INSPIRE), artikkel 7.

(23)

„ELi merendusvaldkonna seireks ühise teabejagamiskeskkonna loomist käsitleva tegevuskava eelnõu“, komisjoni teatis Euroopa Parlamendile (KOM(2010) 584 lõplik), lk 3.

(24)

„Avatud andmed: innovatsiooni, majanduskasvu ja läbipaistva juhtimise mootor“, komisjoni teatis Euroopa Parlamendile, nõukogule, Euroopa Majandus- ja Sotsiaalkomiteele ning Regioonide Komiteele (KOM(2011) 882 lõplik), lk 11.

(25)

„2012. aasta konkurentsipoliitika aruanne“, komisjoni teatis (COM(2013) 257 final), lk 12.

(26)

ISA programmi lõpphindamine, tabel 21 „Level of adoption of ISA solutions by Commission services“, lk 131.

(27)

Dokument, mis on lisatud ISA2 otsuse eelnõule (COM(2014) 367 final).

(28)

ISA programmi vahehindamine, 2012, lk 172.

  http://ec.europa.eu/isa/documents/interim_evaluation_of_the_isa_programme.pdf

(29)

 ISA programmi lõpphindamine, „Pertinence of the ISA objectives to respond to needs of EU public administrations“, lk 45.

(30)

  http://ec.europa.eu/isa/dashboard/isadashboard  

(31)

ISA programmi lõpphindamine, „ISA programme efficiency: % of delay“, lk 82.

(32)

ISA programmi lõpphindamine, „Budget allocation and execution“, lk 67.

(33)

ISA programmi lõpphindamine, „Conclusion 4“, lk 86.

(34)

ISA programmi lõpphindamine, „Revision process of the ISA Work Programme“, lk 59.

(35)

ISA programmi lõpphindamine, „Allocation of financial resources“, lk 66.

(36)

ISA programmi lõpphindamine, „Conclusion 6“, lk 111.

(37)

ISA programmi lõpphindamine, „Establishment and improvement of common frameworks“, lk 94.

(38)

ISA programmi lõpphindamine, „Conclusions 7 and 8“, lk 112 ja 140.

(39)

ISA programmi lõpphindamine, tabel 18 „Utility scores at action level“, lk 116.

(40)

  http://ec.europa.eu/isa/ready-to-use-solutions/index_en.htm  

(41)

ISA programmi lõpphindamine,     „Facilitation of effective interaction between European public administrations“, lk 88 ja 89.

(42)

ISA programmi lõpphindamine, „Main ISA results perceived“, lk 88.

(43)

ISA programmi lõpphindamine,     „General perceptions on the benefits delivered by the programme“, lk 113 ja 114.

(44)

ISA programmi lõpphindamine, joonis 37 „Respondent’s agreement levels on the awareness raising of the ISA programme“, lk 171.

(45)

ISA programmi lõpphindamine, „Conclusion 9“, lk 141.

(46)

ISA programmi lõpphindamine, „Coherence“, lk 17.

(47)

ISA programmi lõpphindamine, „Conclusion 10“, lk 148.

(48)

ISA komitee koosolek, 23. jaanuar 2013 – ISA programmi vahehindamise tulemuste esitlemine.

(49)

ISA programmi lõpphindamine, „Conclusion 11“, lk 165.

(50)

EUSurvey on avatud lähtekoodiga tasuta veebipõhine rakendus, mis lihtsustab vastajatel konsultatsioonidele vastamist ja küsitluse juhtidel tulemuste analüüsimist.

(51)

ISA programmi lõpphindamine, „Internal coordination within the European Commission“, lk 167.

(52)

 Talitustevaheline avaliku halduse kvaliteedi ja innovatsiooni rühm (Ares (2015) 4431139, 20.10.2015).

(53)

ISA programmi lõpphindamine, „Extent to which interaction between ISA and its stakeholders was effective“, lk 172.

(54)

ISA programmi lõpphindamine, „Internal coordination within the European Commission“, lk 167.

(55)

ISA programmi lõpphindamine, „Conclusion 13“, lk 187.

(56)

  https://joinup.ec.europa.eu/community/nifo/home

(57)

ISA programmi lõpphindamine, „Reuse by ISA of results delivered by other EU initiatives“, lk 163.

(58)

ISA programmi lõpphindamine, „Conclusions 1, 2 and 3“, lk 56, 57 ja 58.

(59)

ISA programmi lõpphindamine, „Consideration of results achieved by Member States in the establishment of ISA solutions“, lk 184.

(60)

ISA programmi lõpphindamine, „Recommendation 5“, lk 200.

(61)

ISA programmi lõpphindamine, „Recommendation 6“, lk 201.

(62)

ISA programmi lõpphindamine, „Recommendations from previous evaluations“, lk 190.

(63)

ISA programmi lõpphindamine, „Conclusion 14 and extent to which the ISA programme raised awareness of the ISA solutions“, lk 188.

(64)

ISA programmi lõpphindamine, „Recommendation 4“, lk 199 ja „Perceived performance of the ISA programme“, lk 83.

(65)

  EIRA on koostalitlusvõimeliste avalike digitaalteenuste piiriülese ja valdkondadevahelise osutamise etalonarhitektuur.

(66)

EICart on vahend, mida võib kasutada ettevõtete struktuurikomponentide kirjeldamiseks ja kataloogimiseks kooskõlas EIRA-ga.

(67)

ISA programmi lõpphindamine, „Recommendation 8 of 9“, lk 202.

(68)

ISA programmi lõpphindamine, „Recommendation 3 of 9“, lk 198.

(69)

ISA programmi lõpphindamine, „Recommendation 9 of 9“, lk 202.

(70)

ISA programmi lõpphindamine, „Recommendation 7 of 9“, lk 201.

(71)

  Euroopa Majandus- ja Sotsiaalkomitee arvamus teemal „Komisjoni teatis „2014. aasta majanduskasvu analüüs““ (COM(2013) 800 final); vt ELT C 214, 8.7.2014, lk. 46–54.