KOMISJA EUROPEJSKA

Bruksela, dnia 1.9.2016

COM(2016) 550 final

SPRAWOZDANIE KOMISJI DLA PARLAMENTU EUROPEJSKIEGO I RADY

Wyniki oceny końcowej programu ISA

{SWD(2016) 279 final}

Spis treści

1. Wprowadzenie    

2. Interoperacyjność jako istotny czynnik modernizacji sektora publicznego    

3. Kontekst    

4. Metodyka    

5. Problematyka oceny i pytania    

6. Ustalenia    

Osiągnięcie celów programu    

6.1 Istotność    

6.2 Efektywność    

6.3 Skuteczność    

6.4 Użyteczność    

6.5 Stabilność    

6.6 Spójność    

6.7 Koordynacja    

7.    Wnioski z oceny końcowej    

8. Zalecenia    

8.1     Komunikacja z administracjami publicznymi oraz podniesienie ich świadomości w dziedzinie interoperacyjności    

8.2    Wzmocnienie podejścia holistycznego i perspektywy przekrojowej interoperacyjności    

8.3    Współpraca z innymi obszarami polityki i inicjatywami UE    

9. Kolejne etapy    

1. Wprowadzenie

Na mocy decyzji Parlamentu Europejskiego i Rady (decyzja ISA), 1 w dniu 1 stycznia 2010 r. uruchomiono sześcioletni program na rzecz rozwiązań interoperacyjnych dla europejskich administracji publicznych (program ISA) jako kontynuację programu interoperatywnego świadczenia ogólnoeuropejskich usług eGovernment dla administracji publicznych, przedsiębiorstw i obywateli (IDABC) 2 . Realizowano go w okresie od dnia 1 stycznia 2010 r. do dnia 31 grudnia 2015 r.

Jak wskazano w art. 1 decyzji ISA, celem programu ISA jest wsparcie współpracy pomiędzy europejskimi administracjami publicznymi poprzez ułatwienie sprawnych i skutecznych elektronicznych kontaktów transgranicznych i międzysektorowych pomiędzy tymi administracjami (w tym podmiotami pełniącymi funkcje publiczne w ich imieniu), umożliwiając świadczenie elektronicznych usług publicznych wspierających wdrażanie polityki i działań Wspólnoty 3 . 

Niniejsze sprawozdanie przedstawia główne wyniki oceny końcowej programu 4 przeprowadzonej zgodnie z art. 13 ust. 3 decyzji ISA. Zgodnie z przywołanym przepisem, ocena końcowa przekazywana jest Parlamentowi Europejskiemu i Radzie do dnia 31 grudnia 2015 r. Ocena końcowa została przeprowadzona przez Komisję w okresie od grudnia 2014 r. do lutego 2016 r., kiedy to projekt raportu Komisji został przyjęty przez grupę sterującą. Jednak ostatnie zmiany w procedurach oceny Komisji spowodowały znaczne opóźnienie w realizacji zadania w terminie określonym w podstawie prawnej.

Podczas oceny końcowej Komisja była wspomagana przez zespół niezależnych ekspertów z firmy konsultingowej (zespół ds. oceny końcowej). Przedstawiciele odpowiednich służb Komisji nadzorowali ocenę końcową za pośrednictwem grupy sterującej Komisji 5 .

2. Interoperacyjność jako istotny czynnik modernizacji sektora publicznego

Modernizacja administracji publicznych stanowi jeden z zasadniczych priorytetów warunkujących udane wdrożenie strategii Europa 2020 6 . Roczne analizy wzrostu gospodarczego opublikowane przez Komisję w latach 2011–2015 7 dowodzą, że jakość europejskich administracji publicznych ma bezpośredni wpływ na otoczenie gospodarcze i w związku z tym ma zasadnicze znaczenie dla stymulowania produktywności, konkurencyjności i wzrostu gospodarczego.

Jak wspomniano w rocznej analizie wzrostu gospodarczego na rok 2013, 8 Komisja uznaje, że transgraniczna interoperacyjność usług internetowych oraz cyfryzacja europejskich administracji publicznych to istotne czynniki wzrostu i zwiększenia efektywności. Interoperacyjność między administracjami jest kluczowym czynnikiem warunkującym osiągnięcie większej skuteczności i efektywności realizacji usług cyfrowych.

W europejskiej agendzie cyfrowej 9 wyjaśniono, dlaczego interoperacyjność ma zasadnicze znaczenie dla maksymalizacji społecznego i gospodarczego potencjału ICT, a tym samym agendę uda się zrealizować jedynie pod warunkiem zagwarantowania interoperacyjności. W ramach jej dedykowanego filaru „interoperacyjności i norm” wezwano państwa członkowskie do podjęcia konkretnych działań związanych z interoperacyjnością, 10 a mianowicie do realizacji zobowiązań określonych w deklaracjach ministerialnych z Grenady i Malmö, w tym przyjęcia europejskich ram interoperacyjności (ERI) 11 w ustawodawstwie krajowym.

W dniach 24 i 25 października 2013 r. Rada Europejska przyjęła konkluzje 12 , w których podkreśliła, że należy kontynuować modernizację administracji publicznych, szybko wdrażając takie usługi oparte na interoperacyjności jak administracja elektroniczna, e-zdrowie, e-fakturowanie oraz e-zamówienia. Doprowadzi to do stworzenia większej ilości lepszych usług cyfrowych dla obywateli i przedsiębiorstw w całej Europie, oszczędności kosztów oraz większej efektywności, przejrzystości i jakości usług w sektorze publicznym.

Jednakże państwa członkowskie działają często na poziomie krajowym, bez wspólnego podejścia europejskiego, co niekorzystnie wpływa na interoperacyjność na poziomie europejskim i dostępność transgranicznych cyfrowych usług publicznych. W związku z tym istnieje duże ryzyko, że powstaną nowe bariery elektroniczne (e- bariery), które uniemożliwią obywatelom i przedsiębiorstwom korzystanie z usług administracji publicznych w krajach innych niż ich własne oraz utrudnią sprawne funkcjonowanie rynku wewnętrznego.

3. Kontekst

Program ISA powstał w oparciu o postępy poprzedzających go programów (IDA i IDABC). Jak wyraźnie podkreślono w decyzji ISA3, głównym celem programu ISA było wspieranie współpracy pomiędzy europejskimi administracjami publicznymi w celu umożliwienia świadczenia elektronicznych usług publicznych wspierających realizację polityki i działań UE. Celem pośrednim było stymulowanie skutecznej oraz efektywnej współpracy transgranicznej i międzysektorowej między administracjami.

Żeby zrealizować przyjęte cele, stymulować działania określone w art. 1 i 3 decyzji ISA oraz zapewnić „wspólne rozwiązania na rzecz interoperacyjności”, 13 program obejmował konkretne działania polegające na realizacji badań, projektów i środków towarzyszących, służących wsparciu:

funkcjonowania i udoskonalenia istniejących wspólnych usług oraz opracowania nowych;

usprawnienia istniejących podstawowych narzędzi wielokrotnego użytku oraz opracowania nowych;

opracowania i usprawnienia wspólnych ram wsparcia interoperacyjności transgranicznej i międzysektorowej; oraz

oceny prawodawstwa UE pod względem potrzeb w zakresie ICT (decyzja ISA, art. 3).

Zgodnie z definicją w art. 2 decyzji ISA, na „wspólne usługi” składają się aplikacje operacyjne i infrastruktura o charakterze ogólnym, które spełniają wspólne wymagania użytkowników na różnych obszarach polityki. „Podstawowe narzędzia” obejmują platformy referencyjne, wspólne platformy i platformy współpracy, wspólne komponenty i podobne elementy składowe, które spełniają wymagania użytkowników na różnych obszarach polityki. „Wspólne ramy” to strategie, specyfikacje, metodyki, wytyczne oraz podobne podejścia i dokumenty.

Program ISA jest wdrażany za pomocą aktów wykonawczych (decyzja ISA, art. 9) na podstawie kroczącego programu prac podlegającego przeglądowi co najmniej raz w roku i obejmuje działania na rzecz finansowania jednej lub większej liczby warstw interoperacyjności (techniczna, semantyczna, organizacyjna i prawna) 14 . Roczne programy robocze są ustalane na podstawie corocznych zaproszeń do składania wniosków adresowanych do służb Komisji i państw członkowskich, zatwierdzanych przez komitet ISA i przyjmowanych przez Komisję przed ich wejściem w życie. Konkretne działania podlegające finansowaniu wymienia się w kroczącym programie prac.

4. Metodyka

Ocena końcowa programu ISA została oparta na danych ilościowych i jakościowych zbieranych na różne sposoby (badania źródeł wtórnych, ankiety on-line, wywiady, pisemne prośby o dodatkowe informacje i analizy przypadku), z udziałem szerokiego grona przedstawicieli państw członkowskich i służb UE oraz ograniczonej liczby zainteresowanych podmiotów reprezentujących społeczeństwo obywatelskie i prywatne organizacje, z którymi kontaktowano się w związku z realizacją programu.

5. Problematyka oceny i pytania

Ocena końcowa opierała się na tym samym zestawie kryteriów co ocena śródokresowa, 15 służąca za punkt odniesienia dla uzyskanych wyników. Wyniki, wnioski i zalecenia z oceny końcowej przygotowano na podstawie szerokiego spektrum danych stanowiących wymierne dowody wymagane w celu sprawdzenia poprawności logiki interwencji programu oraz osiągnięcia jego celów. Koncentrowała się na następujących siedmiu głównych kryteriach:

– istotność — w jakim stopniu cele programu były istotne dla realizacji zmieniających się potrzeb i priorytetów na poziomie krajowym i unijnym?

– efektywność — jak ekonomicznie różnorodne nakłady przekształcono w rezultaty i z jakim skutkiem pod względem optymalnego wykorzystania zasobów? Jakie aspekty programu były najbardziej (nie)efektywne, szczególnie pod względem użytych zasobów?

– skuteczność — w jakim stopniu wyniki i skutki programu stanowią realizację przyjętych celów? Czy istnieją aspekty wyróżniające się mniejszą lub większą skutecznością niż inne, a jeśli tak, jakie wnioski można z tego wyciągnąć?

– użyteczność — jak rzeczywiste i oczekiwane wyniki oraz skutki programu mają się do potrzeb gospodarczych, rozwiązaniu których miały służyć? Jakie kroki można podjąć, żeby poprawić użyteczność działań w ramach następnego programu?

– stabilność — w jakim stopniu zapewniono finansową, techniczną i operacyjną stabilność opracowanych rozwiązań w stosunku do stanu utrzymywanego i istniejącego w trakcie prowadzenia programu?

– spójność — w jakim stopniu działania ISA stanowią element podejścia „holistycznego” (pod względem spójności między sobą, a także z innymi politykami oraz inicjatywami UE)? W jakim zakresie udało się osiągnąć synergię między działaniami w ramach programu a innymi działaniami UE?

– koordynacja — w jakim stopniu działania z udziałem państw członkowskich, w tym działania z udziałem komitetu ISA, były koordynowane dla zapewnienia zaangażowania zainteresowanych podmiotów w program ISA? W jakim zakresie działania skoordynowano lub dostosowano do potrzeb innych zainteresowanych podmiotów, z którymi Komisja miała współpracować w ramach ISA?

6. Ustalenia

Osiągnięcie celów programu

W ocenie końcowej stwierdzono, że program ISA był skuteczny w osiąganiu celów i dostarczaniu rozwiązań operacyjnych na rzecz „wsparcia współpracy pomiędzy europejskimi administracjami publicznymi poprzez ułatwienie sprawnych i skutecznych elektronicznych kontaktów transgranicznych i międzysektorowych pomiędzy tymi administracjami, [...] umożliwiając świadczenie elektronicznych usług publicznych wspierających wdrażanie polityki i działań Wspólnoty”.3 W szczególności tak było w przypadku wspólnych ram, podstawowych narzędzi wielokrotnego użytku oraz wspólnych usług, a także oceny wpływu nowego prawodawstwa unijnego pod względem potrzeb w zakresie ICT. Zasadniczo, osiągnięte i oczekiwane wyniki oraz skutki programu ISA w dużej mierze zaspokajają potrzeby gospodarcze, którym miały służyć, chociaż niektóre działania cechowała większa użyteczność niż inne.

W ramach oceny wskazano szereg kluczowych obszarów, w których zmiany w będącym kontynuacją programu ISA programie ISA² mogą, w ujęciu łącznym, być bardziej istotne w świetle aktualnych potrzeb w zakresie interoperacyjności i poprawić jego użyteczność. W ocenie potwierdzono również, że program ISA przyczynił się do zwiększenia skali wymiany i ponownego wykorzystania w innych obszarach poprzez ustanowienie wspólnych ram. Wreszcie, program ISA stanowił okazję do przeglądu wytycznych w sprawie lepszego stanowienia prawa 16 dla zagwarantowania, że ocena pod względem potrzeb w zakresie ICT jest częścią procesu oceny skutków realizowanego przez Komisję Europejską.

Ogólne ustalenia podsumowano poniżej:

6.1 Istotność

Cel programu ISA („wsparcie współpracy pomiędzy europejskimi administracjami publicznymi poprzez ułatwienie sprawnych i skutecznych elektronicznych kontaktów transgranicznych i międzysektorowych pomiędzy tymi administracjami”) jest nadal właściwy w świetle zmieniających się potrzeb na poziomie krajowym i unijnym. Dowodem tego była ocena końcowa programu w zakresie wpływu wyników ISA, lecz także programy polityczne państw członkowskich wyraźnie wskazujące na potrzebę sprawnego i skutecznego świadczenia cyfrowych usług administracji publicznej.12 Ponadto, w ramach programu ISA opracowano, wdrożono i poddano monitorowaniu ERI (Europejskie ramy interoperacyjności). Zalecenia i wytyczne ERI pokazują, jak interoperacyjność powinna być wdrażana przez państwa członkowskie w administracji publicznej i mają:

a)promować oraz wspierać świadczenie europejskich usług administracji publicznej poprzez stymulowanie interoperacyjności transgranicznej i międzysektorowej;

b)stanowić wskazówkę dla europejskich administracji publicznych w wysiłkach na rzecz świadczenia usług dla przedsiębiorstw i obywateli; oraz

c)uzupełniać i wiązać ze sobą różne krajowe ramy interoperacyjności na poziomie europejskim.

ERI stanowią wspólne porozumienie dotyczące interoperacyjności w Unii, które znalazło potwierdzenie w strategii jednolitego rynku cyfrowego przewidującej określone działania w obszarze interoperacyjności między administracjami publicznymi (działanie 15: przyjęcie planu priorytetowych norm ICT i rozszerzenie europejskich ram interoperacyjności dla usług administracji publicznej).

Trwający przegląd ERI opiera się na pracy wykonanej w ciągu ostatnich kilku lat przez Obserwatorium Krajowych Ram Interoperacyjności (NIFO), 17 które zajmuje się monitorowaniem i wspieraniem wdrożenia ERI w państwach członkowskich.

Program ISA przyczynia się do realizacji innych działań jednolitego rynku cyfrowego, w których interoperacyjność odgrywa rolę podstawowego czynnika 18 . Cele programu są dobrze dostosowane do europejskiej agendy cyfrowej oraz europejskiego planu działań na rzecz administracji elektronicznej na lata 2010–2015, przy czym w obu powyższych dokumentach podkreślono znaczenie interoperacyjności jako warunku sukcesu. Co więcej, program dobrze współgra z instrumentem „Łącząc Europę”, którego celem jest rozwój połączeń i interoperacyjności europejskich cyfrowych usług administracji publicznej, ponieważ część jego elementów składowych 19 (np. elektroniczna wymiana dokumentów, tłumaczenia, e-fakturowanie) bazuje na wynikach ISA 20 . Możliwe jest wsparcie operacyjne z instrumentu „Łącząc Europę” dla rozwiązań opracowywanych i rozwijanych w ramach programu ISA.

Program ISA wniósł aktywny wkład w szereg obszarów polityki UE, takich jak rynek wewnętrzny 21 , infrastruktura informacji przestrzennej we Wspólnocie Europejskiej (INSPIRE) 22 , wspólny mechanizm wymiany informacji (CISE) 23 , ogólnoeuropejski portal otwartych danych 24 oraz prawo konkurencji 25 , które skorzystały z jego wsparcia w postaci dedykowanych działań i wspólnych rozwiązań 26 . Charakterystycznym elementem powyższych strategii są zadania i cele oparte na interoperacyjności ich wdrażania.

Potrzeby europejskich administracji publicznych, takie jak modernizacja świadczenia usług administracji publicznej, poprawa koordynacji między administracjami państw członkowskich a służbami Komisji, dostosowania organizacyjne w administracji publicznej oraz większa możliwość ponownego wykorzystania rozwiązań zidentyfikowanych przy okazji oceny ex ante 27 ISA2 i oceny śródokresowej ISA, 28 pozostają cały czas aktualne. Ułatwienie transgranicznego oraz międzysektorowego świadczenia usług w sposób jednolity i zasobooszczędny wymaga większego ponownego wykorzystania istniejących rozwiązań interoperacyjnych i intensyfikacji współpracy między administracjami państw członkowskich oraz między nimi a Komisją. Wspólne podejścia zapewniają brak niepotrzebnego dublowania się wysiłków 29 .

6.2 Efektywność

Ogólnie, program ISA można uznać za zrealizowany w sposób efektywny. Po pierwsze, wnioski z monitorowania i oceny 30 programu wskazują, że uznawano go za przebiegający „zgodnie z planem” przez cały okres 2010–2015, przy czym średnie opóźnienie sięgało mniej niż 5 % 31 . Po drugie, całkowite wykonanie budżetu na programy prac w latach 2010–2014 zamknęło się kwotą 128,2 mln EUR, czyli średnio około 2 % mniej niż łączny budżet przeznaczony na ten okres 32 . Biorąc pod uwagę tak poczynione ustalenia, program może zostać uznany za efektywny pod względem budżetowym30.

Ponadto 90 % ankietowanych przedstawicieli państw członkowskich i urzędników Komisji z biorących udział dyrekcji generalnych potwierdziło, że program realizowano na czas i zgodnie z jego pierwotnym zakresem 33 . Jak wspomniano w ocenie końcowej ISA, większość zainteresowanych podmiotów czuło się w pełni lub w pewnym stopniu zaangażowanych w roczne przeglądy programu 34 .

Procedura przyjmowania wniosków w przedmiocie nowych działań oraz wypłaty środków może zostać uznana za efektywną 35 . Efektywność pod względem alokacji zasobów ludzkich potwierdza fakt, że rzeczywiście wykorzystane zasoby kształtowały się zawsze na niższym poziomie niż przewidziano w pierwotnym wniosku legislacyjnym ISA.

6.3 Skuteczność

Program ISA pozwolił na opracowanie rozwiązań operacyjnych, m. in. wspólnych ram, podstawowych narzędzi wielokrotnego użytku oraz wspólnych usług, które pomagają osiągnąć cel w postaci ułatwienia skutecznej współpracy pomiędzy europejskimi administracjami publicznymi. Generalnie, większość rozmówców i internetowych respondentów uważała, że wszystkie rozwiązania ISA przyczyniają się do zwiększenia interoperacyjności między administracjami 36 .

Ustanowienie wspólnych ram, takich jak ERI, również pozwoliło intensyfikować wymianę i ponowne wykorzystanie rozwiązań dzięki dedykowanym zaleceniom w tym zakresie 37 . Ramy wymiany i ponownego wykorzystania zaczęły być opracowywane w ramach ISA, a obecnie nabierają ostatecznej formy w ramach programu ISA2.

Program rozpoczął funkcjonowanie od dwóch górnych warstw interoperacyjności: organizacyjnej i prawnej, które to obszary cechuje duży potencjał oddziaływania na modernizację administracji publicznej państw członkowskich; muszą one podlegać dalszemu opracowaniu i konsolidacji.

Ocena nowych przepisów UE pod względem potrzeb w zakresie ICT, w tym w zakresie wdrożenia nowych lub dostosowania istniejących rozwiązań ICT, została uwzględniona w prowadzonym przez Komisję procesie oceny skutków, w ramach Wytycznych dotyczących lepszego stanowienia prawa.16 Program ISA poszedł dalej, promując takie oceny i wspierając dyrekcje generalne i służby w ich realizacji.

Wysiłki podejmowane w ramach programu w dziedzinie interoperacyjności semantycznej, a także w rozwijaniu silniejszych powiązań z organizacjami normalizacyjnymi reprezentowały ważny wkład na rzecz zwiększonej interoperacyjności międzysektorowej.

Choć program i beneficjenci jego wyników ponownie wykorzystują wspólne ramy, wspólne usługi i podstawowe narzędzia wielokrotnego użytku, program powinien dalej popularyzować ich ponowne wykorzystanie, jak wskazali ankietowani przedstawiciele państw członkowskich i urzędnicy Komisji 38 . 

6.4 Użyteczność

Osiągnięte i przewidywane rezultaty oraz skutki programu ISA w dużym stopniu zaspokajają zidentyfikowane potrzeby gospodarcze 39 . Program doprowadził do powstania 23 rozwiązań udostępnianych bezpłatnie na jego stronie internetowej 40 lub oferowanych jako usługi współdzielone. Rozwiązania obejmują różnorodne dziedziny od systemów wspierających realizację polityk UE, takich jak system wymiany informacji na rynku wewnętrznym (IMI), do wspólnych specyfikacji, takich jak profil aplikacji katalogu danych (DCAT-AP) stosowany w ogólnoeuropejskim portalu otwartych danych. Spośród 23 rozwiązań, 15 jest wykorzystywanych przez niektóre lub wszystkie państwa członkowskie, 14 jest używanych przez niektóre służby Komisji, a z pięciu korzysta kilka innych instytucji UE. Sukces jest jeszcze bardziej widoczny, jeżeli weźmiemy pod uwagę, że państwa członkowskie nie są zobowiązane do ponownego wykorzystywania rozwiązań.

Metoda oceny nowych przepisów UE pod względem potrzeb w zakresie ICT, zawarta w pakiecie narzędzi Komisji dotyczących lepszego stanowienia prawa, jest powszechnie wykorzystywana w kontekście procesu oceny skutków16.

Pozostałe działania udowodniły swoją przydatność poprzez ich powszechne użycie, jak wynika z danych statystycznych zebranych podczas monitorowania i oceny 41 .

Przedstawiciele państw członkowskich i urzędnicy Komisji wskazali następujące cztery największe korzyści z programu ISA dla państw członkowskich: 42  

1)zastosowanie rozwiązań ISA 43 ; 

2)wpływ samego programu na podnoszenie świadomości w zakresie roli interoperacyjności i utrzymania jej na liście priorytetów politycznych 44 ; 

3)dostępność ram referencyjnych obsługiwanych przez NIFO, takich jak ERI; oraz

4)świadczone usługi, takie jak sieć sTESTA oraz platforma CIRCABC.

W końcowej ocenie podkreślono niski poziom świadomości na temat programu wśród najważniejszych zainteresowanych podmiotów, z którymi przeprowadzono wywiady i ankiety, a także wśród przedstawicieli państw członkowskich i urzędników Komisji 45 . Potwierdza to fakt, że dodatkowe środki sugerowane przez uczestników wywiadów i ankietowanych respondentów są już wdrożone albo podlegają obecnie opracowywaniu lub rozszerzeniu 46 . 

Wpływ na inne polityki i inicjatywy UE oraz na modernizację sektora publicznego w Europie podniósł użyteczność programu30. Rzeczywiste wykorzystanie (w tym liczba użytkowników) każdego rozwiązania ISA powinno zatem podlegać systematycznej i wymiernej ocenie, a informacje o korzyściach z rozwiązań powinny być nagłaśniane.

6.5 Stabilność

W ocenie końcowej stwierdzono, że wypracowane rozwiązania, utrzymywane i obsługiwane w ramach programu, cechuje stabilność z perspektywy finansowej, technicznej i operacyjnej.

Stabilność techniczną i operacyjną rozwiązania ISA ocenia się pośrednio przez jego działanie i wykorzystanie, mierzone w ramach działań polegających na monitorowaniu i ocenie.

Pod względem finansowym stabilność gwarantuje przede wszystkim kontynuacja programu w postaci ISA² lub inne inicjatywy oraz programy UE, np. instrument „Łącząc Europę”. W niektórych przypadkach opcje finansowania, takie jak dzielenie kosztów i płatności za użytkowanie, mogą zostać wykorzystane jako sposób zapewnienia długoterminowej stabilności finansowej.

Stabilność organizacyjna ma również krytyczne znaczenie dla ogólnej stabilności. Długoterminowe zarządzanie rozwiązaniami i usługami powinno stanowić przedmiot systematycznego planowania w celu zapewnienia ich ciągłości 47 . Należy przy tym zauważyć, że informacje o zarządzaniu rozwiązaniami finansowanymi w ramach programu są zawsze wymagane jako część corocznego procesu składania wniosków.

6.6 Spójność

W ocenie końcowej stwierdzono, że działania programu ISA wpisują się w podejście holistyczne. Zgodnie z podejściem holistycznym, przedstawionym komitetowi ISA w styczniu 2013 r., 48 uznaje się, że prawdziwa interoperacyjność między administracjami publicznymi wymaga starań na różnych płaszczyznach takich jak: cele strategiczne, ramy i wytyczne architektoniczne, opracowanie specyfikacji oraz wdrożenie, użytkowanie i rozpowszechnianie rozwiązań. Ponadto monitorowanie i analiza stanu interoperacyjności w Europie oraz podnoszenie świadomości uważa się za ważne czynniki poprawy interoperacyjności. Podejście holistyczne pozwala na wykrycie luk oraz uruchomienie odpowiednich działań lub projektów umożliwiających ich usunięcie.

Podejście holistyczne nie jest oczywiste dla zainteresowanych podmiotów ISA 49 , którzy są bardziej zaznajomieni z poszczególnymi działaniami niż z samym programem. Niska świadomość synergii wynikających z programu znalazła również potwierdzenie wśród rozmówców i ankietowanych respondentów, chociaż ocena końcowa wskazała na poprawę w stosunku do oceny śródokresowej.

W wywiadach i ankietach zainteresowane podmioty najczęściej wskazywały tylko jedno działanie ISA (EUSurvey) 50 jako niespójne z celami programu36.

Spójność wzrosła w trakcie realizacji programu dzięki znaczącej liczbie synergii, które pojawiły się między jego działaniami a innymi politykami oraz inicjatywami UE, w których interoperacyjność jest kluczowym czynnikiem wdrożenia. Jasno natomiast postawiono i przyjęto w ramach programu kwestię potrzeby działań horyzontalnych dla zapewnienia interoperacyjności pomiędzy poszczególnymi dziedzinami polityki. Takiego wymiaru horyzontalnego brakuje z kolei w konkretnych wdrożeniach w poszczególnych dziedzinach. Program ISA wykreował synergie w obszarach takich jak rynek wewnętrzny, prawo konkurencji, INSPIRE, CISE, ogólnoeuropejski portal otwartych danych, a ostatnio, instrument „Łącząc Europę”, który opiera się, w pewnym stopniu, na wynikach programu.

Podejście przekrojowe do interoperacyjności przynosi wymierne korzyści, które nie mogłyby zostać osiągnięte w inny sposób przy zastosowaniu indywidualnych podejść i rozwiązań sektorowych. Obszary zamówień publicznych, informacji sektora publicznego, normalizacji ICT, sprawiedliwości i spraw wewnętrznych oraz opodatkowania skorzystałyby z bliższego dostosowania rozwiązań na rzecz interoperacyjności międzysektorowej na szczeblu UE i ewentualnej wynikającej z nich współpracy.

W późniejszych etapach programu ISA synergie zostały wypracowano ze służbami Komisji odpowiedzialnymi za europejskie fundusze strukturalne i inwestycyjne (ESIF). W ramach celu tematycznego 11, który służy wzmocnieniu potencjału instytucjonalnego i skuteczności administracji publicznych, europejskie fundusze strukturalne i inwestycyjne mogą wspierać wysiłki administracji krajowych, regionalnych i lokalnych na rzecz poprawy interoperacyjności jako środka modernizacji ich administracji publicznej 51 . Bliższa współpraca w ramach programu ISA2 może przynieść wzajemnie korzystne rezultaty dla programu oraz wdrożenia europejskich funduszy strukturalnych i inwestycyjnych w państwach członkowskich. Ponadto aktywne zaangażowanie DG DIGIT w niedawno uruchomioną, złożoną z przedstawicieli różnych służb grupę ds. jakości i innowacyjności administracji publicznej 52 zapewnia współpracę między programem a ESIF.

W ramach programu, dzięki zaangażowaniu DG DIGIT, powstały lepsze powiązania z systemem zarządzania IT w Komisji.

6.7 Koordynacja

W trakcie realizacji programu stworzono podstawy dobrej koordynacji czynności formalnych między państwami członkowskimi i służbami Komisji zgodnie z decyzją ISA (art. 12 i 14). Dwie trzecie przedstawicieli państw członkowskich i ponad połowa urzędników Komisji zgodziła się całkowicie lub w pewnym stopniu, że interakcja pomiędzy programem ISA a jego zainteresowanymi podmiotami była skuteczna dla zapewnienia stałej wymiany informacji, poglądów i najlepszych praktyk 53 .

Co więcej, w ramach programu wdrożono dobrą koordynację działań z zainteresowanymi podmiotami spoza administracji publicznej dla zagwarantowania ich udziału w przypadkach, gdy był on potrzebny. Do kategorii takich zainteresowanych podmiotów należą, w stosownym i właściwym zakresie, organizacje normalizacyjne, naukowcy, organizacje sektora prywatnego i kraje spoza UE, np. Stany Zjednoczone, Japonia i Australia.

W ocenie końcowej doceniono wspólne wysiłki podjęte na rzecz koordynacji na szczeblu UE, które przyniosły niezaprzeczalnie pozytywne wyniki 54 . Grupa ds. jakości i innowacyjności administracji publicznej złożona z przedstawicieli różnych służb będzie miała istotne znaczenie w procesie poprawy koordynacji wszystkich inicjatyw na szczeblu UE, które przyczyniają się do modernizacji administracji publicznej w Europie.

W ocenie stwierdzono, że przedstawiciele państw członkowskich w komitecie ISA, w grupie koordynacyjnej oraz grupie roboczej powinni w obrębie poszczególnych krajów dążyć do lepszej koordynacji w kwestiach interoperacyjności, przyczyniając się w ten sposób do sukcesu kontynuacji programu ISA 55 .

Program zapewnia dobry przegląd zmian w obszarze interoperacyjności na poziomie krajowym poprzez zestawienie arkuszy informacyjnych NIFO i dotyczących e-administracji państw członkowskich w jednym miejscu na platformie Joinup 56 . 

Większość przedstawicieli państw członkowskich i urzędników Komisji zgodziła się całkowicie lub w pewnym stopniu, że platformy elektroniczne wykorzystywane przez ISA dla uzyskania spójnej interakcji między zainteresowanymi podmiotami oraz z Komisją (np. Joinup, strona internetowa i system nawigacji ISA) są wystarczające. Jednakże widoczny był brak świadomości wśród zainteresowanych podmiotów co do wyników osiągniętych na poziomie krajowym (np. ponowne wykorzystanie programu) oraz na poziomie UE, a także co do wykorzystania wyników ISA przez służby Komisji 57 .

7.    Wnioski z oceny końcowej

Ocena końcowa była w znacznej mierze pozytywna, przy czym stwierdzono, że program ISA odpowiadał priorytetom polityki Unii i potrzebom państw członkowskich 58 . Uznano, że został zrealizowany w sposób efektywny i spójny, przynosząc wyniki, które są ponownie wykorzystywane przez zarówno służby Komisji, jak i państwa członkowskie. Program ISA cechowała skuteczność w osiąganiu jego celów i dostarczaniu rozwiązań operacyjnych ułatwiających skuteczną współpracę pomiędzy europejskimi administracjami publicznymi, w tym ocenę nowego prawodawstwa UE pod względem potrzeb w zakresie ICT. Zasadniczo, osiągnięte i oczekiwane wyniki oraz skutki programu ISA w dużej mierze zaspokajają potrzeby gospodarcze, którym miały służyć, a koordynacja działań w ramach programu z jego zainteresowanymi podmiotami była właściwa, co gwarantowało ich należyte zaangażowanie.

We wnioskach jednocześnie wskazano, że istnieje potrzeba skupienia się na poprawie skali ponownego wykorzystania rozwiązań ISA i reagowania na nowe zmieniające się potrzeby. Ponadto istnieje potrzeba wykorzystania koordynacji działań na szczeblu UE, w szczególności wśród dyrekcji generalnych, w ramach grupy ds. jakości i innowacyjności administracji publicznej złożonej z przedstawicieli różnych służb oraz między państwami członkowskimi a Komisją w celu zapewnienia większej spójności z innymi inicjatywami unijnymi i krajowymi oraz koordynacji z zainteresowanymi podmiotami.

Ogólne podejście strategiczne przyjęte w programie od 2013 r. dowodzi, że spójne podejście holistyczne w ramach programu ISA faktycznie istnieje. Osiągnięto synergie między działaniami programu i innymi działaniami UE, ale wciąż pozostaje pole do stworzenia dalszych synergii.

8. Zalecenia

Należy zauważyć, że zgodnie z decyzją ISA działania programu miały się koncentrować na osiągnięciu interoperacyjności między administracjami publicznymi. Prawdopodobnie miało to wpływ na poziom użyteczności, świadomości i ponownego wykorzystania, ponieważ zakres programu nie obejmował powiązań administracji publicznych z przedsiębiorstwami i obywatelami. Niemniej jednak w niektórych przypadkach w ramach programu rozszerzono pragmatycznie bazę zainteresowanych podmiotów, żeby zaangażować przedsiębiorstwa i obywateli w opracowanie interoperacyjnych rozwiązań i przyjąć bardziej holistyczne podejście niż byłoby to możliwe w inny sposób.

Potrzeba uwzględnienia powiązań między administracjami publicznymi a obywatelami i przedsiębiorstwami oraz ich szczególnych potrzeb na etapie opracowania interoperacyjnych rozwiązań staje się coraz bardziej oczywista tym bardziej, że obywatele i przedsiębiorstwa są użytkownikami końcowymi wszystkich usług administracji publicznej 59 . Decyzja ISA nie przewidywała działań służących potrzebom użytkowników końcowych, ale doświadczenie przy realizacji programu i konsultacje z podmiotami odpowiedzialnymi za działanie i państwami członkowskimi pokazały wyraźnie, że było to konieczne. Przedmiotowe ograniczenie uwzględniono w zaleceniu rozszerzenia zakresu nowego programu ISA² o przedsiębiorstwa i obywateli.

Ocena wykazała, że program ISA² powinien pozwolić na wypracowanie bardziej systematycznego podejścia biznesowego, które również służyłoby dalszemu podkreśleniu roli interoperacyjności w tworzeniu korzyści gospodarczych i społecznych 60 . Ponadto, w celu zapewnienia pełnej skuteczności programu ISA², Komisja powinna dążyć do przestrzegania przyjętych celów kadrowych 61 , tym bardziej że rzeczywisty przydział zasobów ludzkich kształtował się zawsze poniżej wartości pierwotnie założonych w programie.

Jeśli chodzi o zalecenia wynikające z oceny śródokresowej, w programie w wystarczający sposób je uwzględniono w zakresie poprawy interakcji z zainteresowanymi podmiotami oraz obecności na dużych imprezach i wydarzeniach, a także notowano regularne postępy w pozostałych kwestiach. Jednocześnie jednak ocena wykazała, że następujące obszary wymagają ciągłych dalszych starań w ramach nowego programu ISA²:

komunikacja z administracjami publicznymi oraz podniesienie ich świadomości w dziedzinie interoperacyjności;

wzmocnienie podejścia holistycznego i horyzontalnej perspektywy przekrojowej interoperacyjności; oraz

współpraca z innymi obszarami polityki i inicjatywami UE.

Co więcej, zespół ds. oceny końcowej jest zdania, że dwa z 11 zaleceń oceny końcowej programu IDABC nadal mają zastosowanie do programu ISA; a mianowicie: 62

powinien powstać wspólny dokument promocyjny, poświęcony dostosowaniu polityki i synergiom pomiędzy programami oraz inicjatywami unijnymi. (IDABC zalecenie 5); oraz

informacje na temat stabilności finansowej i operacyjnej projektów powinny być bardziej widoczne i lepiej wyjaśniane zewnętrznym zainteresowanym podmiotom. (IDABC zalecenie 8)

Główne zalecenia podsumowano poniżej:

8.1                    Komunikacja z administracjami publicznymi oraz podniesienie ich świadomości w dziedzinie interoperacyjności 

W latach 2010–2015 około dwie trzecie wydarzeń organizowanych w ramach programu ISA z udziałem przedstawicieli państw członkowskich, a także 63 % (25) z 40 wydarzeń organizowanych przez państwa członkowskie w powiązaniu z programem ISA, odbyło się po 2013 r., czyli po ocenie śródokresowej. Informacje o programie pojawiały się na większej liczbie konferencji oraz innych wydarzeń; z ponad 60 wydarzeń powiązanych z programem, trzy czwarte miało miejsce po ocenie śródokresowej 63 . 

W ramach programu ISA² powinna nastąpić aktualizacja i wdrożenie strategii komunikacji, ze szczególnym naciskiem na ukierunkowane zaangażowanie, w tym komunikacji z zainteresowanymi podmiotami z poszczególnych sektorów. Rozwiązałoby to problem wciąż istniejącej luki między rzeczywistą realizacją programu a jego postrzeganiem przez zainteresowane podmioty 64 .

8.2    Wzmocnienie podejścia holistycznego i perspektywy przekrojowej interoperacyjności

Podejście holistyczne przyjęte od 2013 r. powinno być kontynuowane w programie ISA², ponieważ interoperacyjność prawna i organizacyjna są nadal na wczesnym etapie rozwoju. Europejska referencyjna architektura interoperacyjności (EIRA) 65 oraz europejska kartografia interoperacyjności (EICart), 66 dokumentujące istniejące usługi i narzędzia, będą miały zasadnicze znaczenie we wspieraniu tego podejścia holistycznego, pomagając zidentyfikować istniejące rozwiązania i przyczyniając się do ponownego ich wykorzystania oraz wskazując obszary, w których brakuje czynników stymulowania interoperacyjności 67 . EIRA i EICart odgrywają istotną rolę w upowszechnianiu wyników i lepszej identyfikacji potrzeb. Pozwalają na poprawę poziomu świadomości, koordynacji oraz wypracowanie lepszych synergii.

Teraz, gdy ocenę nowych przepisów unijnych pod względem potrzeb w zakresie ICT zawarto w procesie oceny skutków, program ISA² powinien nadal pełnić swoją zamierzoną rolę i wykorzystywać zgromadzoną wiedzę na rzecz promowania tego zadania oraz wspierania dyrekcji generalnych i służb w przeprowadzaniu takich ocen 68 . 

Wreszcie, w ramach programu ISA² powinno się opracować bardziej systematyczne podejście do wspierania i monitorowania wykorzystania wspólnych usług oraz podstawowych narzędzi, ale także zastosowania i wdrażania wspólnych ram 69 .

8.3    Współpraca z innymi obszarami polityki i inicjatywami UE

Wysiłki mające na celu dostosowanie programu ISA/ISA² oraz innych właściwych polityk UE trwają, przy czym przykładem może być tutaj instrument „Łącząc Europę” nawiązujący do wyników programu. Ponadto począwszy od 2016 r. należy wziąć pod uwagę zmiany ERI podczas wdrażania rozwiązań na rzecz wsparcia innych polityk UE.

Program ISA² powinien skorzystać na wyraźnej poprawie koordynacji działań w zakresie interoperacyjności i e-administracji w całej Komisji, którą przyniósł program ISA w jego fazie po ocenie śródokresowej 70 . Chodzi tutaj o bieżącą współpracę z DG CNECT w dziedzinie instrumentu „Łącząc Europę” i nowego europejskiego planu działań na rzecz administracji elektronicznej na lata 2016–2020. Ponadto istnieją plany nawiązania współpracy z DG EMPL i DG REGIO w celu zidentyfikowania istniejących lub nowych działań ISA/ISA2 mających potencjał, by przyczynić się do realizacji celów tematycznych europejskich funduszy strukturalnych i inwestycyjnych 2 („zwiększenie dostępu oraz wykorzystania i jakości technologii informacyjno-komunikacyjnych”) i 11 („wzmocnienie potencjału instytucjonalnego władz publicznych i zainteresowanych podmiotów oraz skutecznej administracji publicznej”). Element ten stanowi dodatek do prac w zakresie oceny krajowych programów operacyjnych i identyfikacji warunków. Wreszcie, program ISA wykazuje duży potencjał większej współpracy między innymi z DG HOME, DG JUST, DG MARE, DG FISMA, DG GROW oraz JRC.

W ocenie końcowej postrzega się nową grupę ds. jakości i innowacyjności administracji publicznej złożoną z przedstawicieli różnych służb jako główny czynnik osiągnięcia regularnej współpracy i spójności między politykami i inicjatywami UE przyczyniającymi się do modernizacji sektora publicznego 71 .

9. Kolejne etapy

Przy wdrażaniu kontynuacji programu, czyli ISA², Komisja zwróci szczególną uwagę na powyższe ustalenia i zalecenia, analizując je w celu potwierdzenia i uwzględnienia podniesionych kwestii w ścisłej współpracy, w stosownych przypadkach, z państwami członkowskimi i innymi zainteresowanymi podmiotami, w tym z przedsiębiorstwami i obywatelami.

(1)

  Decyzja Parlamentu Europejskiego i Rady nr 922/2009/WE z dnia 16 września 2009 r. w sprawie rozwiązań interoperacyjnych dla europejskich administracji publicznych (ISA), Dz.U. L 260 z 3.10.2009, s. 20.

(2)

  Decyzja 2004/387/WE Parlamentu Europejskiego i Rady z dnia 21 kwietnia 2004 r. w sprawie interoperatywnego świadczenia ogólnoeuropejskich usług eGovernment dla administracji publicznej, przedsiębiorstw i obywateli (IDABC), Dz.U. L 144 z 30.4.2004 (zob. Dz.U. L 181 z 18.5.2004, s. 25 ).

(3)

Art. 1 ust. 2 decyzji ISA.

(4)

Ocena końcowa programu ISA, dostępna pod adresem: http://ec.europa.eu/isa/library/official-documents/index_en.htm

(5)

Składa się z urzędników z DG ds. Informatyki (DIGIT), DG ds. Rynku Wewnętrznego, Przemysłu, Przedsiębiorczości i MŚP (GROW), DG ds. Podatków i Unii Celnej (TAXUD), Wspólnego Centrum Badawczego (JRC) i Sekretariatu Generalnego.

(6)

 Europa 2020: strategia na rzecz inteligentnego i zrównoważonego rozwoju sprzyjającego włączeniu społecznemu (COM(2010) 2020 final z 3.3.2010, s. 12).

(7)

  http://ec.europa.eu/europe2020/index_pl.htm  

(8)

Roczna analiza wzrostu na rok 2013, COM(2012) 750 final z 28.11.2012, s. 13.

(9)

Komunikat Komisji do Parlamentu Europejskiego, Rady, Komitetu Ekonomiczno-Społecznego i Komitetu Regionów (COM(2010) 245 final/2), s. 5.

(10)

  http://daeimplementation.eu/dae_actions.php?action_n=26&id_country=1  

(11)

'W kierunku interoperacyjności europejskich usług użyteczności publicznej', komunikat Komisji do Parlamentu Europejskiego, Rady, Komitetu Ekonomiczno-Społecznego i Komitetu Regionów, COM(2010) 744 final, załącznik 1).

(12)

http://data.consilium.europa.eu/doc/document/ST-169-2013-INIT/en/pdf

(13)

Art. 1 ust. 1 decyzji ISA.

(14)

Zob. Europejskie ramy interoperacyjności (ERI) dla europejskich usług użyteczności publicznej (COM(2010) 744 final, załącznik 2), s. 21.

(15)

Ocena śródokresowa programu ISA, 2012,

http://ec.europa.eu/isa/documents/interim_evaluation_of_the_isa_programme.pdf  

(16)

 Wytyczne w sprawie lepszego stanowienia prawa, dokument roboczy służb Komisji (SWD(2015) 111 final);    
Wytyczne w sprawie oceny skutków (COM(2015) 215 final) (SWD(2015) 110 final), s. 18.

(17)

Powołane w ramach programu IDABC, NIFO wspiera wdrażanie ERI na poziomie państw członkowskich poprzez transpozycję ERI do krajowych ram interoperacyjności. http://ec.europa.eu/isa/actions/04-accompanying-measures/4-2-3action_en.htm  

(18)

Można tu przywołać przykłady udziału instrumentu w realizacji połączenia rejestrów przedsiębiorstw i wdrożenia zasady „jednorazowości” (działanie 16 w ramach jednolitego rynku cyfrowego) poprzez działania w obszarze podstawowych rejestrów oraz w realizacji „jednolitego portalu cyfrowego”, obejmującego pracę nad semantyką i katalogowaniem usług.

(19)

  https://joinup.ec.europa.eu/community/cef/og_page/catalogue-building-blocks

(20)

Ocena końcowa programu ISA, tabela 10: „Alignment of the ISA programme with CEF”, s. 54.

(21)

 Wspólnie na rzecz nowego wzrostu gospodarczego – Akt o jednolitym rynku: Dwanaście dźwigni na rzecz pobudzenia wzrostu gospodarczego i wzmocnienia zaufania, komunikat Komisji do Parlamentu Europejskiego, Rady, Europejskiego Komitetu Ekonomiczno-Społecznego i Komitetu Regionów, COM(2011) 206 final, s. 10.

(22)

Art. 7 dyrektywy 2007/2/WE Parlamentu Europejskiego i Rady z dnia 14 marca 2007 r. ustanawiającej infrastrukturę informacji przestrzennej we Wspólnocie Europejskiej (INSPIRE).

(23)

Projekt planu działań na rzecz ustanowienia wspólnego mechanizmu wymiany informacji do celów nadzoru obszarów morskich UE, komunikat Komisji do Parlamentu Europejskiego (COM(2010) 584 final), s. 3.

(24)

 Otwarte dane: siła napędowa innowacji, wzrostu gospodarczego oraz przejrzystego zarządzania, komunikat Komisji do Parlamentu Europejskiego, Rady, Europejskiego Komitetu Ekonomiczno-Społecznego i Komitetu Regionów, COM(2011) 882 final), s. 11.

(25)

 Sprawozdanie dotyczące polityki konkurencji za rok 2012, sprawozdanie Komisji (COM(2013) 257 final), s.12.

(26)

Ocena końcowa programu ISA, tabela 21: „Level of adoption of ISA solutions by Commission services”, s. 131.

(27)

Dokument uzupełniający wniosek dotyczący decyzji ISA2 (COM(2014) 367 final).

(28)

Ocena śródokresowa programu ISA, 2012, s. 172.

http://ec.europa.eu/isa/documents/interim_evaluation_of_the_isa_programme.pdf

(29)

 Ocena końcowa programu ISA, „Dostosowanie celów ISA do konieczności reagowania na potrzeby administracji publicznej w UE”, s. 45.

(30)

  http://ec.europa.eu/isa/dashboard/isadashboard  

(31)

Ocena końcowa programu ISA, „ISA programme efficiency”: % of delay, s. 82.

(32)

Ocena końcowa programu ISA, „    Budget allocation and execution’, s. 67.

(33)

Ocena końcowa programu ISA, „Conclusion 4”, s. 86.

(34)

Ocena końcowa programu ISA, „Revision process of the ISA Work Programme”, s. 59.

(35)

Ocena końcowa programu ISA, „Allocation of financial resources”, s. 66.

(36)

Ocena końcowa programu ISA, „Conclusion 6”, s. 111.

(37)

Ocena końcowa programu ISA, „Establishment and improvement of common frameworks”, s. 94.

(38)

Ocena końcowa programu ISA, „Conclusions 7 and 8”, s. 112 i 140.

(39)

Ocena końcowa programu ISA, tabela 18 „Utility scores at action level”, s. 116.

(40)

  http://ec.europa.eu/isa/ready-to-use-solutions/index_en.htm  

(41)

Ocena końcowa programu ISA,     „Facilitation of effective interaction between European public administrations”, s. 88 i 89.

(42)

Ocena końcowa programu ISA, Main ISA results perceived, s. 88.

(43)

Ocena końcowa programu ISA,     „General perceptions on the benefits delivered by the programme”, s. 113 i 114.

(44)

Końcowa ocena programu ISA, rysunek 37 „Respondent’s agreement levels on the awareness raising of the ISA programme”, s. 171.

(45)

Ocena końcowa programu ISA, „Conclusion 9”, s. 141.

(46)

Ocena końcowa programu ISA, „Coherence”, s. 17.

(47)

Ocena końcowa programu ISA, „Conclusion 10”, s. 148.

(48)

Posiedzenie komitetu ISA, dnia 23 stycznia 2013 r. – prezentacja wyników śródokresowej oceny programu ISA.

(49)

Ocena końcowa programu ISA, „Conclusion 11”, s. 165.

(50)

EUSurvey jest bezpłatną aplikacją sieciową typu open source, która ułatwia udział respondentów w ankietach i konsultacjom oraz analizę wyników.

(51)

Ocena końcowa programu ISA, „Internal coordination within the European Commission”, s. 167.

(52)

 Grupa ds. jakości i innowacyjności administracji publicznej złożona z przedstawicieli różnych służb (Ares (2015) 4431139, 20.10.2015).

(53)

Ocena końcowa programu ISA „Extent to which interaction between ISA and its stakeholders was effective”, s. 172.

(54)

Ocena końcowa programu ISA, „Internal coordination within the European Commission”, s. 167

(55)

Ocena końcowa programu ISA, „Conclusion 13”, s. 187.

(56)

  https://joinup.ec.europa.eu/community/nifo/home

(57)

Ocena końcowa programu ISA, „Reuse by ISA of results delivered by other EU initiatives”, s. 163.

(58)

Ocena końcowa programu ISA, „Conclusions 1, 2 and 3”, s. 56, 57 i 58.

(59)

Ocena końcowa programu ISA „Consideration of results achieved by Member States in the establishment of ISA solutions”, s. 184.

(60)

Ocena końcowa programu ISA, „Recommendation 5”, s. 200.

(61)

Ocena końcowa programu ISA, „Recommendation 6”, s. 201.

(62)

Ocena końcowa programu ISA, „Recommendations from previous evaluations”, s. 190.

(63)

Ocena końcowa programu ISA, „Conclusion 14 and extent to which the ISA programme raised awareness of the ISA solutions”, s. 188.

(64)

Ocena końcowa programu ISA, „Recommendation 4”, s. 199 oraz „Perceived performance of the ISA programme”, s. 83.

(65)

  EIRA jest architekturą referencyjna świadczenia cyfrowych interoperacyjnych usług administracji publicznej w różnych państwach i sektorach.

(66)

Narzędzie EICart jest narzędziem, które może być stosowane do opisu i katalogowania elementów składowych rozwiązań (SBB) na potrzeby architektur korporacyjnych zgodnie z EIRA.

(67)

Ocena końcowa programu ISA, „Recommendation 8 of 9”, s. 202.

(68)

Ocena końcowa programu ISA, „Recommendation 3 of 9”, s. 198.

(69)

Ocena końcowa programu ISA, „Recommendation 9 of 9”, s. 202.

(70)

Ocena końcowa programu ISA, „Recommendation 7 of 9”, s. 201.

(71)

  Opinia Europejskiego Komitetu Ekonomiczno-Społecznego w sprawie komunikatu Komisji „Roczna analiza wzrostu gospodarczego na 2014 r.” (COM(2013) 800 final); zob. Dz.U. C 214 z 8.7.2014, s. 46-54.