Choose the experimental features you want to try

This document is an excerpt from the EUR-Lex website

Document 52016DC0550

    RAPPORT DE LA COMMISSION AU PARLEMENT EUROPÉEN ET AU CONSEIL Résultats de l'évaluation finale du programme ISA

    COM/2016/0550 final

    Bruxelles, le 1.9.2016

    COM(2016) 550 final

    RAPPORT DE LA COMMISSION AU PARLEMENT EUROPÉEN ET AU CONSEIL

    Résultats de l'évaluation finale du programme ISA

    {SWD(2016) 279 final}


    SOMMAIRE

    1. INTRODUCTION    

    2. L’INTEROPÉRABILITE COMME FACTEUR DE L’ACTION DE MODERNISATION DU SECTEUR PUBLIC    

    3. ÉLÉMENTS DE CONTEXTE    

    4. MÉTHODOLOGIE    

    5. ASPECTS ET QUESTIONS SUR LESQUELS A PORTÉ L’ÉVALUATION    

    6. RÉSULTATS    

    ATTEINDRE LES OBJECTIFS DU PROGRAMME    

    6.1.    PERTINENCE    

    6.2.    EFFICIENCE    

    6.3.    EFFICACITÉ    

    6.4.    UTILITÉ    

    6.5.    DURABILITÉ    

    6.6.    COHÉRENCE    

    6.7.    COORDINATION    

    7. CONCLUSIONS DE L’ÉVALUATION FINALE    

    8. RECOMMANDATIONS    

    8.1.    COMMUNICATION AVEC LES ADMINISTRATIONS PUBLIQUES ET AMÉLIORATION DE LA CONNAISSANCE SUR L’INTEROPÉRABILITE    

    8.2.    DÉVELOPPER L’APPROCHE GLOBALE ET LA VISION TRANSVERSALE DE L’INTEROPÉRABILITE    

    8.3.    COOPÉRATION AVEC LES AUTRES POLITIQUES ET INITIATIVES DE L’UE    

    9. PROCHAINES ÉTAPES    



    1. Introduction

    Par décision du Parlement européen et du Conseil (la décision ISA), 1 le programme de six ans sur les solutions d’interopérabilité pour les administrations publiques européennes (le programme ISA) a été lancé le 1er janvier 2010 comme mesure de suivi du programme de fourniture interopérable de services paneuropéens d'administration en ligne (IDABC) aux administrations publiques, aux entreprises et aux citoyens. 2 Il a été mis en œuvre du 1er janvier 2010 au 31 décembre 2015.

    Comme mentionné dans l’article 1er de la décision sur l’ISA, le programme ISA a pour objectif de soutenir la coopération entre les administrations publiques européennes en facilitant une interaction électronique transfrontalière et transsectorielle efficace et effective entre ces administrations, y compris les organismes exerçant, pour le compte de celles-ci, des fonctions à caractère public, permettant ainsi la fourniture de services publics électroniques qui contribuent à mettre en œuvre les politiques et activités de l'UE. 3  

    Ce rapport présente les principaux résultats de l’évaluation finale du programme 4 , réalisée en accord avec l’article 13, paragraphe 3, de la décision ISA. Conformément à cette disposition, l’évaluation finale devait être communiquée au Parlement européen et au Conseil avant le 31 décembre 2015. L’évaluation finale a été réalisée par la Commission de décembre 2014 à février 2016 lorsque le projet de rapport de la Commission a été accepté par le groupe de pilotage. Cependant les changements récents dans les procédures d’évaluation de la Commission ont entraîné un retard dans le délai prévu par la loi.

    Au cours de l’évaluation finale la Commission s’est fait assister d’une équipe d’experts travaillant pour un cabinet de conseil indépendant (l’équipe d’évaluation finale). L'évaluation a été supervisée par des représentants des services correspondants de la Commission dans le cadre d'un groupe de pilotage de la Commission. 5

    2. L’interopérabilité comme facteur de modernisation du secteur public

    La modernisation des administrations publiques est l'une des principales conditions du succès de la mise en œuvre de la stratégie Europe 2020. 6 Dans ce contexte, les examens annuels de la croissance publiés par la Commission de 2011 à 2015 7 montrent que la qualité des administrations publiques européennes a une incidence directe sur l'environnement économique et qu'elle est donc essentielle à la productivité, à la compétitivité et à la croissance.

    Comme indiqué dans son examen annuel de la croissance de 2013, 8 la Commission considère l'interopérabilité transfrontalière des services en ligne et la numérisation des administrations publiques européennes comme d'importants vecteurs de croissance et d'efficience. L’interopérabilité entre les administrations est un facteur important pour améliorer la fourniture de services numériques efficaces.

    La stratégie numérique pour l'Europe (SNE) 9 souligne que l'interopérabilité est essentielle pour exploiter au mieux le potentiel social et économique des technologies de l'information et des communications (TIC) et, par conséquent, la SNE ne peut réussir que si l'interopérabilité est assurée. Le pilier dédié à ‘l‘interopérabilité et aux normes’ a incité les États membres à prendre des mesures spécifiques en lien avec l’interopérabilité, 10 à savoir la mise en œuvre des engagements énoncés dans les déclarations ministérielles de Malmö et de Grenade, y compris l’adoption, dans la législation nationale, du cadre d’interopérabilité européen (EIF) 11 .

    Les 24 et 25 octobre 2013, le Conseil européen a adopté des conclusions 12 soulignant que la modernisation des administrations publiques devait se poursuivre, avec la mise en œuvre rapide de services, comme l'administration en ligne, la santé en ligne, la facturation électronique et la passation de marchés en ligne, qui reposent sur l'interopérabilité. Cela permettra de fournir des services numériques plus nombreux et plus performants aux particuliers et aux entreprises dans toute l'Europe, de réduire les coûts et d'accroître l'efficience, la transparence et la qualité de service dans le secteur public.

    Cependant, les efforts des États membres sont souvent réalisés au niveau national sans approche européenne commune, compromettant l’interopérabilité au niveau européen et la disponibilité des services publics numériques transnationaux. Il existe donc un risque élevé que de nouvelles barrières électroniques se créent, qui empêchent les particuliers et les entreprises d'utiliser les services publics de pays autres que les leurs et nuisent ainsi au bon fonctionnement du marché interne.

    3. Contexte

    Le programme ISA a été développé sur la base de progrès réalisés dans le cadre des programmes qui l’ont précédé (IDA, IDABC). Comme cela est clairement exprimé dans la décision ISA3, l’objectif principal du programme ISA consistait à apporter son soutien à la coopération entre les administrations publiques européennes afin de permettre la fourniture de services publics électroniques soutenant la mise en œuvre de politiques et d’activités européennes. L’objectif intermédiaire était de faciliter une interaction électronique transfrontalière et transsectorielle efficace et effective entre ces administrations.

    Afin de réaliser ces objectifs, de faciliter les activités énoncées aux articles 1er et 3 de la décision ISA, et d’apporter des ‘solutions communes et partagées facilitant l’interopérabilité’, 13 le programme impliquait la réalisation de recherches, de projets et de mesures d’accompagnement, au moyen d’actions concrètes, visant à:

    exploiter et améliorer les services communs existants et en créer de nouveaux;

    améliorer les outils génériques réutilisables existants et en créer de nouveaux;

    établir et améliorer des cadres communs destinés à faciliter l’interopérabilité transfrontalière et transsectorielle; et

    évaluer les implications de la législation européenne pour les TIC (décision ISA, article 3).

    Comme le précise l’article 2 de la décision ISA, les ‘services communs’ sont des applications opérationnelles et des infrastructures à caractère générique qui satisfont aux exigences communes des utilisateurs dans différents domaines d’action; Les ‘outils génériques’ sont des plates-formes de référence, des plates-formes partagées et collaboratives, des composants communs et des modules analogues qui satisfont aux exigences communes des utilisateurs dans différents domaines d’action. Les ‘cadres communs’ sont des stratégies, des spécifications, des méthodes, des lignes directrices et des approches et documents analogues.

    Le programme ISA est mis en œuvre par le biais d’actes d’exécution (décision ISA, article 9) sur la base d’un programme de travail évolutif revu au moins une fois par an. Ce programme inclut des actions de financement liées à une ou plusieurs couches d’interopérabilité (technique, sémantique, organisationnelle et juridique). 14 Les programmes de travail annuels sont déterminés suivant des appels à proposition annuels aux services de la Commission et aux États membres, approuvés par le Comité ISA et adoptés par la Commission avant d’entrer en vigueur. Les actions spécifiques devant être financées sont énumérées dans le programme de travail évolutif.

    4. Méthodologie

    L’évaluation finale du programme ISA s’est basée sur des données quantitatives et qualitatives collectées de différentes manières (recherches depuis le bureau, enquêtes en ligne, entretiens, demandes écrites pour des informations supplémentaires et études de cas), impliquant un large éventail de représentants des États membres et des services de l’UE, et un nombre restreint d’acteurs de la société civile et d’organisations privées ayant interagi avec le programme.

    5. Aspects et questions sur lesquels a porté l’évaluation

    L’évaluation finale se base sur un ensemble de critères similaires à ceux de l’évaluation intermédiaire, 15 et qui servent de référence pour les résultats. Les résultats, conclusions et recommandations de l’évaluation finale se basent sur un large éventail de données qui constituent des informations concrètes nécessaires pour vérifier la validité de la logique d’intervention du programme et pour atteindre ses objectifs. Ces informations s’organisent selon sept critères principaux :

    – pertinence — Dans quelle mesure les objectifs du programme ISA restent-t-ils pertinents compte tenu de l'évolution des besoins et des priorités au niveau national et à celui de l'UE ?

    efficience — Sur le plan économique, comment les divers moyens et actions ont-ils donné les résultats obtenus, et avec quelles conséquences pour ce qui concerne la meilleure utilisation possible des ressources ? Quels sont les aspects du programme les plus efficients et les plus inefficients, en particulier en termes de ressources mobilisées?

    efficacité — Avec quelle efficacité les résultats et impacts du programme ont-ils permis d'atteindre ses objectifs ? Certains éléments sont-ils plus ou moins efficaces que d’autres et, si oui, quels enseignements peut-on en tirer ?

    utilité — Les résultats et impacts des actions du programme, obtenus ou escomptés, correspondent-ils aux besoins des entreprises auxquels ils sont censés répondre ? Quelles mesures pourraient être prises pour augmenter l'utilité des actions du prochain programme ?

    – pérennité — Dans quelle mesure la pérennité financière, technique et opérationnelle des solutions développées, comme le programme les a entretenues et exploitées, est-elle assurée ?

    cohérence — Dans quelle mesure les actions s'inscrivent-elles dans une démarche globale au sein du programme ? (Pour ce qui est de la cohérence entre elles et avec d’autres politiques et initiatives de l’UE) ? Tire-t-on efficacement parti des synergies entre les actions du programme et d’autres activités de l'UE ?

    coordination — Dans quelle mesure les activités impliquant des États Membres, y compris ceux du Comité ISA, sont-elles coordonnées pour assurer l’implication d'autres parties prenantes dans le programme ISA ? Dans quelle mesure les activités étaient-elles coordonnées ou alignées avec les besoins d’autres parties prenantes avec lesquelles la Commission était supposée interagir dans le cadre de l’ISA ?

    6. Résultats

    Atteindre les objectifs du programme

    Les résultats de l’évaluation finale ont montré que le programme ISA a atteint ses objectifs avec efficacité et à apporter des solutions opérationnelles pour « soutenir la coopération entre les administrations publiques européennes en facilitant une interaction électronique transfrontalière et transsectorielle efficace et effective entre ces administrations ».3 C’est précisément le cas pour les cadres communs, les outils génériques réutilisables et les services communs, et pour l’évaluation des implications sur les TIC des nouveaux instruments législatifs européens. Dans l’ensemble, les résultats et impacts obtenus ou escomptés du programme ISA ont largement répondu aux besoins des entreprises visés, même si certaines actions ont plus d’utilité que d’autres.

    L’évaluation a identifié un certain nombre de domaines clés pour lesquels les changements dans le nouveau programme ISA² peuvent de façon collective mieux correspondre aux besoins actuels sur l’interopérabilité et améliorer son utilité. Cela permet également de confirmer que le programme ISA a contribué au partage et à la réutilisation des informations à travers la mise en place de cadres communs. Enfin, le programme ISA a eu l’opportunité de passer en revue les orientations en faveur d’une meilleure réglementation 16 afin de s’assurer que l’évaluation des implications sur les TIC fasse vraiment partie du processus d’évaluation de l’impact de la Commission. 

    Les résultats dans leur ensemble sont résumés ci-dessous :

    1.1.Pertinence

    L’objectif du programme ISA (‘soutenir la coopération entre les administrations publiques européennes en facilitant une interaction électronique transfrontalière et transsectorielle efficace et effective entre ces administrations’) continue à répondre aux besoins évolutifs tant aux niveaux national que de l’UE. Cela a été démontré par l’évaluation finale de l’impact des résultats de l’ISA à travers le programme, mais également à partir des programmes politiques des États membres indiquant clairement le besoin de fourniture d’un service numérique public efficient et efficace.12 De plus, l’EIF (Cadre d’interopérabilité européen) a été développé, mis en œuvre et contrôlé par le programme ISA. Les recommandations et lignes directrices de l’EIF montrent la façon dont l’interopérabilité devrait être mise en œuvre par les États membres dans les administrations publiques. Elles visent à :

    a)promouvoir et soutenir la fourniture de services publics européens en favorisant l’interopérabilité transfrontalière et transsectorielle ;

    b)guider les administrations publiques européennes dans leur travail de fourniture de services aux entreprises et aux particuliers ; et

    c)compléter et assembler les divers cadres d’interopérabilité nationaux (NIF) au niveau national.

    L’EIF permet d’avoir une compréhension commune sur l’interopérabilité au sein de l’Union. Celle-ci est reconnue par la stratégie du marché unique numérique qui inclut une action particulière sur l’interopérabilité entre les administrations publiques (action 15 : adoption d’un plan prioritaire sur la normalisation des TIC et extension du Cadre d’interopérabilité européen pour les services publics).

    La révision continue de l’EIF s’appuie sur le travail réalisé au cours des récentes années par l’Observatoire des cadres d’interopérabilité nationaux (NIFO - National Interoperability Framework Observatory), 17 qui contrôle et soutient la mise en œuvre dans les États membres.

    Le programme ISA participe aux autres actions du marché unique numérique lorsque l’interopérabilité agit comme facilitateur sous-jacent. 18 Les objectifs sont en phase avec la stratégie numérique pour l’Europe et le plan d’action européen pour l’administration en ligne de 2010 - 2015, l’un et l’autre identifiant l’interopérabilité comme condition de réussite. Le programme est également bien en phase avec le mécanisme pour l’interconnexion en Europe, qui a pour but de développer la connectivité et l’interopérabilité des services numériques européens, puisque certains de ses modules 19 (par ex. livraison électronique, traduction, facturation électronique) dépendent des résultats de l’ISA. 20 Le mécanisme pour l’interconnexion en Europe peut être un appui opérationnel aux solutions développées qui ont fait leurs preuves dans le cadre du programme ISA.

    Le programme ISA a contribué activement à un certain nombre de politiques de l’UE telles que pour le marché interne, 21 l’infrastructure d'information géographique dans l'Union européenne (INSPIRE - Infrastructure for Spatial Information in the European Community), 22 l’environnement commun de partage de l'information (CISE - Common Information Sharing Environment), 23 le Portail des données ouvertes de l’Union européenne 24 et la législation sur la concurrence, 25 qui ont bénéficié de son soutien sous la forme d’actions dédiées et de solutions partagées. 26 Ces politiques ont identifié des buts et objectifs dont la mise en œuvre dépend de l’interopérabilité.

    Les besoins des administrations publiques européennes, tels que la modernisation de la fourniture de service public, l’amélioration de la coordination entre les administrations des États membres et les services de la Commission, l’alignement organisationnel dans les administrations publiques et la plus grande réutilisation des solutions, identifiés dans la période ISA2 ex-ante 27 et lors des évaluations intermédiaires du programme ISA, 28 restent les mêmes. Faciliter la fourniture de services transfrontaliers et transsectoriels d’une manière uniforme et efficace dans la gestion des ressources nécessite une plus grande réutilisation des solutions d’interopérabilité existantes et une collaboration renforcée entre les administrations des États membres et entre celles-ci et la Commission. Les approches communes permettent de ne pas dupliquer les efforts. 29

    1.2.Efficience

    Dans l'ensemble, le programme ISA peut être considéré avoir été efficient. Tout d’abord, les informations concrètes tirées de l’action de suivi et d’évaluation 30 montrent qu’il a été considéré comme étant ‘bien engagé’ durant la période 2010 - 2015, avec moins de 5 % de retard en moyenne. 31 Ensuite, le budget exécuté total concernant les programmes de travail de la période 2010 - 2014 représentait 128,2 millions d’euros, environ 2 % de moins en moyenne que le budget cumulé alloué pour cette période. 32 Sur la base de ces résultats, on peut considérer que le programme a été efficient en termes de budget.30

    De plus, 90 % des représentants des États membres et des fonctionnaires de la Commission sondés affirment que le programme a respecté les délais et la portée des dispositions originellement prévus. 33 Comme le précise l’évaluation finale du programme ISA, la majorité de ces parties prenantes s’est sentie totalement ou en partie impliquée dans les révisions annuelles du programme. 34

    La procédure d’admission des propositions pour de nouvelles actions et le processus d’attribution des fonds peuvent être jugés comme étant efficient. 35 L’efficience en termes d’allocation de ressources humaines est confirmée par le fait que l’allocation en question a toujours été plus basse que celle envisagée dans la proposition législative initiale de l’ISA.

    1.3.Efficacité

    Le programme ISA a apporté des solutions opérationnelles, par ex. les cadres communs, les outils génériques réutilisables et les services communs, qui aident à atteindre l’objectif de faciliter une collaboration efficace entre les administrations publiques européennes. Dans l’ensemble la majorité des personnes interviewées et de celles ayant répondu à l’enquête en ligne ont exprimé le fait que toutes les solutions de l’ISA facilitaient l’interopérabilité entre ces administrations. 36

    La mise en place de cadres communs tels que l’EIF a également permis le partage et la réutilisation de solutions accompagnées de leurs recommandations. 37 Un cadre de partage et de réutilisation a commencé à se développer dans la spirale de l’ISA et est actuellement en phase de finalisation à travers le programme ISA2.

    Le programme a débuté sur les deux couches supérieures d’interopérabilité : la couche d’interopérabilité organisationnelle et la couche d’interopérabilité juridique. Celles-ci représentent des domaines ayant un potentiel d’impact important sur la modernisation des administrations publiques et elles doivent être encore plus développées et consolidées.

    L’évaluation des implications de la nouvelle législation de l’UE sur les TIC, telle que l’impact lié à la mise en œuvre de nouvelles solutions pour les TIC, ou l’adaptation de solutions déjà existantes, a été inclus dans le processus d’évaluation de l’impact de la Commission, dans le cadre des lignes directrices pour une meilleure réglementation (Better Regulation guidelines).16 Le programme ISA a même été plus loin en encourageant de telles évaluations et en soutenant les DG et les services qui les ont réalisées.

    Les efforts fournis par le programme dans le domaine de l’interopérabilité sémantique, mais aussi pour développer des liens plus forts avec les organismes de normalisation, ont représenté des contributions importantes à l’augmentation de l’interopérabilité transsectorielle.

    Comme le soulignent les représentants des États membres et les fonctionnaires de la Commission, même si le programme et les utilisateurs des résultats de l’ISA réutilisent les cadres communs, les services communs et les outils génériques réutilisables existants, le programme devrait davantage encourager leur réutilisation. 38  

    1.4.Utilité

    Les résultats et impacts obtenus ou escomptés du programme ISA ont largement répondu aux besoins des entreprises identifiés. 39 Cela a entraîné la production de 23 solutions, disponibles gratuitement sur son site web 40 ou fournies en tant que services partagés. Ces solutions variées peuvent être des systèmes venant en appui à la mise en œuvre de politiques de l’UE, tels que le Système d’information du marché intérieur (IMI - Internal Market Information System), ou des spécifications communes telles que le profil d’application pour le catalogue de données (DCAT-AP, Data Catalogue Application Profile) utilisé dans le Portail des données ouvertes de l’Union européenne. Sur les 23 solutions, 15 sont utilisées par une partie ou l’ensemble des États membres, 14 sont utilisées par plusieurs services de la Commission, et cinq sont utilisées par une poignée d’autres institutions de l’UE. Le fait que les États membres ne soient pas obligés de réutiliser les solutions rend ce succès encore plus remarquable.

    La méthode développée pour l’évaluation des implications de la nouvelle législation de l’UE sur les TIC et incluse dans la boîte à outils pour une meilleure réglementation de la Commission, est largement réutilisée dans le contexte du processus d’évaluation de l’impact.16 

    D’autres actions ont prouvé leur utilité à travers leur utilisation répandue comme le montrent les statistiques collectées par l’action de suivi et d’évaluation. 41

    Les représentants des États membres et les fonctionnaires de la Commission ont identifié les éléments suivants comme étant les quatre avantages du programme ISA pour les États membres : 42  

    1)l’utilisation des solutions de l’ISA ; 43  

    2)l’existence du programme lui-même en développant la connaissance de l’importance de l’interopérabilité et en la gardant dans le programme politique ; 44  

    3)La mise à disposition de références appuyées par le NIFO, telles que l’EIF ; et

    4)les services fournis, tels que le réseau sTESTA et la plateforme CIRCABC.

    L’évaluation finale souligne le faible niveau de connaissance du programme parmi les parties prenantes clés ayant été interviewées et sondées, les représentants des États membres et les fonctionnaires de la Commission. 45 Le fait que les mesures supplémentaires suggérées par les personnes interviewées et sondées soient déjà appliquées ou en cours de développement ou d’expansion le confirme. 46  

    La contribution du programme aux autres politiques et initiatives de l’UE et à la modernisation du secteur public en Europe a amélioré son utilité.30 Enfin, l’utilisation réelle de chaque solution ISA (y compris le nombre d’utilisateurs) devrait être systématiquement mesurée et les avantages des solutions mis en avant.

    1.5.Durabilité

    L’évaluation finale a trouvé que les solutions développées, telles que gérées et exploitées dans le cadre du programme, étaient durables d’un point de vue financier, technique et opérationnel.

    La durabilité technique et opérationnelle d’une solution ISA est indirectement évaluée via son fonctionnement et son utilisation, comme mesurée dans le cadre de l’action de suivi et d’évaluation.

    En termes financiers, la durabilité est principalement assurée par le programme de suivi de l’ISA² ou d’autres initiatives et programmes de l’UE, par ex. le mécanisme pour l’interconnexion en Europe. Dans certains cas, des options de financement telles que le partage des coûts et le paiement pour l’utilisation pourraient être envisagées comme moyen d’assurer une longue durabilité financière.

    La durabilité organisationnelle est également essentielle pour la durabilité en général. La gouvernance à long terme des solutions et services devrait être systématiquement planifiée pour assurer leur continuité. 47 Il est important de noter que des informations sur la gouvernance des solutions financées à travers le programme sont toujours demandées dans le cadre du processus d’application annuel.

    1.6.Cohérence

    L’évaluation finale a trouvé que les actions du programme ISA alimentent une approche globale. Cette approche globale, présentée au Comité ISA en janvier 2013, 48 reconnaît qu’une sérieuse interopérabilité entre les administrations publiques implique de travailler sur plusieurs points : objectifs stratégiques, cadres et lignes directrices architecturales, développement de spécifications et mise en œuvre, exploitation et diffusion des solutions. De plus, le suivi et la cartographie du panorama de l’interopérabilité en Europe, ainsi que la sensibilisation sont considérés comme des facteurs importants de l’interopérabilité. Une approche globale permet d’identifier des lacunes et de lancer des activités ou projets adéquats afin de les combler.

    Cette approche globale ne se manifeste pas clairement aux yeux des parties prenantes de l’ISA 49 qui sont plus familières avec les actions individuelles qu’avec le programme en lui-même. La faible connaissance des synergies autour du programme a également été confirmée parmi les personnes interviewées et sondées, même si l’évaluation finale a souligné une amélioration depuis l’évaluation intermédiaire.

    Lors des interviews et des enquêtes en ligne, les parties prenantes ont mentionné une action ISA (EUSurvey) 50 en particulier pour sa non-cohérence avec les objectifs du programme.36 

    Un nombre considérable de synergies ayant émergées entre les actions du programme et d’autres politiques et initiatives de l’UE, pour lesquelles l’interopérabilité est un facteur clé de leur mise en œuvre, a permis d’augmenter le niveau de cohérence au cours du programme. Le besoin d’appliquer une action horizontale pour assurer une interopérabilité entre les domaines politiques a clairement été démontré et interrogé à travers le programme. Cette dimension horizontale manque au niveau de la mise en œuvre spécifique du domaine. L’ISA a créé des synergies au sein de domaines tels que le marché interne, la législation sur la concurrence, INSPIRE, CISE, le Portail des données ouvertes de l’Union européenne et, plus récemment, le mécanisme pour l’interconnexion en Europe qui s’appuie dans une certaine mesure sur les résultats du programme.

    Une approche transversale de l’interopérabilité donne des avantages concrets qui ne pourraient autrement pas être atteints par le biais d’approches et de solutions spécifiques à un domaine. Les domaines du marché public, des informations dans le secteur public, des TIC, de la normalisation, de la justice et des affaires intérieures, et de la fiscalité bénéficieraient d’un alignement resserré avec les solutions d’interopérabilité transsectorielle au niveau de l’UE et de la coopération possible qui en découlera.

    Dans les dernières phases du programme ISA, des synergies ont été développées avec les services de la Commission en charge des fonds structurels et d’investissement européens (fonds ESI). Dans le cadre de l'objectif thématique 11, qui vise à augmenter la capacité institutionnelle et l’efficience des administrations publiques, les fonds ESI peuvent appuyer les efforts des administrations locales, régionales et nationales pour améliorer l’interopérabilité comme moyen de leur modernisation. 51 Une coopération rapprochée dans le cadre du programme ISA2 pourrait donner des résultats mutuellement avantageux pour le programme et la mise en œuvre des fonds ESI dans les États membres. De plus, une implication active de la DG DIGIT dans le Groupe interservices pour la qualité et l'innovation de l'administration publique (Inter-service Group on Public Administration Quality and Innovation) 52 , récemment mis en place, permet d’assurer la coopération entre le programme et les fonds ESI.

    Les efforts réalisés dans le cadre du programme et par la DG DIGIT ont créé des liens plus resserrés avec la gouvernance informatique de la Commission.

    1.7.Coordination

    Lors de la mise en œuvre du programme, une coordination efficace des activités officielles a été établie avec les États membres et les services de la Commission en phase avec la décision sur l’ISA (Articles 12 et 14). Deux-tiers des représentants des États membres et plus de la moitié des fonctionnaires de la Commission sont totalement ou en partie d’accord sur le fait que l’interaction entre l’ISA et ses parties prenantes assurait un échange cohérent d’informations, d’opinions et de meilleures pratiques de manière efficace. 53

    De plus, une bonne coordination des activités avec les parties prenantes externes aux administrations publiques a été mise en place dans le cadre du programme pour s’assurer de leur implication lorsque cela est nécessaire. Il s'agit, le cas échéant, d’organisations de normalisation, d’universitaires, d’organisations du secteur privé et de pays en dehors de l’UE, par ex. les États-Unis, le Japon, l’Australie.

    L’évaluation finale a reconnu les efforts concertés qui ont été investis dans la coordination au niveau de l’UE, avec indéniablement des résultats positifs. 54 Le Groupe interservices pour la qualité et l'innovation de l'administration publique (Inter-service Group on Public Administration Quality and Innovation) jouera un rôle important dans l’amélioration de la coordination de toutes les initiatives au niveau de l’UE qui contribuent à la modernisation des administrations publiques en Europe.

    L’évaluation a conclu que les représentants des États membres dans le Comité ISA, dans le Groupe de coordination et dans le Groupe de travail ont la capacité de mieux se coordonner avec leurs collègues nationaux sur les problèmes d’interopérabilité pour contribuer au succès du programme de suivi. 55

    Le programme donne une bonne vision générale des niveaux de développement d’interopérabilité au niveau national en consolidant les ensembles de fiches d’information du NIFO et de l’administration en ligne des États membres en un seul lieu, la plateforme Joinup. 56  

    Une majorité de représentants des États membres et de fonctionnaires de la Commission étaient totalement ou en partie d’accord sur le fait que les plateformes électroniques utilisées par l’ISA pour fournir une interaction cohérente entre les parties prenantes et avec la Commission (par ex. Joinup, le site web et le tableau de bord d’ISA) étaient appropriées. Il y avait cependant un manque de connaissance parmi les parties prenantes concernant les résultats obtenus aux niveaux national (par ex. la réutilisation du programme) et de l’UE, et sur l’utilisation des résultats de l’ISA par les services de la Commission. 57

    7. Conclusions de l’évaluation finale

    L’évaluation finale a été grandement positive, et a conclu que le programme ISA était en phase avec les priorités de la politique de l’Union et les besoins des États membres. 58 Elle a souligné que le programme avait été mis en œuvre de manière efficace et cohérente, obtenant des résultats qui sont réutilisés tant par les services de la Commission que par les États membres. Le programme ISA a atteint ses objectifs avec efficacité et a fourni des solutions opérationnelles facilitant une collaboration efficace entre les administrations publiques européennes, y compris pour l’évaluation des implications de la nouvelle législation européenne sur les TIC. Dans l’ensemble, les résultats et impacts obtenus et escomptés du programme ISA ont largement répondu aux besoins des entreprises visés. Ce programme a également bien coordonné ses activités avec ses parties prenantes afin de s’assurer de leur implication.

    Il ressort des conclusions qu’il est nécessaire de se concentrer sur l’amélioration de la réutilisation des solutions de l’ISA et sur les réponses apportées à l’évolution nouvelle des besoins. Il est de plus nécessaire de tirer parti de la coordination des initiatives au niveau de l’UE, en particulier au sein des DG, dans le cadre du Groupe interservices pour la qualité et l'innovation de l'administration publique (‘Inter-service Group on Public Administration Quality and Innovation’), et entre les États membres et la Commission pour assurer une plus grande cohérence avec d’autres initiatives nationales et de l’UE et une meilleure coordination avec les parties prenantes.

    L’approche stratégique générale suivie par le programme depuis 2013 démontre qu’une approche globale cohérente existe dans le cadre du programme ISA. Des synergies ont été installées entre les actions du programme et avec d’autres activités de l’UE, et davantage de synergies peuvent encore être créées.

    8. Recommandations

    Il est important de noter que la décision sur l’ISA a concentré les activités du programme sur le fait de réussir à installer une interopérabilité entre les administrations publiques. Il y a certainement eu un impact sur les niveaux d’utilité, de connaissance et de réutilisation parce que les liens entre les administrations publiques et les entreprises et les particuliers ne faisaient pas partie des objectifs du programme. Néanmoins, dans certains cas, le programme a étendu sa base de parties prenantes d’une façon pragmatique pour impliquer les entreprises et les particuliers dans le développement de solutions d’interopérabilité, et a apporté une vision plus globale qu'il n'aurait autrement été possible.

    Lorsque des solutions d’interopérabilité sont développées, le besoin de considérer le lien entre d’un côté les administrations publiques et de l’autre côté les besoins spécifiques des particuliers et des entreprises devient de plus en plus évident, étant donné que ces derniers sont les utilisateurs finaux de tous les services de l’administration publique. 59 La décision sur l’ISA n’a pas prévu d’action pour répondre aux besoins des utilisateurs finaux, mais l’expérience de mise en œuvre du programme et de consultation avec les ‘responsables’ d’action et les États membres a clairement fait ressentir sa nécessité. La recommandation pour élargir le cadre du nouveau programme ISA² aux entreprises et aux particuliers s’est chargée de traiter ce sujet.

    L’évaluation a souligné que le programme ISA² devrait développer une approche par ‘étude de cas’ plus systématique, ce qui servirait également à mettre plus en avant le rôle de l’interopérabilité pour produire des avantages économiques et sociétaux. 60 De plus, afin d’assurer la pleine efficacité du programme ISA², la Commission devrait essayer de respecter ses objectifs en matière de recrutement, 61 en particulier puisque l’allocation pour les ressources humaines a toujours été plus faible que celle initialement envisagée dans le programme.

    En ce qui concerne les recommandations de l’évaluation intermédiaire, le programme a suffisamment traité ce sujet en améliorant l’interaction avec les parties prenantes et en étant présent lors d’événements majeurs. Il a aussi fait des progrès constants pour traiter les autres recommandations. L’évaluation a cependant conclu que les domaines suivants doivent faire l’objet d’efforts constants dans le cadre du nouveau programme ISA² :

    communication avec les administrations publiques et amélioration de la connaissance sur l’interopérabilité ;

    développer l’approche globale et la vision transversale horizontale de l’interopérabilité ; et

    coopération avec les autres politiques et initiatives de l’UE.

    De plus, l’équipe de l’évaluation finale considère que deux des onze recommandations de l’évaluation finale du programme IDABC peuvent encore être appliquées au programme ISA ; il s’agit de : 62

    un document de ‘promotion’ commun devrait être produit. Il s’intéressera aux alignements et aux synergies entre les programmes de l’Union et les initiatives. (Recommandation IDABC 5) ; et

    les informations sur la durabilité financière et opérationnelle des projets devraient être rendues plus visibles et mieux expliquées aux parties prenantes externes. (Recommandation IDABC 8)

    Les principales recommandations sont les suivantes :

    1.8.Communication avec les administrations publiques et amélioration de la connaissance sur l’interopérabilité

    Entre 2010 et 2015 environ deux tiers des événements organisés par le programme ISA et tenus avec les représentants des États membres, et 63 % (25) des 40 événements organisés par les États membres auxquels le programme ISA a participé, ont eu lieu après 2013, c.-à-d. après l’évaluation intermédiaire. Le programme a intensifié sa présence lors de conférences et d’autres événements ; sur plus de 60 événements dans lesquels il était impliqué, trois quarts ont eu lieu après l’évaluation intermédiaire. 63  

    Le programme ISA² devrait actualiser et mettre en œuvre une stratégie de communication, en insistant sur un engagement ciblé, y compris avec les parties prenantes de chaque domaine spécifique. Cela comblerait le vide persistant entre la performance réelle du programme et la perception qu’ont les parties prenantes d’elle. 64

    1.9.Développer l’approche globale et la vision transversale de l’interopérabilité

    L’interopérabilité juridique et organisationnelle étant toujours dans sa phase préliminaire, l’approche globale adoptée depuis 2013 devrait être prolongée dans le programme ISA². L’architecture de référence de l'interopérabilité européenne (ARIE) 65 et la cartographie de l'interopérabilité européenne (CIE), 66 qui documentent les services et outils existants, joueront un rôle important pour soutenir cette approche globale en aidant à identifier et à réutiliser les solutions existantes, et en mettant en lumière là où les facteurs d’interopérabilité manquent. 67 L’ARIE et la CIE ont un rôle essentiel dans la diffusion des résultats et dans la meilleure identification des besoins. Ceux-ci favorisent une plus grande connaissance, une coordination améliorée et l’émergence de synergies plus importantes.

    Maintenant que l’évaluation des implications de la nouvelle législation européenne sur les TIC a été incluse dans le processus d’évaluation de l’impact, le programme ISA² devrait continuer à jouer le rôle envisagé et à utiliser son expertise afin d’encourager cet exercice et de soutenir les DG et les services prenant en charge de telles évaluations. 68  

    Enfin, le programme ISA² devrait développer une approche plus systématique pour soutenir et contrôler l’utilisation de services communs et d’outils génériques, mais également pour appliquer et mettre en œuvre des cadres communs. 69

    1.10.Coopération avec les autres politiques et initiatives de l’UE.

    Les efforts pour aligner le programme ISA/ISA² avec les autres politiques pertinentes de l’UE continuent. On pourrait prendre pour exemple le mécanisme pour l’interconnexion en Europe, qui fait le suivi de ses résultats. Depuis 2016 on devrait également tenir compte de la révision de l’EIF, lorsque des solutions sont mises en œuvre en soutien à d’autres politiques de l’UE.

    Le programme ISA² devrait s’appuyer sur les améliorations évidentes, que le programme ISA à apporter depuis l’évaluation intermédiaire, dans la coordination des activités associées à l’interopérabilité et à l’administration en ligne à travers la Commission. 70 Cela inclut la coopération continue avec la DG CNECT dans le cadre du mécanisme pour l’interconnexion en Europe et du nouveau Plan d’action 2016-2020 pour l’administration en ligne. De plus, il est prévu une coopération avec la DG EMPL et la DG REGIO pour identifier les actions ISA/ISA2, nouvelles ou existantes, qui ont le potentiel de contribuer aux objectifs thématiques 2 (‘développer l’accès à, et l’utilisation et la qualité des TIC’), et 11 (développer la capacité institutionnelle des autorités publiques et des parties prenantes, ainsi qu’une administration publique efficiente) des fonds ESI. Cela vient en plus du travail sur l’évaluation des programmes opérationnels nationaux et sur l’identification des conditions. Enfin, le programme ISA a montré un fort potentiel pour une plus grande coopération avec, notamment, la DG HOME, la DG JUST, la DG MARE, la DG FISMA, la DG GROW et le CCR.

    L’évaluation finale voit le nouveau Groupe interservices pour la qualité et l'innovation de l'administration publique (Inter-service Group on Public Administration Quality and Innovation) comme le moteur principal pour atteindre un niveau de coopération et de cohérence constant parmi les politiques et initiatives de l’UE contribuant à la modernisation du secteur public. 71

    9. Prochaines étapes

    En mettant en œuvre le programme de suivi ISA², la Commission portera la plus grande attention aux résultats et recommandations présentés ci-dessus, et les analysera pour valider et répondre aux questions soulevées en étroite collaboration, le cas échéant, avec les États membres et d’autres parties prenantes, y compris les particuliers et les entreprises.

    (1)

      Décision n° 922/2009/CE du Parlement européen et du Conseil du 16 septembre 2009 concernant des solutions d'interopérabilité pour les administrations publiques européennes (ISA) (JO L 260 du 3.10.2009, p. 20).

    (2)

      Décision 2004/387/CE du Parlement européen et du Conseil du 21 avril 2004 relative à la fourniture interopérable de services paneuropéens d’administration en ligne aux administrations publiques, aux entreprises et aux citoyens (IDABC), JO L 144 du 30.4.2004 (voir JO L 181 du 18.5.2004, p. 25 ).

    (3)

    Article 1er, paragraphe 2, de la décision sur l’ISA.

    (4)

    L’évaluation finale du programme ISA est disponible à l’adresse : http://ec.europa.eu/isa/library/official-documents/index_en.htm

    (5)

    Celui-ci se compose de fonctionnaires issus de la DG de l’informatique (DIGIT), de la DG du marché intérieur, de l’industrie, de l’entrepreneuriat et des PME (GROW), de la DG de la fiscalité et de l’union douanière (TAXUD), du Centre commun de recherche (JRC) et du Secrétariat général.

    (6)

     EUROPE 2020: Une stratégie pour une croissance intelligente, durable et inclusive, communication de la Commission [COM(2010) 2020 final du 3.3.2010, p. 12].

    (7)

    http://ec.europa.eu/europe2020/index_fr.htm

    (8)

    Examen annuel de la croissance, de 2013, de la Commission, COM(2012) 750 final du 28.11.2012, p.13.

    (9)

    Communication de la Commission au Parlement européen, au Conseil, au Comité économique et social européen et au Comité des régions [COM(2010) 245 final/2], p.5.

    (10)

      http://daeimplementation.eu/dae_actions.php?action_n=26&id_country=1  

    (11)

     ‘Vers l'interopérabilité pour les services publics européens’, communication de la Commission au Parlement européen, au Conseil, au Comité économique et social européen et au Comité des régions [COM(2010) 744 final, annexe 1].

    (12)

    http://data.consilium.europa.eu/doc/document/ST-169-2013-INIT/fr/pdf

    (13)

    Article 1er, paragraphe1, de la décision ISA.

    (14)

    Consulter le cadre d’interopérabilité européen (EIF) pour les services publics européens [COM(2010) 744 final, annexe 2], p. 21.

    (15)

    Évaluation intermédiaire du programme ISA, 2012.

    http://ec.europa.eu/transparency/regdoc/rep/1/2013/FR/1-2013-5-FR-F1-1.Pdf  

    (16)

     Lignes directrices pour une meilleure réglementation (Better Regulation guidelines), document de travail du personnel de la Commission (SWD(2015) 111 final) ;    
    Lignes directrices sur l’évaluation de l’impact (Guidelines on impact assessment) (COM(2015) 215 final) (SWD(2015) 110 final), p. 18.

    (17)

    Développé dans le cadre du programme IDABC, le NIFO soutient la mise en œuvre de l’EIF au niveau des États membres, à travers la transposition de l’EIF en cadres d’interopérabilité nationaux. http://ec.europa.eu/isa/actions/04-accompanying-measures/4-2-3action_en.htm  

    (18)

    Par exemple, depuis ses contributions à l’interconnexion des répertoires d’entreprises, à la mise en œuvre du principe ‘une fois seulement’ (marché unique numérique, action 16) à travers ses activités dans le domaine des registres de bases de données et jusqu’à l’objectif de passerelle numérique unique, ainsi que le travail sur la sémantique et le catalogue de services.

    (19)

      https://joinup.ec.europa.eu/community/cef/og_page/catalogue-building-blocks

    (20)

    Évaluation finale du programme ISA, tableau 10 : Alignement du programme ISA avec le mécanisme pour l’interconnexion en Europe (‘Alignment of the ISA programme with CEF’), p. 54

    (21)

     ‘Ensemble pour une nouvelle croissance’ - l’Acte pour le marché unique : Douze leviers pour stimuler la croissance et renforcer la confiance, Communication de la Commission au Parlement européen, au Conseil, au Comité économique et social européen et au Comité des régions (COM(2011) 206 final), p. 10.

    (22)

    Article 7 de la Directive 2007/2/CE du Parlement européen et du Conseil du 14 mars 2007 établissant une infrastructure d'information géographique dans la Communauté européenne (INSPIRE).

    (23)

    Projet de feuille de route sur la mise en place de l'environnement commun de partage de l'information aux fins de la surveillance du domaine maritime de l'UE, Communication de la Commission au Parlement européen (COM(2010)584 final), p. 3.

    (24)

     Données ouvertes : ‘Un moteur pour l'innovation, la croissance et une gouvernance transparente, Communication de la Commission au Parlement européen, au Conseil, au Comité économique et social européen et au Comité des régions (COM(2011) 882 final), p. 11.

    (25)

     Rapport sur la politique de concurrence 2012, Rapport de la Commission (COM(2013) 257 final), p.12.

    (26)

    Évaluation finale du programme ISA, tableau 21 : Niveau d'adoption des solutions ISA par les services de la commission (‘Level of adoption of ISA solutions by Commission services’), p. 131.

    (27)

    Document accompagnant la décision sur l’ISA2 proposée (COM(2014) 367 final).

    (28)

    Évaluation intermédiaire du programme ISA, 2012, p. 172

    http://ec.europa.eu/transparency/regdoc/rep/1/2013/FR/1-2013-5-FR-F1-1.Pdf

    (29)

     Évaluation finale du programme ISA, Pertinence des objectifs de l'ISA pour répondre aux besoins des administrations publiques de l'UE (‘Pertinence of the ISA objectives to respond to needs of EU public administrations’), p. 45.

    (30)

      http://ec.europa.eu/isa/dashboard/isadashboard  

    (31)

    Évaluation finale du programme ISA, Efficience du programme ISA : % de retard (‘ISA programme efficiency’: % of delay), p. 82.

    (32)

    Évaluation finale du programme ISA, Allocation et exécution du budget (‘Budget allocation and execution’), p. 67

    (33)

    Évaluation finale du programme ISA, ‘Conclusion 4’, p. 86.

    (34)

    Évaluation finale du programme ISA, Processus de révision du programme de travail de l’ISA (‘Revision process of the ISA Work Programme’), p.59.

    (35)

    Évaluation finale du programme ISA, Allocation des ressources financières (‘Allocation of financial resources’), p. 66.

    (36)

    Évaluation finale du programme ISA, ‘Conclusion 6’, p. 111.

    (37)

    Évaluation finale du programme ISA, Mise en place et amélioration des cadres communs (‘Establishment and improvement of common frameworks’), p. 94.

    (38)

    Évaluation finale du programme ISA, Conclusions 7 et 8 (‘Conclusions 7 and 8), p. 112 et 140.

    (39)

    Évaluation finale du programme de l’ISA, tableau 18, scores d’utilité par niveau d’action (‘Utility scores at action level’), p. 116.

    (40)

      http://ec.europa.eu/isa/ready-to-use-solutions/index_en.htm  

    (41)

    Évaluation finale du programme ISA, Facilitation pour une interaction efficace entre les administrations publiques européennes (‘Facilitation of effective interaction between European public administrations’), p. 88 et 89.

    (42)

    Évaluation finale du programme ISA, Principaux résultats de l’ISA perçus (‘Main ISA results perceived’), p. 88.

    (43)

    Évaluation finale du programme ISA, Perceptions générales des avantages donnés par le programme (‘General perceptions on the benefits delivered by the programme’), p. 113 et 114.

    (44)

    Évaluation finale du programme ISA, illustration 37, Degrés d’accord des personnes sondées sur le développement de la connaissance du programme ISA (‘Respondent’s agreement levels on the awareness raising of the ISA programme'), p. 171

    (45)

    Évaluation finale du programme ISA, ‘Conclusion 9’, p. 141.

    (46)

    Évaluation finale du programme ISA, Cohérence (‘Coherence’), p. 17.

    (47)

    Évaluation finale du programme ISA, ‘Conclusion 10’, p. 148.

    (48)

    Réunion du Comité ISA, 23 janvier 2013 - présentation des résultats de l’évaluation intermédiaire du programme ISA.

    (49)

    Évaluation finale du programme ISA, ‘Conclusion 11’, p. 165.

    (50)

    EUSurvey est une application en accès libre, gratuite et basée sur le web qui facilite tant le processus de réponse aux consultations par les personnes sondées que l’analyse des résultats par les gestionnaires de l’enquête.

    (51)

    Évaluation finale du programme ISA, Coordination interne au sein de la Commission européenne (‘Internal coordination within the European Commission’), p. 167.

    (52)

      Groupe interservices pour la qualité et l'innovation de l'administration publique (Inter-service Group on Public Administration Quality and Innovation) (Ares (2015) 4431139, 20.10.2015).

    (53)

    Évaluation finale du programme ISA, Étendue de l’efficacité de l’interaction entre l’ISA et ses parties prenantes (‘Extent to which interaction between ISA and its stakeholders was effective’), p. 172.

    (54)

    Évaluation finale du programme ISA, Coordination interne au sein de la Commission européenne (‘Internal coordination within the European Commission’), p. 167.

    (55)

    Évaluation finale du programme ISA, ‘Conclusion 13’, p. 187.

    (56)

      https://joinup.ec.europa.eu/community/nifo/home

    (57)

    Évaluation finale du programme ISA, Réutilisation par l’ISA des résultats obtenus par d’autres initiatives de l’UE (‘Reuse by ISA of results delivered by other EU initiatives’), p. 163.

    (58)

    Évaluation finale du programme ISA, Conclusions 1, 2 et 3 (‘Conclusions 1, 2 and 3’), p. 56, 57 et 58.

    (59)

    Évaluation finale du programme ISA, Considération de résultats obtenus par les États membres à travers l’établissement des solutions de l’ISA (‘Consideration of results achieved by Member States in the establishment of ISA solutions’), p. 184.

    (60)

    Évaluation finale du programme ISA, Recommandation 5 (‘Recommendation 5’), p. 200.

    (61)

    Évaluation finale du programme ISA, Recommandation 6 (‘Recommendation 6’), p. 201.

    (62)

    Évaluation finale du programme ISA, Recommandations des évaluations précédentes (‘Recommendations from previous evaluations’), p. 190.

    (63)

    Évaluation finale du programme ISA, Conclusion 14 et mesure avec laquelle le programme ISA a amélioré la connaissance des solutions ISA (‘Conclusion 14 and extent to which the ISA programme raised awareness of the ISA solutions’), p. 188.

    (64)

    Évaluation finale du programme ISA, Recommandation 4 (‘Recommendation 4’), p. 199, et Performance perçue du programme ISA (‘Perceived performance of the ISA programme’), p. 83.

    (65)

    L’ ARIE est une architecture de référence pour fournir des services numériques publics d’interopérabilité d’un pays à l’autre et d’un secteur à l’autre.

    (66)

    L’outil CIE peut être utilisé pour décrire et cataloguer les modules constitutifs de solutions (SBBs - Solution Building Blocks) d’architectures d’entreprise en phase avec l’ARIE.

    (67)

    Évaluation finale du programme ISA, Recommandation 8 sur 9 (‘Recommendation 8 of 9’), p. 202.

    (68)

    Évaluation finale du programme ISA, Recommandation 3 sur 9 (‘Recommendation 3 of 9’), p. 198.

    (69)

    Évaluation finale du programme ISA, Recommandation 9 sur 9 (‘Recommendation 9 of 9’), p. 202.

    (70)

    Évaluation finale du programme ISA, Recommandation 7 sur 9 (‘Recommendation 7 of 9’), p. 201.

    (71)

      Avis du Comité économique et social européen sur la communication de la Commission «Examen annuel de la croissance 2014» (COM(2013) 800 final) ; voir OJ C 214, 8.7.2014, p. 46–54.

    Top