52013SA0012

GLOSSAIRE

Autorité de gestion : organisme désigné par l’État membre au niveau national ou régional pour gérer un programme de développement rural (PDR).

Axe : la politique de développement rural pour la période de programmation 2007-2013 s’articule autour de trois axes thématiques correspondant à des ensembles cohérents de mesures de développement rural, ainsi que d’un axe horizontal consacré à l’approche Leader (axe Leader).

Bonne gestion financière : gestion du budget de l’UE conforme aux principes d’économie, d’efficience et d’efficacité.

CCSE : cadre commun de suivi et d’évaluation.

Effet d’aubaine : situation dans laquelle une opération subventionnée aurait pleinement ou partiellement été entreprise sans l’octroi de l’aide.

Efficacité : réalisation des objectifs fixés.

Efficience : obtention du meilleur rapport coût-efficacité.

Évaluation : collecte et analyse périodiques d’informations probantes afin de formuler des conclusions sur l’efficacité et l’efficience des "interventions". La pertinence, la cohérence et la valeur ajoutée européenne de la politique peuvent être prises en considération à cet effet.

Gestion partagée : méthode d’exécution du budget de l’UE selon laquelle la Commission délègue les tâches d’exécution aux États membres, mais reste responsable en dernier ressort.

Incidence (ou impacts) : effets socioéconomiques et environnementaux à long terme.

Indicateur : variable indicative donnant des informations utiles permettant de déterminer le degré de réalisation d’un objectif.

Intervention (publique) : action ("opération", "mesure", programme, projet, etc.) mise en œuvre ou financée par une autorité publique.

Mesure : régime d’aide pour la mise en œuvre d’une politique. Une mesure définit les règles applicables aux "opérations" qui peuvent être financées.

Mesures de diversification : trois mesures des programmes de développement rural visant à diversifier l’économie rurale: "diversification vers des activités non agricoles"; "aide à la création et au développement de microentreprises" et "promotion des activités touristiques".

Objectif : énoncé des réalisations, des résultats et de l’incidence visés par une "intervention".

Opération : projet, marché ou toute autre action financés au titre d’une "mesure".

Orientations stratégiques de la Communauté : décision du Conseil qui définit les priorités de l’Union européenne en matière de développement rural.

PDR : programme de développement rural; il s’agit d’un document de programmation élaboré par un État membre pour planifier et mettre en œuvre la politique de développement rural de l’UE. Un PDR peut être établi au niveau régional ou national et est approuvé par la Commission.

Réalisations : ce qui est produit avec les moyens affectés à l’"intervention".

Résultats : effets ou changements résultant directement de l’"intervention".

Suivi : examen régulier des ressources, des réalisations et des résultats des "interventions".

SYNTHÈSE

I. Pour la période de programmation 2007-2013, l’UE a consacré près de 100 milliards d’euros à la réalisation de ses objectifs en matière de développement rural. Le présent audit examine la question de savoir si la Commission et les États membres peuvent démontrer la bonne utilisation du budget alloué par l’UE à la politique de développement rural. Il importe en l’occurrence de recourir à un système de suivi et d’évaluation.

II. Le système de suivi et d’évaluation doit permettre d’obtenir des informations concernant les domaines dans lesquels les dépenses sont, ou ne sont pas, efficaces et efficientes. Ces informations sont nécessaires pour satisfaire à l’obligation de rendre compte, qui consiste à informer le Parlement européen, le Conseil et le public de ce qui a été réalisé grâce au budget de l’UE et à démontrer que celui-ci a été dépensé de manière efficiente et efficace, conformément aux principes de la bonne gestion financière. Le suivi et l’évaluation permettent également de mettre au jour les insuffisances et d’apporter les changements nécessaires aussi bien avant la fin de la période de programmation de sept ans que lors de la conception de nouvelles politiques, de nouveaux textes réglementaires et de nouveaux programmes de dépenses.

III. Dans de précédents rapports, la Cour a mis en évidence à plusieurs reprises de graves déficiences affectant la disponibilité et la qualité des informations de suivi et d’évaluation liées aux dépenses de développement rural. Le présent rapport consolide et étoffe ces précédentes constatations.

IV. La Cour estime, en conclusion, que la Commission et les États membres n’ont pas suffisamment démontré ce qui a été atteint au regard des objectifs de la politique de développement rural, et que l’assurance quant à la bonne utilisation du budget de l’UE est insuffisante.

V. Plus précisément, la Cour a constaté que:

a) les objectifs fixés pour les dépenses liées au développement rural n’étaient pas suffisamment clairs;

b) compte tenu du manque d’information et de communication concernant les résultats, il était impossible de démontrer dans quelle mesure les objectifs fixés avaient été atteints, et que le budget de l’UE avait été dépensé de manière efficace et efficiente;

c) les informations de suivi et d’évaluation disponibles n’ont pas été suffisamment utilisées afin d’améliorer l’efficience et l’efficacité des dépenses de développement rural.

VI. Des améliorations en matière de suivi et d’évaluation peuvent et doivent être apportées pour le reste de la période de programmation actuelle, pour laquelle les dépenses seront clôturées en 2015. En outre, la prochaine période de programmation (2014-2020) offre à la Commission et aux États membres l’opportunité d’accorder à l’efficacité et à l’efficience des dépenses une place beaucoup plus importante lors de la conception des mesures et de la prise de décisions de programmation, puis lors de la sélection des opérations et des projets à financer.

VII. La Cour recommande par conséquent:

a) aux États membres et à la Commission de se servir du suivi et de l’évaluation afin de mettre davantage l’accent sur l’obtention de résultats pour le reste de la période de programmation actuelle;

b) aux États membres et à la Commission de prendre des mesures dès à présent afin de garantir que les évaluations ex post de 2015 portant sur la période de programmation 2007-2013 permettent d’obtenir des informations comparables et de bonne qualité;

c) à la Commission d’améliorer la conception du CCSE pour la période de programmation 2014-2020 de manière à obtenir en temps utile des informations plus pertinentes, fiables et comparables, en particulier en ce qui concerne l’efficacité et l’efficience des mesures en termes d’obtention des résultats;

d) aux États membres et à la Commission de faire en sorte que les PDR pour la période 2014-2020 fournissent une base plus solide aux fins de la bonne gestion financière et qu’ils soient assortis d’objectifs spécifiques et mesurables ainsi que de plans pour le suivi et l’évaluation de l’efficience et de l’efficacité des programmes;

e) aux États membres de concevoir les systèmes de mise en œuvre des PDR pour la période 2014-2020 sous l’angle de l’efficacité et de l’efficience, et de prévoir que les informations collectées dans le cadre des procédures de demande, de sélection et de paiement soient réutilisées pour le suivi et l’évaluation;

f) aux États membres et à la Commission d’améliorer les informations relatives aux résultats obtenus avec le budget de l’UE afin de mieux rendre compte de leur performance. Il conviendrait notamment de prévoir un suivi plus systématique des conclusions des évaluations.

INTRODUCTION

1. Pour la période de programmation 2007-2013, l’UE a consacré près de 100 milliards d’euros à la réalisation de ses objectifs en matière de développement rural. Les États membres ont également engagé 58 milliards d’euros de leurs ressources propres pour cofinancer les programmes de développement rural.

2. Le Conseil européen a souligné que chaque euro du budget de l’UE doit être non seulement dépensé correctement, mais aussi utilisé à bon escient. Cependant, les audits effectués par la Cour ont systématiquement montré que la conception et la mise en œuvre des principales mesures dans le domaine du développement rural n’apportent pas de garanties suffisantes que ces mesures ciblent la réalisation des objectifs politiques de la manière la plus efficiente possible. En d’autres termes, les systèmes d’exécution du budget ne permettent pas de garantir l’efficacité et l’efficience des dépenses. Par conséquent, il importe d’autant plus que les États membres et la Commission puissent montrer les résultats obtenus eu égard aux objectifs de la politique de développement rural.

3. Le suivi et l’évaluation sont des outils clés pour garantir la bonne utilisation du budget de l’UE. Le suivi est l’examen régulier des dépenses, des réalisations et des résultats; il permet d’obtenir des informations actualisées sur la bonne progression des programmes. L’évaluation consiste dans la collecte et l’analyse périodiques d’informations probantes — y compris les informations obtenues aux fins du suivi — afin de formuler des conclusions sur l’efficacité et l’efficience d’un programme ou d’une politique. Les informations obtenues grâce au suivi et à l’évaluation permettent de déterminer dans quels domaines les dépenses ne sont pas efficaces — ou pas efficientes — et d’apporter les changements nécessaires aussi bien avant la fin de la période de programmation de sept ans que lors de la conception de nouveaux textes réglementaires et de nouveaux programmes.

4. Ces informations sont également nécessaires pour satisfaire à l’obligation de rendre compte, c’est-à-dire informer le Parlement européen, le Conseil et le public de ce qui a été obtenu grâce au budget de l’UE et démontrer que celui-ci a été bien utilisé.

5. La Cour a néanmoins mis en évidence à plusieurs reprises de graves déficiences affectant la disponibilité et la qualité des informations de suivi et d’évaluation liées aux dépenses de développement rural. Le tableau 1 présente, de manière synthétique, les constatations récentes relatives à ces insuffisances.

TABLEAU 1

CONSTATATIONS RELATIVES AU SUIVI ET À L’ÉVALUATION DE LA POLITIQUE DE DÉVELOPPEMENT RURAL DANS LES RAPPORTS SPÉCIAUX ET LES RAPPORTS ANNUELS DE LA COUR

Rapport spécial no 5/2010 Mise en œuvre de l’approche Leader pour le développement rural | Le budget de l’UE a contribué à hauteur de plus de 2 milliards d’euros à Leader+, et une enveloppe de plus de 5 milliards d’euros est prévue pour la période 2007-2013. La Commission n’a pas encore pu démontrer que les crédits ont été dépensés de manière efficace et efficiente […]. |

Rapport spécial no 7/2011 L’aide agroenvironnementale est-elle conçue et gérée de manière satisfaisante? | Les objectifs étaient trop vagues pour en déterminer le degré de réalisation. Le cadre commun de suivi et d’évaluation marque un progrès, mais ne donne guère d’informations concernant les avantages environnementaux obtenus (22 milliards d’euros programmés). |

Rapport spécial no 8/2012 Ciblage de l’aide à la modernisation des exploitations agricoles | Le cadre commun de suivi et d’évaluation […] ne fournit pas de données pertinentes susceptibles de servir au suivi des résultats obtenus avec les fonds dépensés. Les indicateurs définis ne permettent pas de suivre les progrès accomplis dans la réalisation des priorités de l’UE; en outre, les données se sont avérées peu fiables et ne permettent pas d’établir de comparaison entre les États membres (et/ou régions) (11 milliards d’euros programmés). |

Rapport spécial no 1/2013 L’aide de l’UE à l’industrie agroalimentaire a-t-elle permis de manière efficace et efficiente d’accroître la valeur ajoutée des produits agricoles? | […] la Commission et les États membres ne disposent pas d’une base suffisante pour évaluer l’efficacité des 9 milliards d’euros alloués à la mesure pour la période de programmation 2014-2020. |

Rapport spécial no 6/2013 Les États membres et la Commission sont-ils parvenus à optimiser l’utilisation des ressources dans le cadre des mesures de diversification de l’économie rurale? | Le manque d’efficacité du suivi et de l’évaluation des mesures a sérieusement compromis la possibilité de connaître les résultats des financements affectés aux projets. La priorité stratégique de création d’emplois fixée par l’Union n’a pas été correctement ciblée, et un manque de gestion active a été constaté lorsqu’il apparaissait clairement que les objectifs définis ne seraient pas atteints (5 milliards d’euros programmés). |

Chapitre 10 du rapport annuel 2011 | […] les directions générales [de la Commission] n’avaient pas fixé d’objectifs pour les activités opérationnelles relatives à l’économie (coût des intrants) ou à l’efficience […] ni rendu compte à cet égard. […] la description des réalisations politiques […] apportait des informations limitées sur les résultats et sur les impacts et […] [l’accent était davantage mis] sur les intrants et les réalisations […]. […] l’information relative à la performance réalisée se fonde sur des données incomplètes. |

6. Le lancement de la nouvelle période de programmation offre à la Commission et aux États membres l’opportunité de remédier à ces insuffisances et de mettre en place des systèmes permettant d’obtenir en temps utile des informations fiables en ce qui concerne les résultats des dépenses pour la période 2014-2020. Dans cette optique, la Cour consolide et étoffe ses précédentes constatations dans le cadre du présent audit, afin de formuler des recommandations pratiques susceptibles de contribuer à l’amélioration de la bonne gestion financière de la politique de développement rural pour la période 2014-2020.

LA POLITIQUE DE DÉVELOPPEMENT RURAL ET LE CADRE COMMUN DE SUIVI ET D’ÉVALUATION (CCSE)

7. La politique de l’UE en matière de développement rural pour la période 2007-2013 s’articule autour de trois "axes thématiques". Chacun de ces axes consiste en un certain nombre de mesures visant à réaliser les objectifs politiques (lesquels sont présentés au tableau 2). Un quatrième axe, connu sous le nom de Leader, vise à atteindre les mêmes objectifs au moyen de stratégies de développement local menées par les acteurs locaux.

8. L’UE a fixé les "priorités en matière de développement rural" dans la décision 2006/144/CE du Conseil [1] relative aux orientations stratégiques de la Communauté, qui place cette politique dans le contexte d’objectifs plus généraux de l’UE, notamment les objectifs du développement durable de Göteborg et la stratégie renouvelée de Lisbonne pour la croissance et l’emploi. D’après cette décision, la "priorité générale" pour les ressources allouées à l’axe 3, par exemple, est la création de possibilités d’emploi et des conditions de croissance.

9. Les États membres mettent au point des programmes de développement rural (PDR) au niveau national ou régional. Ils les mettent en œuvre dans le cadre de dispositifs de "gestion partagée", une fois qu’ils ont été approuvés par la Commission.

10. Le règlement relatif au développement rural de l’UE a institué un "cadre commun de suivi et d’évaluation" (CCSE) pour la période 2007-2013 [2]. Ce nouveau système, mis en place en 2007, est assorti d’indicateurs communs dont le but est d’enregistrer les progrès réalisés dans l’accomplissement des objectifs de développement rural de manière à permettre la comparaison de chacun des PDR et l’agrégation des données. Le CCSE prévoit également, pour chaque PDR, la réalisation, par des évaluateurs indépendants, d’une évaluation ex ante, d’une évaluation à mi-parcours, en 2010, et d’une évaluation ex post, en 2015.

11. Un règlement de la Commission [3] définit des exigences plus spécifiques et énumère les indicateurs communs de référence, de réalisation, de résultat et d’impact. Un manuel non contraignant relatif au CCSE, publié par la Commission [4], comporte une définition des indicateurs, des questions d’évaluation communes et des orientations en ce qui concerne la méthodologie.

12. Les États membres étaient chargés de fixer, dans leurs PDR, des objectifs spécifiques et vérifiables, assortis de valeurs cibles pour les indicateurs communs. Dans la mesure où ceux-ci ne peuvent refléter tous les effets produits par les différents PDR, il a également été demandé aux États membres de définir un nombre limité d’indicateurs complémentaires. Les États membres sont en outre chargés de mettre en place des systèmes de collecte de données et d’organiser des évaluations. Ils établissent, sur la base des informations de suivi et d’évaluation, un rapport annuel d’exécution qui doit montrer l’avancement du programme par rapport aux objectifs fixés. Les autorités de gestion et les comités de suivi des États membres sont tenus d’utiliser les informations de suivi et d’évaluation afin d’améliorer la qualité des programmes et de leur mise en œuvre.

13. La Commission coordonne le CCSE. Des agents de la Commission examinent les rapports annuels d’exécution et agrègent les données de suivi. Ils peuvent participer aux comités de suivi des États membres en qualité d’observateurs et organisent une réunion annuelle avec les autorités de gestion afin d’examiner les principaux résultats de l’exercice précédent pour chacun des PDR. La Commission engage des évaluateurs pour faire des synthèses des évaluations à mi-parcours et des évaluations ex post, et publie ces rapports. Elle est également tenue de produire plusieurs rapports qui concernent la mise en œuvre de la politique de développement rural ainsi que les réalisations et les résultats correspondants (voir point 51).

14. Le suivi et l’évaluation ont un coût. Dans les États membres, l’UE cofinance l’"assistance technique", qui peut couvrir les coûts engagés pour la collecte et le traitement des données de suivi (personnel, systèmes informatiques, etc.), ainsi que les dépenses relatives aux études et aux évaluations. Près de 2 % des budgets consacrés aux PDR (1,9 milliard d’euros) ont été alloués à l’assistance technique pour la période 2007-2013, ce qui couvre également d’autres activités telles que la vérification de l’exactitude des dépenses. Les coûts supplémentaires directement supportés par la Commission comprennent les synthèses des évaluations ex post et à mi-parcours des PDR par les États membres ainsi que les frais de fonctionnement d’un service d’assistance et d’un comité d’experts en matière d’évaluation [5].

ÉTENDUE ET APPROCHE DE L’AUDIT

15. La Cour s’est employée à déterminer si la Commission et les États membres peuvent démontrer que le budget de l’UE alloué à la politique de développement rural est bien utilisé. Les travaux d’audit ont été articulés autour de trois sous-questions:

a) ce que les dépenses de développement rural visent à atteindre est-il clairement précisé?

b) des informations fiables montrant ce que les dépenses ont permis d’obtenir, et avec quel degré d’efficience, ont-elles été publiées?

c) les informations de suivi et d’évaluation ont-elles été utilisées pour améliorer l’efficience et l’efficacité des dépenses?

16. L’audit porte principalement sur la fixation des objectifs et des valeurs cibles pour les indicateurs dans les PDR relevant de la période 2007-2013 ainsi que sur la production, la communication et l’utilisation subséquentes des informations de suivi et d’évaluation. L’audit a été centré sur les mesures de développement rural examinées par la Cour depuis 2010. Globalement, celles-ci représentent 53 % du total des dépenses de développement rural programmées pour la période 2007-2013. Le tableau 2 donne une brève description des mesures examinées par la Cour depuis 2010 ainsi que des objectifs et des indicateurs de résultat correspondants.

TABLEAU 2

SÉLECTION DE MESURES DES PDR ET INDICATEURS DE RÉSULTAT CORRESPONDANTS

Objectifs des axes | Mesures sélectionnées | Description des mesures | Indicateurs communs de résultats |

AXE 1: améliorer la compétitivité de l’agriculture et de la sylviculture par un soutien à la restructuration, au développement et à l’innovation | Modernisation des exploitations agricoles Article 20, lettre b), point i), du règlement (CE) no 1698/2005 | Subventions aux investissements dans des machines et des équipements agricoles, tels que des tracteurs, des engins pour la récolte, des bâtiments agricoles, des installations de stockage du fumier et des installations d’irrigation, etc. | Nombre d’exploitations présentant des techniques et/ou produits nouveaux.Accroissement de la valeur ajoutée brute dans les exploitations bénéficiant ’un soutien. |

Accroissement de la valeur ajoutée des produits agricoles et sylvicoles Article 20, lettre b), point iii), du règlement (CE) no 1698/2005 | Subventions aux investissements dans des équipements de transformation des produits alimentaires tels que ceux destinés à la production d’huile d’olive et de produits laitiers, au conditionnement de fruits et de légumes, à la transformation de la viande, etc. | Nombre d’exploitations présentant des techniques et/ou produits nouveaux.Accroissement de la valeur ajoutée brute dans les exploitations bénéficiant d’un soutien. |

AXE 2: améliorer l’environnement et l’espace rural par un soutien à la gestion des terres | Paiements agroenvironnementaux Article 36, lettre a), point iv), du règlement (CE) no 1698/2005 | Paiements en faveur d’agriculteurs et d’autres gestionnaires de terres qui prennent un engagement agroenvironnemental volontaire pour une période comprise entre cinq et sept ans. Les paiements par hectare ou par unité de gros bétail couvrent les coûts supplémentaires et la perte de revenus dus aux engagements spécifiques pris (agriculture biologique, protection des sources d’eau, promotion du développement de la faune, etc.). | Surfaces ayant fait l’objet d’actions réussies de gestion des terres contribuant à: améliorer la biodiversité,améliorer la qualité des eaux,atténuer les changements climatiques,améliorer la qualité des sols,éviter la marginalisation et l’abandon des terres. |

AXE 3: améliorer la qualité de la vie en milieu rural et promouvoir la diversification des activités économiques | Diversification vers des activités non agricoles Article 52, lettre a), point i), du règlement (CE) no 1698/2005 | Subventions aux investissements réalisés par des membres d’un ménage agricole qui diversifient leurs activités vers des activités non agricoles, telles que les magasins à la ferme, le tourisme rural ou autres. | Accroissement de la valeur ajoutée brute non agricole des entreprises soutenues.Nombre brut d’emplois créés (ventilation par classe d’âge, sexe et localisation de l’emploi dans ou en dehors de l’exploitation). |

Aide à la création et au développement des entreprises Article 52, lettre a), point ii), du règlement (CE) no 1698/2005 | Subventions aux investissements réalisés par des microentreprises rurales (dont l’effectif est inférieur à 10 personnes et dont le chiffre d’affaires ou le total du bilan annuel n’excède pas 2 millions d’euros) ou à la création de nouvelles microentreprises. | Nombre brut d’emplois créés (ventilation par classe d’âge, sexe et localisation de l’emploi dans ou en dehors de l’exploitation).Accroissement de la valeur ajoutée brute non agricole des entreprises soutenues. |

Promotion des activités touristiques Article 52, lettre a), point iii), du règlement (CE) no 1698/2005 | Subventions aux investissements dans les domaines de l’hébergement et des services touristiques, des petites infrastructures touristiques (comme les sentiers de randonnée et la signalisation des sites touristiques) ainsi que de la commercialisation de services de tourisme rural. | Nombre de touristes supplémentaires (ventilation par nombre de visiteurs passant au moins une nuitée sur place et nombre de visiteurs à la journée).Nombre brut d’emplois créés (ventilation par classe d’âge, sexe et localisation de l’emploi dans ou en dehors de l’exploitation). |

AXE 4 — LEADER: mettre en œuvre les stratégies locales de développement en vue d’atteindre les objectifs d’au moins un des trois autres axes | Article 63, lettre a), du règlement (CE) no 1698/2005 | Soutien aux communautés rurales dans la mise en œuvre de stratégies intégrées et innovantes qui contribuent au développement durable à long terme des localités. Leader relève d’une approche ascendante, le pouvoir décisionnel en ce qui concerne l’élaboration et la mise en œuvre de stratégies de développement local étant confié aux groupes d’action locale. | Nombre brut d’emplois créés (ventilation par classe d’âge, sexe et localisation de l’emploi dans ou en dehors de l’exploitation).Nombre de participants ayant suivi jusqu’à son terme et avec succès une action de formation. |

17. Les travaux relatifs à cet audit, réalisés de janvier à avril 2013, ont porté sur douze des PDR couverts par les précédents audits de la Cour [6]. Globalement, ces PDR représentent un peu plus de 50 % du total des dépenses de développement rural programmées pour la période 2007-2013. Le graphique présente les PDR couverts par le présent audit et leur part dans le budget total alloué au développement rural pour la période de programmation 2007-2013.

18. Les États membres concernés et la Commission ont fourni des informations sur les mesures prises à la suite des précédents audits de la Cour. Celle-ci a en outre examiné les informations de suivi et d’évaluation les plus récentes diffusées au sujet des mesures sélectionnées. Il s’agissait dans la plupart des cas du rapport annuel d’exécution de 2011 finalisé au second semestre de 2012. La Cour a examiné la gestion du CCSE par la Commission, ses rapports sur la mise en œuvre de la politique de développement rural ainsi que sur les réalisations et les résultats correspondants, ses activités de surveillance en ce qui concerne les mesures et les PDR sélectionnés, ainsi que la prise en considération des informations de suivi et d’évaluation au moment de l’approbation des modifications des PDR.

GRAPHIQUE

PROGRAMMES DE DÉVELOPPEMENT RURAL SÉLECTIONNÉS: BUDGET QUI LEUR A ÉTÉ ALLOUÉ, EN POURCENTAGE DU TOTAL (2007-2013)

+++++ TIFF +++++

Source: Direction générale de l’agriculture et du développement rural.

OBSERVATIONS

CE QUE LES DÉPENSES DE DÉVELOPPEMENT RURAL VISENT À ATTEINDRE EST-IL CLAIREMENT PRÉCISÉ?

19. Les objectifs indiquent les réalisations et les résultats visés par la politique et par les programmes, ce qui permet d’opérer des choix lors de l’allocation des budgets, ainsi que de concevoir et de mettre en œuvre les mesures en ménageant un équilibre approprié entre les résultats escomptés et les coûts. Les objectifs constituent également un point de référence auquel les résultats obtenus peuvent être comparés. Il est alors possible de mettre en évidence les réalisations et les résultats insuffisants et, ainsi, de prendre des mesures correctrices et d’améliorer l’efficacité et l’efficience. Les objectifs constituent ensuite un point de départ pour évaluer la performance aux fins de l’obligation de rendre compte, les gestionnaires des fonds de l’UE étant en effet responsables de l’utilisation efficace et efficiente du budget de l’UE. À cette fin, les objectifs devraient être "SMART" (spécifiques, mesurables, réalisables, pertinents et datés), comme le prévoit le règlement financier de l’UE [7].

20. Plus précisément, les objectifs doivent décrire une situation future — le changement ou l’effet que la politique ou le programme vise à produire. Ils doivent être formulés dans des termes permettant de vérifier s’ils ont été réalisés. En outre, afin de permettre de garantir que les programmes sont d’un bon rapport coût-efficacité et que les mesures sont gérées (les opérations à financer sélectionnées) de sorte à réaliser les objectifs de manière efficiente, ceux-ci doivent être quantifiés, ou assortis d’indicateurs pertinents comportant des valeurs cibles.

21. Dans le cadre de tous ses audits de la performance dans le domaine du développement rural, la Cour a déterminé si les objectifs fixés dans la législation et dans les PDR étaient spécifiques et mesurables. Elle a examiné les réponses de la Commission et des États membres aux constatations antérieures, ainsi que les modifications apportées par la suite aux douze PDR sélectionnés.

LA POLITIQUE DE DÉVELOPPEMENT RURAL DE L’UE NE DÉFINIT PAS D’OBJECTIFS QUANTIFIÉS NI DE VALEURS CIBLES: CETTE TÂCHE REVIENT AUX ÉTATS MEMBRES, DANS LES PDR…

22. Les priorités de l’UE en matière de développement rural sont définies dans les orientations stratégiques de la Communauté, et le règlement relatif au développement rural fixe trois objectifs pour cette politique (voir points 7 et 8). Ce règlement décrit un certain nombre de mesures que les États membres peuvent mettre en œuvre en vue de réaliser ces objectifs, mais ne prévoit pas d’objectifs plus spécifiques pour chacune des mesures.

23. Les objectifs de développement rural ne sont pas quantifiés au niveau de l’UE. Tels qu’ils sont formulés, il n’est question que d’améliorer la compétitivité et d’encourager la diversification. Le niveau d’amélioration ou de diversification que l’UE entend atteindre avec son budget n’est pas précisé [8].

24. La législation fait obligation aux États membres de définir, dans leurs PDR, "des objectifs spécifiques vérifiables ainsi que des indicateurs" "permettant de mesurer l’avancement, l’efficience et l’efficacité du programme". Avant d’approuver les PDR, la Commission doit s’assurer qu’ils "correspondent" aux orientations stratégiques de la Communauté (les priorités de l’UE) et au règlement.

25. Plusieurs mesures contribuent à la réalisation de chacun des objectifs de l’UE: ainsi seize mesures différentes visent-elles à améliorer la compétitivité de l’agriculture et de la sylviculture, l’objectif de l’axe 1. Une mesure peut également contribuer à la réalisation de plusieurs objectifs: les équipements financés au titre de la mesure intitulée "modernisation des exploitations agricoles" (axe 1), par exemple, peuvent également limiter l’impact des activités agricoles sur l’environnement (objectif de l’axe 2). Un plan faisant apparaître clairement les résultats que chaque mesure vise à obtenir est donc nécessaire, puisque les PDR doivent constituer la base sur laquelle se fonder pour affecter les ressources, pour gérer la mesure de manière qu’elle produise les effets escomptés, ainsi que pour rendre compte de l’efficacité et de l’efficience de la mesure.

… OR LES PDR EXAMINÉS NE COMPORTAIENT PAS ASSEZ D’OBJECTIFS SUFFISAMMENT SPÉCIFIQUES, ASSORTIS DE VALEURS CIBLES POUR LES RÉSULTATS

26. Comme cela a été décrit plus haut, le règlement de l’UE fait obligation aux États membres de définir des objectifs spécifiques en fonction de leurs différents besoins, déterminés au cours de la phase de programmation. Toutefois, à quelques exceptions près, les objectifs des PDR sont formulés en termes généraux et vagues (soutenir, améliorer, contribuer à, promouvoir, etc.). Ils décrivent ce qui doit être fait à l’aide des programmes, mais n’exposent pas de manière précise la situation à laquelle ils doivent permettre d’aboutir. Dans la mesure où ces objectifs ne sont pas spécifiques, il est impossible de déterminer s’ils ont été réalisés de manière satisfaisante.

27. Ce défaut d’objectifs spécifiques dans les PDR a pour effet non seulement de rendre le suivi et l’évaluation plus difficiles, mais également d’empêcher les États membres de se focaliser suffisamment sur l’efficacité et sur l’efficience lors de la mise en œuvre des mesures, comme la Cour l’a constaté lors de ses précédents audits (voir tableau 1).

28. Les valeurs cibles pour les indicateurs communs de résultat et d’impact prévus par le CCSE doivent, d’une certaine manière, quantifier et clarifier les objectifs énoncés dans les PDR des États membres. Cependant, comme le montrent les points ci-après:

les indicateurs n’étaient pas assortis de valeurs cibles dans tous les PDR;

les valeurs cibles fixées étaient des estimations des résultats escomptés plutôt que des objectifs quantifiés;

les indicateurs (et donc les valeurs cibles) n’étaient pas toujours pertinents par rapport aux objectifs énoncés dans les PDR.

29. Sur les douze États membres concernés, la Roumanie est le seul qui ait fixé des valeurs cibles dans son PDR initial pour l’ensemble des indicateurs de résultat concernant les mesures sélectionnées, conformément aux exigences prévues par le CCSE. La Commission a approuvé les autres PDR malgré l’absence de valeurs cibles. Dans le PDR initial de l’Autriche, par exemple, les indicateurs de réalisation ou de résultat n’étaient assortis d’aucune valeur cible pour la mesure agroenvironnementale, alors qu’elle représentait 45 % du total des dépenses programmées.

30. Les États membres ont calculé les valeurs cibles pour les résultats requises par le CCSE en procédant à une estimation des effets que la mesure devait permettre de produire avec le budget alloué. Il aurait été plus logique de commencer par déterminer les résultats nécessaires pour répondre à un besoin ou réaliser un objectif, puis de concevoir la mesure et de déterminer jusqu’à quel point il était possible de satisfaire le besoin ou l’objectif avec les fonds disponibles.

31. Certaines des valeurs cibles énoncées dans les PDR s’avèrent être des estimations trop optimistes des résultats attendus, telle la valeur cible du PDR roumain fixée à 7,65 millions de touristes supplémentaires, à atteindre grâce à des petits investissements dans des activités touristiques. Cette estimation était dix fois supérieure à celles des autres PDR examinés. Ce chiffre a par la suite été réduit de 5 millions.

32. Les indicateurs communs de résultat ne sont pas toujours pertinents par rapport aux objectifs fixés dans les PDR des États membres, de sorte qu’ils ne permettent pas de quantifier ce qui doit être atteint à l’aide des programmes. Par exemple, dans le Bade-Wurtemberg, l’indicateur "nombre d’exploitations introduisant de nouveaux produits ou de nouvelles techniques" n’a qu’une pertinence limitée par rapport aux objectifs du PDR, puisque la valeur cible n’est que de sept sur les 3000 exploitations soutenues par la mesure de modernisation des exploitations agricoles. En l’occurrence, le PDR comprenait des indicateurs complémentaires assortis de valeurs cibles pour la mesure qui étaient, eux, pertinents par rapport à ses objectifs (par exemple: le nombre d’exploitations aménageant des cases où le bien-être des porcs est mieux préservé). Cependant, de nombreux PDR ne comportaient pas d’indicateurs complémentaires de ce type. L’on peut citer à titre d’exemple le PDR de la République tchèque, où l’indicateur "nouveaux produits ou nouvelles techniques" n’est pas considéré comme pertinent pour les mesures "modernisation des exploitations agricoles" et "accroissement de la valeur ajoutée des produits agricoles". Aucun indicateur complémentaire n’a été mis en place pour ces mesures.

33. Compte tenu des insuffisances des valeurs cibles fixées pour les indicateurs et de l’absence d’objectifs spécifiques, décrite ci-dessus, les PDR n’indiquent pas clairement quels sont les résultats visés.

34. Avec des valeurs cibles fixées pour les indicateurs communs de réalisation et de résultat, la Commission devrait pouvoir comparer l’efficience escomptée des différents PDR (voir point 61 pour davantage de précisions) et agréger les valeurs cibles au niveau de l’UE afin de montrer les résultats visés par la politique de développement rural. Cependant, les objectifs de certains États membres étaient présentés de manière différente, comme "augmentation de x %", ou répondaient à une définition différente de celle figurant dans les orientations relatives au CCSE; de ce fait, il est impossible de les comparer ou de les agréger. De même, lorsque les valeurs cibles des PDR ne sont pas indiquées, réalistes ou comparables, l’utilité des valeurs cibles consolidées au niveau de l’UE est limitée. Les valeurs cibles manquantes ou qui ne correspondaient pas aux exigences du CCSE sont présentées en annexe.

DES INFORMATIONS FIABLES MONTRANT CE QUE LES DÉPENSES ONT PERMIS D’OBTENIR, ET AVEC QUEL DEGRÉ D’EFFICIENCE, ONT-ELLES ÉTÉ PUBLIÉES?

35. Les informations de suivi et d’évaluation essentielles pour démontrer l’efficacité et l’efficience sont celles qui concernent les résultats, car elles mettent en évidence les effets directs des dépenses. Elles doivent être exactes, compatibles (pour pouvoir être agrégées), et montrer les effets des dépenses par rapport aux objectifs de l’UE et à ceux contenus dans les PDR. Ces informations doivent être portées à la connaissance de l’autorité budgétaire et du public de manière à démontrer le succès (ou l’échec) des mesures financées et à rendre compte de l’utilisation efficace et efficiente du budget de l’UE.

36. La Cour a examiné la qualité des informations de suivi et d’évaluation dans le cadre de tous les audits dans le domaine du développement rural qu’elle a effectués récemment. Le cas échéant, les constatations ont été mises à jour pour les douze PDR sélectionnés. La Cour a analysé les rapports annuels d’exécution et les "rapports de synthèse" [9] des États membres ainsi que les travaux effectués par la Commission pour vérifier la qualité des informations fournies. Elle a également examiné les rapports produits par la Commission (voir point 51).

LES DONNÉES CONCERNANT LES INDICATEURS COMMUNS DE SUIVI NE SONT PAS SUFFISAMMENT FIABLES

37. Le CCSE est une précieuse boîte à outils qui permet d’obtenir des informations cohérentes et comparables au niveau de l’UE. Cependant, il est vite apparu que le CCSE — mis en place en 2007 — n’avait pas été suffisamment bien préparé. Les États membres n’avaient pas tous planifié à l’avance les modalités de collecte des données pour les indicateurs communs. Un grand nombre d’entre eux ont pris des dispositions ad hoc parallèlement à leurs systèmes administratifs (systèmes d’évaluation, d’approbation, de vérification des demandes d’aide et de paiement des aides), ce qui a entraîné une charge de travail supplémentaire pour les autorités nationales et régionales ainsi que pour les bénéficiaires. Il en a également résulté que les informations de suivi ont été compilées séparément, avec les risques que cela comporte pour l’intégrité des données.

38. Les États membres se procuraient généralement les données relatives aux résultats à partir des prévisions des résultats attendus figurant dans les demandes d’aide des bénéficiaires, voire dans leurs demandes de paiement. En Angleterre et en Suède, les autorités vérifiaient la vraisemblance de ces données et les corrigeaient, le cas échéant. Cela leur a permis d’apprécier le lien de cause à effet, à savoir si l’emploi créé, l’augmentation de la "valeur ajoutée brute", le nouveau produit ou l’augmentation du tourisme résultait effectivement de l’aide et n’était pas juste fortuit. D’autres États membres avaient mis en place des dispositions similaires pour vérifier la qualité des données, mais ils étaient peu nombreux.

39. En Pologne, les autorités disposaient, dans leurs systèmes administratifs, d’informations exactes concernant le nombre d’emplois créés, car les bénéficiaires devaient apporter la preuve que de nouveaux emplois avaient été créés pour pouvoir bénéficier de la subvention. Toutefois, ces informations n’ont pas été utilisées pour le CCSE, les autorités ayant utilisé un questionnaire d’enquête auprès des bénéficiaires — méthode par définition moins fiable, pour laquelle aucune preuve n’était requise ni aucun contrôle de fiabilité opéré. En République tchèque et en Hongrie, les données concernant les indicateurs étaient également obtenues au moyen d’une enquête, et leur exactitude n’était pas contrôlée.

40. Les États membres audités ont eu tendance à considérer la collecte de données dans le cadre du CCSE comme une tâche supplémentaire à accomplir pour se conformer à la réglementation, mais présentant peu d’intérêt pour leur gestion des mesures; par conséquent, ils n’ont accordé qu’une attention limitée à la qualité de la collecte. Dans le même ordre d’idées, plusieurs États membres ont répondu aux constatations de la Cour concernant les insuffisances en matière de suivi et d’évaluation en expliquant qu’ils avaient fait le nécessaire pour se conformer aux exigences relatives au CCSE. Par exemple, en réponse à la constatation de la Cour selon laquelle il ne disposait d’aucun plan de suivi ou d’évaluation des stratégies locales de développement Leader, un État membre a répondu qu’il avait mis en place le CCSE suivant les directives de l’UE et qu’il n’était pas responsable si Leader n’était pas couvert.

41. Par suite des insuffisances décrites ci-dessus, la Cour a constaté, dans le cadre de ses récents audits, que, bien souvent, les données en matière de résultat du CCSE ne correspondaient pas à la situation réelle. Les écarts proviennent de malentendus quant aux informations demandées et de la difficulté de prévoir, au moment de la demande d’aide, des résultats tels que la "valeur ajoutée brute", qui dépendent de nombreux facteurs, y compris la situation économique. Dans certains cas, la mesure était conçue de telle manière que les demandeurs étaient incités à exagérer les résultats escomptés, comme le nombre d’emplois à créer, afin d’augmenter leurs chances d’être subventionnés.

42. Les indicateurs communs de résultat, en particulier, laissaient une trop grande marge d’interprétation, les données étaient coûteuses ou difficiles à collecter, et certains indicateurs avaient une utilité limitée, car ils ne mettaient pas en évidence les résultats des mesures, comme l’illustre l’encadré 1. Par ailleurs, comme cela est indiqué au point 32, les indicateurs communs n’étaient pas toujours suffisamment pertinents, ou ne permettaient pas, à eux seuls, de démontrer que les objectifs du PDR avaient été atteints.

LES ÉVALUATIONS À MI-PARCOURS NE PRÉSENTAIENT PAS DE CONCLUSIONS SUFFISAMMENT FONDÉES SUR DES INFORMATIONS PROBANTES QUANT AUX EFFETS DES MESURES DE DÉVELOPPEMENT RURAL

43. Les insuffisances affectant le suivi des résultats par les États membres expliquent en partie la qualité généralement non satisfaisante des évaluations à mi-parcours. Le règlement prévoit que les évaluations à mi-parcours examinent non seulement le degré d’utilisation des ressources, mais également l’efficacité et l’efficience de la programmation du budget de l’UE, ses conséquences socio-économiques, ainsi que son incidence sur les priorités de la Communauté. S’agissant des évaluations à mi-parcours, qui ont été effectuées en 2010, de nombreux évaluateurs ne disposaient tout simplement pas d’informations sur lesquelles fonder leur évaluation, soit parce que les mesures n’étaient pas en place depuis suffisamment longtemps pour produire des résultats, soit parce que les États membres n’avaient pas collecté de données pertinentes et fiables. Les évaluations à mi-parcours étaient axées sur des données financières et de résultat; un grand nombre d’entre elles contenaient de précieuses analyses de la mise en œuvre ainsi que des insuffisances affectant les données de résultat. Cependant, elles ne comportaient que rarement des informations utiles sur la réalisation des objectifs ou sur l’efficience.

ENCADRÉ 1

EXEMPLES DE DIFFICULTÉS RENCONTRÉES EN CE QUI CONCERNE LES INDICATEURS DE RÉSULTAT

S’agissant de la mesure visant à moderniser les exploitations agricoles, la Commission n’a pas fourni d’orientations quant à ce qu’il y a lieu de considérer comme "un nouveau produit ou une nouvelle technique". Les données pour la Roumanie indiquent que 98 % des investissements ont débouché sur un nouveau produit ou une nouvelle technique, contre 13 % pour la Pologne et 35 % pour la Hongrie. Un tel écart ne saurait s’expliquer par des différences dans la manière dont les États membres ont conçu ou mis en œuvre les mesures, celles-ci couvrant un éventail d’investissements comparable. En Roumanie, la quasi-totalité des investissements dans de nouveaux bâtiments, machines ou équipements agricoles correspondait à la définition donnée par ce pays pour l’indicateur.

Dans la pratique, l’indicateur de résultat "surface ayant fait l’objet d’actions réussies de gestion des terres" est identique à l’indicateur de réalisation "zone bénéficiant d’une aide agroenvironnementale". Cela s’explique par le fait que les États membres considèrent toutes les zones ayant bénéficié d’une aide comme "ayant fait l’objet d’actions réussies", sans avoir nécessairement constaté une amélioration de la biodiversité, de la qualité des eaux, etc. La Cour a mis en évidence plusieurs cas où le contrat agroenvironnemental n’avait pas été fructueux, mais où la zone était néanmoins prise en considération dans les données relatives aux résultats.

44. Les évaluations à mi-parcours reposaient dans de nombreux cas sur des méthodes inappropriées, telles que l’élaboration d’hypothèses ou l’utilisation d’enquêtes sans qu’aucune autre procédure ou collecte d’éléments probants ne vienne étayer les conclusions [10]. Les études de cas peuvent certes être précieuses lorsqu’il s’agit d’illustrer des constatations ou d’expliquer des données, mais plusieurs évaluateurs ont tiré, à partir d’un très petit nombre de cas, des conclusions concernant une mesure ou un programme dans son ensemble. Dans certaines évaluations à mi-parcours, aucun effort n’avait été consenti pour répondre aux questions d’évaluation communes définies dans les orientations de la Commission relatives au CCSE [11]. En France, l’évaluation à mi-parcours ne portait sur aucune des mesures relevant des axes 3 et 4.

45. Par conséquent, les évaluations à mi-parcours n’apportaient pas de réponses suffisamment fondées sur des informations probantes aux questions d’évaluation qui concernaient l’efficience et la réalisation des objectifs: en outre, les évaluations étaient trop disparates pour fournir des informations pertinentes au niveau de l’UE.

LA COMMISSION A ENCOURAGÉ LES ÉTATS MEMBRES À AMÉLIORER LE SUIVI ET L’ÉVALUATION, ET IL EXISTE DES INFORMATIONS UTILES CONCERNANT LES DÉPENSES EFFECTUÉES AU TITRE DU BUDGET DE L’UE…

46. La Commission a rapidement pris conscience des problèmes posés par les indicateurs et par les évaluations; elle s’est efforcée, avec les États membres, d’améliorer les orientations, et a offert un appui, au moyen notamment du "Helpdesk Évaluation". À la suite des évaluations à mi-parcours, la Commission a analysé les insuffisances et mis à profit les enseignements tirés lors de la planification du CCSE pour la période 2014-2020.

47. La Commission vérifie les données de suivi des États membres (présentées avec les rapports annuels d’exécution) et demande à ceux-ci de corriger les erreurs manifestes avant de déclarer ces rapports conformes au règlement. La cohérence et l’exhaustivité des données ont été considérablement renforcées ces cinq dernières années mais, au moment de l’audit (avril 2013), la Commission n’avait toujours pas validé les rapports annuels d’exécution de 2011 pour la France, la Hongrie et l’Angleterre, de sorte que les informations les plus récentes datent de 2010. Toutefois, si les États membres ne fournissent pas les données, la Commission ne dispose que d’un pouvoir d’action limité. La Hongrie n’a pas fourni de données concernant les indicateurs de 2011, au motif que la révision de ses indicateurs est toujours en cours. De même, d’importantes données n’ont pas encore été fournies par d’autres États membres, dont la Roumanie, qui n’a communiqué aucune donnée concernant l’indicateur de résultat pour les six mesures examinées. Sur les douze PDR examinés, seuls ceux de l’Autriche et de la Suède comportent l’ensemble des données concernant l’indicateur commun de résultat pour 2011. Les données fournies par les États membres dans leurs rapports annuels d’exécution pour 2011 sont présentées en annexe. Lorsqu’elles ne sont pas actualisées, les données ne présentent qu’une utilité limitée pour l’usage auquel elles sont destinées, à savoir le suivi des réalisations et des résultats.

48. Même lorsque des données relatives aux résultats sont disponibles, la Commission n’a qu’une assurance limitée quant à leur fiabilité. Les États membres ne sont pas tenus de décrire les définitions ou les méthodes de collecte des données utilisées dans les rapports annuels d’exécution, et la Commission n’a pas vérifié s’ils disposent de systèmes permettant de garantir la qualité des données, quelle interprétation chacun d’eux donne de termes tels que "nouveaux produits", ou lesquels d’entre eux suivent les orientations méthodologiques. La Cour a constaté que, sans en informer explicitement la Commission, la Hongrie avait modifié la description de l’indicateur "emplois créés" pour y inclure les "emplois maintenus", ce qui a pu fortement gonfler les résultats.

49. Malgré tous les problèmes rencontrés, le CCSE reste un outil essentiel qui améliore les possibilités de suivi et d’évaluation en ce qui concerne le budget de l’UE. Si, les premières années, la qualité des informations de suivi et d’un grand nombre d’évaluations à mi-parcours n’était pas acceptable, la Commission a constaté le développement d’une culture de l’expertise et de l’évaluation. Des enseignements précieux ont été tirés, qui devraient permettre de renforcer le CCSE à l’avenir. La Cour a relevé, pour la mesure agroenvironnementale, des exemples de bonnes pratiques en matière de suivi et d’évaluation, par exemple en Autriche, en Suède et en Angleterre (voir point 65), qui montrent quels résultats peuvent être obtenus.

50. S’agissant des indicateurs de réalisation, les données du CCSE sont relativement cohérentes et exhaustives et peuvent fournir des informations utiles sur les dépenses effectuées au titre du budget de l’UE. Cependant, s’agissant des résultats obtenus, le suivi et l’évaluation n’ont pas encore permis d’obtenir des informations suffisamment pertinentes, exactes, cohérentes et comparables.

… MAIS LES INFORMATIONS COMMUNIQUÉES SUR LES RÉSULTATS OBTENUS N’ÉTAIENT PAS SUFFISANTES POUR DÉMONTRER LA BONNE UTILISATION DU BUDGET DE L’UE

51. La réglementation prévoit que les États membres et la Commission font rapport périodiquement sur l’exécution du budget et sur la réalisation des objectifs en matière de développement rural. Une vue d’ensemble des rapports relatifs à l’efficience et à l’efficacité des dépenses de développement rural produits par les États membres et par la Commission est présentée au tableau 3.

TABLEAU 3

RAPPORTS RELATIFS À L’EFFICIENCE ET À L’EFFICACITÉ DES DÉPENSES DE DÉVELOPPEMENT RURAL

Rapport | Finalité du rapport | Remarques |

États membres

Rapport annuel d’exécution pour chaque PDR (article 82 du règlement (CE) no 1698/2005) | Présenter l’exécution financière du programme, l’état d’avancement du programme par rapport aux objectifs fixés, ainsi que les dispositions prises pour assurer la qualité et l’efficacité de la mise en œuvre du programme | Ces rapports présentent les indicateurs communs, décrivent l’exécution physique et financière du programme et fournissent des informations sur les activités d’évaluation. |

Suivi stratégique – rapport de synthèse (article 13 du règlement (CE)no 1698/2005) | Présenter l’état d’avancement de la mise en œuvre du plan stratégique national et des objectifs ainsi que la contribution à la réalisation des orientations stratégiques de la Communauté | Le contenu de ces rapports est similaire à celui des rapports annuels d’exécution. |

Commission

Rapport sur l’évaluation des finances de l’Union (COM(2012) 40 final) (COM(2012) 675 final) | Apporter au Parlement européen et au Conseil la preuve des résultats obtenus (NB: pas uniquement pour la politique de développement rural) | Ces rapports présentent les évaluations effectuées durant l’année. Le développement rural n’était pas pris en compte, car aucune évaluation n’avait été publiée au niveau de l’UE. La Cour a formulé des commentaires sur ces rapports, dans son avis no 4/2012, ainsi que dans une lettre du président disponible à l’adresse suivante: http://eca.europa.eu/portal/pls/portal/docs/1/19934799.PDF |

Rapport de synthèse sur la mise en œuvre des stratégies nationales (COM(2011) 450 final) Au moment de l’audit (avril 2013), le rapport de synthèse prévu pour début 2013 n’avait pas été publié par la Commission | Résumer les principaux progrès, tendances et défis liés à la mise en œuvre des plans stratégiques nationaux et des orientations stratégiques de la Communauté, y compris les mesures prises à la suite des conclusions du rapport | Ce rapport présente les données relatives à l’exécution financière et physique agrégées à partir des rapports annuels d’exécution des États membres, mais seulement quelques-uns des indicateurs de résultat. Aucune analyse n’est effectuée afin de déterminer le caractère satisfaisant des résultats obtenus ainsi que les coûts supportés. |

Rapport annuel d’activité de la direction générale de l’agriculture et du développement rural | Présenter les résultats des actions menées par la DG Agriculture et développement rural pour réaliser les objectifs fixés | Ces rapports présentent les indicateurs d’impact afin de montrer la réalisation des objectifs de la Commission (lesquels diffèrent quelque peu de ceux du règlement relatif au développement rural). Pour cinq des six indicateurs, les données pour 2012 sont inchangées par rapport à 2011, ce qui n’est pas considéré comme fiable par la Cour (voir chapitre 10 du rapport annuel 2011). Les annexes de ces rapports comportent une sélection de constatations provenant d’évaluations externes et d’indicateurs de résultat élaborés à partir des rapports annuels d’exécution des États membres. |

Fiches d’activité des dépenses opérationnelles: document de travail joint au projet de budget général | Justifier les crédits demandés par la Commission dans le projet de budget | S’agissant du budget 2013, la fiche fait état des principaux résultats. Ceux-ci renvoient aux activités de la Commission. Aucun lien n’est établi entre ces activités et les informations sur les résultats présentées, qui sont une agrégation des données relatives aux indicateurs communs. |

52. Ces rapports présentent les données disponibles concernant les indicateurs et, en général, donnent une description suffisante de la mise en œuvre des programmes en termes de montants dépensés et de réalisations. Ils comportent cependant des faiblesses communément constatées, décrites aux points suivants.

53. La fiabilité des sources des informations contenues dans les rapports ou des méthodes utilisées n’est pas suffisamment prise en considération. Par exemple, certains États membres ont extrapolé des données à partir d’un très petit nombre de cas, tout comme la Commission dans son rapport annuel d’activité [12]. La qualité médiocre de nombreuses évaluations à mi-parcours limite également le degré de confiance susceptible d’être accordé aux conclusions des évaluations; toutefois, les États membres et la Commission n’ont pas suffisamment attiré l’attention sur ce point.

54. Les rapports des États membres et de la Commission présentent les valeurs obtenues par rapport à des valeurs cibles que les États membres ont modifiées afin de pouvoir atteindre les résultats escomptés. L’encadré 2 explique pourquoi cela est à proscrire. À titre d’exemple, la Commission a récemment validé une modification du PDR de la République tchèque réduisant la valeur cible en matière de création d’emplois de plus de 90 % (de 29000 à 2 700). S’il s’avère que le programme permet de créer 2700 emplois, ceux-ci ne représenteront que 9 % de la valeur cible définie dans le PDR initialement approuvé — un résultat médiocre. Toutefois, dans le rapport annuel d’exécution, ce chiffre sera comparé à la valeur cible révisée, et considéré comme un plein succès. L’autorité de gestion n’aura pas à expliquer le fait que la cible définie à l’origine n’a pas été atteinte. Du fait de cette pratique, les rapports perdent de leur valeur au point qu’ils n’ont qu’une utilité limitée sur le plan de l’obligation de rendre compte, qui consiste à établir la mesure dans laquelle les gestionnaires des programmes ont atteint les objectifs fixés en matière de développement rural. Les rapports de la Commission comportent une note de bas de page indiquant que les valeurs cibles peuvent avoir été révisées mais, lorsque ces valeurs ont été revues à la baisse, les rapports annuels d’exécution des États membres examinés par la Cour n’en font même pas mention. L’annexe présente les valeurs cibles définies pour les indicateurs de résultat qui ont été modifiées par rapport au PDR initial.

55. Les conclusions des évaluations présentées dans les rapports de la Commission et des États membres sont, pour l’essentiel, établies par des évaluateurs indépendants. Cependant, ces rapports ne permettent pas au lecteur de connaître le bilan que la Commission ou les États membres eux-mêmes tirent des évaluations, ni de savoir si la Commission ou l’État membre acceptent les conclusions des évaluations [13].

56. Par ailleurs, les États membres et la Commission n’ont communiqué qu’une sélection de conclusions issues des évaluations — dans certains cas, uniquement celles qui étaient positives. Par exemple, plusieurs évaluations à mi-parcours ont fait état d’un effet d’aubaine d’environ 50 % pour les mesures d’investissement [14] — conclusion importante s’agissant de l’efficacité et de l’efficience des programmes —, mais cela ne figurait pas dans les rapports annuels d’exécution des États membres. En outre, les mesures prises à la suite des conclusions des évaluations ne sont pas non plus systématiquement présentées dans les rapports.

57. Enfin, les rapports des États membres et de la Commission ne consistent guère qu’à présenter les informations disponibles et à analyser la mise en œuvre. Ils ne comportent aucune analyse de l’efficience des dépenses et ne fournissent aucune conclusion sur la mesure dans laquelle les objectifs des PDR et de l’UE ont été atteints. De ce fait, ces rapports ne donnent qu’une assurance limitée quant à la bonne utilisation du budget de l’UE par les États membres et par la Commission [15].

ENCADRÉ 2

UTILISATION DE VALEURS CIBLES POUR LES INDICATEURS

Les États membres devraient activement gérer les mesures afin de garantir que les valeurs cibles en matière de résultats (et donc les objectifs de l’UE) sont atteintes, par exemple en adaptant les critères d’éligibilité et de sélection, ce qui permet d’améliorer le "ciblage" des mesures concernées. Lorsque les valeurs cibles ne peuvent être atteintes malgré les efforts déployés par les États membres, ceux-ci doivent en expliquer les raisons dans leurs rapports annuels d’exécution, et indiquer quelles mesures ont été prises pour essayer d’y parvenir. Les valeurs cibles ne doivent pas être revues à la baisse simplement afin de refléter les dernières prévisions ou une "estimation révisée" des résultats, car cela donnerait à tort l’impression que la mesure a donné de bons résultats, alors qu’en réalité, cela n’a pas été le cas.

Réviser à la baisse les valeurs cibles pour les résultats revient à réduire l’efficience et l’efficacité du budget de l’UE par rapport à ce qui était initialement prévu, puisque, à montant égal, les réalisations et les résultats obtenus sont moindres. De ce fait, les valeurs cibles ne doivent être revues à la baisse qu’à titre exceptionnel et dans des cas dûment justifiés, avec l’approbation de la Commission.

Lorsque, exceptionnellement, les valeurs cibles sont modifiées, il convient de l’indiquer clairement dès lors qu’elles sont mises en rapport avec les données obtenues pour les indicateurs.

LES INFORMATIONS DE SUIVI ET D’ÉVALUATION ONT-ELLES ÉTÉ UTILISÉES POUR AMÉLIORER L’EFFICIENCE ET L’EFFICACITÉ DES DÉPENSES?

58. La section précédente a porté sur la question de savoir si les informations de suivi et d’évaluation satisfaisaient aux exigences en matière d’obligation de rendre compte, c’est-à-dire si elles permettaient de démontrer les résultats obtenus. Toutefois, le suivi et l’évaluation ne devraient pas uniquement servir à obtenir des informations aux fins de l’établissement de rapports, mais elles devraient également permettre de garantir la bonne utilisation du budget du développement rural.

59. Grâce au suivi et à l’évaluation, la Commission devrait pouvoir tirer des enseignements des périodes de programmation actuelle et antérieure, et les prendre en considération lorsqu’elle élabore des propositions de nouveaux règlements. Le suivi et l’évaluation devraient également fournir aux États membres une base solide à partir de laquelle établir leurs PDR et, ainsi, garantir la programmation des mesures les plus efficaces et les plus efficientes. Par la suite, les informations doivent alerter les décideurs lorsque les objectifs ne sont pas atteints ou que l’efficience des mesures est insuffisante et, ainsi, leur permettre d’améliorer la conception ou la mise en œuvre des mesures au cours de la période de programmation.

60. Les États membres sont tenus, d’une part, d’indiquer, dans leur rapport annuel d’exécution, les mesures qu’ils ont prises afin de garantir la qualité et l’efficacité de la mise en œuvre des programmes, et, d’autre part, d’examiner chaque année avec la Commission les progrès accomplis. S’agissant des douze PDR sélectionnés, la Cour a examiné les rapports annuels d’exécution et les documents de la réunion annuelle attestant des mesures prises afin d’améliorer l’efficacité et l’efficience. Elle a également analysé la documentation relative aux modifications apportées aux douze programmes afin de déterminer si elles étaient fondées sur des informations de suivi et d’évaluation provenant du CCSE. Enfin, la Cour a examiné les informations présentées par la Commission à l’appui de ses propositions pour la période de programmation 2014-2020.

LA COMMISSION N’A PAS PRIS L’EFFICIENCE DES MESURES EN CONSIDÉRATION LORS DE L’APPROBATION INITIALE DES PDR

61. Lorsque les PDR des États membres comportent des valeurs cibles, leur analyse permet de savoir si les programmes présentent un bon rapport coûts-avantages, compte tenu des priorités et des objectifs de l’UE. Les PDR peuvent présenter des différences mais, en cas d’écart important, celui-ci doit être examiné par la Commission afin de s’assurer qu’il est justifié. Des exemples de tels écarts sont présentés dans l’encadré 3.

62. S’il peut exister des priorités spécifiques au niveau national qui justifient ces écarts importants, les mesures de diversification prévues dans les PDR de Campanie et de la République tchèque, par exemple, semblent à première vue traduire une mauvaise utilisation du budget de l’UE par rapport aux priorités de l’Union. De tels cas appellent une analyse et une explication; cependant, l’évaluation, par la Commission, des propositions figurant dans les PDR ne comportait pas d’analyse de l’efficience des mesures. Par conséquent, l’attention accordée à ce type de cas est insuffisante pour garantir qu’ils constituent des moyens efficaces et efficients de réaliser les objectifs de l’UE.

LES ÉTATS MEMBRES ONT EU RECOURS AUX INFORMATIONS DE SUIVI ET D’ÉVALUATION POUR RENFORCER LA PARTICIPATION AUX MESURES…

63. Il va de soi que s’il n’est pas dépensé, le budget de l’UE ne peut produire aucun effet. Par conséquent, les informations relatives à la participation sont importantes, puisqu’elles font prendre conscience aux gestionnaires des programmes du fait qu’ils devraient peut-être revoir les dispositions en matière de publicité, les conditions d’éligibilité, les taux d’aide ou les critères de sélection pour que les mesures soient efficaces. La Cour a constaté que les États membres y étaient sensibles, et qu’ils contrôlaient attentivement l’utilisation du budget au moyen de données provenant de sources administratives. Ces derniers ont également eu recours aux informations provenant des évaluations, en particulier de l’évaluation à mi-parcours, pour déterminer les causes d’une faible participation.

ENCADRÉ 3

EXEMPLES D’ÉCARTS ENTRE LES PDR MIS EN ÉVIDENCE PAR UNE ANALYSE DES VALEURS CIBLES FIXÉES POUR LES INDICATEURS

L’indicateur de résultat pour la mesure de diversification des activités agricoles est "l’augmentation de la valeur ajoutée brute non agricole" des exploitations soutenues, qui peut également attester des progrès accomplis en ce qui concerne la priorité de l’UE en matière de création des conditions nécessaires à la croissance. La valeur cible du PDR de la République tchèque montre que pour chaque euro de "valeur ajoutée brute" supplémentaire à créer chaque année, un soutien public de 65 euros est nécessaire, contre 3,2 euros en Hongrie et 0,4 euro en Autriche.

S’agissant de la priorité de l’UE visant à créer des emplois, les valeurs cibles pour les indicateurs de résultat toutes mesures confondues montrent que le coût du soutien public par emploi créé va de quelque 10000 euros (Andalousie, République tchèque, Angleterre, Roumanie et Suède) à 90000 euros environ (Hongrie et Luxembourg). Pour un PDR (Campanie: 203000 euros), ce coût se situe complètement en dehors de cette fourchette.

64. Le règlement et le CCSE constituent une base solide pour la supervision, par la Commission, de l’exécution financière des programmes des États membres ainsi que des réalisations obtenues. Pour la majeure partie des PDR examinés, la Commission a approuvé une ou plusieurs modifications visant à améliorer la participation aux mesures.

… MAIS PEU D’ÉLÉMENTS ATTESTENT QUE LES ÉTATS MEMBRES OU LA COMMISSION ONT UTILISÉ DES INFORMATIONS SUR LES RÉSULTATS AFIN D’AMÉLIORER L’EFFICACITÉ OU L’EFFICIENCE DES MESURES

65. Une participation accrue ne garantit pas l’efficacité des mesures figurant dans les PDR, c’est-à-dire l’obtention des résultats escomptés. Par conséquent, il est également nécessaire de disposer en temps utile d’informations fiables et pertinentes sur les résultats obtenus. Les exemples de l’encadré 4 illustrent comment un ciblage initial solide, associé au suivi et à l’évaluation des résultats, peut renforcer l’efficacité et l’efficience des mesures.

ENCADRÉ 4

RENFORCEMENT DE L’EFFICACITÉ ET DE L’EFFICIENCE DES MESURES GRÂCE AU SUIVI ET À L’ÉVALUATION (PDR DE L’ANGLETERRE)

S’agissant de la mesure agroenvironnementale, les autorités ont déterminé quelles activités permettaient d’obtenir le plus d’avantages environnementaux dans différentes zones géographiques, compte tenu des coûts, et, sur cette base, elles ont établi un ordre de priorité parmi les demandes. Les accords conclus avec les exploitants agricoles étaient assortis d’objectifs vérifiables ("indicateurs de réussite"), par exemple semer des mélanges de graines permettant aux oiseaux sauvages de trouver de la nourriture pendant tout l’hiver, jusqu’au 15 février. Les autorités ont suivi la réalisation de ces objectifs en visitant chaque année une sélection d’exploitations agricoles. L’évaluation des résultats a conduit les autorités à changer l’ordre de priorité afin d’améliorer le ciblage et de déterminer les activités présentant le meilleur rapport coût-efficacité qu’il conviendra de soutenir à l’avenir.

L’autorité de gestion a défini une valeur cible pour le "coût de l’aide publique par emploi créé"; c’est l’un des critères dont elle s’est servi pour évaluer les demandes de subvention relatives aux mesures de diversification et pour suivre les progrès accomplis. Les résultats réels ont ensuite été analysés dans le cadre de l’évaluation à mi-parcours afin de déterminer quelles mesures et quels types de projets étaient les plus efficients. Par exemple, les projets relevant de la mesure relative aux microentreprises étaient beaucoup plus efficients en termes de création d’emplois que ceux relevant de la mesure de diversification agricole. À la suite d’un réexamen, le soutien apporté à la mesure de diversification des exploitations agricoles a été revu à la baisse.

LES ÉTATS MEMBRES N’ONT PAS JUSTIFIÉ LES MODIFICATIONS APPORTÉES AUX PDR EN SE RÉFÉRANT AUX DONNÉES SUR LES RÉSULTATS

66. Les douze PDR sélectionnés ont été modifiés au moins une fois et, pour certains, neuf ou dix fois. La Cour s’est mise en quête d’exemples dans lesquels l’État membre avait justifié les modifications à l’aide des données du CCSE relatives aux résultats. Elle a ainsi recherché des justifications telles que "les exploitants agricoles n’ont pas créé suffisamment de nouveaux produits pour atteindre l’objectif fixé dans le PDR" ou "il est nécessaire de modifier le PDR pour atteindre la valeur cible en matière d’emplois". Elle n’en a trouvé aucune. Les justifications invoquées étaient principalement d’ordre budgétaire: les modifications étaient dues au fait que les dépenses étaient plus ou moins élevées que prévu, plutôt qu’au fait que les résultats obtenus n’étaient pas ceux escomptés.

67. Si les dépenses visées dans les PDR sont inférieures à celles prévues par les États membres, après deux ans, la contribution de l’UE au programme est diminuée en conséquence en vertu d’une procédure de "dégagement". Les États membres perçoivent généralement cela comme une "perte" du financement de l’UE. Afin d’éviter cela, les États membres ont modifié les PDR de manière à affecter les fonds des mesures où la participation était faible à celles pour lesquelles la demande était plus importante. Par exemple, les modifications apportées au PDR de l’Andalousie étaient notamment justifiées par "la nécessité de procéder à des réajustements à ce moment-là afin d’éviter d’éventuels dégagements à l’avenir".

68. Dans de nombreux cas, les modifications adoptées ont eu pour effet non pas d’augmenter mais de réduire l’efficience escomptée des mesures. L’Andalousie a augmenté le budget de la mesure "microentreprises" de 194 %, mais diminué les valeurs cibles pour les réalisations (nombre de microentreprises soutenues) de 82 % et les résultats en termes d’emplois créés de 96 %. La Campanie a modifié son PDR de manière à porter le taux d’aide à 100 % pour deux des mesures de diversification dans l’espoir d’augmenter la participation: les demandeurs se voyaient rembourser la totalité des coûts de leurs projets d’investissement sans que leurs obligations en matière d’obtention de résultats ne soient renforcées et sans devoir verser de contribution. La valeur cible en matière de création d’emplois pour la mesure de diversification des exploitations agricoles a été ramenée de 250, dans le PDR initial, à 95.

LA COMMISSION S’EST FOCALISÉE SUR LES RÉALISATIONS ET SUR L’EXÉCUTION FINANCIÈRE PLUTÔT QUE SUR L’OBTENTION DE RÉSULTATS

69. Même lorsque les données concernant les indicateurs de résultat indiquaient que les valeurs cibles ne seraient pas atteintes, les commentaires formulés par la Commission sur les propositions de modification des PDR et les réunions annuelles avec les États membres étaient axés sur les réalisations et sur l’utilisation du budget plutôt que sur la manière d’obtenir les résultats escomptés. Les réunions annuelles n’ont pas atteint l’objectif défini dans le règlement, à savoir examiner les principaux résultats de l’année précédente.

70. Cette même importance accordée à l’utilisation du budget et ce manque d’intérêt pour les informations sur les résultats obtenus se retrouvent également dans les rapports de la Commission. Dans son rapport de synthèse au Parlement européen et au Conseil concernant la mise en œuvre des stratégies nationales [16], la Commission a fait observer, s’agissant de la mesure de modernisation des exploitations agricoles, que, dans certains États membres, "le taux de mise en œuvre semble être plus rapide que prévu et nécessite une augmentation du budget estimé". Elle n’a pas expliqué en quoi une "mise en œuvre plus rapide" justifie une augmentation du budget. Elle n’a ni analysé ni commenté les données sur les résultats présentées dans ce même rapport — par exemple, les résultats pour ladite mesure, qui montrent que seuls 10 % de la valeur cible définie pour l’introduction de nouveaux produits ou de nouvelles techniques ont été atteints.

71. Dans le rapport annuel d’activité de 2011 de la DG Agriculture et développement rural, les données sur les résultats cumulés présentées en annexe montrent que, quatre années après le début de la période de programmation, 4 % seulement de la valeur cible en matière de création d’emplois avaient été atteints. Ni ce document ni le plan de gestion suivant de la DG ne font mention d’une quelconque activité prévue par la Commission pour améliorer cette situation, malgré l’importance accordée, dans la stratégie de l’UE, à la création d’emplois.

LA COMMISSION N’A PAS ÉTAYÉ SES PROPOSITIONS POUR LA PÉRIODE DE PROGRAMMATION 2014-2020 PAR DES INFORMATIONS SUR LES RÉSULTATS ISSUES DU CCSE

72. En octobre 2011, la Commission a dévoilé ses propositions pour la période de programmation 2014-2020 [17]. L’exposé des motifs présente les résultats de l’analyse d’impact, dont l’objectif est de fournir au Parlement européen et au Conseil des informations utiles pour leurs décisions. Il décrit les besoins que la politique de développement rural doit permettre de satisfaire, mais ne démontre pas que les mesures proposées constituent des moyens efficaces et efficients de répondre à ces besoins.

73. L’annexe 4 de l’analyse d’impact comporte une "évaluation du cadre politique actuel", dans laquelle la Commission présente les valeurs cibles en matière de résultats pour sept seulement des quarante mesures relevant des PDR. Aucune donnée sur ce qui a été atteint par rapport aux valeurs cibles n’est présentée. À l’annexe 4 bis, la Commission expose brièvement les points forts et les points faibles des mesures de modernisation des exploitations agricoles, des mesures agroenvironnementales, ainsi que de celles concernant la sylviculture, les microentreprises et Leader, mais elle ne donne aucune information sur les autres mesures proposées pour la période 2014-2020, même lorsque leur importance financière est considérable, comme la mesure visant à "accroître la valeur ajoutée des produits agricoles" (dotation de l’UE de 5,6 milliards d’euros pour la période 2007-2013). Cette annexe présente les données financières et celles sur les réalisations pour l’ensemble des mesures, mais aucune information sur les résultats obtenus. L’annexe 11 comporte une vue d’ensemble des conclusions des évaluations, qui montre que l’analyse d’impact s’appuie largement sur les évaluations ex ante des PDR pour la période 2007-2013, dont la synthèse a été publiée en 2008 [18].

74. Tous ces éléments illustrent les insuffisances en ce qui concerne la disponibilité des informations de suivi et d’évaluation et leur production en temps utile. La Commission a formulé ses propositions avant que les synthèses des évaluations à moyen terme et des évaluations ex post ne soient disponibles, de sorte que ces propositions ont été établies sans tenir compte des informations relatives à l’efficacité et à l’efficience des mesures relevant de la période 2007-2013, ni de l’évaluation ex post pour la période 2000-2006. Ces évaluations, bien que présentant des insuffisances, devraient être prises en considération au moment d’arrêter la politique pour la période 2014-2020. À titre d’exemple, l’évaluation ex post conclut qu’il semble que la mesure visant à "accroître la valeur ajoutée des produits agricoles" a eu, de manière générale, des retombées plutôt faibles sur la compétitivité de l’agriculture. Les évaluations à mi-parcours ont fait état d’un niveau élevé d’effet d’aubaine (voir point 56). Pourtant, la Commission a proposé cette mesure pour la période 2014-2020 sans fournir au Parlement européen et au Conseil d’informations sur le problème de l’effet d’aubaine ou sur les conditions à réunir pour cette mesure afin de le minimiser.

75. Au moment d’opérer des choix sur la future politique au niveau de l’UE, et aux fins de la programmation aux niveaux national et régional, il faudrait pouvoir disposer d’informations permettant de répondre à des questions élémentaires mais importantes, telles que "cette mesure s’est-elle avérée efficace pour réaliser les objectifs dans le passé?"; "cette mesure représente-t-elle le moyen le plus efficace d’atteindre l’objectif fixé?" ou encore "quels sont les enseignements qui peuvent être tirés de la mise en œuvre de cette mesure par le passé afin d’améliorer son efficacité à l’avenir?". Cependant, les données relatives aux résultats qui devaient permettre de démontrer l’efficacité et l’efficience des mesures n’étaient pas disponibles à temps pour l’analyse d’impact; les informations publiées ultérieurement, par exemple en annexe du rapport d’activité annuel de la DG Agriculture et développement rural, ne sont pas suffisamment pertinentes, fiables ou complètes. En fin de compte, la Commission n’a pas été à même de fournir les informations nécessaires pour étayer les décisions à prendre sur les mesures les plus efficaces et les plus efficientes pour la période 2014-2020.

CONCLUSIONS ET RECOMMANDATIONS

76. Le traité et le règlement financier de l’UE disposent que les États membres coopèrent avec la Commission pour que les fonds de l’UE soient utilisés conformément aux principes de la bonne gestion financière, à savoir les principes d’efficacité, d’efficience et d’économie. Pour y parvenir dans le cadre de la politique de développement rural, la Commission et les États membres doivent ainsi disposer en temps utile d’informations permettant de déterminer si les mesures de développement rural contribuent aux objectifs politiques de manière efficiente. Ils devraient rendre compte de leur performance en communiquant ces informations au Parlement européen, au Conseil et aux citoyens de l’UE.

77. La Cour estime, en conclusion, que la Commission et les États membres n’ont pas suffisamment démontré ce qui a été réalisé au regard des objectifs de la politique de développement rural, et que l’assurance que le budget alloué par l’UE au développement rural a été bien utilisé est insuffisante.

78. Le cadre commun de suivi et d’évaluation (CCSE) est le principal instrument mis en place pour fournir les informations et l’assurance nécessaires. Ses faiblesses ont contribué au défaut d’assurance décrit ci-dessus. Le CCSE est un ensemble d’outils qui pourraient (et devraient) être mieux conçus. Cependant, de meilleurs outils ne permettront de résoudre le problème que s’ils sont bien utilisés. La Cour a constaté qu’en l’occurrence, le respect insuffisant de l’obligation de rendre compte était imputable à une faiblesse plus fondamentale: les programmes étaient davantage focalisés sur l’exécution du budget que sur l’obtention de résultats de manière efficiente. De ce fait, une attention insuffisante a été accordée au suivi ainsi qu’à l’évaluation des résultats et de l’incidence et, partant, la qualité des informations n’a pas été dûment prise en considération.

79. La Cour a constaté qu’en raison d’objectifs généraux et vagues et d’une quantification insuffisante des résultats escomptés pour ces objectifs, les PDR établis par les États membres ne constituaient pas une base solide pour procéder à une affectation efficace et efficiente des fonds de l’UE. En outre, ils ne permettaient pas de concentrer les dépenses là où elles étaient susceptibles de produire le plus d’effets, ni de disposer d’une référence à l’aune de laquelle mesurer les réalisations et les résultats (points 19 à 33).

80. Deuxièmement, un manque d’information est à déplorer: malgré le soutien de la Commission, les États membres n’ont pas fourni d’informations de suivi et d’évaluation qui soient suffisamment fiables, cohérentes et pertinentes pour montrer les résultats obtenus par rapport aux objectifs fixés. Les États membres et la Commission ont communiqué les données disponibles concernant les indicateurs communs, mais ne les ont pas interprétées au regard des objectifs énoncés dans les PDR ou de ceux de l’UE. Les conclusions des évaluations étaient citées de manière sélective et ne faisaient pas systématiquement l’objet d’un suivi. La Commission et les États membres n’ont pas présenté leurs propres conclusions sur l’efficience ou l’efficacité des dépenses (points 35 à 57).

81. Troisièmement, la Commission et les États membres n’ont pas suffisamment eu recours aux informations de suivi et d’évaluation disponibles — si imparfaites soient-elles — pour améliorer l’efficience et l’efficacité des mesures. Dans le cadre de la gestion quotidienne des programmes, les États membres se sont davantage attachés à dépenser le budget qu’à obtenir les résultats escomptés. La Commission a étayé ses propositions pour la période de programmation 2014-2020 par des informations provenant des évaluations ex ante des PDR pour la période en cours, sans présenter aucune information sur les résultats obtenus (points 58 à 75).

82. Les propositions de la Commission pour la période 2014-2020 promettent d’être davantage axées sur les résultats. L’adoption d’une nouvelle législation n’est cependant pas nécessaire à cet effet; la Commission peut et devrait veiller dès à présent à ce que le budget de l’UE soit dépensé à bon escient, en particulier à l’arrivée à son terme de la période de programmation 2007-2013, car le risque que le reste du budget soit dépensé à la hâte afin de respecter la date limite pour les paiements (2015) augmente. Compte tenu de ce qui précède, la Cour formule les recommandations ci-après.

RECOMMANDATION No 1

Les États membres et la Commission devraient se servir du suivi et de l’évaluation afin de mettre davantage l’accent sur l’obtention de résultats pour le reste de la période de programmation actuelle.

Les États membres devraient justifier toutes les modifications proposées pour les mesures relevant des PDR et décrire les effets attendus, et ce, en termes d’efficacité et d’efficience, en ce qui concerne les résultats obtenus par rapport aux objectifs des PDR et de l’UE. La Commission devrait évaluer les modifications proposées à l’aune de ces mêmes critères. L’examen annuel des programmes devrait être axé sur les résultats, ainsi que le prévoit le règlement.

83. Les évaluations à mi-parcours pour la période 2007-2013 ont pâti de l’absence de données fiables, de méthodes d’évaluation peu satisfaisantes et d’un manque de cohérence; leur utilité s’en est trouvée considérablement limitée, de même que les possibilités de tirer des conclusions valables au niveau de l’UE. S’agissant du suivi des résultats, les dernières données disponibles sont toujours incohérentes et de qualité insuffisante. Par conséquent, la qualité des évaluations ex post de 2015 risque de ne pas être suffisante.

RECOMMANDATION No 2

Les États membres et la Commission devraient prendre des mesures dès à présent afin de garantir que les évaluations ex post de 2015 portant sur la période de programmation 2007-2013 permettent d’obtenir des informations comparables et de bonne qualité.

i) La Commission, tirant les enseignements des évaluations à mi-parcours, devrait diffuser des orientations spécifiques afin de garantir la qualité et la cohérence des évaluations ex post.

ii) Les États membres devraient prévoir la manière de fournir les informations nécessaires pour les évaluations ex post, notamment les multiples informations collectées à des fins administratives. Ils devraient également faire en sorte que les contrats d’évaluation comportent des critères de qualité imposant aux évaluateurs de se conformer aux orientations relatives au CCSE et de répondre aux questions d’évaluation communes en se fondant sur des données et des méthodes d’évaluation fiables.

iii) La Commission devrait se montrer proactive et vérifier si les États membres se conforment aux orientations relatives aux indicateurs communs et aux évaluations ex post. Lorsque tel n’est pas le cas, elle devrait rechercher, avec les États membres concernés, des solutions permettant d’obtenir des informations comparables de bonne qualité.

84. L’actuel défaut d’informations fiables, cohérentes et produites en temps utile, en particulier pour les données relatives aux résultats, s’explique en partie par les déficiences affectant la conception du CCSE pour la période 2007-2013. La Commission a déjà amélioré quelque peu les définitions des indicateurs et les orientations, mais cela reste insuffisant. La définition de valeurs cibles pour les résultats, accompagnée d’un suivi régulier des réalisations et des résultats, est un élément clé de la bonne gestion financière. Cependant, pour le CCSE de la période 2014-2020, la Commission prévoit à l’heure actuelle de ne pas exiger que les indicateurs de résultat soient assortis de valeurs cibles.

RECOMMANDATION No 3

La Commission devrait améliorer la conception du CCSE pour la période de programmation 2014-2020 de manière à obtenir en temps utile des informations plus pertinentes, fiables et comparables, en particulier en ce qui concerne l’efficacité et l’efficience de chaque mesure en termes d’obtention des résultats.

i) La finalité des différents indicateurs communs et leur usage prévu au niveau de l’UE devraient être clairs. Les indicateurs de résultat devraient montrer les effets directs des dépenses — ce qui a été obtenu — et être définis pour chacune des priorités et chacun des objectifs de l’UE. Des données devraient être collectées pour chaque mesure qui contribue à la réalisation de ces priorités et de ces objectifs, de manière que l’efficacité et l’efficience des mesures spécifiques puissent être appréciées.

ii) Les États membres et la Commission devraient contrôler la qualité des données relatives aux indicateurs communs et fournir une assurance quant à leur fiabilité.

iii) S’agissant des objectifs spécifiques aux PDR, les États membres devraient être tenus de rendre compte en temps opportun des réalisations, des résultats et de l’incidence observés (voir recommandation no 6) plutôt que de fournir des données pour des indicateurs ou des évaluations spécifiques.

85. La Cour a constaté que les PDR pour la période 2007-2013 ne fixaient pas d’objectifs spécifiques et mesurables, ce qui s’est traduit par un ciblage insuffisant des mesures et n’a pas facilité le suivi et l’évaluation. L’établissement des PDR pour la période 2014-2020 offre l’opportunité d’utiliser le budget de l’UE en partant sur une base plus solide.

RECOMMANDATION No 4

Les États membres et la Commission devraient faire en sorte que les PDR pour la période 2014-2020 fournissent une base plus solide aux fins de la bonne gestion financière et qu’ils soient assortis d’objectifs spécifiques et mesurables ainsi que de plans pour le suivi et l’évaluation de l’efficience et de l’efficacité des programmes.

i) Dans les PDR pour la période 2014-2020, les États membres devraient définir des objectifs spécifiques qui soient mesurables et assortis de valeurs cibles pour les résultats. Les mesures des PDR sélectionnées et les résultats escomptés devraient être justifiés au regard de l’efficacité et de l’efficience des mesures correspondantes de la période 2007-2013.

ii) Pour chaque mesure, les PDR devraient préciser les informations à fournir pour attester des réalisations, des résultats et de l’incidence. Lorsque les indicateurs communs ne suffisent pas, des indicateurs ou des travaux d’évaluation complémentaires devraient être prévus. Pour chaque élément d’information nécessaire, la source, le mode de collecte (en tenant compte de la charge administrative) et le moyen de garantir la fiabilité devront être indiqués dans les PDR.

iii) La Commission devrait non seulement contrôler les PDR pour s’assurer de leur conformité avec le règlement, mais également les examiner sous l’angle de l’efficacité et de l’efficience prévues: la Commission devrait veiller à ce que les PDR constituent une base suffisante aux fins de la bonne gestion financière en appréciant les résultats escomptés par rapport aux coûts prévus au budget.

86. Dans le cadre de ses audits du développement rural, la Cour a constaté que nombreux étaient les États membres qui ne se servaient pas suffisamment des conditions d’éligibilité et des critères de sélection pour le ciblage des mesures des PDR, de sorte que l’assurance ex ante quant à l’efficience et à l’efficacité des mesures était limitée. Il est d’autant plus nécessaire d’obtenir une assurance ex post du suivi et de l’évaluation, avec les coûts et la charge administrative liés à la collecte de données que cela suppose.

RECOMMANDATION No 5

Les États membres devraient concevoir les systèmes de mise en œuvre des PDR pour la période 2014-2020 sous l’angle de l’efficacité et de l’efficience, et prévoir que les informations collectées dans le cadre des procédures de demande, de sélection et de paiement soient réutilisées pour le suivi et l’évaluation.

Les États membres devraient procéder à une évaluation ex ante de l’efficacité et de l’efficience non seulement lors de la programmation, mais également lors de la sélection des opérations à financer. Cette approche permet de réduire le risque de consacrer inutilement de l’argent à des projets inefficaces qui auraient pu ne pas être sélectionnés. Les informations obtenues au stade de la sélection des projets ou du paiement (création d’emplois, avantages environnementaux ciblés, etc.) peuvent permettre de limiter la nécessité de collecter des données ultérieurement et, de ce fait, réduire la charge administrative.

87. Si les États membres et la Commission ont publié les rapports des évaluateurs indépendants, ils n’ont pas suffisamment rendu compte de la bonne utilisation du budget de l’UE dans leurs propres rapports annuels et de synthèse. En l’occurrence, les États membres et la Commission n’ont pas eu recours aux données relatives aux indicateurs financiers et de résultat pour expliquer les résultats obtenus, ni fourni d’informations en ce qui concerne l’efficience. Il revenait aux lecteurs des rapports de la Commission et des États membres de se forger une opinion sur le degré de fiabilité des évaluations, ou de déterminer si certaines conclusions avaient été omises, et pour quelle raison.

RECOMMANDATION No 6

Les États membres et la Commission devraient améliorer les informations relatives aux résultats obtenus avec le budget de l’UE afin de mieux rendre compte de leur performance. Il conviendrait notamment de prévoir un suivi plus systématique des conclusions des évaluations.

i) À partir de la moitié du cycle de programmation, les États membres et la Commission devraient présenter, dans leurs rapports annuels, des conclusions sur ce que les programmes ont permis d’atteindre au regard de chacun des objectifs des PDR et de l’UE. Ces rapports devraient être axés avant tout sur les résultats obtenus et évaluer de manière explicite l’efficience de chaque mesure, en procédant à une comparaison des résultats et des coûts. Lorsque les indicateurs communs ne suffisent pas à démontrer la réalisation des objectifs des PDR, ils doivent être complétés par des données administratives et des constatations en matière d’évaluation, compte dûment tenu des limites de leur portée et de leur fiabilité.

ii) Lorsqu’ils présentent les conclusions des évaluations, les États membres et la Commission devraient expliquer clairement les mesures qu’ils comptent prendre ou, si aucune mesure n’est prévue, en préciser la raison. Les conclusions des évaluations devraient toutes être présentées et faire l’objet d’un suivi, pas seulement une sélection de celles-ci.

iii) Afin de garantir que les évaluations ex post des programmes de la période 2007-2013 soient pleinement mises à profit, la Commission et les États membres devraient intégrer, dans leurs rapports annuels pour l’exercice 2015, une analyse des implications des conclusions des évaluations pour la période 2014-2020.

Le présent rapport a été adopté par la Chambre I, présidée par M. Ioannis SARMAS, Membre de la Cour des comptes, à Luxembourg en sa réunion du 9 octobre 2013.

Par la Cour des comptes

+++++ TIFF +++++

Vítor Manuel da Silva Caldeira

Président

[1] Décision 2006/144/CE du Conseil du 20 février 2006 relative aux orientations stratégiques de la Communauté pour le développement rural (période de programmation 2007-2013) (JO L 55 du 25.2.2006, p. 20).

[2] Article 80 du règlement (CE) no 1698/2005 du Conseil du 20 septembre 2005 concernant le soutien au développement rural par le Fonds européen agricole pour le développement rural (Feader) (JO L 277 du 21.10.2005, p. 1).

[3] Règlement (CE) no 1974/2006 de la Commission du 15 décembre 2006 portant modalités d’application du règlement (CE) no 1698/2005 du Conseil concernant le soutien au développement rural par le Fonds européen agricole pour le développement rural (Feader). La liste complète des indicateurs communs figure à l’annexe VIII (JO L 368 du 23.12.2006, p. 15).

[4] Manuel relatif au cadre commun de suivi et d’évaluation. Document d’orientation,direction générale de l’agriculture et du développement rural, septembre 2006.

[5] L’appréciation du coût de l’assistance technique n’entrait pas dans le cadre du présent audit.

[6] La Cour a exclu certains PDR du champ du présent audit lorsqu’elle n’en avait audité qu’une seule mesure (Irlande, Grèce, Lituanie et Portugal), ou lorsqu’elle avait déjà audité plusieurs PDR dans le même État membre.

[7] Première partie, titre II, chapitre 7, du règlement (CE, Euratom) no 1605/2002 du Conseil du 25 juin 2002 portant règlement financier applicable au budget général des Communautés européennes (JO L 248 du 16.9.2002, p. 1).

[8] Cela vaut également pour les propositions de règlements de la Commission pour la période 2014-2020. Dans son avis no 1/2012 sur certaines propositions de règlements relatifs à la politique agricole commune pour la période 2014-2020, la Cour a constaté que les propositions présentaient "un vaste ensemble d’objectifs très divers … [Il n’est pas possible] de déterminer avec certitude … ce que ces objectifs visent à atteindre au niveau de l’UE. La Cour estime que la politique de développement rural gagnerait à disposer d’un ensemble d’objectifs moins complexe et plus ciblé, ainsi que de buts clairement définis (incidence et résultats escomptés, ainsi que des indicateurs). Cela contribuerait à centrer la politique sur l’obtention de résultats en ce qui concerne les priorités clés de l’UE".

[9] Article 13 du règlement (CE) no 1698/2005.

[10] Voir points 75 à 77 du rapport spécial no 1/2013 intitulé "L’aide de l’UE à l’industrie agroalimentaire a-t-elle permis de manière efficace et efficiente d’accroître la valeur ajoutée des produits agricoles?" (http://eca.europa.eu).

[11] Dans son audit de la mesure relative à l’accroissement de la valeur ajoutée des produits agricoles, la Cour a constaté que huit des vingt-trois rapports d’évaluation à mi-parcours examinés ne débouchaient sur aucune conclusion concernant la question d’évaluation Dans quelle mesure les investissements soutenus ont-ils contribué à améliorer la compétitivité du secteur agricole et du secteur forestier?,alors que c’est essentiellement à cette fin que l’aide de l’UE est accordée.

[12] Au chapitre 10 de son rapport annuel 2011, la Cour a constaté que la présentation de l’incidence du programme dans le rapport annuel d’activité 2011 de la direction générale de l’agriculture et du développement rural reposait sur des données insuffisantes. Par exemple, l’augmentation de l’énergie renouvelable a été calculée à partir de données provenant de neuf des 88 PDR seulement (JO C 344 du 12.11.2012).

[13] La Commission publie les évaluations externes, y compris l’évaluation ex post et le rapport de synthèse des évaluations à mi-parcours, en précisant toutefois que les conclusions sont celles de l’évaluateur et qu’elle ne les partage pas nécessairement.

[14] Voir le point 61 du rapport spécial no 1/2013 intitulé "L’aide de l’UE à l’industrie agroalimentaire a-t-elle permis de manière efficace et efficiente d’accroître la valeur ajoutée des produits agricoles?"

[15] Le rapport annuel d’activité de la direction générale de l’agriculture et du développement rural comporte une conclusion quant à l’assurance que permet d’obtenir la gestion partagée des dépenses du FEAGA et du Feader. Elle porte uniquement sur la légalité et la régularité des paiements. Il n’existe pas de conclusion équivalente en ce qui concerne les résultats obtenus. Le rapport a une section sur la bonne gestion financière, mais seuls y sont abordés les problèmes de mise en œuvre tels que les retards de paiement.

[16] COM(2011) 450 final du 20 juillet 2011.

[17] Proposition de règlement du Parlement européen et du Conseil relatif au soutien au développement rural par le Fonds européen agricole pour le développement rural (Feader) (COM(2011) 627 final/2 du 19 octobre 2011).

[18] Synthèse des évaluations ex ante des programmes de développement rural 2007-2013, rapport final, DG Agriculture et développement rural, 11 décembre 2008.

--------------------------------------------------

ANNEXE

VALEURS CIBLES DÉFINIES POUR LES INDICATEURS DE RÉSULTAT DANS LES PDR ET DONNÉES FOURNIES PAR LES ÉTATS MEMBRES DANS LEURS RAPPORTS ANNUELS D’EXÉCUTION 2011 — ÉTAT DES LIEUX

Mesure | Modernisation des exploitations agricoles | Accroissement de la valeur ajoutée des produits agricoles et sylvicoles | Agroenvironnement | | Diversification vers des activités non agricoles | Création et développement des entreprises | Promotion des activités touristiques |

PDR | Accroissement de la valeur ajoutée brute des exploitations ou entreprises soutenues | Nombre d’exploitations ou entreprises introduisant de nouveaux produits et/ou de nouvelles techniques | Accroissement de la valeur ajoutée brute des exploitations ou entreprises soutenues | Nombre d’exploitations ou entreprises introduisant de nouveaux produits et/ou de nouvelles techniques | Surface ayant fait l’objet d’actions réussies de gestion des terres [1] | | Accroissement de la valeur ajoutée brute des exploitations ou entreprises soutenues | Nombre brut d’emplois créés | Accroissement de la valeur ajoutée brute des exploitations ou entreprises soutenues | Nombre brut d’emplois créés | Nombre brut d’emplois créés | Nombre de touristes supplémentaires (nombre de visiteurs à la journée) |

Valeurs cibles définies | Données fournies | Valeurs cibles définies | Données fournies | Valeurs cibles définies | Données fournies | Valeurs cibles définies | Données fournies | Valeurs cibles définies | Données fournies | | Valeurs cibles définies | Données fournies | Valeurs cibles définies | Données fournies | Valeurs cibles définies | Données fournies | Valeurs cibles définies | Données fournies | Valeurs cibles définies | Données fournies | Valeurs cibles définies | Données fournies |

Autriche | Valeur cible revue à la hausse | | | | | | | | | | | | | | | | | | | | | | |

République tchèque | | | | | | | | | | | | | | Valeur cible revue à la baisse | | | | Valeur cible revue à la baisse | | Valeur cible revue à la baisse | | | |

Royaume-Uni – Angleterre | | | Valeur cible revue à la hausse | | | | | | | | | | | | | | | | | | | | |

France métropolitaine (Hexagone) | | | | | | | | | | | | | | | | | | | | | | | |

Allemagne – Bade-Wurtemberg | | | | | | | | | Valeurs cibles revues à la hausse/ à la baisse | | | | | | | | | Valeur cible revue à la baisse | | | | | |

Hongrie | | | | | Valeur cible revue à la hausse | | Valeur cible revue à la hausse | | | | | | | Valeur cible revue à la baisse | | | | | | | | | |

Italie – Campanie | | | Valeur cible revue à la hausse | | | | Valeur cible revue à la hausse | | Valeurs cibles revues à la baisse | | | | | Valeur cible revue à la baisse | | | | Valeur cible revue à la baisse | | Valeur cible revue à la baisse | | | |

Luxembourg | | | | | | | | | | | | | | | | | | | | | | | |

Pologne | | | Valeur cible revue à la hausse | | | | Valeur cible revue à la baisse | | | | | | | Valeur cible revue à la baisse | | | | | | | | | |

Roumanie | | | Valeur cible revue à la hausse | | | | Valeur cible revue à la hausse | | Valeurs cibles revues à la hausse | | | | | | | | | Valeur cible revue à la hausse | | Valeur cible revue à la baisse | | Valeur cible revue à la baisse | |

Espagne – Andalousie | | | Valeur cible revue à la baisse | | | | Valeur cible revue à la baisse | | Valeurs cibles revues à la hausse/ à la baisse | | | | | | | | | Valeur cible revue à la baisse | | Valeur cible revue à la baisse | | | |

Suède | Valeur cible revue à la hausse | | Valeur cible revue à la hausse | | Valeur cible revue à la hausse | | Valeur cible revue à la baisse | | Valeurs cibles revues à la hausse | | | | | Valeur cible revue à la hausse | | | | Valeur cible revue à la baisse | | Valeur cible revue à la baisse | | | |

| | | | | | | | | | | | | | | | | | | | | | | |

Valeurs cibles définies: | | Valeurs cibles définies dans le premier et le dernier PDR (il est précisé si la valeur cible a été modifiée entre le premier et le dernier PDR) | | Données fournies: | | Données fournies et acceptées par la Commission (rapport annuel d’exécution 2011) |

| | Valeurs cibles définies uniquement dans le premier ou dans le dernier PDR; valeurs cibles non conformes au manuel relatif au CCSE et donc non comparables | | | | | Données non ventilées par mesure; données non actualisées; rapport annuel d’exécution non accepté par la Commission |

| | Valeurs cibles non définies dans le premier et le dernier PDR | | | | | Données non fournies |

| | Mesure non programmée | | | | | Mesure non mise en œuvre |

[1] L’indicateur de résultat pour cette mesure comporte cinq volets (surfaces contribuant à l’amélioration de la biodiversité, à l’amélioration de la qualité des eaux, à l’atténuation des changements climatiques, à l’amélioration de la qualité des sols, à la prévention de la marginalisation et à l’abandon des terres). Le présent tableau montre si une valeur cible a été définie et des données fournies pour l’un au moins de ces volets. Dans certains cas, les valeurs cibles ont été revues à la hausse pour un volet et à la baisse pour un autre. Cela est indiqué par "valeur cible revue à la hausse/à la baisse".

--------------------------------------------------