12.12.2006   

ES

Diario Oficial de la Unión Europea

C 302/1

I-XI

1-9

6-9

7-9

10-14

15-80

16-66

16

17-20

21-28

29-40

41-44

45-53

54-66

67-75

67-70

71-75

76-80

81-113

82-113

82-87

88

89

90-93

94-96

97-102

103-110

111-113

114-118

119-125

ADAPT

Adaptación de los trabajadores a las transformaciones industriales (iniciativa comunitaria para fomentar el empleo y la adaptación de los trabajadores a las transformaciones industriales)

Comité de seguimiento

Comité que tiene la misión de supervisar la aplicación estratégica del programa de financiación

DOCUP

Documento único de programación

Efecto de desplazamiento

Efecto obtenido en una zona subvencionable a costa de otra zona

Efecto de peso muerto

Cambio observado en los beneficiarios directos tras la intervención pública, o notificado por los beneficiarios directos como consecuencia de esta, que habría tenido lugar aun sin la intervención

FEDER

Fondo Europeo de Desarrollo Regional

FSE

Fondo Social Europeo

IDT

Investigación y desarrollo tecnológico

IFOP

Instrumento Financiero de Orientación de la Pesca

Informe inicial

Informe que contiene preguntas metodológicas, como los objetivos de la evaluación, el marco metodológico, los cuestionarios y las organizaciones con las que se debe contactar

Informes de síntesis

Informes finales de la Dirección General de Política Regional (con respecto al objetivo no 1) y de la Dirección General de Empleo (con respecto al objetivo no 3) sobre la evaluación ex post de operaciones financiadas por el FEDER y el FSE

MCA

Marco comunitario de apoyo

Modelo Hermin

Modelo macroeconómico utilizado para simular el impacto de las intervenciones de los Fondos Estructurales

PAMT

Políticas Activas del Mercado de Trabajo

PO

Programa operativo

PYME

Pequeñas y medianas empresas

Soft outcome

Resultado difícil de medir cuantitativamente

I.

La fiscalización se refirió a las evaluaciones ex post efectuadas por la Comisión de las intervenciones de los Fondos Estructurales en las regiones del los objetivos no 1 y no 3 en el período de programación 1994-1999, que representan más de 245 000 millones de euros, incluidas inversiones conjuntas del sector privado y público.

II.

La evaluación ex post trata de comparar los resultados en gastos reales frente a los objetivos originales. Es el mecanismo por el cual los conocimientos adquiridos durante un período de programación se aprovechan para conferir mayor eficacia a los futuros gastos de los Fondos Estructurales. Las evaluaciones ex post fueron realizadas por la Comisión, que delegó en consultores externos contratados.

III.

La fiscalización tuvo por objeto examinar si, al final del ejercicio de evaluación ex post, la Comisión podía estimar los efectos de las intervenciones relativas a los objetivos y si los resultados y recomendaciones han sido de utilidad para la revisión de los programas a partir de 2000.

IV.

El punto de partida de la fiscalización fue el informe de síntesis final correspondiente a cada fondo. Estos informes resumen la valoración general del impacto de los fondos e identifican los elementos que deberían tenerse en cuenta a la hora de tomar decisiones relativas a subsiguientes períodos de programación. El paso siguiente de la fiscalización fue apreciar en qué medida las deficiencias identificadas podrían corresponder a debilidades en el pliego de condiciones o a problemas surgidos durante el desarrollo del proceso de evaluación.

V.

La evaluación del gasto de los Fondos Estructurales es un proceso intrínsecamente complejo. No obstante, la fiscalización identificó debilidades en este proceso que no pueden atribuirse solo a sus limitaciones inherentes.

VI.

El Tribunal identificó las siguientes debilidades en la evaluación de las intervenciones de los Fondos Estructurales en las regiones del objetivo no 1:

VII.

El Tribunal observó que la evaluación de las operaciones del FSE en el marco de los objetivos no 1 y no 3:

VIII.

La Comisión no parece haber previsto algunas de las dificultades que presentaban las evaluaciones en el pliego de condiciones formulado para estas. Tampoco abordó plenamente las insuficiencias del ejercicio de evaluación ex post. Los resultados de la fiscalización del Tribunal indican que existían debilidades en la supervisión de las evaluaciones.

IX.

Por otra parte, las evaluaciones aportaron ideas útiles con respecto a los sistemas de gestión de las intervenciones financiadas por el FEDER y el FSE.

X.

Aunque se formularon recomendaciones útiles y dignas de consideración para futuros períodos de programación, la Comisión no pudo aprovechar plenamente la experiencia obtenida de los programas de 1994-1999.

XI.

El Tribunal recomienda lo siguiente:

1.

Desde 1996 la Comisión ha venido desarrollando la evaluación de los Fondos Estructurales en un marco único. Ha definido el término «evaluación» como el juicio sobre las intervenciones con arreglo a sus resultados, a su impacto y a las necesidades que pretenden satisfacer (1). El objetivo principal de la actividad de evaluación es apoyar el proceso decisorio facilitando información y valoraciones sobre la pertinencia, economía, eficiencia, eficacia, utilidad y sostenibilidad del impacto de las intervenciones comunitarias. Esta información resulta crucial para mejorar las intervenciones existentes o diseñar unas nuevas, así como para establecer prioridades políticas y asignar recursos.

2.

Las evaluaciones se llevan a cabo en distintos niveles y etapas del ciclo de programación (seis años), y las más importantes son las siguientes:

3.

La fiscalización del Tribunal se centró en las evaluaciones ex post, efectuadas por la Comisión en relación con las intervenciones de los Fondos Estructurales en las regiones de los objetivos no 1 y no 3 durante el período de programación 1994-1999. A efectos de esta fiscalización, se considera que el alcance de la evaluación ex post es el definido en la colección MEANS (2), que señala que la evaluación ex post recapitula y juzga el programa en su totalidad, y en particular su impacto. Su objetivo es dar cuentas de la utilización de los recursos e informar de la eficacia y eficiencia de las intervenciones y del grado en que se han obtenido los efectos esperados. Se centra en factores de éxito o fracaso, así como en la sostenibilidad de los resultados e impactos. Trata de extraer conclusiones que puedan generalizarse y aplicarse a otros programas y regiones (3). El ejercicio de evaluación ex post se ha realizado a la luz de esta definición.

4.

La tarea de evaluación ex post forma parte de un «proceso» que también recurre a los resultados de la evaluación previa y de la revisión a mitad del período. Además, las evaluaciones se realizan en distintos niveles, tanto nacionales como temáticos, y terminan plasmándose en un informe de síntesis. Juntas constituyen un elemento importante de la gestión de los Fondos Estructurales y, en particular, de la programación y revisión de la asistencia comunitaria. La responsabilidad del proceso de evaluación recae en la Comisión (en cooperación con los Estados miembros), y también es esta quien decide qué aspectos de la evaluación han de realizar sus propios servicios y cuáles necesita subcontratar. En cualquiera de los casos la Comisión es la responsable global y final.

5.

En el período 1994-1999, la ayuda programada en virtud de los Fondos Estructurales (4) ascendió a 136 400 millones de euros en el caso de los «objetivos» y a 14 500 millones de euros en el de las «iniciativas comunitarias». El anexo I presenta un desglose del primer importe por Estado miembro y objetivo, y del último por iniciativa comunitaria. Estos fondos fueron complementados con al menos otros 95 000 millones de euros de inversiones conjuntas del sector privado o público (5), elevando la inversión total a más de 245 000 millones de euros.

6.

Las evaluaciones ex post fueron realizadas por cuenta y bajo la dirección de la Comisión. Tras una licitación pública, se seleccionó un consultor privado para cada serie especificada de objetivos e iniciativas comunitarias. En la mayor parte de los casos, el consultor contaba con el apoyo de un equipo de evaluadores en los distintos Estados miembros (6) cuya función era proceder a las evaluaciones necesarias de los programas respectivos basándose en un marco metodológico común. Además, el proceso de evaluación era supervisado por un comité de dirección. Las evaluaciones se plasmaron en informes nacionales preparados por los evaluadores nacionales y un informe de síntesis elaborado por los consultores contratados por cada serie especificada de objetivos. Estos informes fueron completados entre principios de 2003 y mediados de 2004.

7.

Las Direcciones Generales participantes optaron por un enfoque amplio que abarcaba una extensa serie de aspectos. Los objetivos generales de las evaluaciones eran las siguientes:

8.

Para alcanzar estos objetivos generales, el pliego de condiciones establecía una serie de preguntas clave en torno a los temas de la idoneidad, la estrategia, la eficacia, la eficiencia, el impacto, los sistemas de gestión y ejecución, el valor añadido comunitario y las lecciones extraídas de la programación en curso y futura. Para estructurar el trabajo, el pliego de condiciones también establecía una serie de tareas específicas e identificaba determinadas técnicas y fuentes de información.

9.

El pliego de condiciones establecido por la Comisión para cada objetivo proporcionaba así la base para el trabajo de los evaluadores, que se complementó con el informe inicial y la guía metodológica del objetivo no 1, en enero de 2002. Las operaciones del FSE se complementaron con el informe intermedio metodológico, en diciembre de 2002, y las preguntas de evaluación, incluidas en cada informe de evaluación nacional. Para ello, los evaluadores se basaron en revisiones de documentos, cuestionarios, entrevistas con las partes interesadas, análisis de estudios de casos y, cuando se juzgó necesario, en otras investigaciones sobre el terreno.

10.

Los objetivos generales de la fiscalización eran examinar si las evaluaciones proporcionaban a la Comisión información adecuada para estimar los efectos de las intervenciones relativas a los objetivos y si los resultados y recomendaciones habían resultado útiles de cara a la revisión de los programas previstos para períodos de programación subsiguientes.

11.

La fiscalización se centró en las evaluaciones ex post de las intervenciones del FEDER del objetivo no 1 y de las intervenciones del FSE en el marco de los objetivos no 1 y no 3, emprendidas respectivamente por la Dirección General de Política Regional y la Dirección General de Empleo, Asuntos Sociales e Igualdad de Oportunidades. Se examinaron los informes de síntesis pertinentes y una muestra de las evaluaciones nacionales correspondientes a estos objetivos e instrumentos seleccionados (7), que en conjunto representaban 124 000 millones de euros o el 82 % de la ayuda total programada en virtud de los Fondos Estructurales para el período de programación 1994-1999 (8).

12.

Para cada evaluación, la fiscalización trató de responder a tres preguntas:

13.

En particular, se apreció en la fiscalización la calidad y exhaustividad de los informes desde el punto de vista de su evaluación de la idoneidad de las políticas, de la eficacia, eficiencia e impacto de las medidas, y del modo en que estas incidieron en los sistemas de gestión. También se valoró si la Comisión había desempeñado un papel adecuado en la preparación, seguimiento y supervisión de las evaluaciones.

14.

La primera parte del presente Informe se dedica a la evaluación ex post de las intervenciones del FEDER en las regiones del objetivo no 1 (apartados 15 a 80), mientras que la segunda trata la evaluación ex post de las operaciones del FSE en el marco de los objetivos no 1 y no 3 (apartados 81 a 113).

15.

Antes de proceder a la valoración detallada de la calidad de la evaluación, resulta útil ofrecer un breve resumen de las conclusiones de la evaluación de la Comisión, que figuran a continuación (véase el recuadro 1).

Recuadro 1Conclusiones generales de la evaluación efectuada por la Dirección General de Política RegionalEl informe de síntesis reconocía que los Fondos Estructurales han tenido un impacto positivo en el PIB de las regiones del objetivo no 1 y que ha mejorado su rendimiento general, con relación al conjunto de la UE. Consideraba que el alcance de la repercusión favorable ha dependido en gran medida tanto de las capacidades institucionales como de factores como la estructura y apertura de la economía y que estos aspectos son cruciales, en particular para la capacidad de la economía de responder a los retos y oportunidades del proceso de integración económica. Señalaba, no obstante, que dada la disparidad de Estados y contextos, y debido a las limitaciones de los datos de seguimiento disponibles y a la falta de unos objetivos claramente definidos, no fue posible agregar los resultados para ofrecer una imagen fiable de las realizaciones generales del objetivo no 1.Como apreciación global de la idoneidad de las estrategias adoptadas, el informe concluye que el enfoque estratégico con respecto al objetivo no 1 adoptado en 1994 debe considerarse en líneas generales adecuado en cada uno de los Estados miembros. Según el informe, la crítica más significativa a las estrategias era que no constituían mucho más que la suma de sus partes. Mientras que cada una representaba una respuesta adecuada a las necesidades identificadas en ámbitos particulares, no se apreciaba tanto el modo en que estos distintos elementos contribuían a una estrategia de desarrollo general.En términos de eficacia, el informe indicaba que el análisis se basaba en gran medida en juicios cualitativos en lugar de en comparaciones cuantificadas de los resultados con los objetivos, debido a deficiencias en los datos disponibles. Como comentario general, el informe observa que muchas de las acciones aparentemente más eficaces han sido las que tenían fundamentalmente un carácter de política general. La financiación ha tendido en gran medida a reforzar los modelos existentes de actividad relacionada con el desarrollo económico, más que a proporcionar una base para desarrollar actividades nuevas destinadas a alcanzar los objetivos fijados o a estimular enfoques más innovadores.Desde el punto de vista del impacto, el informe se basaba, con respecto a la mayoría de las regiones, en un enfoque de modelización macroeconómica para evaluar el impacto de los Fondos Estructurales en la cohesión económica y social. Reconocía el hecho de que los resultados obtenidos se derivan inevitablemente de hipótesis efectuadas dentro del proceso de modelización. El informe señalaba que la escala de su impacto en distintos casos reflejaba la importancia relativa y la asignación de recursos del marco comunitario de apoyo (MCA) y elementos como la dotación inicial de factores, las estructuras económicas, los niveles de competitividad y el grado de «apertura» de la economía en cuestión. Extraía unas conclusiones generales sobre el impacto de los Fondos Estructurales con respecto a otros factores externos e indicaba que, aunque que la creación de empleo había sido sustancial, también lo había sido probablemente el efecto de peso muerto y de desplazamiento.El informe de síntesis también incluía una serie de observaciones relativas a la gestión y a la ejecución. Su conclusión general sobre estos aspectos era que los dispositivos en materia de gestión y ejecución, aunque a veces se caracterizan por debilidades, por lo general eran adecuados a sus fines y se obtuvieron beneficios significativos mediante el enfoque de cooperación. Las estructuras del proceso decisorio por lo general no consiguieron establecer una dirección estratégica fuerte. Sin embargo, se obtuvieron importantes beneficios en el sentido de un mayor valor añadido a través del enfoque de programación y del desarrollo de la capacidad y de las prácticas de gestión del sector público.

16.

Es importante reconocer que el amplio enfoque adoptado tenía que hacer frente a limitaciones intrínsecas, de las cuales las más importantes eran las limitaciones de tiempo, una serie restringida de objetivos cuantificados y una falta de indicadores detallados de resultados/impacto. Además, el impacto que puede atribuirse directamente a los programas y medidas relacionadas con frecuencia era difícil de aislar, puesto que las regiones destinatarias a menudo se beneficiaban de otras operaciones que contribuían a conseguir objetivos similares. También resultó difícil identificar y medir los efectos indirectos de los gastos de los Fondos Estructurales. No obstante, el Tribunal considera que ciertas debilidades del proceso de evaluación no pueden atribuirse meramente a limitaciones inherentes, sino que se deben a deficiencias en dicho proceso que deben corregirse, en particular antes de la evaluación ex post del período de programación 2000-2006.

17.

El informe de síntesis comienza con un breve análisis de la evolución del PIB per cápita, y de las tasas de desempleo y empleo en las distintas regiones afectadas (9). El informe llega a la conclusión de que el aumento de las tasas de empleo resultantes de la creación de puestos de trabajo (10) no se ha traducido en un incremento del PIB por habitante. Esta conclusión podría ser importante para los responsables políticos, ya que sugiere que la mejora de las tasas de participación laboral (11) no ha contribuido al objetivo principal de la política de cohesión de estrechar distancias en términos del PIB, conclusión muy pertinente para los Fondos Estructurales.

18.

Partiendo de la información presentada en el informe de síntesis, es difícil juzgar la validez de la afirmación arriba mencionada. En muchas regiones el PIB per cápita aumentó, al igual que las tasas de participación. Sin embargo, existen regiones en las que o bien el PIB per cápita o la tasa de participación descendieron o aumentaron solo ligeramente. El Tribunal ha intentado valorar las afirmaciones mencionadas en el apartado 17, aplicando técnicas estadísticas a los datos publicados en el informe de síntesis. Los detalles técnicos de este análisis figuran en el anexo II y los aspectos esenciales se resumen brevemente a continuación.

19.

Los resultados obtenidos indican que los cambios en el empleo tuvieron una incidencia estadísticamente significativa en el PIB real per cápita. En particular, se asoció un incremento de un punto porcentual en la tasa de empleo con un incremento de 0,24 puntos porcentuales en el PIB per cápita en el período objeto de la apreciación. Este resultado no es coherente con la conclusión del informe de síntesis antes mencionada y también sugiere que, de hecho, es posible reducir las diferencias en términos del PIB mejorando las tasas de participación laboral, un resultado pertinente desde el punto de vista político.

20.

Para profundizar en la solidez del resultado mencionado, el Tribunal realizó un análisis idéntico de 145 regiones de las que existían datos coherentes (esto es, no solo regiones del objetivo no 1). Los resultados, que también figuran en el anexo II, son muy similares en toda la Unión, y muestran que no se analizó suficientemente la información a partir de datos básicos e indican una relación importante entre los incrementos del PIB y los de la tasa de empleo, que no señaló el informe de síntesis.

21.

El segundo capítulo del informe de síntesis examina la idoneidad de las estrategias adoptadas desde el punto de vista del equilibrio geográfico y de los programas, así como entre los distintos fondos. Los gastos previstos y reales de los programas (12) de los Fondos Estructurales son analizados por tipo y por Estado miembro, pero no por las regiones correspondientes, a diferencia del informe sobre el PIB per cápita y las tasas de empleo y desempleo en las distintas regiones del objetivo no 1. Esto limita el análisis que puede realizarse, como señala el propio informe al dar los resultados de un análisis de regresión que trata de relacionar los fondos comunitarios per cápita por Estado miembro con el PIB per cápita (13). En consecuencia, los resultados que figuran en el informe no son estadísticamente significativos, y por lo tanto, su valor es limitado.

22.

El Tribunal, por su parte, aplicó unas técnicas estadísticas ligeramente diferentes, utilizando los mismos datos que en el informe. Los datos técnicos de este análisis figuran en el anexo III y los aspectos esenciales se resumen brevemente a continuación.

23.

Los resultados obtenidos respaldan la conclusión intuitiva de que cuanto más elevados son los fondos comunitarios facilitados per cápita, mayor es el crecimiento del PIB per cápita en los Estados miembros. Este resultado muestra que con un enfoque más amplio, pueden efectuarse valoraciones pertinentes incluso con el conjunto de datos innecesariamente limitado que se ha utilizado en este importante ámbito que nos ocupa.

24.

Una parte central de la valoración en esta sección del informe de síntesis se basa en una comparación de distintas categorías de gastos programados en 1994 y los gastos reales estimados en 1999. No obstante, los datos presentados contienen una serie de errores o discrepancias que limita la validez de las conclusiones que puedan extraerse. En particular en el caso de cinco Estados miembros la cifra de gastos reales que aparece bajo la columna del «total» (en el cuadro correspondiente publicado en el informe de síntesis) no coincide con la suma de las cifras que aparecen bajo las distintas columnas, correspondientes a gastos comunitarios, públicos y privados respectivamente (tal como aparecen en el mismo cuadro). Estas diferencias se resumen en el cuadro 1. La diferencia de porcentaje, que figura en la última columna de este cuadro, es significativa e implica un control de calidad inadecuado en la formulación del contenido y resultado del informe.

25.

Pese a estas discrepancias, la transformación de los datos facilitados en una base per cápita (14) proporciona algunas observaciones útiles que en algunos contextos difieren de las conclusiones del informe de síntesis. El cuadro 2 presenta el gasto per cápita real de mayor a menor por cada categoría.

26.

El cuadro muestra que la media total de fondos reales era de 2 104 euros per cápita. Los Fondos Estructurales comunitarios aportaron alrededor de la mitad, mientras que tres de los cuatro Estados miembros de cohesión gestionaron en torno al 50 % más que la media de 1 033 euros per cápita. Resulta de particular importancia la contribución del sector privado, especialmente a la luz de la importancia concedida a los efectos en la oferta a largo plazo en las regiones. Parece que algunas regiones del objetivo no 1 en Estados miembros como Alemania, Austria y los Países Bajos han conseguido unos resultados particularmente satisfactorios al combinar la inversión privada con los Fondos Estructurales, sobrepasando incluso, de manera significativa en el caso de Alemania y Austria, la contribución media de los Fondos Estructurales comunitarios.

27.

Sin embargo, los factores que contribuyen a una mayor participación del sector privado quedan sin explorar en el informe. Por ejemplo, ¿fue esto un resultado de la naturaleza de los proyectos elegidos, de la capacidad de los recursos humanos disponibles, o en realidad de un tipo distinto de ayuda que se presta al sector privado a partir de los fondos? En opinión del Tribunal, estos aspectos merecen un examen más profundo.

28.

La evaluación de la idoneidad de las estrategias adoptadas rara vez se basó en técnicas formalizadas (17) y las prácticas seguidas por los evaluadores nacionales eran muy distintas y por lo general muy descriptivas. La cuestión de la idoneidad con respecto a la medida en que las intervenciones de los Fondos Estructurales abordan «insuficiencias de mercado» raramente fue el objeto explícito de la evaluación ex post. De manera similar, tampoco se ha examinado de manera exhaustiva si los cambios en la estrategia durante el período de programación fueron adecuados.

29.

Algunos capítulos específicos de las evaluaciones nacionales y el capítulo 3 del informe de síntesis tratan de la eficacia de los Fondos Estructurales, basándose en la medida en que se han obtenido los efectos esperados. Se estudian cinco temas: transporte, PYME, investigación y desarrollo, educación y formación y desarrollo rural. También se examinan dos temas transversales que tratan del medio ambiente y la igualdad de oportunidades.

30.

El análisis se basó en una muestra del 70 % del valor de los programas del objetivo no 1. No obstante, se concedió una gran importancia a las apreciaciones cualitativas, por ejemplo determinando el valor añadido comunitario mediante una respuesta «sí» o «no». Tales apreciaciones y opiniones a menudo se clasifican en categorías demasiado amplias y no siempre pueden verificarse objetivamente. No se intentó establecer unos objetivos concretos mediante la identificación de unos criterios que pudieran haber resultado útiles a tal efecto ni se recopilaron datos adicionales para proceder a un microanálisis. Con frecuencia no se tuvieron en cuenta cuestiones importantes, como los efectos de peso muerto y de desplazamiento, y en los casos en que se plantearon estos aspectos, no se analizaron con la profundidad suficiente.

31.

Aunque varias secciones contienen observaciones válidas y útiles, en general el Tribunal considera que este capítulo (18) del informe de síntesis, pese a revestir una importancia crucial, carece de solidez por falta de datos, por sus conclusiones con frecuencia débiles y por su apreciación insuficiente o inexistente de los resultados de otros estudios temáticos encargados por la Dirección General de Política Regional para el programa de los Fondos Estructurales de 1994-1999.

32.

Por ejemplo, en la sección dedicada al transporte de la evaluación ex post, en los cuadros que presentan los kilómetros reales y previstos de carreteras mejoradas por países, cerca de la mitad de la información es incompleta o inexistente, lo que impide extraer una conclusión sólida sobre los logros con respecto a los objetivos. Sin embargo, la evaluación temática (19) del impacto de los Fondos Estructurales en las infraestructuras de transportes correspondiente al mismo período, que se cita con frecuencia en el informe, ofrece una apreciación más completa y rigurosa de los resultados por Estado miembro.

33.

El impacto estimado de los programas de transporte en el empleo que figura en el informe de evaluación temática sobre transporte es de particular importancia para la evaluación ex post. La incidencia directa e indirecta total en el empleo se estima en 2,3 millones de puestos de trabajo en equivalente a jornada completa por año (20). Además, los beneficios económicos de los programas de transporte que figuran en el estudio se consideran significativos. En Irlanda, el índice de beneficio económico notificado con respecto a proyectos de carreteras es del 13 %, mientras que el de España consta como del 23 % (21).

34.

Estas dos importantes conclusiones del informe de evaluación temática sobre el transporte no se tienen en cuenta en el informe de síntesis. Es más, la estimación del impacto en el empleo que se presenta en la evaluación temática no es coherente con la del estudio ex post. Basándose en los cálculos efectuados por el Tribunal, el estudio (22) implicaría que el impacto total de los Fondos Estructurales en el empleo en el período 1994 a 1999 (utilizando el modelo Hermin y la evaluación de las demás regiones) es de 1,62 millones de empleos, lo que no es coherente con la estimación de 2,3 millones de empleos del informe temático, sobre todo dado que el transporte solo representa alrededor del 20 % del total de gastos de los Fondos Estructurales.

35.

En cambio, los resultados de la evaluación temática del impacto de los Fondos Estructurales en las PYME sí se utilizan en el informe de síntesis, en el que se señala que esta evaluación temática recomienda pasar, en el futuro, de gastos en subvenciones a medidas de ingeniería financiera, tales como fondos de capital generador y de capital riesgo, préstamos y bonificaciones de interés, aduciendo que estos métodos son más sostenibles a largo plazo (23). Esta es una conclusión importante dentro del estudio temático que la evaluación ex post hace bien en mencionar (24). Sin embargo, el informe no profundiza en esta cuestión pese a las importantes implicaciones que podrían extraerse para programas futuros.

36.

El informe de síntesis señala que en la evaluación temática sobre el impacto de los Fondos Estructurales en las PYME se estima que, sin el apoyo comunitario, el 70 % de los proyectos de inversiones o no habrían tenido lugar, o habrían tenido una menor escala o se habrían aplazado. La evaluación temática estima asimismo que dicho apoyo contribuyó a crear más de 300 000 puestos de trabajo adicionales, incluso después de tener en cuenta los efectos de peso muerto y de sustitución. La evaluación ex post del objetivo no 1 no puede reproducir estas cifras debido a la falta de datos comparables y sólidos en los que basar tales estimaciones (25). Dada la importancia de la discrepancia de los resultados y que los dos estudios fueron preparados para el mismo contratista, trataron el mismo tema, se refirieron al mismo período y se publicaron con una diferencia de solo dos o tres años, estaba justificado un tratamiento más completo de sus diferencias.

37.

Tras la afirmación arriba mencionada, en una sección dedicada a un «análisis general», el informe de síntesis ofrece una estimación del número de puestos de trabajo creados en las PYME como resultado de la intervención de los Fondos Estructurales. Según el informe, de las pruebas de que se dispone se desprende que el objetivo no 1 apoyó la creación de unos 800 000 puestos de trabajo brutos, sin tener en cuenta los efectos de sustitución, peso muerto, o multiplicador. La eficacia global en términos de efectos netos se desconoce (26). Esta conclusión no recibe la suficiente atención, en especial a la luz de la estimación facilitada en el estudio temático sobre las PYME. Además, el cuadro incluido en el estudio ex post, que presenta un desglose del empleo creado por Estado miembro, no proporciona datos sobre España, por lo que la estimación es obviamente incompleta (27). Este aspecto también merecía un examen más profundo en la evaluación ex post.

38.

En los «otros temas» que el informe de síntesis recoge bajo el epígrafe «Eficacia», se encuentra un útil aunque breve resumen de varias cuestiones pertinentes recogidas bajo varios epígrafes. Sin embargo, existe una limitación subyacente que, según el informe, son unos datos comparativos insuficientes, que han obligado a efectuar una apreciación cualitativa y no una apreciación detallada basada en los proyectos (28). Parte de esta apreciación cualitativa podría haberse enlazado mejor con otros estudios temáticos realizados, como la evaluación temática sobre IDT. El pliego de condiciones señalaba que debería realizarse una revisión documental de amplio alcance para identificar aspectos clave de la ejecución de los Fondos Estructurales (29). Sin embargo, existen deficiencias en el modo en que se señalan tales implicaciones y se vinculan a los resultados subsiguientes de los estudios. En los pocos casos en que existe tal integración con la evaluación, los beneficios en la calidad del informe son evidentes.

39.

Por ejemplo, la apreciación ex post indica que, según la evaluación temática sobre IDT, las actividades estarían mejor enfocadas si se dedicaran a desarrollar estrategias innovadoras específicas de las regiones para explotar la capacidad de IDT existente, en lugar de basarse en las «diferencias tecnológicas» observadas. El estudio ex post señala que en varios casos se adoptó el enfoque mencionado y que se obtuvieron unos resultados mucho más satisfactorios cuando las actividades se centraron en los puntos fuertes locales (30). Este ejemplo resalta la pertinencia de basarse en lo que otros informes y estudios han demostrado, como se pone de relieve en los criterios expuestos en el programa MEANS y en su actualización, que se incluyeron como parte del pliego de condiciones de este ejercicio de evaluación (31).

40.

En general, las evaluaciones nacionales rara vez se basaron en un análisis formalizado o cuantitativo de los efectos. Además los evaluadores nacionales apenas utilizaron los resultados de los análisis cuantitativos llevados a cabo por otras partes.

41.

Bajo esta rúbrica, el informe de síntesis tuvo por objeto examinar la eficiencia de la ejecución de grandes proyectos subvencionados en regiones del objetivo no 1. El análisis se basó en una muestra representativa, tanto desde el punto de vista geográfico como temático, de alrededor de 60 grandes proyectos (32). Se entiende como eficiencia la obtención de resultados a un coste razonable. El principal objetivo es establecer costes unitarios, esto es, el coste por realización conseguida. El análisis también debería abordar la calidad de la gestión de grandes proyectos por los beneficiarios finales. A escala comunitaria deberían analizarse los costes unitarios en las distintas regiones del objetivo no 1, explicando, cuando fuera posible, las diferencias significativas en los costes unitarios de unas regiones a otras y estableciendo una clasificación de costes apropiados, que podría utilizarse como base para ejercicios de evaluación comparativa en el futuro (33). Estos objetivos son pertinentes y constituyen un elemento crítico para la gestión eficiente de los proyectos en la UE.

42.

No obstante, la evaluación ex post no alcanzó la mayor parte de estos objetivos, lo que se admite en el informe de síntesis, que explica que a los gestores de los proyectos les resultó prácticamente imposible determinar los distintos componentes del proyecto y que por lo tanto no pudieron calcular los costes unitarios (34). Una afirmación tan general implica que el grado de conocimiento de los principales proyectos financiados por los Fondos Estructurales es tan deficiente que el objetivo expresado en el pliego de condiciones resulta inalcanzable. Como mínimo, debería haber sido posible obtener costes comparables para realizaciones clásicas, por ejemplo, el coste por metro cuadrado de construir una fábrica, o el coste por kilómetro de carretera construido.

43.

Algunos resultados parciales se presentan en tres cuadros sobre construcción de carreteras en los Estados miembros, proyectos medioambientales en España y costes por puesto de trabajo creado en proyectos industriales (35). Sin embargo, los resultados apenas se analizan o evalúan, por ejemplo, para tener en cuenta el impacto de los distintos costes de mano de obra y las características geográficas particulares de la construcción de carreteras, por poner un caso.

44.

El informe de síntesis llegó a unas conclusiones sólidas sobre el calendario de los proyectos y el respeto de los límites presupuestarios. La primera conclusión fue que solo un tercio de los 60 proyectos examinados se terminó en el plazo previsto inicialmente, y más de un tercio concluyó con un retraso de un año. En segundo lugar, alrededor de dos tercios de los proyectos examinados excedieron el presupuesto, superando el 20 % de ellos el 30 % de los costes previstos en un principio. El análisis, sin embargo, se limita a unas cuantas observaciones generales, proporcionando poca o ninguna apreciación de la calidad de la gestión por parte de los beneficiarios finales, tal como se estipulaba en el pliego de condiciones (36). Además, no se evaluó la eficiencia relativa de la cooperación pública y privada ni de los procedimientos de licitación empleados.

45.

El informe de síntesis mantiene que el objetivo principal de los Fondos Estructurales es influir en el potencial de oferta a largo plazo de la economía (37). Los efectos de la oferta funcionan a través de una serie de canales concebidos para: a) incrementar la inversión con el fin de mejorar la infraestructura física como contribución a la actividad productiva del sector privado; b) aumentar el capital humano, gracias a la inversión en formación, como contribución a la actividad productiva del sector privado; c) canalizar la ayuda de financiación pública hacia el sector privado para estimular la inversión, aumentando así el factor de productividad y reduciendo los costes sectoriales de producción y de capital (38).

46.

A continuación el informe pasa a discutir la importancia de lo que se denominan «externalidades» positivas (condiciones en las que las empresas privadas disfrutan la utilización de factores productivos adicionales sin coste para ellas), mejorando así la productividad y la competitividad de la economía en materia de costes. Estas consideraciones son pertinentes para una evaluación ex post, aunque la cofinanciación del sector privado se excluyó del análisis debido a la incertidumbre que existe sobre sus mecanismos impulsores (39). Este enfoque limitado da lugar a una grave subestimación del impacto de determinados gastos en los Fondos Estructurales al excluir uno de los principales efectos de la oferta a largo plazo, lo que demuestra claramente el ejemplo de una empresa de fomento presentada en el informe de síntesis (40) cuyos gastos cofinanciados han atraído una inversión adicional significativa del sector privado. En lugar de centrarse en el impacto más directamente discernible de los gastos de los Fondos Estructurales en el sector privado, el estudio trata de evaluar las denominadas externalidades positivas, con unas técnicas de estimación bastante limitadas resultado de una falta de estudios que proporcionen unas medidas de elasticidad pertinentes para las regiones examinadas.

47.

Para apreciar el impacto de los Fondos Estructurales en la cohesión económica y social, se aplicó a cuatro Estados miembros (España, Grecia, Irlanda y Portugal) (41), así como a las regiones de los nuevos Länder alemanes e Irlanda del Norte (42), un enfoque de modelo macroeconómico basado en el modelo Hermin. Este enfoque debía medir el impacto de los programas del objetivo no 1 por lo que respecta a los efectos en el PIB y en el empleo.

48.

Una posibilidad de evaluación alternativa sería utilizar datos microeconómicos de proyectos para establecer el impacto total o agregado de los Fondos Estructurales a escala regional o nacional. Sin embargo, pese a la utilización por las regiones del objetivo no 1 de los datos estandarizados exigidos, existen dificultades para recopilar datos microeconómicos, y por este motivo se intenta medir los impactos únicamente a partir de modelos macroeconométricos. Esto da lugar a muchas restricciones y suposiciones que, por las razones expuestas, pueden limitar la evaluación de manera significativa, y con ello, las implicaciones políticas que puedan derivarse.

49.

Las principales dificultades identificadas con la aplicación específica del modelo macroeconómico Hermin en la evaluación ex post objeto de la fiscalización son las siguientes:

50.

El modelo Hermin, tal como se ha venido aplicando, parece, pues, inadecuado para la tarea de estimar los efectos de las intervenciones de los Fondos Estructurales en las regiones del objetivo no 1.

51.

El Tribunal analizó los resultados de las simulaciones Hermin con respecto a los cambios en la tasa de desempleo con relación a una serie de hipótesis predeterminadas (46). El resultado figura en el anexo IV y refleja variaciones significativas en materia de empleo con respecto a los resultados obtenidos de otras fuentes.

52.

Por último, en muchos casos no se evaluó el grado en que se alcanzaron los objetivos intermedios.

53.

Por lo que respecta al objetivo estratégico de convergencia, la única mención en el informe de síntesis es que la convergencia global entre los Estados miembros va progresando, pero no en la misma medida en todas las regiones de Europa. Es discutible que la convergencia se deba a los Fondos Estructurales (47).

54.

Los dispositivos en materia de gestión y de ejecución adoptados para los programas del objetivo no 1 desempeñan un papel fundamental al contribuir a la eficacia, eficiencia e impacto de los Fondos Estructurales. Este aspecto se abordó tanto en el pliego de condiciones como en la guía metodológica y se recogió en las evaluaciones nacionales (48). Los informes de evaluación nacionales describían el impacto en los sistemas de gestión, pero también identificaban situaciones en las que los efectos en dichos sistemas podrían haber sido más pronunciados.

55.

La importancia de esta cuestión también se reconoce en el informe de síntesis, en particular, en la sección correspondiente a las recomendaciones (49); nada menos que 13 de un total de 19 recomendaciones se refieren a asuntos de gestión.

56.

El informe de síntesis aporta varias ideas pertinentes en relación con la gestión de los Fondos Estructurales comunitarios y hace referencia a varias conclusiones de la evaluación temática sobre el principio de cooperación que se efectuó en 1999. Esta prevé la continuidad de la evaluación, y algunas pruebas, a favor o no, de las observaciones efectuadas en el estudio previo. Sin embargo, en una serie de ámbitos, las conclusiones extraídas discrepan de las de la evaluación temática.

57.

El informe de síntesis contiene un resumen de la media de miembros que integran los comités de seguimiento por Estado miembro. La media global era de 44 personas, pero existía una amplia variación entre un mínimo de 15 y un máximo de 85. De hecho, el informe llega a la conclusión de que el nivel elevado de miembros se considera una limitación clave a la eficiencia de estos comités, y que ello era común en todos los Estados miembros (50). En cambio, el estudio temático concluía que nada indicaba una pérdida de eficiencia si se ampliaba la inclusión de miembros en los comités. Dada la diferencia significativa entre las conclusiones de los distintos informes sobre este aspecto, habría sido apropiado analizarlo con más profundidad en el informe de síntesis, y extraer unas recomendaciones más concretas para el futuro.

58.

Otro ámbito que se enlazó con la evaluación temática es la gestión de distintos fondos. Ambas evaluaciones concluían que los fondos actuaban con arreglo a distintos principios y con distintos requisitos financieros, lo que restringía la sinergia entre ellos. Esta importante observación refrenda las opiniones ya expresadas por el Tribunal (51) y subraya la necesidad de esforzarse por conseguir una mayor sinergia entre los fondos.

59.

La evaluación de la eficacia de los sistemas globales de gestión también contiene algunas debilidades. El informe de síntesis señala que las evaluaciones nacionales solo consideraron adecuados los sistemas de gestión en menos de la mitad de los Estados miembros con derecho a las ayudas. Este resultado reviste gran importancia, por lo que cabría haber esperado una evaluación detallada tanto de los casos satisfactorios como de las insuficiencias identificadas. Aunque se desarrollan algunos aspectos planteados, en general el informe no es claro con respecto a las constataciones efectivas.

60.

La evaluación temática sobre el principio de cooperación en relación con los Fondos Estructurales (1999) observó que este principio presentaba una serie de ventajas para la aplicación de estos fondos (52). El informe de síntesis señala que, en general, los Estados miembros que participaron en la aplicación del programa 1994-1999 del objetivo no 1 también reconocieron estas ventajas y que el trabajo de cooperación transversal fue acogido como uno de los aspectos de «valor añadido» de la programación europea (53). Este es un resultado pertinente, pero, aunque se ponen de relieve algunos aspectos de varios casos, como breves comentarios de experiencias negativas o dificultades encontradas, el debate podría haberse orientado más a resaltar mejoras que podrían introducirse basándose en las experiencias mencionadas, para así conferir una mayor eficacia al principio de cooperación.

61.

El proceso de solicitud/selección de los proyectos se identifica como uno de los dos procesos citados con mayor frecuencia como fuente de problemas administrativos. Ello se ilustra con una serie de ejemplos, que indican una falta de claridad en los procedimientos y la necesidad urgente de que la Comisión emita unas referencias de buenas prácticas. Se adjunta asimismo un cuadro que recoge la duración del proceso de selección de los proyectos por países, aunque no se facilitan datos con respecto a tres Estados miembros. En los demás, la duración del proceso oscila entre dos y nueve meses, con un promedio de cinco. Las pruebas aportadas implican que aún queda trabajo por hacer para agilizar el proceso de solicitud. En este contexto no se ha efectuado un análisis detallado de los distintos méritos y/o eficacia en la elección entre el proceso competitivo y el proceso de espera de turno.

62.

También debe concederse la debida atención al proceso de seguimiento y de control. En el informe de síntesis se afirma que los sistemas de control financiero parecen haber funcionado relativamente bien dentro de los Estados miembros en el marco del objetivo no 1 del período 1994-1999, aunque fueron necesarios algunos ajustes para adaptar los nuevos reglamentos financieros en 1997. En la mayoría de los Estados miembros los sistemas de control financiero se consideraron adecuados para sus fines y su funcionamiento relativamente eficiente. En general, el control financiero parece haber sido fiable y se ha respetado la norma del 5 % (54). Esta constatación no coincide con los distintos informes del Tribunal (55) que indican que el programa para el período 1994-1999 de los Fondos Estructurales adolecía de deficiencias significativas de control financiero.

63.

El otro elemento del proceso de supervisión que plantea problemas administrativos es el de los sistemas de evaluación y supervisión no financieras. La supervisión recibe serias críticas; según el informe de síntesis, esta siguió siendo una de las principales debilidades a pesar de la insistencia en desarrollar su función desde el primer período de programación. Los datos existentes se encuentran fragmentados, son incoherentes, excesivamente centrados en los resultados físicos y con frecuencia su fiabilidad es dudosa (56). El informe también señala que en todos los Estados miembros faltaba una cuantificación de los objetivos definidos al comienzo del programa (57). De los diez Estados miembros enumerados, siete han sido clasificados con un nivel de cuantificación mediocre, mientras que uno ha sido clasificado con un nivel variable y dos, con un nivel adecuado solo al inicio del programa. Se incluyen unos breves resúmenes por cada Estado miembro, pero no se añaden ideas.

64.

También se afirma que los sistemas informatizados establecidos para supervisar el programa 1994-1999 fueron criticados a menudo por la falta de integración entre los programas y entre los fondos, lo que incidió en la capacidad que en ese momento tenían las autoridades gestoras para supervisar los progresos realizados dentro de los programas, y planteaba un problema para posteriores evaluaciones (58). Estas observaciones también arrojan dudas sobre la validez de la anterior conclusión del informe según la cual la gestión financiera del programa funcionaba bien, mientras que la información de supervisión, que contribuye de manera tan importante al proceso de gestión había sido calificada de fragmentada, incoherente y de dudosa fiabilidad (56).

65.

El informe de síntesis también contiene breves comentarios sobre las denominadas evaluaciones internas (59), y observa que estas fueron llevadas a cabo por los ministerios o autoridades regionales, con la asistencia de universidades y agencias externas. Dadas las debilidades de los sistemas de supervisión, tal vez resulte sorprendente la intensidad con que se llevó a cabo la evaluación. Quizás pueda ser un reflejo de la obligación sentida de realizar una actividad de evaluación, aunque los resultados a menudo sí se aprovecharon para la gestión de los programas (60). A la vista de esta afirmación, parece que habría sido útil centrarse más en estas evaluaciones internas, y basarse en los resultados obtenidos por los ministerios o autoridades regionales pertinentes. En cambio, el informe de síntesis solo contiene algunas observaciones muy generales de pertinencia limitada para la evaluación ex post en general.

66.

Con respecto al período de programación 2000-2006, el informe de síntesis indica que se ha intentado resolver el problema de supervisión sufrido en el período 1994-1999 (61).

67.

Habida cuenta de los diversos problemas identificados en el análisis del informe de síntesis, es preciso centrarse de manera específica en el pliego de condiciones original. Este, junto con el informe inicial y la guía metodológica, contenían varias debilidades, en particular las siguientes:

68.

Además, en el pliego de condiciones no se concedió la suficiente prioridad al refuerzo de la cohesión económica y social en la UE y a la convergencia de los Estados miembros menos desarrollados, pese a ser unos de los principales objetivos de las medidas estructurales. El informe inicial sí incluía algunas cuestiones sobre los modelos de desarrollo utilizados, las limitaciones al crecimiento que se han de resolver y los canales a través de los cuales puede esperarse un impacto en la economía regional (68). Sin embargo, la evaluación ex post debería haber incluido estudios empíricos sobre la convergencia entre regiones y la reducción de disparidades como resultado de factores como la inversión en infraestructuras, y los avances en el sistema educativo y en la capacidad de investigación y desarrollo.

69.

Por otra parte, como objetivo de la evaluación, habría sido adecuado identificar y analizar los estudios de casos específicos que representan referencias para las políticas de desarrollo regionales, por ejemplo, en el ámbito de las agrupaciones o de los núcleos de crecimiento.

70.

Al inicio del ejercicio de evaluación, se abordó la cuestión de la idoneidad de la estrategia a través de una lista de cuestiones y preguntas. Sin embargo, las orientaciones para la evaluación contenidas en el pliego de condiciones (69) y en la guía metodológica no eran lo bantante precisas o concretas.

71.

El contrato (general) entre la Comisión y los consultores seleccionados para llevar a cabo la evaluación estipulaba que se debía prestar asistencia técnica para la evaluación bajo la responsabilidad y supervisión de funcionarios de la Comisión. Esta debía apreciar la calidad de la evaluación sobre la base de los criterios desarrollados en el marco del programa MEANS.

72.

El grupo de dirección, presidido por la Dirección General de Política Regional y del que formaban parte representantes de otras Direcciones Generales, participó en la redacción del pliego de condiciones, aprobando la metodología y el plan de trabajo detallado (en el informe inicial) y examinando los informes nacionales y el informe de síntesis. Se nombró a un grupo de cuatro expertos para ayudar a cumplir el objetivo principal de garantizar unas evaluaciones de elevada calidad. No obstante, su intervención tuvo lugar demasiado tarde y el dispositivo de asistencia creado no pudo aportar mejoras significativas en la calidad de la evaluación.

73.

El calendario acordado contractualmente no se respetó. Hubo retrasos en la presentación de los distintos informes, de modo que el informe de síntesis final y los informes nacionales no se presentaron a la Comisión en el plazo previsto de 12 meses, esto es, para el 12 de noviembre de 2002, sino en abril de 2003, y se publicaron en mayo de ese año. Parece ser que el calendario era demasiado justo desde el principio y que no había previsto suficientes reservas de tiempo para tratar el relativamente elevado número de cambios/enmiendas a los informes solicitados por los expertos y representantes del grupo de dirección, lo que tiene importantes consecuencias para ulteriores evaluaciones ex post.

74.

El pliego de condiciones (67) exigía el examen de dos temas específicos por Estado miembro, por lo que se propuso una lista de temas. Sin embargo, ninguno de los informes de evaluación nacionales contenía un enfoque específico sobre este aspecto. Aunque los distintos capítulos a veces facilitan estadísticas o una exploración parcial de estos aspectos, no han sido objeto, tal como estipulaba el pliego de condiciones, de una investigación específica.

75.

Como conclusión general, la supervisión del proceso de evaluación por la Comisión necesita mejorar. En particular, dado que la falta de datos fiables y de indicadores de resultados, así como de objetivos precisos, era predecible desde el principio, la Comisión debería haberse encargado de que se tomaran las medidas adecuadas para resolver esta limitación crítica. Además, dado el apretado calendario y las limitaciones inherentes, la evaluación debería haberse centrado en elementos esenciales en lugar de intentar realizar una apreciación global tan amplia del período de programación.

76.

Dados los problemas identificados en las anteriores secciones del presente Informe, la capacidad del proceso de evaluación ex post para producir recomendaciones válidas era limitada. Mientras que el proceso dio lugar a pocas recomendaciones sobre el contenido de los programas, sí planteó una serie de sugerencias razonables y pertinentes sobre el modo de mejorar la gestión de los Fondos Estructurales y su ejecución (70).

77.

El informe recomienda que el papel de los comités de seguimiento cambie de orientación para pasar a una función estratégica en lugar de centrarse en cuestiones de gestión financiera (71). No obstante, estos comités deberían poder ejercer las dos funciones, tal como establece la normativa.

78.

Las evaluaciones han dado lugar a recomendaciones para el período de programación 2000-2006 que abordan principalmente las cuestiones de los sistemas de gestión. En ellas se abarca una amplia variedad de temas, y por lo general se adaptan bien a la situación específica de cada Estado miembros considerado.

79.

Con respecto a los programas 2000-2006, las lecciones clave que se han de extraer de la evaluación ex post del período precedente se refieren a la ejecución, en particular con referencia al trabajo de estudio de casos realizado para evaluar la eficacia y la eficiencia de las operaciones de los Fondos Estructurales.

80.

Por lo que respecta a períodos posteriores a 2006, las recomendaciones propuestas en el informe de síntesis son bastante limitadas y de naturaleza general. Sin embargo, son pertinentes y, por lo tanto, útiles. Por ejemplo, se observa que podría recurrirse en mayor medida a la utilización de evaluaciones independientes y continuas, lo que proporcionaría una aportación externa objetiva (72). Aunque esta es una recomendación razonable, habría sido beneficioso que se hubiera adoptado antes del comienzo del ejercicio de evaluación ex post objeto de examen.

81.

Junto con la evaluación de las regiones del objetivo no 1, bajo la dirección de la Dirección General de Política Regional, se llevó a cabo otro ejercicio de evaluación, en este caso dirigido por la Dirección General de Empleo, Asuntos Sociales e Igualdad de Oportunidades, para abarcar las operaciones del FSE en el marco de los objetivos no 1, no 3 y no 4 y las iniciativas comunitarias, Empleo y Adapt. El pliego de condiciones para esta última evaluación ex post anticipaba la utilización de los resultados obtenidos de la evaluación de las regiones del objetivo no 1. No obstante, pese a los dispositivos organizativos previstos para facilitar una coordinación eficaz entre las dos evaluaciones, hay pocas muestras de que ello se consiguiera en la práctica.

Recuadro 2Conclusiones generales de la evaluación efectuada por la Dirección General de EmpleoLa evaluación tenía por objeto apreciar el impacto de las operaciones del FSE en los Estados miembros, tanto en los individuos como en los sistemas. También trataba de analizar el impacto y la eficacia de la acción comunitaria con respecto a problemas estructurales específicos y determinar el valor añadido comunitario. En la metodología adoptada para tratar de alcanzar estos objetivos, se pidió a los evaluadores, entre otras cosas, que indicaran si los casos que debían evaluar constituían pruebas a favor o en contra de una serie de hipótesis.El informe señalaba una serie de puntos fuertes, que pueden resumirse de la manera siguiente: gran parte de la financiación del FSE estaba dirigida a los parados de larga duración, lo que se consideró apropiado, dada la persistencia de este colectivo. Las mejoras de la posición en el mercado laboral para los beneficiarios fueron proporcionadas a los recursos asignados. Se produjeron mejoras importantes en los servicios de empleo y en la oferta educativa y de formación en varios contextos nacionales. Los recursos permitieron un refuerzo de determinadas prioridades políticas, como la igualdad de oportunidades, la adaptación de la mano de obra y el enfoque en los discapacitados. A través del FSE, aumentó la participación de los interlocutores sociales y de las autoridades regionales. Los fondos contribuyeron a mejorar las capacidades de gestión y ejecución de las intervenciones en el mercado laboral a todos los niveles.Sin embargo, el informe también señaló varias debilidades. La distribución se guió en gran medida por la disponibilidad de recursos en lugar de por las prioridades políticas y tuvo lugar paralelamente y al margen de los debates políticos correspondientes. Las intervenciones se concentraron en gran parte en la formación y se asignaron principalmente a proveedores de servicios, lo que, por sí solo, no constituye el medio más eficaz de ayudar a los parados de larga duración y, por lo tanto, es probable que existiera un elevado grado de peso muerto asociado con la intervención. Por último, las normas en materia administrativa se consideraron complejas y las disposiciones de la evaluación eran débiles y mal estructuradas.

82.

La influencia de las intervenciones del FSE a menudo adquiere la forma de una contribución o de un efecto potencial intangible y, por lo tanto, difícil de cuantificar (73). Pese a este problema intrínseco, debe ser un objetivo fundamental de un ejercicio de evaluación apreciar el impacto y, a la par, el aspecto de la eficacia y la eficiencia. Esto es lo que debía conseguirse con el ejercicio de evaluación ex post.

83.

Al tratar de analizar el impacto de las intervenciones del FSE, el informe de síntesis proporciona estimaciones del número de beneficiarios del FSE por Estado miembro y objetivo (74). Como complemento de los informes de evaluación nacionales, la evaluación ex post también trató de aportar pruebas para una serie de hipótesis preestablecidas (75), todo lo cual se expone en los apartados siguientes.

84.

Una de las exigencias fundamentales de la evaluación ex post de las operaciones del FSE se refiere al número de beneficiarios del programa para el período 1994-1999. El informe contiene un cuadro con una cifra estimada de 52 millones de beneficiarios. Sin embargo, las notas adicionales a dicho cuadro plantean serias dudas sobre las cifras presentadas (76). La incertidumbre sobre la exactitud de los datos desluce algunas de las útiles y pertinentes observaciones formuladas en otras partes de la evaluación.

85.

El informe de síntesis (75) contiene estimaciones del impacto de las intervenciones del FSE en los individuos, información potencialmente importante en varios aspectos, como el cálculo de los costes unitarios de los programas y las estimaciones de los beneficiarios que aún mantienen su empleo después de 12 meses. Sin embargo existen factores que limitan de manera importante la utilidad de la información, en particular la falta de explicación del modo en que se han obtenido los datos. El informe simplemente indica que los cálculos aplicados para llegar a estas estimaciones se han basado en los distintos casos examinados y en la revisión de documentos (74). Esta explicación no puede considerarse suficiente y es necesaria una información mucho más detallada sobre el modo en que se han calculado las distintas estimaciones para comprender mejor la aplicabilidad de las cifras, como referencias de costes unitarios o el índice de éxito de los programas.

86.

Un segundo aspecto poco satisfactorio es el análisis que acompaña a los datos. Las observaciones de la evaluación no coinciden con los datos que figuran en el cuadro adjunto a esta. Por ejemplo, el texto señala que en términos generales, los costes unitarios fueron inferiores en el caso de los parados y jóvenes en paro, alrededor de 6 000 euros por trabajador empleado, y considerablemente superiores en el caso de los parados de larga duración y con discapacidades (74). Sin embargo, en el cuadro los costes unitarios correspondientes a formación para desempleados figuran como los más elevados (6 000 euros) y los correspondientes a la integración de los discapacitados se encuentran entre los más bajos (4 000 euros). Además, es una práctica común indicar el tipo de variación cuando existe lo que se considera una «variación amplia» entre los programas y dentro de estos. El análisis de esta sección tiene un valor limitado puesto que se basa excesivamente en reducir la evaluación a una sola cifra en lugar de definir una serie pertinente de valores y presentar un análisis más global de los diferentes datos hallados en los distintos casos examinados.

87.

Este desfase entre el comentario y las cifras facilitadas se observa en otras partes del capítulo 3 (véanse más ejemplos en el recuadro 3).

Recuadro 3Por ejemplo, se dice que los gastos per cápita más elevados del FSE se efectuaron en Grecia, Irlanda y Portugal (países del objetivo no 1 en su totalidad) y en España (1). Sin embargo, en el cuadro 3 figuran unos gastos per cápita del FSE anuales de 2 086 euros en Portugal y 405 euros en Alemania, mientras que en el caso de Irlanda la cifra facilitada es de 12 euros y en Grecia de 17 euros. Obviamente, las cifras del cuadro no coinciden con la exposición del texto. Aún más significativa es la afirmación de que los gastos del FSE en educación con relación al gasto nacional fueron inferiores en todos los países al gasto relativo a las Políticas Activas del Mercado de Trabajo (PAMT) y que los más elevados fueron los de Grecia y Portugal (2). No obstante, en el cuadro 3.1, en la columna correspondiente a los gastos del FSE en educación con relación al gasto nacional, Grecia figura sin gastos.Por ejemplo, en el apartado 3.2.3 (3) se señala que el gasto nacional en formación del mercado de trabajo en proporción al PIB oscilaba entre el 0,2 % en Luxemburgo y el 0,58 % en Suecia (4). Sin embargo, en el cuadro 3.3, los gastos correspondientes a formación en Dinamarca representan el 0,94 % del PIB, casi el doble que en Suecia. Otro ejemplo aparece en el apartado 3.2.6 (5), sobre los gastos en la integración de los discapacitados. En el texto se indica al respecto que el FSE tuvo una particular importancia en Austria, España, Grecia y Portugal, pero en el cuadro 3.6, España y Grecia figuran sin gastos del FSE para los discapacitados. Otro ejemplo se encuentra en el apartado 3.2.7 sobre los gastos en educación. Se afirma que la contribución más significativa del FSE se efectuó en Grecia, Irlanda y Portugal (6), cuando Grecia figura en el cuadro 3.7 sin gastos del FSE en educación y formación.Informe de síntesis: (1) p. 78; (2) p. 79; (3) p. 81; (4) p. 81; (5) p. 84; (6) p. 85.

88.

Se pidió a los evaluadores que participaron en el estudio que indicaran si los casos evaluados avalaban o contradecían una serie de hipótesis que se habían formulado a raíz de una revisión inicial de la documentación y de las observaciones de la fase inicial de la evaluación. El estudio indica que existen pruebas sólidas a favor de cuatro hipótesis [véase el cuadro 3  (77)]. Sin embargo, los datos presentados no justifican esta afirmación. Por ejemplo, solo 7 de los 30 evaluadores señalaron que había «pruebas sólidas» a favor de la primera hipótesis. Habría estado justificado proceder a una evaluación más objetiva de estos resultados.

89.

El pliego de condiciones relativo al impacto del FSE en el período 1994-1999 también exigía una evaluación de la medida en que las operaciones del FSE apoyan el objetivo de la «igualdad de oportunidades» (78). Este aspecto se aborda en el capítulo 7 del informe. Sin embargo, se indica como observación importante que no se recogieron sistemáticamente datos desglosados por género en cada objetivo del FSE y en las iniciativas comunitarias en la Unión Europea (79), lo que ha limitado de manera significativa la capacidad del estudio para evaluar este aspecto. Es difícil aceptar que este sea un resultado fundamental del informe puesto que un análisis preliminar habría revelado esta deficiencia, que se habría superado con trabajo sobre el terreno y estudios de muestras, en lugar de concluir simplemente que no se disponía de los datos desglosados.

90.

Por lo que respecta al impacto de las operaciones del FSE en los individuos, las intervenciones de «medidas combinadas» (80) no se examinaron de manera específica pese al porcentaje sustancial (18 %) de recursos del FSE que se les asignaron. En consecuencia, las conclusiones del informe de síntesis son bastante modestas al señalar que la mayor parte del trabajo de evaluación apunta a unos resultados positivos, pero que los métodos de evaluación tienden a centrarse en identificar los componentes más eficaces de los programas en lugar de juzgar los resultados de las medidas combinadas en comparación con las intervenciones de medidas únicas (81).

91.

Por lo que respecta al impacto de las Políticas Activas del Mercado de Trabajo (PAMT), especialmente en los países del objetivo no 1, el informe de síntesis extrae algunas conclusiones sin explicar adecuadamente cómo llegó a ellas.

92.

Refiriéndose a la contribución financiera relativa del FSE, el informe de síntesis (82) llega a la conclusión de que la asignación combinada de gasto nacional y recursos del FSE no parece haber dado lugar a una convergencia de las tendencias de gasto entre los países, ni a la adopción de normas que vinculen unas condiciones económicas específicas y del mercado laboral a las asignaciones de recursos (83). Esta conclusión parece difícil de sostener dado el nivel de errores en los cuadros correspondientes y/o los errores en la exposición. De modo similar, otra conclusión importante de esta parte del informe es que estas circunstancias sugieren que probablemente no todas las intervenciones del FSE hayan sido adicionales. La adicionalidad, en el sentido de que probablemente las intervenciones no hubieran tenido lugar de no estar cofinanciadas por el FSE, es más posible que se haya producido cuando los recursos del FSE se dirigieron y concentraron en tipos particulares de intervenciones y cuando los gastos y programas nacionales conexos eran relativamente pequeños y menos desarrollados comparados con países con condiciones similares en el mercado laboral. De nuevo, resulta difícil entender cómo puede alcanzarse esta conclusión a partir de las pruebas presentadas en este capítulo, en especial dado el desajuste que existe entre el análisis y los datos que figuran en los cuadros.

93.

Con respecto a las hipótesis planteadas sobre el impacto del FSE en los sistemas, surge un problema similar a los descritos anteriormente. En este caso se afirma que existen pruebas sólidas a favor de siete hipótesis (84). No obstante, un análisis de los datos presentados también indica que la conclusión no está justificada.

94.

Sin restar su justa importancia a las limitaciones a las que se enfrentaron los evaluadores, cabe, no obstante, expresar los siguientes comentarios críticos con respecto a la propia apreciación de la Comisión de la evaluación ex post, que concluyó con una valoración global satisfactoria.

95.

La evaluación del informe de la Dirección General de Empleo se basa en ocho criterios de resultados y en cuatro niveles de calidad posibles: excelente, bueno, aceptable e inaceptable. Ninguno de los criterios aplicados se ha calificado de excelente o inaceptable. Cuatro de ellos se han calificado de buenos: satisfacción de las necesidades, pertinencia del alcance, adecuación de la metodología y claridad del informe. Los cuatro criterios restantes han sido calificados de aceptables, y corresponden a la fiabilidad de los datos, solidez de los análisis, credibilidad de los resultados e imparcialidad de las conclusiones.

96.

Resulta significativo que la Dirección General de Empleo valorara los últimos cuatro criterios como menos satisfactorios que los cuatro primeros. No obstante, dados los problemas hallados con respecto a la fiabilidad de los datos en el informe y las incoherencias con los comentarios al respecto, que se han señalado en el presente Informe, el Tribunal considera el informe de evaluación insatisfactorio, especialmente por lo que se refiere a la fiabilidad de los datos, la solidez de los análisis, la credibilidad de los resultados y la imparcialidad de las conclusiones.

97.

Cabe añadir, asimismo, algunos comentarios pertinentes sobre los informes de evaluación nacionales, por lo que respecta a sus objetivos y resultados:

98.

Los informes nacionales seleccionados no siempre presentan un análisis completo del impacto de las intervenciones del FSE en las políticas nacionales, aunque en general sí sugieren que el FSE ha incidido en el desarrollo de las PAMT y, en algunos casos, se señaló un efecto directo concreto. Sin embargo, en algunos otros casos la apreciación fue distinta, concretamente se indicó que es difícil mostrar que el FSE haya dado lugar a cambios en las PAMT.

99.

Cada informe de evaluación nacional y el informe de síntesis describen de manera más o menos exhaustiva el impacto en los sistemas por lo que se refiere a los servicios de empleo, a la educación y formación iniciales, a la formación permanente, a los sistemas de acreditación y a los mecanismos para prever las necesidades. El impacto en los sistemas con frecuencia se reflejaba en un contexto político más específico. En general era difícil identificar el impacto neto de las operaciones del FSE (86) y solo se delimitó efectivamente en casos excepcionales (87).

100.

Con respecto a la Estrategia Europea de Empleo (EEE), los informes de evaluación resaltaron la influencia positiva del FSE en algunos Estados miembros como España, Francia, Grecia, Italia y Portugal. Sin embargo, se observó en el caso de Alemania que el enfoque descendente asociado con la Estrategia Europea de Empleo podría verse en conflicto con el enfoque ascendente del FSE (88). A escala más general, el informe de síntesis señala que la EEE ha proporcionado un marco estratégico más sólido en el cual programar las intervenciones del FSE (89).

101.

Por lo que atañe al valor añadido comunitario, los informes de evaluación nacionales han aportado algunos resultados pertinentes (90), aunque algunos no han tratado varias de las cuestiones especificadas.

102.

La implicación financiera de las opciones de la política rara vez se ha tratado con detalle. El informe de síntesis contiene un cálculo de los costes unitarios relativos a algunas medidas, pero está basado en datos poco satisfactorios. En las ocasiones en que se han abordado cuestiones de costes, parecería que se plantean algunas observaciones potencialmente importantes que deberían analizarse en mayor profundidad. Por ejemplo, se señala que, en España, la duplicación de recursos como resultado de la intervención del FSE ha dado lugar, según la opinión de algunos expertos, a una cantidad considerable de gasto inútil. La mayor parte de los fondos se ha utilizado para ampliar operaciones más que para introducir nuevas medidas. De manera similar, en el caso de Italia se indica que se han generado costes importantes de transacción asociados al FSE en relación con el desarrollo de la cooperación y a las nuevas prácticas de gestión (91).

103.

En el pliego de condiciones se especificaban como temas de evaluación principales l as características fundamentales y los logros de la programación del período 1994-1999, el impacto del FSE con respecto a las políticas nacionales, y la eficacia y el impacto de las operaciones del FSE en los individuos y en los sistemas.

104.

La Comisión elaboró un informe sobre métodos, que publicó un año después, con el fin de ofrecer una revisión crítica de las metodologías adoptadas para la evaluación de los resultados y de su impacto en individuos y sistemas. El informe pretendía preparar el camino para evaluaciones futuras, pero es dudoso que este objetivo se haya alcanzado efectivamente. El informe contiene varias debilidades: su preparación no se basó en una investigación suficientemente completa por lo que respecta a los enfoques aplicados a la evaluación del impacto neto en los individuos. Por lo que respecta a la evaluación del impacto en los sistemas, propone un modelo de clasificación de los gastos del FSE y de su impacto asociado previsto (capacidad, competencia e interés) (92), aunque aún quedan por abordar algunos aspectos (véase la página 35 del informe).

105.

En el informe sobre métodos, y dentro del contexto de los métodos para la política y evaluación estratégica en el ámbito del FSE (93), no se han presentado unas recomendaciones concretas por lo que se refiere al análisis de las políticas, ya que el informe se refiere únicamente a MEANS. Del mismo modo, tampoco se hace referencia al enfoque que se ha de seguir para la selección de indicadores adecuados en los distintos niveles estratégicos.

106.

Debe señalarse que en el pliego de condiciones no siempre se especifican con claridad los elementos pertinentes para determinadas tareas de evaluación. Por ejemplo, la descripción de las tareas en relación con la eficacia es bastante abstracta, en especial por lo que respecta a los conceptos subyacentes, a la selección de mecanismos para medir el impacto y a las técnicas de evaluación que se han de aplicar. En particular, no se dan indicaciones concretas con respecto a los métodos de generalización, a escala comunitaria, del impacto directo en los individuos a partir de los resultados de las actividades en los distintos Estados miembros. La formulación de las tareas no ha prestado la debida atención al posible desfase entre los objetivos cuantitativos y los datos existentes. Además, no se ha previsto una acción concreta para evaluar el impacto en los individuos cuando los indicadores no están establecidos de manera concreta, o cuando no se han llevado a cabo recientemente unas evaluaciones estadísticas específicas. Los demás documentos metodológicos, recopilados con posterioridad al pliego de condiciones, tampoco contienen las explicaciones deseadas.

107.

Los cambios en la programación no siempre se han examinado de manera adecuada. Por ejemplo, este aspecto no se abordó en los estudios relativos a España, Irlanda del Norte y Merseyside. Incluso en los casos en que los cambios en la programación se han indicado, su tratamiento dista de ser óptimo. En algunos casos el evaluador no ha valorado con claridad los cambios pertinentes y el carácter adecuado de estos (94).

108.

La Comisión no efectuó un estudio de preevaluación, lo que dificultó la previsión de los problemas que después encontraron los evaluadores.

109.

Tampoco hay pruebas claras de que el grupo de dirección tuviera suficientemente en cuenta la falta de datos de que disponían los evaluadores nacionales, ni el impacto que ello tendría en la calidad de las evaluaciones finales o los problemas relativos a los retrasos. El grupo de dirección no tomó medidas correctoras para resolver esta cuestión.

110.

Al igual que en la evaluación del objetivo no 1, la supervisión por parte de la Comisión del proceso de evaluación necesita mejorar (véase el apartado 75).

111.

En la mayoría de los Estados miembros, las recomendaciones derivadas de la evaluación ex post 1994-1999 se han referido principalmente a los sistemas y procedimientos de gestión, abordan una variedad de cuestiones y en general están bien adaptadas a las situaciones específicas.

112.

Un menor número de recomendaciones para el período 2000-2006 se ha referido al contenido de las políticas cofinanciadas. En estos casos, las recomendaciones parecen ser pertinentes (95).

113.

El informe de síntesis presentó una lista de puntos fuertes y débiles para cada objetivo (96) y unas recomendaciones principales para el período 2000-2006 y el posterior a 2006 (97). Estas son bastante generales, aunque en determinados casos parecen acertadas, como por ejemplo, en su observación de las diferencias potenciales entre la EU-15 y la EU-10 y en la respuesta de la política a las diferencias territoriales.

114.

El proceso de evaluación es de una importancia crucial en la medida en que proporciona información y juicios sobre la idoneidad, pertinencia, economía, eficiencia, eficacia e impacto de las intervenciones comunitarias. De ese modo puede servir de apoyo al proceso decisorio para establecer unas prioridades políticas y asignar recursos. No obstante, existen ciertos requisitos previos que se han de respetar para que el proceso sea satisfactorio, esto es, unos objetivos claros para las políticas y los programas, indicadores de resultados elaborados con cierta periodicidad y que sean completos, fiables y relativos a los objetivos establecidos. Además, es necesario garantizar que los recursos disponibles para llevar a cabo el proceso sean adecuados para su fin, tanto desde el punto de vista del tiempo como de las competencias técnicas.

115.

La fiscalización por el Tribunal de las evaluaciones ex post examinadas identificó una serie de deficiencias significativas en el enfoque global adoptado, así como en la calidad de las apreciaciones formuladas:

116.

Por lo que respecta a los distintos temas de las evaluaciones, pueden extraerse las siguientes conclusiones sobre la evaluación del objetivo no 1:

Por lo que se refiere a la evaluación del objetivo no 3, en parte estaba basada en datos poco fiables o incompletos, y existían desfases significativos entre los datos facilitados y los comentarios correspondientes. Además, faltaba una justificación convincente para algunas de las hipótesis planteadas, lo que ponía en duda la metodología utilizada para establecerlas.

117.

Es posible determinar el origen de muchas de las deficiencias de las evaluaciones en las circunstancias en las que se efectuaron, en particular la limitada información disponible y las estrictas limitaciones de tiempo establecidas. Estas limitaciones podrían haberse previsto y el ejercicio de evaluación debería bien haber recibido los recursos necesarios o bien haber limitado su escala a un grado más factible. Por otra parte, debe mejorar la supervisión por parte de la Comisión del proceso de evaluación.

118.

Las evaluaciones ex post, no obstante, han aportado percepciones interesantes, en particular de los sistemas de gestión subyacentes a la ejecución de los Fondos Estructurales. Sin embargo, la Comisión encontró dificultades importantes para presentar el deseado análisis en profundidad de la eficacia, la eficiencia y el impacto de los fondos, en gran parte debido a las limitaciones del enfoque adoptado y a las restricciones en la disponibilidad de los datos, que no se habían previsto adecuadamente al comienzo del ejercicio. A estos problemas se añadieron ciertas debilidades en la supervisión del proceso por la Comisión, por lo que, aunque se formularon recomendaciones útiles y dignas de consideración para futuros períodos de programación, esta no pudo aprovechar plenamente la experiencia obtenida de la programación de 1994-1999.

119.

Es necesario efectuar con cierta urgencia una revaloración del alcance, los procedimientos y el enfoque aplicados en las evaluaciones ex post, antes de que se ponga en marcha la siguiente serie de contratos para la realización de estas evaluaciones al final del actual período de programación 2000-2006.

120.

Para mejorar el proceso de evaluación, es preciso que la Comisión introduzca y aplique de manera efectiva unos procedimientos de control de calidad básicos, de modo que no vuelvan a producirse en futuras evaluaciones ex post los problemas observados en las que son objeto del presente examen. Tales procedimientos deberían garantizar:

121.

En segundo lugar, debe prestarse particular atención a la elección de técnicas adecuadas para evaluar y medir el impacto económico. Si se recurre a un enfoque de modelo macroeconómico para analizar el impacto de los Fondos Estructurales, dicho enfoque debe adaptarse para tener debida cuenta de las características de las economías objeto de examen. Esta consideración es tanto más pertinente cuanto que la evaluación deberá extenderse para abarcar los diez nuevos Estados miembros. En esta óptica, el Tribunal considera que debería efectuarse una revaloración de la idoneidad de un enfoque de modelización macroeconómica (como, por ejemplo, el basado en el modelo Hermin). La Comisión debería examinar si podría concederse una mayor importancia a los modelos que se basan en la utilización de datos específicos derivados de los proyectos. También es probable que una evaluación más profunda de determinados temas específicos pueda conducir a la identificación de las mejores prácticas y a una mayor comprensión de cuestiones concretas, como por ejemplo el impacto de la reagrupación y la importancia de los núcleos de crecimiento en el desarrollo regional con respecto al objetivo global de convergencia.

122.

En tercer lugar, es necesario insistir en que se establezcan vínculos entre las evaluaciones ex post y los estudios temáticos y asegurar que los resultados mantengan la coherencia entre sí. Si los resultados parecen ser incompatibles, este aspecto tendrá que abordarse de manera específica. En las evaluaciones objeto de examen, cuando los evaluadores establecieron estos vínculos, la calidad de la evaluación mejoró sustancialmente.

123.

En cuarto lugar, puede formularse una serie de recomendaciones para evaluaciones futuras, más en particular para las regiones del objetivo no 1:

124.

Por último, es importante reforzar la capacidad de la Comisión para supervisar el proceso de evaluación, incluyendo la aplicación de modelos macroeconométricos complejos. Una posibilidad que habría que estudiar, en este contexto, sería que las direcciones generales competentes trataran de colaborar más estrechamente con institutos de investigación y universidades especializadas en este ámbito de la evaluación. Una supervisión adecuada y oportuna de los consultores contratados resulta crucial para garantizar el cumplimiento de los objetivos y la contribución de las evaluaciones ex post a una optimización de los recursos.

125.

En conclusión, el ejercicio de evaluación ex post no debe limitarse a la recopilación y elaboración de distintas apreciaciones efectuadas a determinados intervalos de tiempo; debe preverse y gestionarse como parte integrante de un proceso global. Este constituye otro aspecto en el que podría resultar beneficiosa una colaboración más estrecha y duradera con institutos de investigación o universidades, al proporcionar un marco más eficaz en el que integrar los informes y recomendaciones específicos generados en cada fase del proceso de evaluación.