12.12.2006   

SV

Europeiska unionens officiella tidning

C 302/1

I–XI

1–9

6–9

7–9

10–14

15–80

16–66

16

17–20

21–28

29–40

41–44

45–53

54–66

67–75

67–70

71–75

76–80

81–113

82–113

82–87

88

89

90–93

94–96

97–102

103–110

111–113

114–118

119–125

Adapt

Gemenskapsinitiativ för anpassning till industriella förändringar (Adaptation of the Workforce to Industrial Change)

Dödviktseffekt

Förändring som kan iakttas bland direkta mottagare efter en offentlig stödåtgärd, eller som rapporteras av de direkta mottagarna som en följd av en offentlig stödåtgärd, och som skulle ha inträffat även utan stödåtgärden

ERUF

Europeiska regionala utvecklingsfonden

ESF

Europeiska socialfonden

Hermin-modellen

Makroekonomisk modell som används för att simulera effekten av stödåtgärder inom strukturfonderna

Inledande rapport

Rapport som innehåller metodfrågor som utvärderingsmålen, metodramen, frågeformulär och de organisationer som skall kontaktas

Mjuka resultat (Soft outcomes)

Resultat som är svåra att mäta kvantitativt

Sammanfattande rapport

GD Regionalpolitiks slutrapport (gällande mål 1) och GD Sysselsättning, socialpolitik och lika möjligheters slutrapport (gällande mål 3) om efterhandsutvärderingen av insatser som finansierats genom ERUF och ESF

Undanträngningseffekt

Effekt som uppnås i ett stödberättigat område på bekostnad av ett annat område

Övervakningskommittéer

Kommitté som skall överblicka det strategiska genomförandet av stödprogrammet

I.

Granskningen gällde kommissionens efterhandsutvärderingar av strukturfondsåtgärder inom mål 1-regioner och mål 3-regioner under programperioden 1994–1999. Beloppet för dessa stödåtgärder uppgick till över 245 miljarder euro, inklusive kompletterande investeringar från den privata och den offentliga sektorn.

II.

Efterhandsutvärderingar görs för att man vill jämföra de faktiska utgifterna med de ursprungliga målen. På så sätt kan lärdomar från en programperiod utnyttjas så att framtida strukturfondsutgifter kan effektiviseras. Efterhandsutvärderingarna utfördes av kommissionen som anlitade externa konsulter.

III.

Granskningens mål var att undersöka om kommissionen efter efterhandsutvärderingarna kunde bedöma effekterna av stödåtgärderna i relation till målen och om resultaten och rekommendationerna var till hjälp för översynen av programmen från år 2000 och senare.

IV.

Utgångspunkten för granskningen var de avslutande sammanfattande rapporterna för varje fond. I dessa rapporter sammanfattas den allmänna bedömningen av strukturfondernas effekt och ringas in vilka element man skall ta hänsyn till när man fattar beslut om efterföljande planeringsperioder. Nästa steg i granskningen var att bedöma i vilken utsträckning de identifierade bristerna kan spåras tillbaka till svagheter i uppdragsbeskrivningen eller till problem vid genomförandet av utvärderingsprocessen.

V.

Utvärderingen av strukturfondsutgifter är en process med inbyggd komplexitet. Vid granskningen konstaterades dock brister i utvärderingsprocessen som inte kan tillskrivas endast sådana inneboende begränsningar.

VI.

Revisionsrätten konstaterade följande brister i utvärderingen av strukturfondsåtgärder i mål 1-regioner:

VII.

Revisionsrätten konstaterade att utvärderingen av ESF-åtgärderna inom mål 1 och mål 3

VIII.

Kommissionen verkar inte ha förutsett några av svårigheterna med utvärderingarna i sina uppdragsbeskrivningar för utvärderingarna. Kommissionen åtgärdade inte helt och hållet bristerna i efterhandsutvärderingen. Revisionsrättens iakttagelser visar att det fanns brister i tillsynen över utvärderingarna.

IX.

Å andra sidan gav utvärderingarna användbara insikter när det gäller förvaltningssystemen för stödåtgärder inom ERUF och ESF.

X.

Visserligen gavs en del användbara rekommendationer inför kommande programperioder, men kommissionen kunde inte dra full nytta av erfarenheterna från perioden 1994–1999.

XI.

Revisionsrätten ger följande rekommendationer:

1.

Sedan 1996 har kommissionen utvecklat utvärderingen av strukturfonderna inom en enda ram. Termen ”utvärdering” definieras av kommissionen som ”bedömning av åtgärder utifrån resultat, effekter och de behov som måste tillfredsställas” (1). Huvudsyftet för utvärderingsverksamheten är att stötta beslutsfattandet genom att ge information om och bedömningar av EU-stödåtgärdernas relevans, ekonomi, effektivitet, ändamålsenlighet, nytta och hållbarhet. Denna information är nödvändig för att man skall kunna förbättra befintliga, eller utforma nya, stödåtgärder och fastställa politiska prioriteringar och anslå resurser.

2.

Utvärderingar görs på flera olika nivåer och stadier i programcykeln (sex år). De viktigaste utvärderingarna är:

3.

Revisionsrättens granskning gällde de efterhandsutvärderingar som kommissionen utförde i samband med strukturfondsåtgärder i regioner som omfattas av mål 1 respektive mål 3 under programperioden 1994–1999. I denna granskning har revisionsrätten använt den definition av efterhandsutvärderingar som anges i Means-dokumenten (2), nämligen att efterhandsutvärderingen skall sammanfatta och bedöma hela programmet, särskilt dess effekter. Efterhandsutvärderingens syfte är att redogöra för utnyttjandet av resurserna och att rapportera om stödåtgärdernas ändamålsenlighet och effektivitet och om i vilken utsträckning de förväntade effekterna har uppnåtts. De fokuserar på framgångsfaktorer och misslyckandefaktorer och på resultatens och effekternas hållbarhet. Genom dem försöker man dra allmänna slutsatser som kan tillämpas på andra program och regioner (3). Det är mot denna bakgrund efterhandsutvärderingarna har bedömts.

4.

Arbetet med efterhandsutvärderingarna är ett led i en ”process” som också bygger på resultaten av förhandsbedömningen och utvärderingen efter halva tiden. Dessutom görs utvärderingar på flera olika nivåer både nationellt och tematiskt och avslutas med en sammanfattande rapport. Tillsammans utgör dessa ett viktigt element i förvaltningen av strukturfonderna och i synnerhet programplaneringen och översynen av gemenskapsstödet. Ansvaret för utvärderingsprocessen ligger hos kommissionen (i partnerskap med medlemsstaterna). Det är upp till kommissionen att bestämma vilka delar av utvärderingen som skall utföras internt och vilka som behöver kontrakteras ut. I båda fallen ligger ändå det övergripande och slutliga ansvaret hos kommissionen.

5.

Under perioden 1994–1999 uppgick det stöd som planerats inom strukturfonderna (4) till 136,4 miljarder euro för ”mål” och till 14,5 miljarder euro för ”gemenskapsinitiativ”. I bilaga 1 visas hur det förstnämnda beloppet fördelats per medlemsstat och mål och det senare per gemenskapsinitiativ. Dessa medel ökades med åtminstone ytterligare 95 miljarder euro i matchande investeringar från den privata sektorn eller den offentliga sektorn (5) så att den totala investeringen uppgick till över 245 miljarder euro.

6.

Efterhandsutvärderingarna utfördes på kommissionens vägnar och under dess ledning. Efter ett offentligt upphandlingsförfarande valdes en huvudkonsult ut för varje specificerad uppsättning mål och gemenskapsinitiativ. I de flesta fall bistods konsulten av ett team av utvärderare i de enskilda medlemsstaterna (6) vilkas roll var att utföra de nödvändiga utvärderingarna av respektive program på grundval av en gemensam metodram. Dessutom övervakades utvärderingsprocessen av en styrgrupp. Utvärderingarna resulterade i nationella rapporter som utarbetades av de nationella utvärderarna och en sammanfattande rapport som utarbetades av de inhyrda konsulterna för varje specificerad uppsättning mål. Dessa rapporter färdigställdes mellan början av 2003 och mitten av 2004.

7.

De generaldirektorat som var inblandade valde ett vittomspännande förfaringssätt som täckte en rad olika frågor. De övergripande målen för utvärderingarna var att

8.

För att dessa övergripande mål skulle uppnås fastställdes det i uppdragsbeskrivningen ett antal nyckelfrågor med avseende på följande teman: strategins lämplighet, ändamålsenlighet, effektivitet, effekt, förvaltnings- och genomförandesystem, gemenskapsstödets mervärde och lärdomar från pågående programplanering med tanke på framtida programplanering. För att strukturera arbetet fastställdes också i uppdragsbeskrivningen ett antal specificerade uppgifter, och ett visst antal tekniker och informationskällor identifierades.

9.

Uppdragsbeskrivningen för varje mål, såsom kommissionen utarbetat den, låg alltså till grund för utvärderarnas arbete. Den kompletterades av den inledande rapporten och metodguiden för mål 1 i januari 2002. För ESF-insatser kompletterades den av rapporten om metodens framskridande i december 2002 och av de utvärderingsfrågor som fanns med i varje nationell utvärderingsrapport. För detta syfte förlitade sig utvärderarna på dokumentgranskningar, enkäter, intervjuer med berörda aktörer, analyser av fallstudier och andra undersökningar på fältet som bedömdes vara nödvändiga.

10.

Granskningens övergripande mål var att undersöka om efterhandsutvärderingarna gav kommissionen tillräcklig information för att bedöma effekterna av stödåtgärderna i relation till målen och om resultaten och rekommendationerna var till hjälp för översynen av programmen för efterföljande programperioder.

11.

Granskningen inriktades på de efterhandsutvärderingar av ERUF-stödåtgärder inom mål 1 och ESF-stödåtgärder inom mål 1 och mål 3 som gjorts av Generaldirektoratet för regionalpolitik (GD Regionalpolitik) respektive av Generaldirektoratet för sysselsättning, socialpolitik och lika möjligheter (GD Sysselsättning, socialpolitik och lika möjligheter). Revisionsrätten granskade sammanfattande rapporter och ett urval nationella utvärderingar som avsåg dessa utvalda mål och instrument (7) vilka tillsammans stod för 124 miljarder euro, det vill säga 82 % av det totala planerade stödet från strukturfonderna under programperioden 1994–1999 (8).

12.

Vid granskningen ställdes tre frågor för var och en av utvärderingarna:

13.

I synnerhet gjordes vid granskningen en bedömning av rapporternas kvalitet och fullständighet när det gäller utvärderingen av politikens lämplighet, av åtgärdernas ändamålsenlighet, effektivitet och effekt samt åtgärdernas inverkan på förvaltningssystemen. Revisionsrätten bedömde också om kommissionens roll i förberedelserna, övervakningen och uppföljningen av utvärderingarna var adekvat.

14.

Den första delen av denna rapport ägnas åt efterhandsutvärderingen av ERUF-stödåtgärder i mål 1-regioner (punkterna 15–80) och den andra delen ägnas åt efterhandsutvärderingen av ESF-insatser inom mål 1 och mål 3 (punkterna 81–113).

15.

Som bakgrund till den detaljerade bedömningen av utvärderingens kvalitet ges här en kortfattad översikt över slutsatserna i kommissionens utvärdering. Dessa slutsatser sammanfattas i textruta 1 nedan.

Textruta 1GD Regionalpolitiks allmänna slutsatser av utvärderingenI den sammanfattande rapporten konstateras att strukturfonderna har haft en positiv effekt på BNP i mål 1-regioner och att deras allmänna resultat för hela EU har förbättrats. Enligt rapporten har omfattningen av de fördelaktiga effekterna i hög grad berott både på institutionell kapacitet och faktorer som strukturen och öppenheten i ekonomin, och dessa aspekter är uppenbart viktiga i synnerhet för ekonomins förmåga att möta utmaningar och tillvarata möjligheter i den ekonomiska integrationsprocessen. Det noteras dock att med tanke på ländernas och kontexternas olika karaktärer och på grund av begränsningar i de tillgängliga övervakningsuppgifterna och brist på tydligt definierade mål var det inte möjligt att sammanställa resultaten och ge en tillförlitlig helhetsbild av vad som har uppnåtts i mål 1.Som övergripande bedömning av de antagna strategiernas lämplighet dras i rapporten slutsatsen att det strategiska förfaringssätt för mål 1 som antogs 1994 skall ses som på det hela taget lämpligt för var och en av medlemsstaterna. Enligt rapporten var den viktigaste kritiken av strategierna att de inte utgjorde mycket mer än summan av sina delar. Var och en var ett tillräckligt svar på de identifierade behoven på olika områden, men det fanns endast få indikationer på hur dessa olika element bidrog till en övergripande utvecklingsstrategi.När det gäller ändamålsenlighet anges i rapporten att analysen på grund av brister i de tillgängliga uppgifterna i stor utsträckning byggde på kvalitativa bedömningar snarare än på kvantifierade jämförelser mellan resultat och mål. Som en allmän kommentar slås det fast i rapporten att många av de uppenbarligen mest ändamålsenliga insatserna har varit av ”konventionell” karaktär. Finansieringen har i hög grad medverkat till att stärka befintliga mönster i verksamheter relaterade till ekonomisk utveckling snarare än att utgöra en grund för utveckling av nya verksamheter för att uppfylla uppställda mål eller att stimulera mer innovativa förfaringssätt.I fråga om effekt används i rapporten när det gäller de flesta regioner en makromodellbaserad metod för att bedöma strukturfondernas effekt på den ekonomiska och sociala sammanhållningen. I rapporten är man medveten om att de resultat som uppkommit oundvikligen i viss grad härrör från antaganden som gjorts inom modellutformningsprocessen. I rapporten påpekas att omfattningen av deras effekt, i olika fall, speglade omfattningen och tilldelningen av resurserna inom gemenskapsstödramen och faktorer såsom ursprungliga faktortillgångar, ekonomiska strukturer, konkurrenskraft och graden av ”öppenhet” i den ekonomi det gäller. I rapporten drogs allmänna slutsatser om strukturfondernas effekt på andra externa faktorer och det påpekades att även om det i betydande utsträckning har skapats sysselsättning så var också dödviktseffekterna och undanträngningseffekterna sannolikt betydande.I den sammanfattande rapporten finns också ett antal iakttagelser som gäller förvaltning och genomförande. Den övergripande slutsatsen när det gäller dessa aspekter var att förvaltnings- och genomförandearrangemangen visserligen ofta karakteriserades av brister men att de i allmänhet var väl lämpade för syftet, och att partnerskapet medförde stora fördelar. Typiskt var att beslutsfattandestrukturer brast i att upprätta en kraftfull strategisk ledning. Man vann dock viktiga fördelar i form av ”mervärde” i vid mening genom programplaneringsmetoden och utvecklingen av kapacitet och praxis inom offentlig förvaltning.

16.

Det är viktigt att komma ihåg att det allmänna angreppssätt som valts hade vissa inneboende begränsningar, av vilka de viktigaste var tidsbegränsningar, begränsat antal kvantifierade mål och brist på detaljerade indikatorer på resultat och effekt. Dessutom var den effekt som direkt kan tillskrivas programmen och de olika åtgärderna ofta svår att isolera eftersom målregionerna ofta mottog annat stöd som kraftigt bidrog till liknande resultat. Det var också svårt att identifiera och mäta de indirekta effekterna av strukturfondsutgifter. Revisionsrätten anser dock att vissa brister i utvärderingsprocessen inte kan tillskrivas endast inneboende begränsningar utan beror på brister i utvärderingsprocessen som behöver åtgärdas, i synnerhet före efterhandsutvärderingen av programperioden 2000–2006.

17.

Den sammanfattande rapporten inleds med en kort analys av utvecklingen av BNP per capita, arbetslöshet och sysselsättningsgrad i de olika berörda regionerna (9). I rapporten dras slutsatsen att ökade nivåer av BNP per capita i allmänhet inte har varit resultatet av ökad sysselsättningsgrad till följd av skapande av arbetstillfällen (10). En sådan slutsats skulle vara potentiellt viktig för beslutsfattare eftersom den antyder att förbättringen av arbetskraftstalet (11) inte i någon väsentlig utsträckning har bidragit till det huvudsakliga målet för sammanhållningspolitiken som är att överbrygga BNP-gapet, en slutsats som har stor relevans för strukturfonderna.

18.

Av den information som lades fram i den sammanfattande rapporten är det svårt att bedöma giltigheten i det ovan nämnda uttalandet. I många regioner ökade BNP per capita, liksom arbetskraftstalet. Det finns dock några regioner där antingen BNP per capita eller arbetskraftstalet minskade eller ökade endast marginellt. Revisionsrätten har försökt bedöma det påstående som nämns i punkt 17 ovan genom att tillämpa statistiska metoder på de uppgifter som presenterades i den sammanfattande rapporten. De tekniska detaljerna i denna analys redovisas i bilaga II och de viktigaste punkterna sammanfattas kortfattat nedan.

19.

De uppnådda resultaten indikerar att förändringar i sysselsättningen hade en statistiskt sett stor effekt på den reala BNP:n per capita. I synnerhet associerades en ökning i sysselsättningsgrad på en procentenhet med en ökning i BNP per capita på 0,24 procentenheter under bedömningsperioden. Detta resultat strider mot slutsatsen i den sammanfattande rapporten som nämndes ovan. Det antyder också att det verkligen skulle kunna vara möjligt att överbrygga BNP-gapet genom att förbättra arbetskraftstalet – ett resultat som är relevant ur ett politiskt perspektiv.

20.

För att vidare undersöka robustheten i det ovannämnda resultatet utförde revisionsrätten en identisk analys i 145 regioner där uppgifter fanns tillgängliga på ett konsekvent sätt (dvs. inte bara mål 1-regioner). Resultaten som också beskrivs i bilaga II visar mycket likartade resultat över hela unionen. Dessa resultat visar att information från grunduppgifter inte analyserades tillräckligt och visar på ett viktigt samband mellan ökad BNP och ökad sysselsättningsgrad vilket den sammanfattande rapporten inte lyfte fram.

21.

I det andra kapitlet i den sammanfattande rapporten undersöks hur lämpliga de antagna strategierna är i fråga om jämvikt mellan regioner, jämvikt mellan program och jämvikt mellan fonderna. Strukturfondernas planerade och faktiska programutgifter (12) analyseras per medlemsstat och per typ av fond men inte per relevant region – till skillnad från vad som görs i rapporten när det gäller BNP per capita, sysselsättningsgrad och arbetslöshetsgrad i de olika mål 1-regionerna. Detta innebär att endast en begränsad analys kan genomföras, vilket också påpekas i själva rapporten där man ger resultaten av en regressionsanalys genom vilken man försöker relatera EU-medel per capita per medlemsstat till BNP per capita (13). Därför är de resultat som ges i rapporten inte statistiskt signifikanta, och följaktligen av begränsat värde.

22.

Revisionsrätten tillämpade dock något annorlunda statistiska metoder och använde samma uppgifter som i rapporten. De tekniska detaljerna i den analysen visas i bilaga III och de viktigaste punkterna sammanfattas kortfattat nedan.

23.

Resultatet stöder den intuitiva slutsatsen att ju högre EU-medel som ges per capita, desto högre är BNP-tillväxten per capita i medlemsstaterna. Resultatet visar att med ett bredare angreppssätt kan relevanta bedömningar göras även med den onödigt begränsade databas som användes vid undersökningen av denna viktiga fråga.

24.

En central del i bedömningen i detta avsnitt av den sammanfattande rapporten bygger på en jämförelse mellan olika kategorier av planerade utgifter under 1994 och de uppskattade faktiska utgifterna under 1999. De uppgifter som läggs fram innehåller dock ett antal allvarliga fel och differenser vilket begränsar giltigheten i de slutsatser som kan dras. I synnerhet, när det gäller fem medlemsstater, är sifferuppgifterna för faktiska utgifter som visas i ”total”-kolumnen (i motsvarande tabell i den sammanfattande rapporten) inte samma som summan av de siffror som visas i de enskilda kolumnerna för EU:s respektive den offentliga och den privata sektorns utgifter (i samma tabell). Dessa differenser sammanfattas i tabell 1. Differensen i procent, som visas i den sista kolumnen i denna tabell, är signifikant och tyder på en otillräcklig kvalitetskontroll i formuleringen av rapportens innehåll och resultat.

25.

Trots dessa differenser kan man genom att omvandla dessa siffror till uppgifter per capita (14) göra användbara iakttagelser som i vissa fall skiljer sig från slutsatserna i den sammanfattande rapporten. I tabell 2 visas de faktiska utgifterna per capita i fallande ordning för varje kategori.

26.

Av tabellen framgår att genomsnittet för de totala faktiska medlen var 2 104 euro per person. EU:s strukturfonder bidrog till ungefär hälften av detta, medan tre av de fyra medlemsstater som får medel från sammanhållningsfonden mottog omkring 50 % mer än det genomsnittliga stödbeloppet på 1 033 euro per person. Av särskild vikt är den privata sektorns bidrag, särskilt som de långsiktiga effekterna på regionerna när det gäller utbudssidan betonas. Det verkar som om vissa mål 1-regioner i medlemsstaterna, till exempel Österrike, Tyskland och Nederländerna, har varit särskilt framgångsrika när det gäller att kombinera privata investeringar med strukturfonderna, och även har legat över det genomsnittliga bidraget från strukturfonderna, i Österrikes och Tysklands fall i väsentlig grad.

27.

De faktorer som bidrar till en ökad medverkan från den privata sektorn utforskas dock inte i rapporten. Var det till exempel ett resultat av de utvalda projektens natur, den tillgängliga personalens kvalifikationer eller av att den privata sektorn i själva verket får ett annat sorts stöd från fonderna? Enligt revisionsrätten borde dessa aspekter ha undersökts vidare.

28.

Bedömningen av lämplighet grundades sällan på någon formaliserad metod (17) och de metoder som de nationella utvärderarna använde var ganska olika och i allmänhet deskriptiva. Det var sällan ett uttalat syfte med efterhandsutvärderingen att undersöka frågan om lämplighet när det gäller i vilken grad strukturfondsåtgärderna åtgärdar ”marknadsmisslyckanden”. Strategiförändringarna under programperioden har inte heller granskats grundligt i fråga om lämplighet.

29.

I vissa kapitel i de nationella utvärderingarna och i kapitel 3 i den sammanfattande rapporten analyseras strukturfondernas ändamålsenlighet, utifrån i vilken utsträckning de förväntade effekterna och målen hade uppnåtts. Fem teman utforskas: transport, små och medelstora företag, forskning och utveckling, utbildning och landsbygdsutveckling. Två sektorsövergripande teman granskas också: miljö och lika möjligheter.

30.

Analysen grundas på ett stickprov omfattande 70 % av värdet på mål 1-programmen. Stor vikt lades dock vid kvalitativa bedömningar, till exempel bedömning av gemenskapsstödets mervärde genom ”ja” eller ”nej”-frågor. Sådana bedömningar och åsikter klassificeras ofta för allmänt och går inte alltid att verifiera på ett objektivt sätt. Det gjordes inget försök att fastställa konkretare mål genom att identifiera kriterier som kunde ha varit användbara för detta syfte och inga ytterligare uppgifter samlades in för mikroekonomisk analys. Viktiga aspekter för en fullständigare bedömning av ändamålsenlighet, till exempel dödvikts- och undanträngningseffekter, togs ofta inte i beaktande och när dessa aspekter togs upp analyserades de inte tillräckligt i detalj.

31.

Trots att det finns giltiga och användbara iakttagelser i flera avsnitt anser revisionsrätten att detta mycket viktiga kapitel (18) i den sammanfattande rapporten generellt sett inte är tillräckligt robust, eftersom uppgifter saknas, slutsatserna ofta är bristfälliga och det antingen görs en otillräcklig bedömning av resultaten av andra tematiska studier som beställts av GD Regionalpolitik för strukturfonderna för programperioden 1994–1999 eller ingen bedömning alls.

32.

I tabellerna över hur många kilometer vägsträckor som länderna faktiskt har förbättrat eller har som målsättning att förbättra i avsnittet om transport i efterhandsutvärderingen saknas omkring hälften av informationen om målsättningen eller så är den ofullständig, vilket gör det svårt att dra en tillförlitlig slutsats om vad som uppnåtts i förhållande till målen. Ändå ger den tematiska utvärderingen (19) av strukturfondernas effekt på transportinfrastruktur under samma programperiod, som ofta citeras i rapporten, en komplettare och striktare bedömning av resultaten per medlemsstat.

33.

Av särskild vikt för efterhandsutvärderingen är den effekt som transportprogrammen förväntas ha på sysselsättningen och som presenteras i den tematiska utvärderingsrapporten om transportområdet. Den totala direkta och indirekta effekten på sysselsättningen uppskattas till 2,3 miljoner personår (20). Dessutom bedöms de ekonomiska fördelar av transportprogrammen som läggs fram i rapporten vara betydande. I Irland uppges den rapporterade ekonomiska avkastningen vara 13 % medan den för Spanien uppges vara 23 % (21).

34.

Dessa två relevanta slutsatser i rapporten om den tematiska utvärderingen på transportområdet beaktas inte i den sammanfattande rapporten. Dessutom stämmer inte den uppskattade effekten på sysselsättningen som läggs fram i den tematiska utvärderingen med den som läggs fram i efterhandsutvärderingen. Enligt de beräkningar som revisionsrätten har gjort utifrån uppgifterna i efterhandsutvärderingen är strukturfondernas totala effekt på sysselsättningen under perioden 1994–1999 (22) (med användning av Hermin-modellen och bedömningen av de andra regionerna) 1,62 miljoner arbetstillfällen, vilket inte stämmer överens med uppskattningen på 2,3 miljoner arbetstillfällen i den tematiska rapporten, särskilt som transport endast står för omkring 20 % av alla strukturfondsutgifter.

35.

Däremot används resultaten av den tematiska utvärderingen av strukturfondernas effekt på små och medelstora företag i den sammanfattande rapporten där det står att den tematiska utvärderingen av strukturfondernas effekt på små och medelstora företag rekommenderar en övergång från stöd i form av bidrag till finansiell ingenjörskonst, till exempel startkapitalfonder eller riskkapitalfonder, lån, räntesubventioner i framtiden, med argumentet att dessa metoder är mer hållbara på lång sikt (23). Detta är en viktig slutsats i den tematiska studien som man gör rätt i att ta fasta på i efterhandsutvärderingen. I rapporten utvecklas dock inte denna fråga ytterligare trots den stora betydelse den kan ha för framtida program (24).

36.

I den sammanfattande rapporten citeras den tematiska utvärderingen om strukturfondernas effekt på små och medelstora företag där det står att om gemenskapsstöd inte hade betalats ut hade 70 % av investeringsprojekten antingen inte ägt rum alls eller utförts i mindre skala eller skjutits upp. I den tematiska utvärderingen görs vidare uppskattningen att detta stöd bidrog till att över 300 000 nya arbetstillfällen skapades, även efter det att man har tagit hänsyn till ”dödvikts-” och substitutionseffekter. Efterhandsutvärderingen av mål 1 kan inte reproducera dessa sifferuppgifter på grund av att det saknas jämförbara och stabila uppgifter som en sådan uppskattning skulle kunna grundas på (25). Med tanke på de olika resultatens betydelse och på att de två studierna utfördes för samma uppdragsgivare, behandlade samma ämne, beaktade samma period och offentliggjordes endast två eller tre år efter varandra hade en mer heltäckande undersökning av skillnaderna mellan dem varit berättigad.

37.

Det finns faktiskt ett avsnitt i den sammanfattande rapporten med en ”övergripande analys” som innehåller en uppskattning av antalet arbetstillfällen som skapats i små och medelstora företag till följd av strukturfonderna. Där står att tillgängliga bevis tyder på att mål 1 har bidragit till att skapa omkring 800 000 arbetstillfällen. Detta gäller bruttoarbetstillfällen och tar inte hänsyn till substitutions-, dödvikts- eller multiplikatoreffekter. Den övergripande ändamålsenligheten i fråga om nettoeffekt kan inte fastställas (26). Denna slutsats ges inte tillräcklig uppmärksamhet, särskilt med tanke på de uppskattningar som gjordes i den tematiska studien om små och medelstora företag. Dessutom finns det inga uppgifter om Spanien i den tabell i efterhandsutvärderingen som visar antalet skapade arbetstillfällen per medlemsstat, så uppskattningarna som ges är tydligt ofullständiga (27). Denna aspekt hade förtjänat att granskas mer ingående i efterhandsutvärderingen.

38.

Bland de ”övriga frågor” som den sammanfattande rapporten behandlar i avsnittet om ändamålsenlighet, finns en användbar om än kort sammanfattning av olika relevanta frågor under ett antal rubriker. En inneboende begränsning är bristande jämförbara uppgifter vilket har tvingat fram en kvalitativ bedömning istället för en detaljerad projektbaserad bedömning (28). Några av dessa kvalitativa bedömningar kunde ha knutits bättre till andra tematiska studier som gjorts, till exempel den tematiska studien om forskning och teknisk utveckling. I uppdragsbeskrivningen fastställs att en dokumentgranskning med bred inriktning kommer att utföras i syfte att identifiera nyckelfrågor i genomförandet av strukturfonderna (29). Det finns dock brister i det sätt varpå sådana konsekvenser rapporteras och knyts till senare iakttagelser. I de få fall där sådana uppgifter integreras med utvärderingen är fördelarna för kvaliteten på rapporten uppenbara.

39.

Till exempel rapporteras i efterhandsutvärderingen att det i den tematiska utvärderingen av forskning och teknisk utveckling står att verksamheterna bör inriktas på att utveckla regionspecifika innovationsstrategier i syfte att utforska befintlig kapacitet inom forskning och teknisk utveckling snarare än på att avhjälpa vad som bedöms vara ”teknikbrister”. I efterhandsutvärderingen rapporteras att detta skedde i ett antal fall och att resultaten var mycket bättre när man fokuserade på lokal förmåga (30). Detta exempel lyfter tydligt fram det viktiga i att bygga på vad andra rapporter och studier har visat, vilket betonas i de kriterier som utvecklades inom Means-programmet och uppdateringen av detta program och som ingick som en del i uppdragsbeskrivningen för detta utvärderingsarbete (31).

40.

De nationella utvärderingarna grundades sällan på en formaliserad eller kvantitativ analys av effekter. Dessutom använde de nationella utvärderarna sällan resultaten av kvantitativa analyser som utförts av andra.

41.

Under denna rubrik i den sammanfattande rapporten granskas effektiviteten i genomförandet av stora projekt som stöddes i mål 1-regioner. Analysen grundades på ett geografiskt och tematiskt representativt urval av omkring 60 stora projekt (32). Effektivitet skall tolkas som de effekter som uppnås till rimlig kostnad. Det huvudsakliga målet är att upprätta enhetskostnader, det vill säga kostnad per uppnådd output. Analysen bör även gälla kvaliteten på de slutliga mottagarnas förvaltning av stora projekt. På EU-nivå bör enhetskostnader analyseras i alla mål 1-regioner. Väsentliga skillnader i enhetskostnader över regioner bör förklaras där så är möjligt och en rad lämpliga kostnader bör fastställas, vilka kan användas som riktmärken i framtiden (33). Dessa mål är relevanta och är avgörande för en effektiv förvaltning över hela EU.

42.

Dessa mål uppnåddes dock i stor utsträckning inte av efterhandsutvärderingen. Detta medges i den sammanfattande rapporten med förklaringen att projektledarna fann det i princip omöjligt att avgöra vilka de enskilda ingående delarna i projektet var och därmed inte kunde beräkna kostnader per enhet (34). Ett sådant vagt uttalande låter förstå att kunskapen om större projekt finansierade av strukturfonderna är så liten att detta mål i uppdragsbeskrivningen inte kan uppnås. Det borde åtminstone ha varit möjligt att komma fram till en jämförbar kostnad för vanlig output, till exempel kostnaden per kvadratmeter i en fabrik som skall byggas, eller per kilometer väg som byggts.

43.

Vissa delresultat presenteras i de tre tabeller som handlar om vägbyggen i medlemsstater, miljöprojekt i Spanien och kostnader per skapat arbetstillfälle i industriprojekt (35). Dessa resultat utvärderas och analyseras dock endast i liten utsträckning, så att de till exempel kan beaktas vid beräkningen av arbetskraftskostnader och särskilda geografiska karakteristika när det gäller till exempel byggande av en väg.

44.

I den sammanfattande rapporten dras bestämda slutsatser om tidsplaneringen av projekten och respekterandet av budgetgränserna. För det första konstateras att endast en tredjedel av de 60 granskade projekten hade avslutats inom den ursprungligen planerade tidsramen och att mer än en tredjedel var ett år försenade. För det andra överskred omkring två tredjedelar av de granskade projekten budgeten och 20 % av dem kostade mer än 30 % mer än vad som ursprungligen var planerat. Analysen begränsas dock till ett fåtal allmänna iakttagelser och ger endast liten eller ingen bedömning av kvaliteten på de slutliga mottagarnas förvaltning så som krävs i uppdragsbeskrivningen (36). Vidare utvärderades inte den relativa effektiviteten i de offentlig-privata partnerskapen och i de upphandlingsförfaranden som användes.

45.

I den sammanfattande rapporten hävdas att det främsta målet med strukturfonderna är att påverka ekonomins långsiktiga utbudspotential (37). Dessa utbudseffekter fungerar genom ett antal kanaler som är utformade för att: a) öka investeringarna för att förbättra den fysiska infrastrukturen och därmed bidra till den privata sektorns produktiva verksamhet, b) stärka humankapitalet genom investeringar i fortbildning, för att bidra till privata sektorns produktiva verksamhet, och c) kanalisera offentligt finansieringsstöd till den privata sektorn för att stimulera investeringar och därmed öka faktorproduktiviteten och minska sektorkostnaderna för produktion och kapital (38).

46.

I rapporten går man vidare till att diskutera vikten av vad som kallas positiva externa effekter – villkor där privata firmor får använda ytterligare produktionsfaktorer utan någon kostnad för dem själva, och därigenom förbättrar ekonomins konkurrenskraft med avseende på produktivitet och kostnader. Dessa iakttagelser är relevanta för en efterhandsutvärdering. Den privata sektorns medfinansiering ingick dock inte i analysen på grund av osäkerheten kring dess ”drivkrafter” (39). Detta begränsade angreppssätt leder till en allvarlig undervärdering av effekten av vissa utgifter inom strukturfonderna genom att en av de stora långsiktiga utbudseffekterna utesluts. Ett tydligt bevis på detta är exemplet med ett utvecklingsföretag som presenteras i den sammanfattande rapporten (40) vars medfinansierade utgifter har attraherat stora extra investeringar från den privata sektorn. Istället för att fokusera på den mer direkt urskiljbara effekten av strukturfondsutgifterna på den privata sektorns investeringar inriktas utvärderingen på att försöka bedöma de så kallade externa effekterna, med ganska begränsade uppskattningsmetoder som ett resultat av bristen på studier som ger elasticitetsmått vilka är relevanta för de regioner som beaktas.

47.

För att bedöma effekten av strukturfonderna när det gäller ekonomisk och social sammanhållning tillämpades ett förfarande baserat på en makroekonomisk modell, Hermin-modellen, på fyra medlemsstater (Grekland, Irland, Portugal och Spanien) (41) samt på regionerna i de nya tyska delstaterna och Nordirland (42). Avsikten med detta förfaringssätt var att mäta mål 1-programmens inverkan i fråga om effekterna på BNP och sysselsättning.

48.

Ett alternativt bedömningsscenario skulle vara att använda mikroekonomiska uppgifter från projekt för att få fram den totala eller aggregerade effekten av strukturfonderna i en region eller ett land. Trots kravet på att standardiserade uppgifter skall användas i alla mål 1-regioner har det visat sig svårt att samla in mikroekonomiska uppgifter. Detta resulterar i att man försöker mäta effekt enbart utifrån makroekonometriska modeller, vilket innebär många begränsningar och antaganden vilka, av de anledningar som beskrivs nedan, kan begränsa bedömningen väsentligt, och därmed begränsa de politiska konsekvenserna.

49.

De största problemen som konstaterades med den särskilda tillämpningen av den makroekonomiska modellen Hermin som användes i den efterhandsutvärdering som granskas är följande:

50.

Hermin-modellen, så som den har tillämpats, verkar alltså inte lämpad för uppgiften att uppskatta effekterna av strukturfondsåtgärder i mål 1-regioner.

51.

Revisionsrätten analyserade resultaten av Hermin-simulationer som gäller förändringar i arbetslöshetsgrad mot en uppsättning på förhand uppställda hypoteser (46). Resultatet redovisas i bilaga IV. Arbetslöshetsgraderna i dessa resultat skiljer sig mycket åt från uppgifter i andra källor.

52.

I många fall utvärderades inte i vilken grad de mellanliggande målen uppnåddes.

53.

När det gäller det strategiska konvergensmålet är det enda som nämns i den sammanfattande rapporten att den övergripande konvergensen mellan medlemsstaterna ökar men att det sker i olika utsträckning i de olika regionerna i Europa. Huruvida konvergensen beror på strukturfonderna är en fråga som kan diskuteras (47).

54.

Systemen för förvaltning och genomförande som antogs för mål 1-programmen spelar en viktig roll när det gäller att medverka till strukturfondernas ändamålsenlighet, effektivitet och effekt. Denna aspekt har diskuterats både i uppdragsbeskrivningen och i metodguiden och tagits upp i de nationella utvärderingarna (48). De nationella utvärderingsrapporterna beskriver effekten på förvaltningssystemen men identifierar också situationer där effekterna på förvaltningssystemen kunde ha varit mer uttalade.

55.

Vikten av denna fråga konstateras också i den sammanfattande rapporten och inte mindre än 13 av 19 rekommendationer i avsnittet med rekommendationer (49) gäller förvaltningsfrågor.

56.

Den sammanfattande rapporten innehåller ett antal relevanta uppgifter om förvaltningen av EU:s strukturfonder och refererar till flera slutsatser i den tematiska utvärderingen av partnerskapsprincipen som utfördes 1999. Detta ger kontinuitet i bedömningen, och vissa bevis som stöder eller bestrider iakttagelser som gjorts i den tidigare studien. På ett antal områden skiljer sig dock slutsatserna i den sammanfattande rapporten från dem i den tematiska utvärderingen.

57.

I den sammanfattande rapporten ges en sammanfattning av det genomsnittliga antalet ledamöter i övervakningskommittéer per medlemsstat. Det totala genomsnittet var 44 men antalet varierar betydligt från lägst 15 till högst 85. I rapporten dras slutsatsen att det stora antalet ledamöter ansågs vara en allvarlig begränsning för övervakningskommittéernas effektivitet, och att detta var gemensamt för alla medlemsstater (50). I den tematiska studien däremot, drogs slutsatsen att det inte fanns något bevis för att man hade tappat i effektivitet genom att öka antalet ledamöter. Med tanke på de stora skillnaderna i slutsatserna i de olika rapporterna på denna punkt borde denna fråga ha analyserats mer ingående i den sammanfattande rapporten och mer konkreta rekommendationer borde ha utfärdats.

58.

Ett annat område där man gjorde en koppling till den tematiska utvärderingen gäller förvaltningen av olika fonder. Båda utvärderingarna drog slutsatsen att fonderna fungerade enligt olika principer och med olika finansiella krav och att detta förhindrade synergin mellan fonderna. Denna viktiga iakttagelse är en upprepning av de synpunkter som revisionsrätten redan har uttryckt (51) och understryker behovet av att sträva efter större synergi mellan fonderna.

59.

Bedömningen av ändamålsenligheten i de övergripande förvaltningssystemen uppvisar också några brister. I den sammanfattande rapporten fastställs att förvaltningssystemen ansågs vara adekvata i de nationella utvärderingarna i endast knappt hälften av de berörda medlemsstaterna. Detta är en viktig iakttagelse, och en detaljerad bedömning av både framgångsrika fall och de ofullständigheter som konstaterades kunde ha förväntats. Vissa av de frågor som väcks utvecklas, men det finns en allmän brist på klarhet i rapporten om vad som faktiskt konstaterades.

60.

I den tematiska utvärderingen av partnerskapsprincipen när det gäller strukturfonderna (1999) konstaterades att denna princip medförde ett antal fördelar för genomförandet av strukturfonderna (52). I den sammanfattande rapporten slås fast att dessa fördelar i stora drag erkändes också av de medlemsstater som var inblandade i genomförandet av mål 1-programmet för 1994–1999, och sektorsövergripande partnerskap välkomnades som ett mervärde med EU:s programplanering (53). Detta är ett relevant resultat och visserligen lyfter rapporten fram flera fall, bland annat korta kommentarer om negativa erfarenheter eller problem man har stött på, men diskussionen kunde ha varit mer inriktad på att peka på förbättringar som skulle kunna göras, utifrån de erfarenheter som nämnts, för att partnerskapsprincipen skall bli mer ändamålsenlig.

61.

Ansöknings- och urvalsprocessen för projekten har utpekats som en av de två processer som oftast sägs orsaka administrativa problem. Ett flertal exempel ges, vilka tyder på en brist på klarhet i förfarandena och ett brådskande behov av att kommissionen utfärdar ett riktmärke för bästa praxis. I en tabell visas tidsåtgången för projekturvalsprocessen per land, men inga uppgifter ges för tre medlemsstater. Tidsåtgången för processen för de övriga medlemsstaterna varierar från två till nio månader med ett genomsnitt på fem månader. De bevis som tillhandahålls visar på att det ännu finns förbättringar att göra för att rationalisera ansökningsprocessen. Mot denna bakgrund har ingen djupgående analys gjorts när det gäller de respektive fördelarna och/eller ändamålsenligheten i valet mellan konkurrenssystemet och kösystemet.

62.

Man bör också ta övervaknings- och kontrollprocessen under noga övervägande. Det hävdas i den sammanfattande rapporten att systemen för finansiell kontroll verkar ha fungerat relativt väl inom medlemsstaterna under mål 1 under 1994–1999 även om några justeringar behövde göras för att anpassa systemet till de nya budgetbestämmelserna 1997. I de flesta medlemsstater upplevdes systemen för finansiell kontroll vara väl utformade för syftet och fungerade relativt effektivt. Den finansiella kontrollen verkar i allmänhet ha varit tillförlitlig och ha respekterat 5-procentsregeln (54). Denna iakttagelse stämmer inte överens med flera rapporter från revisionsrätten (55) där det konstateras att strukturfondsprogrammet 1994–1999 hade väsentliga brister i den finansiella kontrollen.

63.

Den andra beståndsdelen i övervakningsprocessen som ger upphov till administrativa problem gäller de icke-finansiella övervaknings- och utvärderingssystemen. Övervakningen får kraftig kritik. I den sammanfattande rapporten dras slutsatsen att övervakningen var mycket bristfällig trots den vikt som hade lagts vid att utveckla dess roll sedan den första programperioden. De tillgängliga uppgifterna är splittrade, osammanhängande, överdrivet fokuserade på fysisk output och ofta av tveksam tillförlitlighet (56). Det slås också fast att det i alla medlemsstaterna fanns en brist på kvantifiering av de mål som fastställdes vid programmets inledande (57). Av de tio medlemsstaterna i förteckningen klassificeras sju som att de har en bristande nivå av kvantifiering, en som varierande och två som tillräckliga men endast vid programmets inledande. Korta sammanfattningar ges för varje medlemsstat. Inga ytterligare insikter förmedlas dock.

64.

Det fastställs också att de datasystem som inrättats för övervakningen av programmet 1994–1999 ofta var kritiserade på grund av den bristande integreringen mellan program och mellan fonder. Detta inverkade negativt på förvaltningsmyndigheternas möjlighet att övervaka framstegen inom programmen, och innebar också ett problem för senare utvärderingar (58). Med dessa resultat måste man också betvivla giltigheten i rapportens tidigare slutsats om att den finansiella förvaltningen av programmet utfördes väl, när informationen om övervakningen, som är en så viktig del i förvaltningsprocessen, bedömdes vara splittrad, osammanhängande och av tvivelaktig tillförlitlighet (56).

65.

Den sammanfattande rapporten ger också några kortfattade kommentarer om så kallade ”interna utvärderingar” (59). Man konstaterar att dessa interna utvärderingar utfördes av ministerier eller regionala myndigheter med hjälp av universitet och externa organ. Den utsträckning i vilken utvärderingar utfördes kan kanske verka förvånande med tanke på bristerna i övervakningsysstemen. Detta är kanske en spegling av det som man uppfattade vara ett krav på att utföra utvärderingar, även om resultaten ofta gav näring åt programförvaltningen (60). Med tanke på detta uttalande kan det tyckas att man borde ha fokuserat mer på dessa interna utvärderingar och dragit nytta av de resultat som uppnåtts av respektive ministerier eller regionala myndigheter. Tvärtom ger den sammanfattande rapporten endast några mycket allmänna iakttagelser med begränsad relevans för den övergripande efterhandsutvärderingen.

66.

När det gäller programperioden 2000–2006 görs iakttagelsen i den sammanfattande rapporten att försök har gjorts att ta itu med det övervakningsproblem som man upplevde under perioden 1994–1999 (61).

67.

I ljuset av de olika problem som konstaterats vid analysen av den sammanfattande rapporten är det nödvändigt att fokusera särskilt på den ursprungliga uppdragsbeskrivningen. Den hade, liksom den inledande rapporten och metodguiden, vissa brister. Det gäller i synnerhet följande:

68.

Dessutom gavs inte tillräcklig prioritet i uppdragsbeskrivningen åt stärkandet av ekonomisk och social sammanhållning i EU och konvergensen mellan de mindre utvecklade medlemsstaterna trots att detta är två av de viktigaste målen för strukturåtgärderna. I den inledande rapporten diskuterades några frågor om utvecklingsmodeller som använts, de begränsningar för tillväxt som behöver åtgärdas och de kanaler genom vilka en effekt på den regionala ekonomin kan förväntas (68). Efterhandsutvärderingen borde idealiskt sett ha innehållit empiriska studier om konvergensen mellan regioner och minskningen av skillnader som ett resultat av faktorer som investeringar i infrastruktur, utveckling inom utbildningssystemet och inom forskning och teknisk utveckling.

69.

Dessutom skulle det som ett utvärderingsmål ha varit lämpligt att välja ut och analysera särskilda fallstudier som är riktmärken för regional utvecklingspolitik, till exempel på området klustring och tillväxtcentrum.

70.

När utvärderingen inleddes hanterade man frågan om strategins lämplighet genom en förteckning över ärenden och frågor. De riktlinjer för utvärderingen som fastställdes i uppdragsbeskrivningen (69) och metodguiden var dock inte tillräckligt exakta eller konkreta.

71.

I det (generella) kontraktet mellan kommissionen och konsulterna som valts ut för att utföra utvärderingen fastställdes att tekniskt stöd vid utvärderingen skulle ges under ansvar och övervakning av kommissionens tjänstemän. Kvaliteten på utvärderingen skulle bedömas av kommissionen på grundval av de kriterier som utvecklats inom Means-programmet.

72.

Styrgruppen, som leddes av GD Regionalpolitik och i vilken ingick företrädare för andra generaldirektorat, var delaktig i utarbetandet av uppdragsbeskrivningen, godkännandet av metod och detaljerad arbetsplan (i den inledande rapporten) och granskningen av de nationella rapporterna och den sammanfattande rapporten. En panel bestående av fyra experter utsågs för att bistå och deras viktigaste mål var att se till att det gjordes högkvalitativa utvärderingar. Deras inblandning kom dock för sent för att utvärderingens kvalitet skulle kunna förbättras i någon betydande utsträckning.

73.

Den tidsplan som man kommit överens om i kontrakten följdes inte. Inlämnandet av de olika rapporterna försenades, vilket ledde till att den slutliga sammanfattande rapporten och de nationella rapporterna inte lämnades in till kommissionen inom den planerade tolvmånadersperioden, dvs. per den 12 november 2002, utan inte förrän i april 2003, och offentliggjordes i maj 2003. Det verkar som om tidsplanen var alltför snäv redan från början och inte innehöll tillräckliga tidsreserver för hanteringen av det relativt stora antal ändringar och förtydliganden i rapporterna som experterna och företrädarna i styrgruppen krävde. Detta leder till betydande konsekvenser för framtida efterhandsutvärderingar.

74.

I uppdragsbeskrivningen (67) krävdes att två specifika teman skulle granskas per medlemsstat och en förteckning över teman föreslogs. Ingen av de nationella rapporterna fokuserade dock särskilt på den här aspekten. Även om enstaka kapitel ibland innehöll statistik eller i någon mån utforskade dessa teman har de inte varit föremål för någon särskild undersökning, så som krävdes i uppdragsbeskrivningen.

75.

Den allmänna slutsatsen är att kommissionens tillsyn över utvärderingsprocessen behöver förbättras. I synnerhet, med tanke på att bristen på tillförlitliga uppgifter och resultatindikatorer och på precisa mål kunde förutses redan från början borde kommissionen ha sett till att lämpliga åtgärder vidtogs för att hantera denna allvarliga begränsning. Dessutom borde utvärderingen, med tanke på den snäva tidsramen och de inneboende begränsningarna, ha varit inriktad på de väsentliga delarna istället för på att försöka utföra en heltäckande allmän bedömning av programperioden.

76.

Med tanke på de problem som konstaterats i de föregående avsnitten i denna rapport kunde efterhandsutvärderingsprocessen endast i begränsad utsträckning frambringa rekommendationer som var värda att tas i beaktande. Processen frambringade få rekommendationer om programinnehåll, men den ledde till ett antal relevanta och förnuftiga förslag om hur man kan förbättra förvaltningen av strukturfonderna och deras genomförande (70).

77.

Enligt rapportens rekommendationer bör övervakningskommittéerna arbeta mer med strategiska frågor än med frågor som gäller finansiell förvaltning (71). Övervakningskommittéerna bör dock ha möjlighet att fylla båda dessa funktioner, i enlighet med vad som krävs i förordningarna.

78.

Utvärderingarna har lett till rekommendationer för programperioden 2000–2006 som främst gäller förvaltningssystem. En mängd olika teman berörs och rekommendationerna är i allmänhet väl ämnade för den specifika situationen i det berörda landet.

79.

Den viktigaste lärdom som kan dras när det gäller programmen 2000–2006 utifrån efterhandsutvärderingen i den föregående perioden gäller genomförande, i synnerhet mot bakgrund av de fallstudier som utfördes för att utvärdera strukturfondsinsatsernas ändamålsenlighet och effektivitet.

80.

När det gäller tiden efter 2006 är de rekommendationer som föreslås i den sammanfattande rapporten ganska begränsade och av allmän karaktär. De är dock fortfarande aktuella och därmed användbara. Till exempel fastställs att oberoende pågående utvärderingar kan användas på ett bättre sätt, vilket kan ge ett objektivt externt tillskott (72). Eftersom detta är en klok rekommendation hade det varit bra om den hade antagits innan man inledde den efterhandsutvärdering som revisionsrätten har granskat.

81.

Tillsammans med utvärderingen av mål 1-regioner, som utfördes under ledning av Generaldirektoratet för regionalpolitik, utfördes en annan utvärdering under ledning av Generaldirektoratet för sysselsättning, socialpolitik och lika möjligheter som omfattade insatser genom Europeiska socialfonden (ESF) inom mål 1, 3 och 4, samt gemenskapsinitiativen Emploi och Adapt. Uppdragsbeskrivningen för den senare efterhandsutvärderingen föregrep användandet av resultaten från utvärderingen av mål 1-regionerna. Trots de organisatoriska arrangemangen som skulle underlätta en effektiv samordning mellan de två utvärderingarna finns det inte mycket som tyder på att detta skedde i praktiken.

Textruta 2GD Sysselsättning, socialpolitik och lika möjligheters allmänna slutsatser av utvärderingenUtvärderingens syfte var att bedöma effekten av ESF-insatser i medlemsstaterna för enskilda människor och på systemnivå. Utvärderingen försökte också analysera gemenskapsinsatsernas effekt och effektivitet med avseende på specifika strukturella problem och bedöma det mervärde gemenskapsstödet har tillfört. I den metod som antogs för att uppnå dessa mål ombads utvärderarna bland annat att ange om de fall som de skulle bedöma gav stöd för eller motsade ett antal hypoteser.Rapporten pekade på ett antal starka sidor som kan sammanfattas enligt följande: stor del av ESF-medlen var riktade mot de långtidsarbetslösa, vilket bedömdes som lämpligt med tanke på att denna situation var bestående. Stödmottagarnas förbättrade ställning på arbetsmarknaden stod i rimlig proportion till de tilldelade resurserna. Arbetsförmedlingstjänsterna förbättrades avsevärt och utbudet av utbildning och fortbildning ökade i flera länder. De medel som användes gjorde det möjligt att stärka vissa politiska prioriteringar såsom lika möjligheter, anpassning av arbetskraften och särskilda insatser för personer med nedsatt funktion. Genom ESF märktes en ökad inblandning av arbetsmarknadens parter och regionala myndigheter. Medlen bidrog till förbättrad kapacitet att förvalta och genomföra arbetsmarknadsåtgärder på alla nivåer.Rapporten pekade dock även på ett antal brister: Utnyttjandet av medlen styrdes i stor utsträckning av tillgången på resurser snarare än av politik och ägde rum parallellt med och avskilt från de politiska diskussionerna om samma område. Stödåtgärderna var i stor utsträckning inriktade på fortbildning och anslogs i huvudsak till tjänsteleverantörer vilket inte, sett enskilt, är det mest ändamålsenliga sättet att hjälpa de långtidsarbetslösa. Följaktligen är det troligt att det var en hög grad av dödviktseffekter förknippade med stödåtgärden. Avslutningsvis upplevdes de administrativa arrangemangen som komplexa och utvärderingsarrangemangen som bristfälliga och ostrukturerade.

82.

Inverkan av ESF-stödåtgärder tar ofta formen av ett bidrag eller en potentiell effekt som är abstrakt och därför inte lätt går att kvantifiera (73). Trots detta inneboende problem måste det ändå vara ett primärt mål för en utvärdering att bedöma effekten och i samband med det även frågan om ändamålsenlighet och effektivitet. Det var vad efterhandsutvärderingen skulle göra.

83.

I ett försök att analysera effekten av ESF-stödåtgärderna ger den sammanfattande rapporten uppskattningar om antalet ESF-mottagare per land och per mål (74). Som ett komplement till de nationella utvärderingsrapporterna försökte man i efterhandsutvärderingen också ge bevis för ett antal på förhand uppställda hypoteser (75), vilket återges i punkterna nedan.

84.

Ett av de mest grundläggande kraven på efterhandsutvärderingen av ESF-insatser gäller antalet mottagare av stöd från programmet över perioden 1994–1999. I rapporten finns en tabell där det uppskattade antalet stödmottagare är 52 miljoner. Anmärkningen till denna tabell innebär dock att de presenterade sifferuppgifterna måste ifrågasättas (76). Osäkerheten kring korrektheten i uppgifterna avleder uppmärksamheten från några av de användbara och relevanta iakttagelserna som är resultaten av andra delar av utvärderingen.

85.

I den sammanfattande rapporten (75) finns uppskattningar av ESF-stödåtgärdernas effekt på enskilda individer. Denna information är potentiellt viktig i ett antal avseenden, bland annat vid beräkningen av enhetskostnader för programmen och uppskattningar av hur många stödmottagare som ännu är i sysselsättning efter 12 månader. Det finns dock faktorer som allvarligt begränsar informationens användbarhet, i synnerhet bristen på förklaring till hur man har kommit fram till uppgifterna. I rapporten anges helt enkelt att de nyckeltal som har använts för att generera dessa uppskattningar har fastställts utifrån de olika granskade fallen och dokumentgranskningen (77). Ett sådant uttalande kan inte anses vara tillräckligt, och mer detaljerad information om hur man har kommit fram till de olika uppskattningarna behövs för att man bättre skall förstå dessa siffrors tillämplighet, såsom riktmärken för enhetskostnader och mått på vilken framgång programmen har haft.

86.

En andra otillfredsställande aspekt är den analys som åtföljer uppgifterna. Det som sägs i bedömningen stämmer inte överens med vad som står i den åtföljande tabellen. Till exempel står det i texten att enhetskostnaden generellt sett var lägre för de arbetslösa och unga arbetslösa, omkring 6 000 euro per arbetstagare i sysselsättning, och betydligt högre och mer varierande för dem med nedsatt arbetsförmåga och långtidsarbetslösa (74). Ändå framgår det av tabellen att enhetskostnaden för fortbildning av arbetslösa är den högsta (på 6 000 euro) och att integreringen av personer med nedsatt arbetsförmåga en av de lägsta (på 4 000 euro). Dessutom är det brukligt att ge variationsspannet när det råder vad som bedöms vara en ”stor variation” mellan och inom olika program. Analysen i detta avsnitt har begränsat värde eftersom den i alltför hög grad begränsar bedömningen till en enstaka siffra snarare än att definiera spektrum av olika relevanta värden och ge en mer uttömmande analys av de spektrum av värden som påträffats i de olika granskade exemplen.

87.

Sådan brist på överensstämmelse mellan kommentaren och sifferuppgifterna förekommer på andra ställen i kapitel 3 (se fler exempel i textruta 3).

Textruta 3Till exempel fastställs det att ESF-utgiften per capita var högst i Irland, Portugal och Grekland (länder som helt omfattas av mål 1) och i Spanien (1). Ändå står det i tabell 3.1 att ESF-utgiften per capita per år för Portugal är 2 086 euro och för Tyskland 405 euro, medan uppgifterna för Irland är 12 euro och för Grekland 17 euro. Sifferuppgifterna i tabellen stämmer helt tydligt inte överens med vad som står i texten. Än mer betydelsefullt är uttalandet om att ESF-utgifterna för utbildning som gäller nationella utgifter i alla länder var lägre än motsvarande utgifter för aktiv arbetsmarknadspolitik och att utgifterna var störst i Grekland och Portugal (2). Ändå anges i tabell 3.1 i kolumnen med de ESF-utgifter för utbildning som gäller nationella utgifter att Grekland inte får något stöd från ESF.Till exempel står det i punkt 3.2.3 (3) att de nationella utgifterna för arbetsmarknadsutbildning i procent av BNP varierade från 0,2 % i Luxemburg till 0,58 % i Sverige (4). Ändå framgår det av tabell 3.3 att utgifterna för fortbildning i Danmark är 0,94 % av BNP, nästan dubbelt så mycket som för Sverige. Ett annat exempel finns i punkt 3.2.6 (5), som handlar om utgifter för integrering av personer med nedsatt arbetsförmåga. I texten står det att ESF var synnerligen viktigt i Portugal, Spanien, Grekland och Österrike. Enligt tabell 3.6 har dock Spanien och Grekland inga ESF-utgifter för personer med nedsatt arbetsförmåga. Ytterligare ett exempel finns i punkt 3.2.7 som handlar om utgifter för utbildning. Det står att ESF-bidragen var störst i Grekland, Irland och Portugal (6). Men av tabell 3.7 framgår att Grekland inte har några ESF-utgifter för utbildning och fortbildning.Sammanfattande rapport: (1) s. 78; (2) s. 79; (3) s. 81; (4) s. 81; (5) s. 84; (6) s. 85.

88.

De utvärderare som deltog i utvärderingen ombads ange om de bedömda fallen gav stöd för eller motsade ett antal hypoteser som hade uppställts på grundval av en tidigare granskning av dokument och resultaten av den inledande fasen av utvärderingen. Enligt utvärderingen finns starka belägg för fyra hypoteser (se tabell 3  (78)). De uppgifter som läggs fram uppfyller dock inte kravet på starka belägg. Till exempel sade endast 7 av de 30 utvärderarna att det fanns starka belägg för den första hypotesen. En mer objektiv utvärdering av dessa resultat skulle ha behövts.

89.

När det gäller effekten av ESF 1994–1999 krävdes också enligt uppdragsbeskrivningen en utvärdering av i vilken utsträckning ESF-insatser stöder målet ”lika möjligheter” (79). Denna aspekt behandlas i kapitel 7 i rapporten. Det hävdas dock att en viktig iakttagelse var att könsuppdelade uppgifter inte samlades in systematiskt för alla ESF-mål och gemenskapsinitiativ i hela EU (80). Detta har kraftigt begränsat utvärderingens möjlighet att utvärdera denna fråga. Det är svårt att betrakta detta resultat som en viktig iakttagelse i rapporten eftersom denna brist borde ha avslöjats genom en förhandsanalys som skulle ha pekat på behovet av fältstudier och stickprovsundersökningar för att bekämpa denna begränsning, snarare än att endast dra slutsatsen att könsuppdelade uppgifter inte finns tillgängliga.

90.

När det gäller ESF-aktiviteternas inverkan för enskilda personer har stödet i form av ”kombinerade åtgärder” (81) inte granskats specifikt trots att en betydande procentandel ESF-medel (18 %) anslagits till dessa åtgärder. Till följd av detta är slutsatserna i den sammanfattande rapporten ganska modesta. Enligt rapporten pekar det mesta av utvärderingsarbetet på positiva resultat. Utvärderingsmetoderna fokuseras dock mest på att identifiera de programkomponenter som är mest ändamålsenliga snarare än att bedöma resultatet av kombinerade åtgärder jämfört med stöd inom en enda åtgärd (82).

91.

När det gäller effekten av den aktiva arbetsmarknadspolitiken (ALMP), särskilt i fråga om mål 1-länder, drar man i den sammanfattande rapporten några slutsatser utan att på ett tillfredsställande sätt förklara hur man kom fram till dem.

92.

När det gäller ESF:s finansiella bidrag på detta område dras i den sammanfattande rapporten (83) slutsatsen att den kombinerade tilldelningen av nationella anslag och ESF-medel inte verkar ha lett till en konvergens av utgiftsmönstren mellan länderna, och inte heller till antagandet av normer som knyter särskilda ekonomiska villkor och särskilda arbetsmarknadsvillkor till tilldelning av medel (84). Det är svårt att se hur denna slutsats kan försvaras med tanke på mängden fel i tabellerna och/eller i analysen. En annan viktig slutsats i denna del av rapporten är att dessa omständigheter antyder att det är troligt att inte alla ESF-stödåtgärder har tillfört något enligt additionalitetsprincipen. Sannolikheten för additionalitet, i den bemärkelsen att de åtgärder som medfinansierades genom ESF annars troligen inte skulle ha ägt rum, var större då ESF-resurserna var fokuserade och koncentrerade på särskilda slags stödåtgärder och då de nationella utgifterna och programmen var relativt små och mindre utvecklade jämfört med länder med liknande arbetsmarknadsvillkor. Här är det återigen svårt att se hur denna slutsats har kunnat dras utifrån det underlag som läggs fram i kapitlet, särskilt med tanke på att analysen och uppgifterna i tabellerna inte stämmer överens.

93.

Med avseende på de hypoteser som ställts upp om effekten av ESF på system uppstår ett problem liknande det som beskrivits ovan. Den här gången påstår man att det finns starka belägg för sju hypoteser (85). En analys av de framlagda uppgifterna visar dock att slutsatsen inte är motiverad.

94.

Vederbörlig hänsyn har tagits till de begränsningar utvärderarna ställdes inför, men ändå måste följande kritiska kommentarer göras i fråga om kommissionens egen bedömning av efterhandsutvärderingen där slutsatsen var en allmänt tillfredsställande bedömning.

95.

GD Sysselsättning, socialpolitik och lika möjligheters utvärdering baseras på åtta utförandekriterier och fyra möjliga kvalitetsnivåer, nämligen: utmärkt, god, godtagbar och ej godtagbar. Inget av de tillämpade kriterierna bedöms som utmärkta eller ej godtagbara. Fyra kriterier bedöms som goda, nämligen: behovsuppfyllelse, relevant omfattning, lämplig metod och tydlig rapport. De fyra övriga kriterierna som beaktas bedöms som godtagbara. Dessa kriterier gäller tillförlitliga uppgifter, välgrundad analys, trovärdiga resultat och opartiska slutsatser.

96.

Det är betecknande att GD Sysselsättning, socialpolitik och lika möjligheter bedömde de fyra sistnämnda kriterierna som mindre tillfredsställande än de första fyra. Med tanke på de problem som påträffades i fråga om uppgifternas tillförlitlighet och motsägelserna i förhållande till kommentaren om dessa uppgifter, vilket belyses i denna rapport, anser dock revisionsrätten att utvärderingsrapporten var otillfredsställande, särskilt när det gäller tillförlitliga uppgifter, välgrundad analys, trovärdiga resultat och opartiska slutsatser.

97.

Vissa relevanta kommentarer kan också ges avseende de nationella utvärderingsrapporterna när det gäller utvärderingens mål och resultat:

98.

De nationella rapporterna i urvalet lägger inte alltid fram en grundlig analys av ESF-stödåtgärdernas effekt på den nationella politiken. I allmänhet påstår de dock att ESF hade en effekt på utvecklingen av den aktiva arbetsmarknadspolitiken och i vissa fall kunde en konkret, direkt effekt konstateras. I vissa andra fall gjordes en annan bedömning, nämligen att det är svårt att visa att ESF har lett till förändringar i den aktiva arbetsmarknadspolitiken.

99.

Alla de nationella utvärderingsrapporterna och den sammanfattande rapporten beskriver på ett mer eller mindre uttömligt sätt effekterna på system när det gäller arbetsförmedling, grundutbildning och yrkesutbildning, vidareutbildning och fortbildning, auktoriseringssystem och mekanismer för att förekomma behov. Effekterna på system berörde ofta en mer specifik politisk kontext. Det var i allmänhet svårt att identifiera nettoeffekterna av ESF-insatserna (87), endast i undantagsfall var nettoeffekten ändamålsenligt avgränsad (88).

100.

När det gäller den europeiska sysselsättningsstrategin lyfte utvärderingsrapporterna fram det positiva inflytande som ESF har haft i vissa medlemsstater, till exempel Grekland, Frankrike, Italien, Portugal och Spanien. Det konstaterades dock i Tysklands fall att den ”top-down”-inriktning som förknippas med den europeiska sysselsättningsstrategin kunde stå i konflikt med ESF:s ”bottom-up”-inriktning (89). På en mer allmän nivå drar den sammanfattande rapporten slutsatsen att den europeiska sysselsättningsstrategin har gett en starkare strategisk ram inom vilken ESF-stödåtgärderna kan planeras (90).

101.

När det gäller det mervärde gemenskapsstödet har tillfört har de nationella utvärderingsrapporterna bidragit med några relevanta resultat (91), även om vissa av de specificerade frågorna inte har tagits upp i vissa nationella rapporter.

102.

De ekonomiska följderna av policyvalen har sällan undersökts i detalj. I den sammanfattande rapporten finns en beräkning av enhetskostnader för några åtgärder men den bygger på otillfredsställande uppgifter. Där kostnadsfrågor har tagits upp verkar det som om detta framhäver potentiellt viktiga resultat som behöver analyseras vidare. Till exempel när det gäller Spanien hävdas det att fördubblingen av resurser på grund av ESF, enligt vissa experter, har lett till att ett betydande belopp spenderats på ett slösaktigt sätt. De ökade medlen har använts för att utvidga insatserna och inte så mycket för att införa nya åtgärder. På liknande sätt hävdas för Italien att det har förekommit avsevärda transaktionskostnader förknippade med ESF, vilka avser genomförandet samt kostnader för partnerskapsuppbyggnad och nya förvaltningssätt (92).

103.

Följande viktiga frågor specificerades i uppdragsbeskrivningen: de viktigaste karakteristiska dragen och resultaten för programplaneringen 1994–1999, effekten av ESF i förhållande till nationell politik, och ESF:s ändamålsenlighet och effekt för enskilda människor och för system.

104.

En metodrapport sammanställdes av kommissionen och offentliggjordes ett år senare för att tillhandahålla en kritisk granskning av de metoder som antagits för bedömningen av resultat och av deras effekt på enskilda människor och system. Denna rapport var avsedd att bereda vägen för framtida utvärderingar men det kan ifrägasättas om detta mål har uppnåtts på ett ändamålsenligt sätt. Denna rapport har allvarliga brister. Den grundas inte på en tillräckligt djupgående undersökning om vilka förfaringssätt som användes vid bedömningen av nettoeffekten för enskilda människor. När det gäller utvärderingen av effekten på system föreslår den en modell för klassificeringen av ESF-utgifter och av de förväntade dithörande effekterna (kapacitet, förmåga och anpassbarhet) (93) även om vissa frågor återstår att tas upp (se s. 35 i rapporten).

105.

Inga konkreta rekommendationer när det gäller policyanalys presenterades i metodrapportens avsnitt om metoder för policy och strategisk utvärdering på ESF-området (94), utan rapporten hänvisar endast till Means. Det stod heller ingenting om hur man skall gå till väga för att välja lämpliga indikatorer på olika strategiska nivåer.

106.

Det skall påpekas att de viktigaste inslagen i vissa utvärderingsuppgifter inte alltid specificeras i uppdragsbeskrivningen. Till exempel är beskrivningen av uppgifterna ganska abstrakt i fråga om ändamålsenlighet, särskilt när det gäller de underliggande koncepten, valet av mekanismer för mätning av effekt och valet av utvärderingstekniker. Framför allt har det inte getts några konkreta indikationer i fråga om metoder för att dra allmänna slutsatser på EU-nivå om den direkta effekten på enskilda människor av resultaten av insatserna i de olika medlemsstaterna. Vid formuleringen av uppgifterna har man inte tagit vederbörlig hänsyn till eventuella motsättningar mellan kvantitativa mål och tillgängliga uppgifter. Dessutom har inga konkreta åtgärder planerats för att utvärdera effekten på enskilda människor när indikatorerna inte är konkret fastställda, eller när särskilda statistiska utvärderingar inte har utförts nyligen. De övriga metoddokumenten, sammanställda efter uppdragsbeskrivningen, innehåller inte heller de önskade förklaringarna.

107.

Ändringar i programplaneringen har inte alltid undersökts på ett tillfredsställande sätt. Till exempel togs denna fråga inte upp i studierna om Nordirland, Merseyside och Spanien. Även där ändringar i programplaneringen har konstaterats har hanteringen av dem varit långt ifrån optimal. I några fall har utvärderaren inte gjort en klar bedömning av ändringarna och deras lämplighet (95).

108.

Kommissionen utförde inte någon undersökning eller rekognoscering före utvärderingen vilket gjorde det svårare för generaldirektoratet att föregripa de problem som utvärderarna påträffade.

109.

Det finns inga tydliga bevis på att styrgruppen var tillräckligt medveten om att utvärderarna inte hade tillräcklig tillgång till uppgifter, om vilken effekt detta kunde ha på kvaliteten på de slutliga utvärderingarna eller om problemen med förseningar. Styrgruppen vidtog inga korrigerande åtgärder för att ta itu med detta.

110.

Liksom med utvärderingen av mål 1 behöver kommissionens tillsyn över utvärderingsprocessen förbättras (se punkt 75).

111.

För de flesta medlemsstater har de rekommendationer som togs fram efter efterhandsutvärderingen av perioden 1994–1999 främst handlat om förvaltningssystem och förvaltningsstrukturer. De avser flera olika frågor och är i allmänhet väl avpassade för de specifika situationerna.

112.

Färre rekommendationer för 2000–2006 har gällt innehållet i den samfinansierade politiken. Där sådana rekommendationer har gjorts verkar de vara relevanta (96).

113.

Den sammanfattande rapporten tog upp en förteckning över starka och svaga sidor för varje mål (97) och huvudsakliga rekommendationer för perioden 2000–2006 och efter 2006 (98). Dessa iakttagelser är ganska allmänna även om de verkar vara giltiga i vissa fall, till exempel när det gäller att lyfta fram potentiella skillnader mellan EU-15 och EU-10 och när det gäller det politiska svaret på skillnader mellan olika territorier.

114.

Utvärderingsprocessen är av yttersta vikt när det gäller information och bedömningar om EU-stödåtgärdernas lämplighet, relevans, ekonomi, effektivitet, ändamålsenlighet och effekt. Därmed kan utvärderingsprocessen vara till stöd för beslutsfattandeprocessen i fråga om att fastställa politiska prioriteringar och anslå resurser. För att processen skall vara lyckad måste dock vissa villkor respekteras, nämligen tydliga mål för politik och program samt resultatindikatorer som tas fram regelbundet och som är kompletta, tillförlitliga och gäller de fastställda målen. Dessutom är det nödvändigt att se till att de resurser som avsätts för att genomföra processen är tillräckliga, både i fråga om tid och teknisk kompetens.

115.

Vid revisionsrättens granskning av efterhandsutvärderingarna påträffades ett antal väsentliga brister i det övergripande arbetssätt som antagits och i kvaliteten på de bedömningar som gjorts.

116.

När det gäller utvärderingarnas olika teman kan följande slutsatser dras om utvärderingen av mål 1:

När det gäller utvärderingen av mål 3 grundades den delvis på otillförlitliga eller ofullständiga uppgifter och det fanns en betydande brist på överensstämmelse mellan de uppgifter som presenterades och kommentarerna om dem. Vidare fanns det brist på övertygande stöd för vissa av de hypoteser som förts fram, vilket kastar tvivel över de metoder som använts för att nå fram till dem.

117.

Många av bristerna i utvärderingarna kan spåras till de omständigheter under vilka de utfördes, i synnerhet begränsningen på tillgänglig information och de snäva tidsgränserna. Det borde ha varit möjligt att föregripa dessa begränsningar och antingen tilldela utvärderingsarbetet nödvändiga resurser eller begränsa storleken på arbetet till en mer genomförbar skala. Vidare behöver kommissionens tillsyn över utvärderingsprocessen förbättras.

118.

Efterhandsutvärderingarna har ändå gett några meningsfulla insikter, i synnerhet om de förvaltningsysstem som ligger till grund för genomförandet av strukturfonderna. Kommissionen hade dock stora svårigheter med att leverera den önskade djupgående analysen av fondernas ändamålsenlighet, effektivitet och effekt, till stor del beroende på begränsningar i det valda angreppssättet och begränsningar i tillgången på uppgifter. När arbetet inleddes hade man inte i tillräcklig utsträckning föutsett att insamlingen av uppgifter kunde medföra problem. Dessa problem förvärrades dessutom av vissa brister i kommissionens tillsyn över processen. Följaktligen kunde kommissionen inte dra full nytta av erfarenheterna från programplaneringen av perioden 1994–1999, även om vissa värdefulla och användbara rekommendationer gavs inför framtida programperioder.

119.

Efterhandsutvärderingarnas omfattning, förfaranden och tillvägagångssätt behöver ses över inom en snar framtid, innan nästa omgång kontrakt som skall efterhandsutvärderas upprättas i slutet av den nuvarande programperioden 2000–2006.

120.

För att förbättra utvärderingsprocessen behöver kommissionen införa bättre kvalitetskontrollförfaranden och tillämpa dem på ett ändamålsenligt sätt så att de problem som man har stött på under de granskade utvärderingarna inte upprepas vid framtida efterhandsutvärderingar. Dessa förfaranden bör garantera

121.

För det andra behöver man ägna särskild uppmärksamhet åt valet av lämpliga tekniker för bedömning och mätning av den ekonomiska effekten. Om man använder en makroekonomisk modell för att analysera effekten av strukturfonderna måste den anpassas för att ta vederbörlig hänsyn till särdragen i de granskade ekonomierna. Detta är relevant i synnerhet när utvärderingen behöver utvidgas till att omfatta de tio nya medlemsstaterna. I ljuset av detta anser revisionsrätten att det bör göras en omprövning av det lämpliga med ett arbetssätt som baseras på en makroekonomisk modell på aggreggerad nivå (till exempel Hermin-modellen). Kommissionen bör undersöka om större eftertryck kan läggas på modeller som baseras på mikroekonomiska uppgifter som hämtas från projekten. Det är också troligt att en mer djupgående utvärdering av vissa specifika teman bättre skulle kunna leda till att man fastställer bästa praxis och får ytterligare insikter i särskilda frågor som effekten av klustring, betydelsen av tillväxtcentrum för regional utveckling i förhållande till det övergripande konvergensmålet.

122.

För det tredje behöver större eftertryck läggas på att koppla samman efterhandsutvärderingar och tematiska studier, och att garantera att resultaten stämmer överens med varandra. Om resultaten visar sig vara oförenliga måste denna aspekt hanteras specifikt. I de granskade utvärderingarna var kvaliteten på bedömningen mycket bättre där utvärderarna hade utvecklat kopplingar.

123.

För det fjärde kan ett antal rekommendationer ges för framtida bedömningar av i synnerhet mål 1-regioner, nämligen följande:

124.

Slutligen är det viktigt att stärka kommissionens kapacitet att övervaka utvärderingsprocessen, inklusive tillämpning av komplexa makro-ekonometriska modeller. En möjlighet som borde beaktas i det här sammanhanget är att de olika generaldirektoraten försöker få till stånd ett närmare samarbete med forskningsinstitut och universitet som är specialiserade på detta bedömningsområde. Lämplig övervakning vid rätt tidpunkt av kontrakterade konsulter är grundläggande för att garantera att målen uppfylls och att pengarna används effektivt i sådana efterhandsutvärderingar.

125.

Som slutsats måste man vid efterhandsutvärderingarna göra mer än att sammanställa skilda bedömningar som genomförts vid olika tidsintervaller. Utvärderingsarbetet bör betraktas och förvaltas som en del i en övergripande process. Detta är en annan aspekt där ett närmare och långvarigt samarbete med forskningsinstitut eller universitet kunde vara av stor nytta för att ge en mer ändamålsenlig ram inom vilken man kan integrera de enskilda rapporter och rekommendationer som har genererats på varje stadium i utvärderingsprocessen.