Choose the experimental features you want to try

This document is an excerpt from the EUR-Lex website

Document 52014DC0029

KOMISSION KERTOMUS EUROOPAN PARLAMENTILLE, NEUVOSTOLLE, EUROOPAN TALOUS- JA SOSIAALIKOMITEALLE JA ALUEIDEN KOMITEALLE korkea-asteen koulutuksen laadunvarmistuksessa tapahtuneesta edistyksestä

/* COM/2014/029 final */

52014DC0029

KOMISSION KERTOMUS EUROOPAN PARLAMENTILLE, NEUVOSTOLLE, EUROOPAN TALOUS- JA SOSIAALIKOMITEALLE JA ALUEIDEN KOMITEALLE korkea-asteen koulutuksen laadunvarmistuksessa tapahtuneesta edistyksestä /* COM/2014/029 final */


SISÄLLYSLUETTELO

1........... JOHDANTO................................................................................................................ 3

2........... LAADUNVARMISTUKSEN KEHITYSSUUNTAUKSET VUODESTA 2009..... 4

2.1........ Miten laadunvarmistuksella on tuettu akateemista yhteisöä, opiskelijoita ja muita sidosryhmiä laatutavoitteiden saavuttamisessa?............................................................................... 4

2.2........ Miten laadunvarmistus on auttanut laitoksia laajentamaan koulutukseen pääsyä ja varmistamaan, että opiskelijat suorittavat tutkintonsa loppuun asti?........................................................... 6

2.3........ Miten laadunvarmistus on auttanut korkeakoululaitoksia tarjoamaan opiskelijoille laadukkaita ja olennaisia taitoja?.......................................................................................................................... 7

2.4........ Onko laadunvarmistuksella tuettu opintovaihtoa ja kansainvälistymistä?.................... 9

3........... PÄÄTELMÄT – EU:N TUKI KORKEA-ASTEEN KOULUTUKSEN LAADUN PARANTAMISELLE.................................................................................................................................... 11

KOMISSION KERTOMUS EUROOPAN PARLAMENTILLE, NEUVOSTOLLE, EUROOPAN TALOUS- JA SOSIAALIKOMITEALLE JA ALUEIDEN KOMITEALLE

korkea-asteen koulutuksen laadunvarmistuksessa tapahtuneesta edistyksestä

(ETA:n kannalta merkityksellinen teksti)

1.           JOHDANTO

Eurooppalaisessa korkea-asteen koulutuksessa on kohdattu merkittäviä haasteita. Euroopan komissio on äskettäin antanut joukon strategia-asiakirjoja, joissa se korostaa näitä haasteita – opiskelijamäärien merkittävää lisäämistä, koulutuksen laadun parantamista ja opetuksen ja oppimisen mukauttamista vastaamaan entistä paremmin yhteiskunnan ja työmarkkinoiden laajempiin tarpeisiin[1]; mukautumista globalisaatioon ja korkea-asteen opiskelijoiden ja laitosten määrän suureen kasvuun ympäri maailmaa, sillä ne haastavat Euroopan maailmanlaajuisen johtoaseman koulutuksen alalla[2]; sekä korkea-asteen koulutustarjonnan kehittämistä ja laajentamista hyödyntämällä uusia teknologioita, kuten verkossa avoimia massakursseja (MOOC-kursseja) ja virtuaaliopetusta tai yhdistettyä opetusta[3]. Aikuisväestön taitoja koskevasta PIAAC-kyselytutkimuksesta[4] on käynyt ilmi, että valmistuneiden taitotasot vaihtelevat valtioiden välillä. Näiden haasteiden takia on ratkaisevan tärkeää ylläpitää ja parantaa korkea-asteen koulutuksen laatua ja kehittää nykyaikaistettuja korkeakoululaitoksia, jotka tarjoavat kansalaisille korkeatasoisia taitoja ja edistävät taloudellista ja yhteiskunnallista kehitystä ja näin ollen auttavat saavuttamaan parempia työpaikkoja ja vahvempaa kasvua koskevat Eurooppa 2020 ‑strategian tavoitteet.

Korkeakoululaitokset ovat viime kädessä vastuussa niiden tarjonnan laadusta (niiden laatutavoitteiden määrittämisestä, seurannasta ja uudistamisesta niin sanotun sisäisen laadunvarmistuksen avulla). Ne saavat tukea laatustandardeja arvioivilta ulkoisilta virastoilta (laadunvarmistusvirastot), jotka arvioivat laitoksia, akkreditoivat ohjelmia tai vertailevat tuloksia muihin korkeakoululaitoksiin nähden (ns. ulkoinen laadunvarmistus). Julkisten viranomaisten velvollisuutena on kuitenkin varmistaa, että yksittäisten laitosten ja yleisesti niiden koko korkea-asteen koulutusjärjestelmien laatu on tarkoituksenmukainen. Kansallisten ja eurooppalaisten välineiden ja yhteistyön puitekehys vahvistaa luottamusta eri järjestelmien osalta. Laadunvarmistusmekanismit ovatkin olennaisia, jotta laitokset ja poliittiset päättäjät voivat toteuttaa uudistuksiaan menestyksekkäästi.

Tässä kertomuksessa kuvataan kehitystä ensimmäisen, vuonna 2009 annetun kertomuksen[5] jälkeen. Kertomus annettiin, koska Euroopan parlamentti ja neuvosto kehottivat vuonna 2006 raportoimaan laadunvarmistuksessa tapahtuneesta edistyksestä[6]. Vuoden 2009 kertomuksessa todettiin, että laadunvarmistuksesta on tehtävä aiempaa tehokkaampaa ja avoimempaa käyttäjien kannalta ja se on yhdistettävä avoimesti korkea-asteen koulutuksen laajempiin painopisteisiin. Lisäksi todettiin, että on kehitettävä rajat ylittävää yhteistyötä laadun parantamiseksi. Tämä kertomus pohjautuu vuoden 2009 kertomuksen havaintoihin. Kertomuksen laatimisessa on käytetty useita eri lähteitä. Kertomuksessa korostetaan, että laadunvarmistuksella voitaisiin nykyistä aktiivisemmin tukea järjestelmien ja laitosten tasolla toteutettavaa uudistusta, ja siinä myös ehdotetaan EU:n toimia laitosten ja jäsenvaltioiden tukemiseksi.

Usein ajatellaan, että laadunvarmistuksessa keskitytään sisällön sijaan prosessiin. Laadunvarmistuksen kaikkia mahdollisuuksia toimia tukena laitosten omien tavoitteiden saavuttamisessa ei kuitenkaan ole vielä hyödynnetty. Kunkin korkeakoululaitoksen vision ja painopisteiden mukaisesti räätälöity laadunvarmistus lisää korkeakoululaitosten monimuotoisuutta ja erikoistumisastetta ja edistää sidosryhmien entistä suurempaa osallistamista ja vastuuvelvollisuutta sidosryhmiin nähden. Laadunvarmistuksen ansiosta tuloksia voidaan järjestelmällisesti käyttää strategisen päätöksenteon tukena ja toimintaa voidaan kehittää jatkuvasti. Muutoksia todella myös tapahtuu. Laadunvarmistusvirastojen toimivaltaa on laajennettu niin, että ne arvioivat aiempaa laajempia korkea-asteen koulutuksen tavoitteita, kuten koulutukseen pääsyn laajentamista, elinikäistä oppimista, kansainvälistymistä jne.[7] Joissakin tapauksissa ne arvioivat myös tohtorintutkintoon johtavan koulutuksen[8] ja henkilöstöstrategioiden[9] laatua. Sen sijaan, että ulkoisessa laadunvarmistuksessa keskityttäisiin perinteisesti tietyn laitoksen tarjoamien yksittäisten ohjelmien akkreditointiin, laadunvarmistuksessa ollaan nyt siirtymässä koko laitoksen arviointiin. Suurimmassa osassa (69 prosenttia) laadunvarmistusjärjestelmiä keskitytään nykyisin laitosten arvioinnin ja ohjelmien akkreditoinnin yhdistelmään. Yhä harvemmassa järjestelmässä on päätetty keskittyä yksinomaan laitosten arviointiin[10]. Tämä on lupaavaa laadunvarmistuksen tulevan kehityksen kannalta: koko laitosten arvioinnin ansiosta tutkijat ja korkeakoululaitokset voivat kehittää opintosuunnitelmiaan ja varmistaa niiden laadun, eikä niiden tarvitse hankkia virallista ulkoista akkreditointia erikseen jokaiselle ohjelmalle. Näin ne voivat nopeasti mukauttaa opetustarjontaansa muuttuvien työmarkkinoiden tarpeiden ja opiskelijakannassa tapahtuvien muutosten mukaisesti.

2.           LAADUNVARMISTUKSEN KEHITYSSUUNTAUKSET VUODESTA 2009

2.1.        Miten laadunvarmistuksella on tuettu akateemista yhteisöä, opiskelijoita ja muita sidosryhmiä laatutavoitteiden saavuttamisessa?

Valtaosa korkeakoululaitoksista on määrittänyt erityisiä laadunvarmistusrakenteita ja ‑prosesseja (vuonna 2010 tehdyn kyselytutkimuksen mukaan vain viisi prosenttia ei ollut määrittänyt laatuperiaatteita)[11]. Yli 75 prosenttia korkeakoululaitoksista on laatinut julkisen strategian jatkuvaa laadun parantamista varten. Alankomaissa, Espanjassa, Italiassa, Luxemburgissa, Suomessa, Tanskassa ja Tšekissä määrä on 100 prosenttia[12]. Laitokset pyrkivät sinnikkäästi keksimään keinoja, joilla prosessisuuntautuneisuudesta voitaisiin siirtyä kohti aitoa laadun jatkuvaan parantamiseen perustuvaa ajattelutapaa[13]. Haasteena on kuitenkin edelleen laadunvarmistuksen suunnittelu niin, että siitä saadaan jatkuvasti palautetta laitoksen strategista suunnittelua varten ja että vastuuvelvollisuus jokaisella tasolla on selvillä[14].

QUEST-kyselytutkimuksen mukaan opiskelijat osallistuvat entistä enemmän laadun parantamiseen. Noin 85 prosenttia opiskelijoista on saanut mahdollisuuden osallistua opiskelija-arviointeihin. Huomattava määrä katsoo, että arvioinnit vaikuttavat koulutuksen laatuun[15]. Vuonna 2012 opiskelijat osallistuivat laadunvarmistukseen tiiviisti tai yhdenvertaisina kumppaneina 17 valtiossa. Vuonna 2009 valtioiden määrä oli yhdeksän. Opiskelijoiden osallistuminen kuitenkin vaihtelee paitsi kansallisten järjestelmien välillä, myös niiden sisällä. Useissa korkeakoululaitoksissa osallistumista on rajattu muodolliseen läsnäoloon ja havainnointiin.[16]

Useissa valtioissa virallisena vaatimuksena on, että työnantajien on osallistuttava ulkoiseen laadunvarmistukseen (Belgia / ranskankieliset yhteisöt, Bulgaria, Italia, Kreikka, Latvia, Liettua, Portugali, Ranska, Saksa, Tanska, Tšekki, Viro, Yhdistynyt kuningaskunta / Skotlanti).[17] Niiden aktiivinen osallistaminen laadun kehittämiseen esimerkiksi osallistamalla niitä laitosten tarkastuksiin ei kuitenkaan ole yleistä: työnantajat osallistuvat ulkoisiin arviointiryhmiin vain Belgian ranskankielisissä yhteisöissä, Kreikassa, Latviassa (ammatillisten ohjelmien osalta), Liettuassa, Saksassa, Suomessa ja Yhdistyneessä kuningaskunnassa (laitoksen mukaan)[18].

Ulkoiset sidosryhmät osallistuvat todennäköisesti vain tietojen jakamiseen eivätkä toimi aktiivisina kumppaneina laitoksen omassa sisäisessä laadunvarmistuksessa.

Laadunvarmistuksen tulosten julkaiseminen edistää laadun kehittämistä ja auttaa lisäämään luottamusta ja avoimuutta. Tapana on kuitenkin julkaista yksinomaan myönteisiä arvioita (Belgia / hollanninkieliset yhteisöt, Espanja, Kroatia, Kypros, Liettua, Malta, Puola, Ranska, Tšekki, Yhdistynyt kuningaskunta), mikä ei ole hyödyllistä. Vain 12 tapauksessa (Belgia / saksankieliset yhteisöt, Belgia / ranskankieliset yhteisöt, Irlanti, Italia, Kroatia, Latvia, Luxemburg, Portugali, Slovakia, Suomi, Tanska, Viro) yli neljäsosa laitoksista julkaisee myös kielteisemmät selvityksensä.[19] Tiedot eivät usein ole helposti ymmärrettävissä tai tulkittavissa, mikä heikentää niiden merkitystä.[20]

Euroopan tasolla vuonna 2005 laaditut eurooppalaiset standardit ja ohjeet ovat auttaneet yhdentämään laadunvarmistusta eri valtioissa ja muodostaneet kehyksen ulkoisten laadunvarmistusvirastojen väliselle yhteistyölle. Koska standardit ja ohjeet ovat tällä hetkellä luonteeltaan yleisiä, niitä kuitenkin tulkitaan eri tavoin ja sovelletaan vaihtelevasti. Laitosten tasolla niiden käyttöaste ja vaikutus ovat edelleen rajallisia. Vain 12 prosenttia EURASHE-kyselytutkimuksen osallistujista katsoi, että eurooppalaisista standardeista ja ohjeista on hyötyä tutkijoille. Vain 10 prosenttia katsoi, että niistä on hyötyä opiskelijoille, entisille opiskelijoille tai työnantajille[21]. Useat korkeakoululaitokset katsovat, että luoduista yleisistä kehyksistä huolimatta saatavilla ei ole riittävästi käytännön neuvoja siitä, miten laitokset voisivat kehittää vahvan laatuun perustuvan ajattelutavan[22]. Opiskelijat eivät juuri tunne standardeja ja ohjeita (59,7 prosenttia ilmoitti, että he eivät tienneet mitään standardeista ja ohjeista; 23,9 prosenttia tunsi standardit ja ohjeet vain erittäin rajallisesti)[23]. Eurooppalaisia standardeja ja ohjeita ollaan tarkistamassa, kuten Bukarestissa vuonna 2012 pidetyssä ministerikokouksessa pyydettiin. Tavoitteena on parantaa niiden selkeyttä, sovellettavuutta, hyödyllisyyttä ja soveltamisalaa[24]. Tarkistaminen antaa laitoksille entistä paremmat mahdollisuudet vastata haasteisiin, esimerkiksi laajentaa osallistumista, vähentää opintojen keskeyttämistä, parantaa työllistymistä jne. Sen avulla voidaan myös varmistaa, että laadunvarmistuksella kannustetaan luomaan vahva laatuun perustuva ajattelutapa ja tuetaan akateemisen yhteisön aitoa osallistumista.

2.2.        Miten laadunvarmistus on auttanut laitoksia laajentamaan koulutukseen pääsyä ja varmistamaan, että opiskelijat suorittavat tutkintonsa loppuun asti?

Eurooppa 2020 ‑strategian ja kansallisten tavoitteiden mukaisesti tutkinnon suorittajien määrää on lisättävä, jotta osaamisvaje voidaan täyttää. Näiden tavoitteiden saavuttamiseksi Euroopassa on kyettävä houkuttelemaan ihmisiä hakeutumaan korkea-asteen koulutukseen koko yhteiskunnan laajuudelta. Laadunvarmistuksella on autettava laitoksia tarkistamaan opiskelijoiden rekrytointiin liittyviä toimintatapojaan ja vahvistamaan niiden laatua ja vaikutusta. Lisäksi sillä on autettava tarkastelemaan, miten toimintatavat vaikuttavat koulutukseen pääsyn laajentamiseen. Alustavat tutkimukset kuitenkin osoittavat, että laadunvarmistusvirastot eivät juuri auta laitoksia parantamaan koulutuksen saatavuutta niin, että laitokset noudattaisivat aiempaa innovatiivisempia toimintatapoja opiskelijavalinnoissa, esimerkiksi tunnustaisivat aiemmat opintosuoritukset, jolloin opiskelijat voivat kirjata ja siirtää opintosuorituksiaan ohjelmista, joita he eivät ole suorittaneet loppuun asti, tai loisivat väyliä, joiden avulla opiskelijat voivat päästä korkea-asteen koulutukseen ammatillisesta koulutuksesta tai koulutuksen muilta aloilta[25].

Koulutuksen keskeyttämisen estämistä[26] ja opiskelijoiden sitouttamisen edistämistä koskevien korkeakoululaitosten strategioiden laatu ja strategioiden edistymistä kuvaavat indikaattorit tai tavoitteet vaikuttavat opiskelijoiden mahdollisuuksiin saattaa opintonsa päätökseen menestyksekkäästi. Lopputulos opiskelijoiden kannalta voi olla parempi, jos opiskelijat otetaan mukaan ohjelmien suunnitteluun ja opintosuunnitelmien kehittämiseen. Vain 50 prosenttia korkeakoululaitoksista toimii tällä tavalla, ja vain 40 prosenttia arvioi työmäärää teettämällä opiskelijoilla kyselytutkimuksia.[27] Opiskelijoiden edistymistä seuraavat järjestelmät – joita käytetään esimerkiksi Belgian hollanninkielisissä yhteisöissä, Irlannissa, Saksassa, Tanskassa ja Yhdistyneessä kuningaskunnassa – voivat tunnistaa vaaratekijöitä ja auttaa kohdentamaan toimia niin, että opinnot voidaan saattaa menestyksekkäästi päätökseen. Valmistumistavoitteiden seuranta, jota toteutetaan puolessa Euroopan laadunvarmistusjärjestelmistä (Belgia / hollanninkieliset yhteisöt, Belgia / ranskankieliset yhteisöt, Belgia / saksankieliset yhteisöt, Islanti, Italia, Kreikka, Liechtenstein, Liettua, Norja, Portugali, Slovenia, Suomi, Unkari, Viro), tai valmistumisasteiden linkittäminen rahoitukseen, mikä on käytössä valtioiden vähemmistössä (Alankomaat, Belgia / hollanninkieliset yhteisöt, Irlanti, Italia, Itävalta, Ruotsi, Saksa, Tanska, Tšekki, Yhdistynyt kuningaskunta / Skotlanti)[28], kannustavat korkeakoululaitoksia seuraamaan ja kehittämään sitä, miten ne onnistuvat estämään opintojen keskeyttämistä.

Nykyisin vain 40 prosenttia korkeakoululaitoksista arvioi opiskelijoille tarjottavia tukipalveluja.[29] Vaikka lähes kaikki laitokset tarjoavat opintojen tukipalveluja, kuten tutoreita, mentoreita, ohjausta ja neuvontaa, vain hieman yli puolet laitoksista arvioi kyseisten palvelujen vaikutusta. Vastaava suuntaus voidaan havaita myös kirjastopalveluihin, tietoteknisiin palveluihin tai laboratorioihin liittyvissä tukipalveluissa.

2.3.        Miten laadunvarmistus on auttanut korkeakoululaitoksia tarjoamaan opiskelijoille laadukkaita ja olennaisia taitoja?

Siirtyminen opiskelijakeskeiseen oppimiseen on yksi viime aikojen haastavimmista uudistuksista. Useimmat korkeakoululaitokset määrittävät opinto-ohjelmia opiskelijoiden tavoitteeksi asetettujen oppimistulosten perusteella. Haasteena on kuitenkin edelleen oppimistulosten huomioiminen opetuksessa, oppimisessa ja arvioinnissa. Laadunvarmistuksella voidaan kannustaa korkeakoululaitoksia tukemaan akateemisia työntekijöitä tässä tehtävässä (esim. akateemisille työntekijöille annettava oppimistulosten hyödyntämistä koskeva pakollinen koulutus, jota tarjotaan Belgian ranskankielisissä yhteisöissä, Irlannissa, Itävallassa, Latviassa, Romaniassa, Tšekissä, ja Yhdistyneessä kuningaskunnassa)[30]. Kun laadunvarmistusta sovelletaan ohjelmien suunnitteluun, akateemiset työntekijät voivat suunnitella ja arvioida opintokursseja selkeiden ja olennaisten tulosten perusteella ja myöntää opintosuorituksia yhdenmukaisesti. Tätä ei kuitenkaan yleisesti noudateta ohjelmien ulkoisessa akkreditoinnissa.[31] Kun laadunvarmistuksella taataan, että muita oppimistuloksiin perustuvia avoimuutta edistäviä välineitä – tutkintojen tunnistamista koskevia puitteita, eurooppalaista opintosuoritusten ja arvosanojen siirtojärjestelmää (European Credit Transfer and Accumulation System, ECTS) ja tutkintotodistusten liitettä (Diploma Supplement) – sovelletaan asianmukaisesti, sillä voidaan tukea oppimistuloksia korkea-asteen koulutuksen tarjoamisen lähtökohtana – ja näin ollen tukea myös muissa valtioissa suoritettujen akateemisten tutkintojen entistä parempaa tunnustamista[32].

Useimmat korkeakoululaitokset käyttävät laadunvarmistusta opetustaitojen ja ‑pätevyyden arviointiin ja kehittämiseen. Akateemisella uralla tutkimus on kuitenkin edelleen tärkeämpää kuin opetus, ja vain neljännes korkeakoululaitoksista järjestää opettajilleen pakollista koulutusta[33]. Laadunvarmistuksella voidaan auttaa laatimaan kansallisia ja laitoskohtaisia strategioita, joilla edistetään henkilökunnan koulutusta, tunnustetaan opetustaitoja urakehityksen osana, edistetään opettajille annettavia tunnustuksia tai apurahoja, hyödynnetään opiskelijoilta saatavaa palautetta ja kannustetaan hankkimaan kansainvälistä kokemusta[34].

Uudet opetusmuodot, kuten eri tapoja yhdistelevät opetusmallit tai verkossa avoimet massakurssit (MOOC-kurssit), voivat mullistaa koulutuksen tarjonnan. Laadunvarmistuskehysten ja ‑laitosten on toimittava riittävän joustavasti, jotta ne voivat tukea laitoksia innovatiivisen kurssitarjonnan eri vaihtoehtojen toteuttamisessa, niiden laatutavoitteiden mukauttamisessa ja näiden muutosten edellyttämien uusien indikaattoreiden kehittämisessä. Laitosten arvioinnilla on autettava laitoksia suunnittelemaan ja osoittamaan voimavaroja uusien opetusmuotojen kehittämiseen, niiden houkuttelevuuden lisäämiseen, erikoispalvelujen kehittämiseen tai virallisen koulutusjärjestelmän ulkopuolella taitonsa hankkineiden henkilöiden tavoittamiseen. Joissakin valtioissa – Espanjassa, Italiassa ja Norjassa – ollaan tutkimassa, voisivatko laadunvarmistuselimet arvioida MOOC-kursseja.

Useilla laitoksilla on vaikeuksia osallistaa työnantajia järjestelmällisesti opintosuunnitelmien laatimiseen ja toteuttamiseen, esimerkiksi sen varmistamiseen, että harjoittelupaikoista saadaan selviä oppimistuloksia. Laadunvarmistuksella voidaan auttaa laitoksia suunnittelemaan yhdessä työnantajien kanssa työssäoppimista, joka perustuu asianmukaisiin oppimistuloksiin ja arviointimenetelmiin. Joissakin valtioissa (Belgia / ranskankieliset yhteisöt, Bulgaria, Itävalta, Norja, Sveitsi, Tanska, Viro) korkeakoululaitosten on osoitettava, että työnantajat osallistuvat ohjelmien laatimiseen[35]. Tämä tavoite voitaisiin saavuttaa, jos niin korkeakoululaitokset kuin laadunvarmistusvirastot tekisivät entistä järjestelmällisempää yhteistyötä ammatillisen koulutusalan kanssa. Tämä myös auttaisi kehittämään aiempaa joustavampia oppimisväyliä.

Laadunvarmistuksella voidaan osoittaa, että opinto-ohjelmat vastaavat työmarkkinoiden tarpeita. Näin varmistetaan, että valmistuneet varmasti saavat oikeat taidot työmarkkinoita varten, ja vähennetään ammattitaidon kohtaamattomuutta. Bulgariassa, Italiassa, Itävallassa, Sloveniassa ja Tšekissä korkeakoululaitoksia voidaan vaatia osoittamaan, että niiden ohjelmilla vastataan todelliseen kysyntään[36]. Laadunvarmistuksella voidaan myös auttaa korkeakoululaitoksia huomioimaan valmistuneiden urakehitystä koskevat tiedot ohjelmien suunnittelussa ja toteuttamisessa – esimerkiksi liittämällä valmistuneiden seuranta rahoitukseen (Italia, Slovenia, Tšekki, Yhdistynyt kuningaskunta) tai (uudelleen)akkreditointiin (Alankomaat, Belgia / hollanninkieliset yhteisöt, Bulgaria, Itävalta, Saksa, Tanska)[37]. Useissa valtioissa (esim. Bulgaria, Irlanti, Italia, Kreikka, Latvia, Liettua, Ranska, Tanska, Unkari, Viro) korkeakoululaitokset säännöllisesti toimittavat tietoja tai osoittavat, että ne valvovat tai seuraavat valmistuneiden työllistymistä.[38]

Näistä havainnoista huolimatta voidaan yleisesti todeta, että vain muutamat korkeakoululaitokset seuraavat entisten opiskelijoidensa tilannetta tai tekevät entisille opiskelijoilleen kyselytutkimuksia koulutusohjelmien ja valmistuneiden työllistymisen parantamiseksi[39]. Tätä toimintatapaa noudattavat laitokset ovat huomanneet toimien useat hyödyt: ne ovat voineet kehittää entistä järjestelmällisemmän toimintatavan laadunvarmistuksen osalta, parantaa vastuuvelvollisuutta, auttaa aktiivisesti luomaan tietämyksen Euroopan ja parantaa yhteyksiä sidosryhmiin[40].

2.4.        Onko laadunvarmistuksella tuettu opintovaihtoa ja kansainvälistymistä?

Korkea-asteen koulutuksen alalla tehdään entistä enemmän kansainvälistä yhteistyötä. Tämä on luonut laitoksille vertaispainetta kehittää vahvaa laadunvarmistusta. Kansainvälistymistä suunnittelevat korkeakoululaitokset haluavat voida osoittaa laatustandardinsa, sillä se on ennakkoedellytyksenä luottamukselle, johon kansainväliset kumppanuudet perustuvat[41]. Opiskelijat arvostavat tunnettuja laatustandardeja tehdessään opintovalintoja. Näin he varmistavat, että he välttävät heikkolaatuiset tarjoajat ja laitokset, jotka tarjoavat tai akkreditoivat itse keksittyjä tai heikkolaatuisia tutkintoja ilman lupaa. Sitoutuminen laadunvarmistukseen voi myös auttaa lieventämään ulkomaisten tutkintojen laatuun liittyviä huolia (joita on nostettu esille muun muassa PIAAC-tutkimuksessa), jotka saattavat haitata tutkintojen tunnustamista ja opiskelijoiden liikkuvuutta.

Eurooppalainen korkeakoulutuksen laadunvarmistusyhdistys (ENQA) ja Euroopan laadunvarmistusrekisteri (EQAR) edistävät laadunvarmistuksen alalla tehtävää yhteistyötä Euroopan tasolla. ENQA-jäsenyyden myötä noin kaksi kolmasosaa eurooppalaisen korkeakoulutusalueen laadunvarmistusvirastoista (määrä on kasvanut verrattuna vuoden 2009 noin 50 prosenttiin)[42] on saanut tunnustuksen eurooppalaisten standardien ja ohjeiden noudattamisesta. Kymmenellä EU:n jäsenvaltiolla (Italia, Kreikka, Kypros, Latvia, Luxemburg, Malta, Portugali, Ruotsi, Slovakia, Slovenia) ei kuitenkaan ole varsinaista jäsenvirastoa ENQA:ssa[43].

Myös EQAR:n jäsenmäärä on kasvanut (perustamisvuonna 2008 EQAR-rekisterissä oli 19 hallitustason jäsentä, ja vuoteen 2013 mennessä määrä oli kasvanut 32 jäseneen[44]). Rekisteri tukee ulkoisen laadunvarmistuksen yleiseurooppalaista toimintatapaa, jossa laitokset voivat valita arviointinsa tekijäksi minkä tahansa laadunvarmistusviraston myös oman valtionsa ulkopuolelta. Tällä edistetään laadunvarmistuksen eurooppalaista ulottuvuutta, joka myös parantaa laatua. Tähän mennessä 39 eurooppalaisen korkeakoulutusalueen virastoa (84 prosenttia kaikista hyväksyttävissä olevista laadunvarmistusvirastoista – virastoista, joita on arvioitu eurooppalaisten standardien ja ohjeiden mukaisesti) on hakenut EQAR:n jäsenyyttä. Näistä 35 hakemusta on hyväksytty[45]. Rekisterin keskeiset käyttäjät uskovat nyt entistä vakaammin, että EQAR auttaa avaamaan kansallisia laadunvarmistusjärjestelmiä ulkomaisille virastoille (60 prosenttia kansallisista ylioppilaskunnista vuonna 2012 verrattuna 41 prosenttiin vuonna 2009)[46].

Kansalliset ministeriöt kuitenkin haluavat tehdä yhteistyötä ulkomaisten virastojen sijaan kotimaisten virastojensa kanssa. Tällä hetkellä vain kaksi viidesosaa EQAR-rekisteröidyistä laadunvarmistusvirastoista todella harjoittaa rajat ylittävää toimintaa, ja kyseistä toimintaa harjoittavien virastojen haasteena ovat laadunvarmistuksen kansalliset eroavaisuudet ja laadunvarmistuksen yhteisen eurooppalaisen ulottuvuuden puute. Kuusi EU:n jäsenvaltiota (Belgia / hollanninkieliset yhteisöt, Bulgaria, Itävalta, Liettua, Puola, Romania) antaa omien korkeakoululaitostensa tehdä yhteistyötä ulkomaisten rekisteröityjen virastojen kanssa säännöllisten arviointien, tarkastusten tai akkreditointien alalla. Kaksi muuta valtiota (Saksa, Tanska) tunnustaa kaikkien EQAR-rekisteröityjen virastojen laadunvarmistusta koskevat päätökset yhteisten ohjelmien osalta[47].

Yhteisten ohjelmien ulkoinen laadunvarmistus ja akkreditointi ovat haastavia toimia, koska niihin liittyy yleensä useita kansallisia akkreditointimenettelyitä. Hallitukset ovat ryhtyneet tutkimaan yhteisiin ohjelmiin ja yhteistutkintoihin liittyvää kansallista lainsäädäntöä ja kansallisia käytäntöjä, jotta yhteistyön ja liikkuvuuden esteitä voitaisiin poistaa. Käynnissä oleva Bolognan prosessin aloite, joka koskee eurooppalaisen toimintatavan kehittämistä yhteistutkintojen akkreditointia varten, voi auttaa vähentämään byrokratiaa ja lisäämään yhteistutkintojen määrää. Jo nyttemmin eurooppalaisen akkreditointialan yhteenliittymän (ECA)[48] hankkeet ovat askel kohti yksinkertaistamista ja keskinäistä luottamusta.

Rajallisten määrärahojen takia useat laadunvarmistusvirastot ovat keskittyneet kansallisissa järjestelmissään ydintoimintoihin.[49] Koska korkea-asteen koulutuksen maailmanlaajuiset yhteydet kasvavat, myös laadunvarmistusta on kehitettävä niin, että sillä lisätään luottamusta, jota korkeakoululaitokset tarvitsevat tehdäkseen kansainvälistä yhteistyötä. Yhtenä vuoden 2009 jälkeen tapahtuneena myönteisenä kehitysaskeleena on tapa ottaa kansainvälisiä asiantuntijoita mukaan laadunvarmistuksesta vastaaviin paneeleihin. ENQA ja EQAR voivat olla keskeisessä asemassa luottamuksen lisäämisessä muun muassa siksi, että ne voivat osallistaa ministeriöitä ja muita sidosryhmiä, kerätä tietoa laadunvarmistusvirastojen rajat ylittävistä toimista ja edistää yhteisiä standardeja ja toimintatapoja (kattava tiedonkeruu kansallisella tasolla, vertailukelpoiset standardit, strategia-asiakirjat ja kertomukset).[50]

Rajat ylittävä yhteistyö laadunvarmistuksen alalla on erityisen olennaista rajat ylittävässä korkea-asteen koulutuksessa (ammattikorkeakoulutasoinen korkea-asteen koulutus – ”franchising”-sopimuksella toimivat kampukset ja sivutoimipisteet). Vaikka asia koskee Euroopassa vain pientä määrää opiskelijoita, määrä on kasvussa ja laadunvarmistusjärjestelyt vaihtelevat merkittävästi eri valtioiden ja tarjoajien välillä. Kun laadunvarmistusvirastot valvovat laitostensa ulkomaille tarjoamien ammattikorkeakoulutasoisen korkea-asteen koulutuksen tuotteiden laatua, ne voivat auttaa varmistamaan, että koulutus on laadukasta, ja näin ollen suojella korkea-asteen koulutusjärjestelmänsä mainetta ja laajempia mahdollisuuksiaan houkutella uusia opiskelijoita.

Kun laadunvarmistusvirastot keskittyvät entistä painokkaammin rajat ylittävän yhteistyön laatuun ja vahvistavat omia kansainvälisiä yhteyksiään, niiden arvioinneista tulee entistä luotettavampia, avoimempia ja johdonmukaisempia. Tämän prosessin edistämiseksi isäntävaltion laadunvarmistusvirastoille voitaisiin tiedottaa kyseiseen valtioon sijoittautuneiden, ammattikorkeakoulutasoista korkea-asteen koulutusta tarjoavien laitosten laadunarvioinneista. Laitokset voisivat vaihtoehtoisesti myös tehdä yhteisiä arviointeja. Kahdenväliset sopimukset, joilla vastaanottavan valtion laadunvarmistusvirasto valtuutetaan toimimaan lähtövaltion laadunvarmistusviraston puolesta tai joilla EQAR-rekisteröity virasto valtuutetaan arvioimaan ammattikorkeakoulutasoista korkea-asteen koulutusta tarjoava laitos, auttaisivat korjaamaan laatuun liittyviä puutteita ja lisäksi edistäisivät rajat ylittävää yhteistyötä ja vastavuoroista oppimista.

3.           PÄÄTELMÄT – EU:N TUKI KORKEA-ASTEEN KOULUTUKSEN LAADUN PARANTAMISELLE

Tämä kertomus osoittaa, että tiettyä edistystä on tapahtunut vuoden 2009 jälkeen. Toisaalta kertomus myös paljastaa puutteita siinä, miten laadunvarmistuksella tuetaan korkea-asteen koulutuksen uudistuksia, kuten koulutuksen saatavuuden parantamista, työllistymisen ja kansainvälistymisen kehittämistä tai tohtorikoulutuksen ja inhimillisten voimavarojen strategioiden kehittämistä. Näiden puutteiden korjaamiseksi laadunvarmistusta ei saa katsoa pelkäksi rasti ruutuun ‑menettelyksi, vaan sillä on tuettava sisäisen laatukulttuurin luomista. Laadunvarmistusta on toteutettava laitoksen toiminnan kaikilla aloilla, ja sitä on jatkuvasti kehitettävä korkea-asteen koulutuksen suunnittelussa ja tarjonnassa tapahtuvien muutosten mukaisesti. Laadunvarmistuksen avulla koko laitos on osallistettava opetuksen ja oppimisen perustana olevan laatukulttuurin luomiseen.

Kansalaiset siirtyvät yhä useammin järjestelmistä toisiin – paitsi perinteisen peruskoulutuksen suorittamisen yhteydessä, myös saattaakseen tietojaan ja taitojaan ajan tasalle ja lisätäkseen tietojaan ja taitojaan koko elämänsä ajan. Yhä useammat oppimismahdollisuudet eivät sovi perinteiseen luokittelumalliin. Oppijoille annetaan entistä useammin – oikeutetusti – mahdollisuus päättää omasta oppimisväylästään ja valita mahdollisuuksia eri alajärjestelmistä ja tarjontatavoista, myös hyödyntää tieto- ja viestintätekniikan avulla tarjottavia oppimisresursseja. Oppijoiden onkin voitava luottaa niiden laatuun.

Elinikäisen oppimisen osalta käyttöön ollaan ottamassa laadunvarmistuksen soveltamisalaan kuuluvia tutkintojen tunnustamiseen liittyviä puitteita, joita kannatetaan voimakkaasti eurooppalaisessa tutkintojen viitekehyksessä (European Qualifications Framework, EQF). Tämän takia on tarkasteltava laadunvarmistusta koskevaa alakohtaista lähestymistapaa sekä sitä, voitaisiinko kaikilla aloilla noudattaa tiettyjä samoja perusperiaatteita ja ohjeita, joita voitaisiin soveltaa kaikkiin tutkintoihin. Jotta näihin haasteisiin voitaisiin vastata, korkea-asteen koulutuksen alalla toteutettavaa laadunvarmistusta tarkasteltaessa huomioon on otettava myös kaikki muut avoimuutta ja laadunvarmistusta edistävät välineet. Komissio on tutkimassa, voitaisiinko kaikkia eurooppalaisia avoimuutta ja laadunvarmistusta edistäviä välineitä koordinoida entistä tiiviimmin taitojen ja tutkintojen eurooppalaisen alueen täysimääräiseksi toteuttamiseksi. Laadunvarmistuksen soveltamisalaa on laajennettava niin, että se koskee aiempaa useampia korkea-asteen koulutukseen liittyviä näkökohtia.

Tämän perusteella komissio aikoo toteuttaa seuraavat toimet, joilla tehostetaan eurooppalaista yhteistyötä elinikäiseen oppimiseen liittyvän laadunvarmistuksen osalta:

· Sidosryhmiä kuullaan tämän kertomuksen havainnoista ja siitä, onko laadunvarmistuksen yhdenmukaisuutta parannettava koulutuksen eri alasektoreilla ja miten tämä voitaisiin toteuttaa. Kuuleminen toteutetaan osana tulevaa julkista kuulemista, jolla edistetään taitojen ja tutkintojen eurooppalaisen alueen luomista. Tavoitteena on lisätä avoimuutta ja tunnustamista edistävien EU:n välineiden yhteisvaikutuksia ja yhdentämistä[51].

· Korostetaan tarvetta eurooppalaisten standardien ja ohjeiden perusteelliseen tarkistamiseen, jossa painotetaan menettelytapojen sijaan laatustandardien korottamista, laajennetaan standardien ja ohjeiden soveltamisalaa koskemaan myös tässä kertomuksessa esille otettuja näkökohtia ja annetaan mahdollisuus tehdä laadunvarmistukseen liittyvää yhteistyötä muiden koulutusalojen kanssa.

· Kehitetään edelleen niiden avoimuutta edistävien eurooppalaisten välineiden jäsentelyä, joilla tuetaan laadunvarmistusta, tunnustamista ja liikkuvuutta. Kehitystyötä jatketaan muun muassa, kun komissio toteuttaa jatkotoimia eurooppalaisen tutkintojen viitekehyksen, ammatillisen koulutuksen laadunvarmistuksen eurooppalaisen viitekehyksen ja tutkintoja ja pätevyyksiä selkeyttävien yhteisten puitteiden (Europass) vuonna 2013 tehtävien arviointien perusteella. Lisäksi työtä jatketaan tukemalla ENIC-NARIC-verkostoa, eurooppalaisen tutkintojen viitekehyksen kansallisia koordinointipisteitä ja Europass-keskuksia. Toimia toteutetaan myös ECTS-järjestelmän soveltamisohjeiden (ECTS Users’ Guide) tarkistuksen yhteydessä.

· Jäsenvaltioiden kanssa tehdään yhteistyötä, jonka tavoitteena on kannustaa[52] yhä useampia laadunvarmistusvirastoja hakemaan EQAR-rekisteröintiä ja antaa ulkomaisille EQAR-rekisteröidyille virastoille oikeus harjoittaa toimintaa kyseisten jäsenvaltioiden korkea-asteen koulutusjärjestelmissä.

· Laadunvarmistukseen liittyvää yhteistyötä edistetään edelleen kansainvälisellä tasolla käymällä poliittista vuoropuhelua keskeisten kansainvälisten kumppaneiden kanssa, sillä yhteistyö on lähtökohtana kumppanuuksille eri puolilla maailmaa toimivien korkeakoululaitosten kanssa.

Erasmus+-ohjelman avulla EU

· tukee rajat ylittävää yhteistyötä laadunvarmistuksen alalla seuraavasti:

· luodaan strategisia kumppanuuksia ja osaamisyhteenliittymiä, joiden avulla korkeakoululaitokset voivat ottaa toisistaan mallia kehittäessään laatuun perustuvaa ajattelutapaa ja tukiessaan työnantajien ja uusien sidosryhmien, kuten tutkijoiden ja työntekijöiden ynnä muiden osallistumista;

· tuetaan laadunvarmistusvirastoja ja korkeakoululaitoksia, jotta ne tekisivät yhteistyötä kansainvälisten laadunvarmistusmenettelyiden kehittämiseksi niin, että keskeiset haasteet voidaan ratkaista ja tarkistettujen eurooppalaisten standardien ja ohjeiden entistä suurempi vaikutus voidaan varmistaa laitosten tasolla;

· edistetään ammatillisen koulutusalan kanssa käytävää alojen välistä vuoropuhelua laadunvarmistuksen osalta;

· jaetaan hyviä käytäntöjä, joilla edistetään yhteisten ohjelmien akkreditoinnin aiempaa yksinkertaisempia menettelyjä; tässä yhteydessä välineenä käytetään EU:n tukemia aloitteita.

· tukee korkea-asteen koulutuksen uudistusta, mukaan luettuina seuraavat:

· aloite, jolla edistetään korkea-asteen koulutuksen uudistamista, myös laatuun perustuvan ajattelutavan kehittämistä hyödyntämällä vertaisoppimista ja ‑arviointia ja sidosryhmätutkimuksia tai välineitä, oppaita ynnä muita,

· innovatiiviset hankkeet, joilla lisätään laadunvarmistuksen kykyä tukea kestävää uudistusta.

Komissio on tyytyväinen siihen, että useat valtiot ovat painottaneet omien korkeakoulutusjärjestelmiensä laatua kumppanuussopimusten luonnoksissa, joita ne ovat toimittaneet vuosien 2014–2020 Euroopan rakenne- ja investointirahastojen menokehyksen vahvistamiseksi. On tärkeää, että näitä sitoumuksia tuetaan keskitetyillä aloitteilla toimintaohjelmissa, joilla sopimukset pannaan täytäntöön. Tällaisilla aloitteilla on selvästi pyrittävä vahvistamaan laadunvarmistukseen liittyviä järjestelyjä.

[1]           KOM(2011) 567 lopullinen.

[2]           COM(2013) 499 final.

[3]           COM(2013) 654 final.

[4]               OECD Skills Outlook 2013: First Results from the Survey of Adult Skills, http://skills.oecd.org/documents/OECD_Skills_Outlook_2013.pdf

[5]           KOM(2009) 487 lopullinen.

[6]           Suositus 2006/143/EY, annettu 15. helmikuuta 2006 (EUVL L 64, 4.3.2006).

[7]           Rauhvargers, Andrejs (2012): Report by the EHEA Working Group on Recognition, s. 23. Saatavilla internetissä seuraavasta osoitteesta: http://www.ehea.info/Uploads/%281%29/Recognition%20WG%20Report.pdf

[8]               http://www.eua.be/Libraries/Publications_homepage_list/Salzburg_II_Recommendations.sflb.ashx

                http://ec.europa.eu/euraxess/pdf/research_policies/Principles_for_Innovative_Doctoral_Training.pdf

[9]               http://ec.europa.eu/euraxess/index.cfm/rights/strategy4Researcher

[10]             EACEA (2012): The European Higher Education Area in 2012: Bologna Process Implementation Report, s. 60.

http://www.ehea.info/Uploads/%281%29/Bologna%20Process%20Implementation%20Report.pdf

[11]             Loukkola, Tia; Zhang, Thérèse (2010): Examining Quality Culture: Part 1. EUA, Bryssel, s. 33. http://www.eua.be/pubs/Examining_Quality_Culture_Part_1.pdf

[12]             EACEA, op. cit, s. 68.

[13]          IBAR (2012): Identifying Barriers in Promoting the ESG for Quality Assurance at Institutional Level. WP 8, s. 4.

http://www.ibar-llp.eu/assets/files/wp8/WP8%20Cross-country%20comparative%20study.pdf

[14]          Ibid, s. 38.

[15]         Jungblut, Jens; Vukasovic, Martina (2013): QUEST FOR QUALITY FOR STUDENTS - Survey on Students’ perspectives. ESU, Bryssel, s. 68. http://www.esu-online.org/resourcehandler/30010f4b-c7a9-4827-93a5-84aaaaa91709/

[16]             Bischof, Lukas; Gajowniczek, Joanna; Maikämper, Moritz (2013): Study to Prepare the Report on Progress in the Development of Quality Assurance Systems in the Various Member States and on Cooperation Activities at European Level, s. 27.

[17]             Modernisation of Higher Education in Europe: access, retention and employability – Eurydice-verkoston tutkimus, joka julkaistaan vuoden 2014 ensimmäisellä puoliskolla. Belgian saksankielisissä yhteisöissä ja Islannissa työnantajat osallistuvat ulkoiseen laadunvarmistukseen ilman virallisia vaatimuksia.

[18]             Eurydicen lähdetiedot Bolognan prosessin täytäntöönpanokertomusta varten.

[19]          EACEA, op. cit, s. 69.

[20]          Bischof et al., op. cit, s. 39. Vercruysse, Proteasa, 2012.

[21]         ENQA (2011): MAPPING THE IMPLEMENTATION AND APPLICATION OF THE ESG (MAP-ESG PROJECT). ENQA. Bryssel, s. 56. http://www.enqa.eu/files/op_17_web.pdf

[22]          IBAR (2012): WP 5, s. 12.

http://www.ibar-llp.eu/assets/files/wp5/WP5%20Cross-country%20comparative%20study.pdf

[23]          Jungblut, Vukasovic, op. cit, s. 67.

[24]             Eurooppalaisen korkeakoulutusalueen (EHEA) ministerikokous (2012): Bukarestin julkilausuma, s. 2. Sidosryhminä toimivat organisaatiot (ENQA; ESU; EUA; EURASHE – Education International; EQAR; Business Europe) ovat tehneet tarkistuksia, jotka toimitetaan ministerien hyväksyttäviksi vuonna 2015.

[25]             Eurydice, op. cit.

[26]          OECD:n mukaan vuonna 2011 keskimäärin 68,4 prosenttia perustutkintoa suorittavista opiskelijoista suoritti tutkintonsa loppuun asti.

[27]          Loukkala, Zhang, op. cit, s. 11, 30.

[28]             EACEA, op. cit, s. 112.

[29]         Sursock, Andrée; Smidt, Hanne (2010): Trends 2010: A decade of change in European Higher Education. EUA, Bryssel, s. 86.

http://www.eua.be/typo3conf/ext/bzb_securelink/pushFile.php?cuid=2756&file=fileadmin/user_upload/files/Publications/Trends_2010.pdf

[30]             EACEA, op. cit, s. 51.

[31]             Ibid, s. 51.

[32]             Ks. Bukarestin julkilausuma, s. 4.

[33]             Loukkala, Zhang, op. cit, s. 34.

[34]         Korkean tason ryhmän kertomus korkea-asteen koulutuksen nykyaikaistamisesta, http://ec.europa.eu/education/higher-education/modernisation/index.html

[35]             Eurydice, ei julkaistu.

[36]             Ks. edellinen alaviite.

[37]         Gaebel, Michael et al (2012): Tracking Learners’ and Graduates’ Progression Paths (TRACKIT). EUA, Bryssel, s. 27–28.

http://www.eua.be/Libraries/Publications_homepage_list/EUA_Trackit_web.sflb.ashx

[38]             Eurydice, ei julkaistu.

[39]          Gaebel et al., op. cit, s. 26.

[40]          Ibid, s. 44.

[41]          Sursock, Smidt, op. cit, s. 21.

[42]             Bischof, op. cit, s. 50.

[43]            http://www.enqa.eu/agencies.lasso, tarkastettu 4. marraskuuta 2013 (on kuitenkin huomattava, että joukossa on pieniä valtioita, joilla ei välttämättä ole kansallista laadunvarmistusvirastoa).

[44]             EU:n alueen hallitusjäsenet: Alankomaat, Belgia / hollanninkieliset yhteisöt, Bulgaria, Espanja, Irlanti, Italia, Itävalta, Kroatia, Kypros, Latvia, Luxemburg, Malta, Portugali, Puola, Ranska, Romania, Saksa, Slovenia, Tanska, Tšekki, Viro – http://www.eqar.eu/association/members.html#c28

[45]             http://www.eqar.eu/fileadmin/documents/eqar/information/EQAR_AR12_screen.pdf

[46]             Bischof, op. cit, s. 56.

[47]             Tück, Colin (2013): EQAR Annual Report 2012, s. 15–17. http://www.eqar.eu/fileadmin/documents/eqar/information/EQAR_AR12_print.pdf

[48]             Ibid. Katso myös MULTRA-sopimus seuraavassa osoitteessa: http://www.ecaconsortium.net/main/documents/mutual-recognition-agreements

[49]          Bischof, op. cit, s. 52.

[50]         ENQA:n ja EQAR:n johtamista hankkeista odotetaan kertomuksia vuonna 2014.

[51]             COM(2012) 669 final.

[52]             Vuosien 2013–2017 strategisessa suunnitelmassa (Tück, op. cit, s. 25–29) esitetään, että tämä voitaisiin toteuttaa muun muassa tarkistamalla eurooppalaisia standardeja ja ohjeita.

Top