(1)

Riippumattomat tarkastukset ovat tärkeä väline valvottaessa, noudattavatko erittäin suurten verkkoalustojen ja erittäin suurten verkossa toimivien hakukoneiden tarjoajat asetuksen (EU) 2022/2065 mukaisia velvoitteitaan. Kyseisessä asetuksessa säädetään myös muista vastuuvelvollisuuteen liittyvistä välineistä, erityisesti julkisen valvonnan tehostamisesta avoimuusraportoinnin ja muiden tiedonantovaatimusten kautta. Riippumattomilla tarkastusorganisaatioilla on kuitenkin erityinen rooli arvioitaessa jo varhaisessa vaiheessa, noudattavatko tällaiset palveluntarjoajat kyseistä asetusta. Riippumattomien tarkastusten johtopäätökset, havainnot ja suositukset voivat tarkoituksenmukaisella tavalla vaikuttaa viranomaisvalvontaan. Riippumattomat tarkastukset ovat samalla yksi monista tieto- ja analyysilähteistä, joita sääntelyviranomaiset voivat käyttää valvonta- ja täytäntöönpanotehtävässään.

(2)

Jotta riippumattomat tarkastukset voidaan suorittaa tuloksellisesti, tehokkaasti, oikea-aikaisesti ja vertailukelpoisesti asetuksen (EU) 2022/2065 soveltamispäivästä alkaen siten kuin sen 92 ja 93 artiklassa määritetään, komission tulisi vahvistaa tarkastusten suorittamista koskevat säännöt erityisesti tarkastettavien palveluntarjoajien oikeudellisista velvoitteista sekä menettelyvaiheista sen varmistamiseksi, että tarkastuksia suorittavat organisaatiot täyttävät asetuksen (EU) 2022/2065 37 artiklan 3 kohdassa säädetyt riippumattomuutta, eturistiriitoja, asiantuntemusta ja ammattietiikkaa koskevat ehdot.

(3)

Jotta helpotetaan tarkastusten asianmukaista suorittamista korkeatasoisella asiantuntemuksella ja ehkäistään tahattomia seurauksia tarkastuspalvelujen markkinoilla, olisi selvennettävä, että asetuksen (EU) 2022/2065 37 artiklan mukaisen tarkastuksen voi suorittaa useampi tarkastaja. Tarkastettava palveluntarjoaja voi teettää tarkastuksen eri tarkastusorganisaatioilla tai organisaatioiden yhteenliittymällä, jos se on tarpeen esimerkiksi siksi, että tarkastus vaatii erityisasiantuntemusta tiettyjen velvoitteiden tai sitoumusten vuoksi, esimerkiksi kun ne liittyvät algoritmisten järjestelmien suunnitteluun ja toimintaan, edellyttävät perusoikeuksiin kohdistuvien riskien selvittämistä tai liittyvät laittoman sisällön levittämiseen. Tarkastusorganisaatiot voivat myös huolehtia tarvittavasta asiantuntemuksesta alihankintana edellyttäen, että sekä tarkastusorganisaatio että alihankkijat noudattavat tarvittavia riippumattomuutta, eturistiriitoja, osoitettua objektiivisuutta ja ammattietiikkaa koskevia ehtoja ja että ne täyttävät yhteisesti teknistä asiantuntemusta koskevat edellytykset. Tällaisissa tapauksissa tarkastettavan palveluntarjoajan tulisi edelleen varmistaa, että kaikkien asetuksen (EU) 2022/2065 37 artiklan 1 kohdassa tarkoitettujen velvoitteiden ja sitoumusten noudattaminen tarkastetaan vähintään kerran vuodessa.

(4)

Tarkastusorganisaatioiden pitäisi antaa asetuksen (EU) 2022/2065 37 artiklan 4 kohdan g alakohdassa tarkoitetut tarkastuslausunnot kohtuullisella varmuudella. Kohtuullisen varmuustason saavuttamiseksi tarkastusorganisaatiolla tulisi olla suuri mutta ei kuitenkaan täydellinen varmuus siitä, ettei tarkastuslausunnossa ole virheellisyyksiä, joita ei havaittu tarkastuksessa, kuten puuttuvia, vääriä tai virheellisiä seikkoja. Tällaisen varmuustason varmistamiseksi tarkastusorganisaation olisi muun muassa hankittava riittävä näyttö ja käytettävä arvioinnissaan asianmukaisia tarkastusmenetelmiä.

(5)

Asetuksen (EU) 2022/2065 37 artiklan 1 kohdan mukaan riippumattomat tarkastukset tulisi tehdä vähintään kerran vuodessa kyseisen asetuksen 34 artiklassa tarkoitettujen riskinarviointien vuosittaisessa syklissä. Joissain tapauksissa voi kuitenkin olla tarpeen tehdä tarkastuksia useammin. Tarkastusten jaksotuksella olisi varmistettava, että voidaan valvoa jatkuvasti, noudattavatko tarkastettavat palveluntarjoajat asetusta (EU) 2022/2065 sekä sovellettavia käytännesääntöjä ja kriisiprotokollia. Tarkastettavan palveluntarjoajan olisi varmistettava, että ajanjakso, jolta velvoitteiden ja sitoumusten noudattamista arvioidaan yksittäisessä tarkastuksessa, täydentää ajanjaksoa, jolta kyseisten velvoitteiden ja sitoumusten noudattaminen tarkastettiin edellisen kerran palveluntarjoajan osalta, ja alkaa viimeistään silloin, kun edellisen tarkastuksen kattama ajanjakso päättyy. Koska tarkastuksen päättäminen edellyttää sekä tarkastusorganisaation tekemää arviointia että tarkastuskertomuksen laatimista, tarkastettujen palveluntarjoajien tulisi varmistaa, että tarkastuksen kesto mahdollistaa tarkastusten päättämisen vähintään kerran vuodessa ja että tarkastuskertomukset toimitetaan komissiolle ja digitaalisten palvelujen koordinaattorille ilman aiheetonta viivytystä asetuksen (EU) 2022/2065 42 artiklan 4 kohdan mukaisesti.

(6)

Tarkastettavat palveluntarjoajat eivät missään tapauksessa saisi puuttua tarkastuksen suorittamiseen ja tarkastuspäätelmiin, mutta niiden olisi asetuksen (EU) 2022/2065 37 artiklan mukaisia velvoitteitaan noudattaen muun muassa sovittava sopimusehdoista tarkastusorganisaation kanssa ja tarkistettava ennen tarkastusorganisaation valintaa, että kyseinen organisaatio täyttää asetuksen (EU) 2022/2065 37 artiklan 3 kohdassa säädetyt edellytykset.

(7)

Tarkastettavan palveluntarjoajan olisi esimerkiksi arvioitava sopimuksia, jotka se on aiemmin tehnyt tarkastusorganisaation kanssa, tai tarkastusorganisaation ja tarkastettavaan palveluntarjoajaan yhteydessä olevien oikeushenkilöiden välillä tehtyjä sopimuksia. Tarkastettavan palveluntarjoajan tulisi myös sisällyttää tarkastusorganisaatioiden kanssa tehtäviin sopimuksiin lausekkeita, joilla taataan asetuksen (EU) 2022/2065 37 artiklan 3 kohdassa säädettyjen edellytysten noudattaminen. Jos tarkastusorganisaatio koostuu useista yksiköistä, tarkastettavan palveluntarjoajan tulisi varmistaa, että kaikki kyseiset yhteisöt, myös mahdolliset alihankkijat, jotka tarkastusorganisaatio on palkannut tukemaan tarkastuksen suorittamista, täyttävät nämä edellytykset. Kunkin tarkastuksen suorittamisesta vastaavan yksikön olisi erikseen täytettävä riippumattomuutta ja eturistiriitojen välttämistä koskevat vaatimukset, ja niiden olisi yhteisesti täytettävä pätevyyttä, asiantuntemusta tai teknisiä resursseja koskevat vaatimukset. Näin eri yksiköt voivat suorittaa tarkastuksen eri osia ja osallistua tarkastuksen suorittamiseen tarvittavilla valmiuksilla, pätevyydellä ja asiantuntemuksella. Tarkastuskertomuksessa olisi täsmennettävä kunkin yksikön vastuu tarkastuksen eri osista.

(8)

Tarkistaessaan, täyttääkö tarkastusorganisaatio riippumattomuutta ja eturistiriitojen välttämistä koskevat vaatimukset, tarkastettavan palveluntarjoajan olisi asetuksen (EU) 2022/2065 37 artiklan 3 kohdan a alakohdan i alakohdan mukaisesti kiinnitettävä erityistä huomiota sen välttämiseen, että tarkastusorganisaatio tarjoaa tarkastettavalle palveluntarjoajalle muita kuin tarkastuspalveluja. Tarkastettavan palveluntarjoajan olisi esimerkiksi arvioitava, onko se saanut esimerkiksi järjestelmiin, ohjelmistoihin tai prosesseihin liittyviä palveluja asioissa, jotka kytkeytyvät tarkastettavaan velvoitteeseen tai sitoumukseen, kuten konsultointipalveluja suorituskyvyn, hallinnon ja ohjelmistojen arviointia varten, koulutuspalveluja, järjestelmien kehittämistä tai ylläpitoa tai sisällön moderointia alihankintana. Tällaisia palveluja ovat myös tarkastettavalle palveluntarjoajalle tarjottavat palvelut, joissa on kyse sisäisen valvonnan kehittämisestä tai siihen liittyvästä konsultoinnista tai joissa arvioidaan sisäisiin tarkoituksiin, noudattaako tarkastettava palveluntarjoaja asetusta (EU) 2022/2065 tai käytännesääntöjä ja kriisiprotokollia, myös silloin kun tämä rajoittuu täsmätesteihin, kuten sisällön moderointijärjestelmien suorituskykyä koskeviin kolmansien osapuolten testeihin. Tämä ei saisi sulkea pois tarkastusorganisaatioita, jotka ovat suorittaneet lakisääteisiä tilintarkastuksia.

(9)

Kun otetaan huomioon asetusta (EU) 2022/2065 koskevien säännönmukaisuuden tarkastusten monimutkaisuus ja erityinen luonne, tarkastusorganisaation aihekohtainen asiantuntemus on keskeinen edellytys, jotta tarkastukset voidaan suorittaa kohtuullisella varmuustasolla ja osoittaa ammatillista harkintaa ja skeptisyyttä ja jotta tarkastusorganisaatio voi näin esimerkiksi tietää, mitä informaatiota se tarvitsee tarkastusmenettelyjen suorittamiseksi tai ristiriitaisten tietojen kyseenalaistamiseksi. Tarkastettavan palveluntarjoajan pitäisi sen vuoksi todentaa, onko tarkastusorganisaatiolla tällaista asiantuntemusta, myös riskinhallinnan alalla, liittyen sekä tarkastusriskeihin että asetuksen (EU) 2022/2065 kohteeseen ja erityisesti sen 34 artiklassa tarkoitettuihin systeemisiin yhteiskunnallisiin riskeihin. Lisäksi tarkastettavan palveluntarjoajan olisi todennettava tarkastusorganisaation tekninen pätevyys ja valmiudet suhteessa kulloiseenkin tarkastettavaan palveluun, muun muassa aihekohtainen asiantuntemus koskien esimerkiksi algoritmisten järjestelmien kuten suosittelujärjestelmien ja muiden palveluntarjoajan ylläpitämien sosioteknisten järjestelmien toimintaa ja vaikutuksia. Tarkastusorganisaatiolla tulisi olla mahdollisuus alihankkia tai muulla tavoin hankkia ja ottaa käyttöön tarvittava asiantuntemus ja valmiudet, ja tarkastettavan palveluntarjoajan olisi todennettava ja varmistettava, että tarkastusorganisaatio pystyy hankkimaan tämän asiantuntemuksen ja nämä valmiudet ajoissa tarkastuksen suorittamista varten.

(10)

Todentaessaan, että tarkastusorganisaatiot täyttävät asetuksen (EU) 2022/2065 37 artiklan 3 kohdassa säädetyt edellytykset, tarkastettavan palveluntarjoajan olisi arvioitava asiaankuuluvaa näyttöä, mukaan lukien tarvittaessa tarkastusorganisaation antamat lausunnot, ilmoitukset ja tarkastuskertomukset. Tarvittavasta asiantuntemuksesta voi olla osoituksena esimerkiksi käytännön kokemus riskien arvioinnista ja hallinnasta samoin kuin akateeminen toiminta, tieteelliset julkaisut ja kokemus kyseeseen tulevista tarkastuksista. Tarkastuskertomuksissa tulisi olla kaikki asiaankuuluvat tositteet, jotka osoittavat, että tarkastusorganisaatio täyttää vaaditut edellytykset.

(11)

Tarkastettavan palveluntarjoajan on asetuksen (EU) 2022/2065 37 artiklan 2 kohdan mukaan tarjottava tarkastusorganisaatiolle kaikkea tarvittavaa yhteistyötä ja apua, jotta tarkastus voidaan suorittaa tuloksellisesti, tehokkaasti ja oikea-aikaisesti, puuttumatta kuitenkaan millään tavalla tarkastusorganisaation riippumattomiin päätöksiin. Tarkastettava palveluntarjoaja ei esimerkiksi saisi antaa määräyksiä tai ohjeita tai muulla tavoin vaikuttaa tarkastusorganisaatioon minkäänlaisilla sopimusperusteisilla tai muilla rajoituksilla tai kannustimilla tarkastusmenettelyjen ja -menetelmien valinnassa ja toteutuksessa, tietojen ja tarkastusevidenssin keräämisessä ja käsittelyssä, analyysissa, testeissä, tarkastuslausunnoissa tai tarkastuspäätelmien tekemisessä.

(12)

Jotta voidaan taata tarvittava yhteistyö ja apu tarkastuksen aikana, tarkastettavan palveluntarjoajan olisi varmistettava, että tarkastusorganisaatio saa käyttöönsä kaikki tarkastuksen suorittamiseksi tarvittavat tiedot. Tarkastettavan palveluntarjoajan tulisi lähettää kaikki tarvittavat asiakirjat ja selitykset mahdollisimman varhaisessa vaiheessa ja joka tapauksessa ennen kuin tarkastusorganisaatio alkaa suorittaa tarkastusmenettelyjä. Tarkastettavan palveluntarjoajan tulee esimerkiksi asetuksen (EU) 2022/2065 41 artiklan 3 kohdan d ja e alakohdan mukaan seurata sääntöjen noudattamisen valvontatoimintonsa avulla kaikkien tarkastettavien velvoitteiden ja sitoumusten noudattamista, minkä pitäisi johtaa sisäisen valvonnan käyttöön. Tarkastusorganisaatiolle olisi sen vuoksi annettava pääsy kaikkiin tällaiseen valvontaan liittyviin tietoihin ja kaikkiin muihin tietoihin, joissa esitetään tarkastettavan palveluntarjoajan strategia säännönmukaisuuden varmistamiseksi. Tarkastettavan palveluntarjoajan olisi erityisesti asetettava tarkastusorganisaation saataville vertailuarvot, joita se käyttää varmistaakseen asetuksen (EU) 2022/2065 noudattamisen, jotta tarkastusorganisaatio voi perustaa tarkastuskriteerit näihin tietoihin.. Lisäksi tarkastusorganisaatiolle olisi annettava mahdollisuus tutustua kaikkiin analyyseihin, joita tarkastettava palveluntarjoaja on saattanut tehdä luontaisista riskeistä ja kontrolliriskeistä. Tarkastettavan palveluntarjoajan olisi asetettava tarkastusorganisaation saataville tiedot, jotka auttavat luomaan käsityksen tarkastettavasta palvelusta, sen hallinnosta, kyseeseen tulevien tiimien pätevyydestä ja päätöksentekorakenteista, mukaan lukien sääntöjen noudattamisen valvontatoiminto, samoin kuin esittelyt sen IT-järjestelmistä ja data- ja rekisterirakenteista sekä tarkastuksen kannalta merkityksellisten algoritmisten järjestelmien vuorovaikutuksesta.

(13)

Tarkastusorganisaation olisi voitava pyytää muita tarvittavia tietoja milloin tahansa tarkastuksen aikana. Pääsy näihin tietoihin olisi myönnettävä ilman aiheetonta viivytystä tavalla, joka ei millään tavoin haittaa tarkastuksen suorittamista, ja eri lähteistä, kuten asiakirjoista, algoritmisista järjestelmistä, tietokannoista tai haastatteluista, mukaan lukien henkilötiedot. Tarkastettavan palveluntarjoajan olisi myös annettava tarkastusorganisaatiolle pääsy menettelyihin, prosesseihin ja IT-järjestelmiin kuten algoritmisiin ja tietojärjestelmiin, testausympäristöt mukaan lukien. Jotta tarkastusorganisaatio voisi tarkastaa tällaiset järjestelmät tarkoituksenmukaisesti, tarkastettavan palveluntarjoajan olisi annettava käyttöön kaikki tarvittavat resurssit, jotta tarkastusorganisaatio voi päästä järjestelmiin ja arvioimaan niitä, esimerkiksi antamalla käyttöön palveluntarjoajan pätevää henkilöstöä vastaamaan kysymyksiin tai käyttämään testausympäristöjä ja antamaan selvityksiä niiden toiminnasta tai helpottamalla muita tarvittavia yhteyksiä henkilöstöön sekä pääsyä tiloihin ja rakennuksiin. Pääsy menettelyihin ja prosesseihin voi tarkoittaa esimerkiksi mahdollisuutta tutustua kuvauksiin tai asiakirjoihin, jotka koskevat tarkastettavan palveluntarjoajan sisäistä päätöksentekoprosessia. Tarvittavien tietojen saanti voi edellyttää tarkastettavalta palveluntarjoajalta myös lisätoimia, jotta se voi täyttää yhteistyö- ja avunantovelvoitteensa. Esimerkiksi henkilöstön haastattelut voivat edellyttää, että tarkastettava palveluntarjoaja antaa käyttöön suojatut järjestelmät. Jos se on tarpeen tarkastuksen suorittamiseksi, tarkastettavien palveluntarjoajien olisi täytettävä velvoite tarjota yhteistyötä ja apua tarkastusorganisaatiolle muun muassa helpottamalla pääsyä sellaisiin käyttämiensä ulkopuolisten toimeksisaajien hallussa oleviin tietoihin, jotka liittyvät kyseisten tarkastettavien palveluntarjoajien toimintaan. Näin voi olla esimerkiksi, kun kyse on sisällön moderointitoimien tuloksista, koulutusmateriaalista tai ohjeistuksesta, jota käyttävät sisältöä moderoivat ulkopuoliset toimeksisaajat, tai IT-ratkaisujen myyjistä ja palveluntarjoajista, mukaan lukien esimerkiksi tarkastettavan palveluntarjoajan käyttämissä suosittelujärjestelmissä tai mainontajärjestelmissä käytettävät algoritmit ja sovellukset.

(14)

Jotta voidaan edistää tarkastushavaintojen läpinäkyvyyttä tarkoituksenmukaisella tavalla ja säätää asetuksen (EU) 2022/2065 37 artiklan 4 kohdassa tarkoitettujen tarkastuskertomusten ja sen 37 artiklan 6 kohdassa tarkoitettujen tarkastuksen täytäntöönpanokertomusten kattavasta ja vertailukelpoisesta muodosta, tässä asetuksessa olisi vahvistettava näiden kertomusten mallit tarvittavine liitteineen kullekin kertomukselle. Tässä asetuksessa esitetyt mallit edellyttävät kattavaa raportointia vaikuttamatta asetuksen (EU) 2022/2065 42 artiklan 4 ja 5 kohdassa säädettyihin raporttien julkaisemista koskeviin vaatimuksiin.

(15)

Sen varmistamiseksi, että tarkastusorganisaatio saa tarkastettavalta palveluntarjoajalta kaiken tarvittavan avun ilman, että jälkimmäinen vaikuttaa tarkastuksen suorittamiseen, ja että tarkastusorganisaatio täyttää kaikki tarkastuksen valmistelua koskevat edellytykset ja toimittaa tarkastuskertomuksen hyvissä ajoin ja riittävän laadukkaana kohtuullisen varmuustason saavuttamiseksi, olisi tietyillä säännöillä täsmennettävä menettelyt tarkastuksen valmistelua varten. Tarkastettavan palveluntarjoajan ja tarkastusorganisaation tehtävät ja vastuut, mukaan lukien kaikki alihankkijat tai kumppaniorganisaatiot sekä tarkastuksen suorittamisesta vastaava henkilöstö, olisi vahvistettava kirjallisessa sopimuksessa määrättävin ehdoin. Kirjallisessa sopimuksessa olisi täsmennettävä tarkastettavat velvoitteet ja sitoumukset, resurssien kohdentaminen sekä säännöt tarkastusorganisaation ja tarkastettavan palveluntarjoajan välisestä vuorovaikutuksesta ja yhteyspisteet niiden välillä. Kaikki tositteet ja sopimukset olisi liitettävä tarkastuskertomukseen, myös silloin, kun asiakirjat ovat tarkastustoimeksiannon tai muiden sopimusehtojen muodossa.

(16)

Kattavan yleiskatsauksen mahdollistamiseksi ja tarkastettavien palveluntarjoajien vastuuvelvollisuuden helpottamiseksi tarkastuskertomuksessa tulisi olla päätelmä tarkastusorganisaation arviosta kaikkien tarkastettavien velvoitteiden ja sitoumusten noudattamisesta, jotka tarkastettavalle palveluntarjoajalle kuuluvat. Kunkin tarkastuspäätelmän tulisi perustua kohtuulliseen varmuustasoon, ja sen olisi oltava joko ”myönteinen”, ”myönteinen ja huomautuksia sisältävä” tai ”kielteinen”, jotta se tukisi tarkastuslausuntoa asianmukaisesti. Päätelmien, jotka ovat ”myönteisiä ja huomautuksia sisältäviä”, ei pitäisi koskea itse säännönmukaisuuden arviointia. Huomautuksissa voidaan viitata esimerkiksi siihen, että palveluntarjoaja on tuottanut tietoa tarkastusorganisaation pyynnöstä, tai parannuksiin, joita tarkastettava palveluntarjoaja on tehnyt ylläpidossa tai valvonnassa, tai niissä voidaan huomioida muita riskinvähentämissuunnitelmia ja parannuksia, joihin palveluntarjoaja aikoo ryhtyä. Jos tarkastusorganisaatio katsoo, että tarkastettava palveluntarjoaja noudattaa jotain tarkastettavaa velvoitetta tai sitoumusta tarkastettavan palvelutarjoajan ilmoittamien vertailuarvojen mukaan, mutta katsoo tarpeelliseksi esittää huomioita näistä vertailuarvoista, tarkastuspäätelmän tulisi olla ”myönteinen ja huomautuksia sisältävä”, koska tällaiset huomautukset voivat olla hyödyllinen tieto palveluntarjoajalle mahdollisuuksista muuttaa sen vertailuarvoja tarkastusorganisaation tietämyksen ja asiantuntemuksen sekä ulkoisista lähteistä saatavien tietojen perusteella. Huomautuksia voitaisiin antaa esimerkiksi ottaen huomioon komission ohjeet, kuten asetuksen (EU) 2022/2065 35 artiklan 3 kohdassa tarkoitetut komission suuntaviivat sekä muut kyseisen asetuksen soveltamiseen liittyvät komission antamat suuntaviivat, mainitun asetuksen 35 artiklan 2 kohdassa tarkoitetut Euroopan digitaalisten palvelujen lautakunnan raportit, täytäntöönpanotoimet, komission kyseisen asetuksen nojalla tekemät päätökset, asiaa koskeva oikeuskäytäntö, kuten Euroopan unionin tuomioistuimen oikeuskäytäntö, sekä julkiset kuulemiset tai muut kyseeseen tulevat luotettavat lähteet.

(17)

Julkisen valvonnan ja viranomaisvalvonnan mahdollistamiseksi silloin, kun tarkastuspäätelmä on ”kielteinen” mutta vain rajoitetun ajan ja kun tarkastusorganisaatio katsoo, että tarkastettava palveluntarjoaja on noudattanut velvoitetta tai sitoumusta muun ajan tarkastettavaa ajanjaksoa, tämä olisi otettava huomioon tarkastuskertomuksessa kunkin kyseessä olevan velvoitteen tai sitoumuksen osalta. Tarkastuskertomuksen olisi sisällettävä tarkastusorganisaation huomiot tarkastettavan palveluntarjoajan sen käyttöön antamista tiedoista, jotka koskevat käytössä olevia tai suunniteltuja riskinvähentämissuunnitelmia säännönvastaisuuksien korjaamiseksi.

(18)

Kun otetaan huomioon asetuksen (EU) 2022/2065 III luvussa säädettyjen oikeudellisten velvoitteiden erilainen luonne ja sen 45, 46 ja 48 artiklan mukaisten käytännesääntöjen ja kriisiprotokollien nojalla tehdyt vapaaehtoiset sitoumukset, tarkastusorganisaation olisi annettava tarkastuslausunnot kyseisen luvun ja kunkin käytännesäännöstön ja kriisiprotokollan noudattamisesta.

(19)

Jotta tarkastus voidaan suorittaa kohtuullisella varmuustasolla ja jotta asianmukaiset tarkastusmenettelyt voidaan suunnitella käyttäen menetelmiä, joilla tarkastusriski minimoidaan alhaiselle tasolle, keskeisenä osana menetelmää tarkastuksen suorittamiseksi tulisi olla tarkastusriskien arviointi eli arvio siitä riskistä, että tarkastusorganisaatio antaa epäasianmukaisen tarkastuslausunnon tai -päätelmän. Tarkastusorganisaation olisi arvioitava tarkastusriski heti tarkastuksen alussa ennen tarkkojen menetelmien suunnittelua ja tarkastusmenettelyjen suorittamista. Analyysi tarkastusriskistä tarvitaan, jotta tarkastusorganisaatio voi valita tarkat menetelmät tarkastusta varten ja määrittää, kuinka kattavia tarkastusmenettelyjen tulee olla, jotta saavutetaan kohtuullinen varmuustaso tarkastuslausuntoa varten. Tarkastusorganisaation olisi tehtävä tarkastusriskin analyysi kaikkien tarkastettavien velvoitteiden tai sitoumusten noudattamisen arviointia varten ottaen huomioon luontaiset riskit, kontrolliriskit ja havaitsemisriskit.

(20)

Jotta tarkastusriskit voidaan arvioida oikein, tarkastusriskin analyysissä olisi otettava huomioon tarkastettavan palvelun luonne, erityisesti sen riskiprofiili, sekä tarkastuksen laajuus ja monimutkaisuus. On esimerkiksi todennäköistä, että verkkoalustoihin, jotka mahdollistavat etäsopimusten tekemisen kuluttajien välillä, liittyvät luontaiset riskit ovat erilaisia kuin videonjakoalustojen tai hakukoneiden tapauksessa. Lisäksi tulisi ottaa huomioon sosiaalinen ja taloudellinen toimintaympäristö, jossa tarkastettavaa palvelua tarjotaan, esimerkiksi tyypilliset käyttäjäryhmät, kuten alaikäiset, tai toistuva käyttäytyminen, kuten laaja epäaito käyttö ja koordinoitu käyttäytyminen disinformaatiokampanjoissa. Sosiaalista ja taloudellista toimintaympäristöä tarkastellessa pitäisi ottaa huomioon myös asetuksessa (EU) 2022/2065 tarkoitettu kriisitilanteille ja odottamattomille tapahtumille altistumisen todennäköisyys ja erikseen sen vakavuus.

(21)

Jotta tarkastusriskin analyysissä voidaan ottaa huomioon palveluun kohdistuvien riskien kehittyminen, sen olisi perustuttava myös tietoihin mahdollisista aiemmista tarkastuksista, joita tarkastettavalle palveluntarjoajalle on tehty, ja tietoihin muista lähteistä, kuten muita riskiprofiililtaan samankaltaisia palveluntarjoajia koskevista tarkastuskertomuksista. Jotta tarkastusriskin analyysi voidaan kaikilta osin pohjata uusimpaan näyttöön riskeistä samankaltaisissa yhteyksissä kuin missä tarkastettava palveluntarjoaja toimii ja luotettaviin lähteisiin, joilla on välitöntä merkitystä asetuksen (EU) 2022/2065 soveltamisen kannalta, analyysissä olisi soveltuvin osin tukeuduttava myös Euroopan digitaalisten palvelujen lautakunnan antamiin raportteihin tai komission suuntaviivoihin. Muita tietolähteitä voisivat olla myös tiedot tarkastuskertomuksista, joita muut erittäin suurten verkkoalustojen tai erittäin suurten verkossa toimivien hakukoneiden tarjoajat ovat julkaisseet asetuksen (EU) 2022/2065 42 artiklan 4 kohdan mukaisesti.

(22)

Tarkastusorganisaation olisi ilman tarkastettavan palveluntarjoajan vaikutusta laadittava tarkastusmenetelmät, joita käyttäen tarkastettavien velvoitteiden ja sitoumusten noudattamista arvioidaan. Tarkastuskriteerien olisi perustuttava tietoihin, jotka tarkastettava palveluntarjoaja toimittaa säännönmukaisuuden seurannassa käyttämistään vertailuarvoista. Menetelmissä voidaan myös ottaa huomioon muita tarkastettavan palveluntarjoajan käyttöön antamia tietoja, kuten luontaisten riskien analyysi, jos tarkastettu palveluntarjoaja on tehnyt tällaisen analyysin käyttämällä esimerkiksi sääntöjen noudattamisen valvojien tai ylimmän hallintoelimen asetuksen (EU) 2022/2065 41 artiklan mukaisesti kehittämiä toimenpiteitä tai muita toimenpiteitä, jotka sisältyvät palvelun toimintaan kyseisen asetuksen 34 artiklassa tarkoitettuja järjestelmäriskien arviointeja varten.

(23)

Jotta varmistetaan, että tarkastusmenetelmät ovat asianmukaisia tarkastuslausuntojen kohtuullisen varmuuden saavuttamiseksi, menetelmien valinnassa tarkastusmenettelyjä varten olisi otettava huomioon tarkastettavan velvoitteen tai sitoumuksen erityispiirteet ja menetelmien valintaa tulisi mukauttaa esimerkiksi tarkastettavan velvoitteen luonteen mukaan riippuen siitä, velvoittaako se palveluntarjoajaa keinojen käyttöön vai tuloksiin sääntöjen noudattamiseksi. Esimerkiksi tarkastusmenettelyissä, joilla arvioidaan asetuksen (EU) 2022/2065 15 artiklan mukaisen avoimuusraportoinnin noudattamista, tarkastusorganisaatio voi päätellä, julkaistiinko raportit kyseisessä asetuksessa vaadituissa määräajoissa ja muodoissa, olivatko ne täydellisiä ja olivatko raportoidut tiedot paikkansapitäviä, edustavia ja asianmukaisesti eriteltyjä esimerkiksi kulloisenkin toimenpiteisiin johtaneen laittoman sisällön luokan mukaan.

(24)

Menetelmän valinnan olisi myös perustuttava siihen, edellyttääkö säännönmukaisuuden arviointi tarkastusorganisaatiolta asiayhteyteen perustuvaa tulkintaa. Menetelmien valintaa olisi myös mukautettava luontaisiin riskeihin, joita liittyy palvelun tarjoamisen yhteydessä suoritettaviin toimintoihin ja palvelun tarjoamisen toimintaympäristöön, esimerkiksi siihen, liittyykö palveluun sellaisten tavaroiden myyntiä, jotka voivat olla laittomia, tai käyttävätkö palvelua pääasiassa alaikäiset. Esimerkiksi arvioidessaan, noudatetaanko asetuksen (EU) 2022/2065 28 artiklan 1 kohdan mukaisia velvoitteita ottaa käyttöön asianmukaisia ja oikeasuhteisia toimenpiteitä alaikäisten korkeatasoisen yksityisyyden ja turvallisuuden varmistamiseksi, tarkastusorganisaation tulisi käyttämiensä menetelmien avulla saada riittävä käsitys siitä, miten alaikäiset käyttävät tarkastettavaa palvelua, millaisia riskejä heidän yksityisyydelleen ja turvallisuudelleen voi aiheutua ja mitkä ovat asianmukaisia ja oikeasuhteisia toimenpiteitä, kun on kyse tarkastettavasta palvelusta ja sen käytöstä alaikäisten keskuudessa. Tätä varten tarkastusorganisaatioiden olisi jaoteltava arviointi tarkoituksenmukaisiksi vaiheiksi. Niiden olisi arvioitava tarkastusriskit tarkastettavan palveluntarjoajan riskiprofiilin perusteella ja muun muassa se, onko palvelu alaikäisten saatavilla tai käyttävätkö sitä pääasiassa alaikäiset. Niiden olisi esimerkiksi arvioitava, onko palveluntarjoaja ottanut käyttöön välineitä iänvarmistusta varten, ovatko ne tuloksellisia ja miten tarkastettava palveluntarjoaja arvioi ja seuraa niiden tuloksellisuutta. Niiden olisi arvioitava, onko tarkastettava palveluntarjoaja ottanut käyttöön asianmukaisia toimenpiteitä havaitakseen palvelunsa vihamielisen (adversarial) käytön ja käyttäytymismallit, joiden tarkoitus on vahingoittaa tai jotka todennäköisesti vahingoittavat alaikäisiä.

(25)

Menetelmien valintaa olisi mukautettava kontrolliriskeihin toimenpiteissä, joita tarkastettava palveluntarjoaja on ottanut käyttöön sääntöjen noudattamiseksi, sekä havaitsemisriskeihin eli riskeihin siitä, ettei havaita palveluntarjoajan tarkastusorganisaatiolle toimittamissa tiedoissa olevia virheellisyyksiä. Jos tarkastettava velvoite voi esimerkiksi edellyttää tarkastusta algoritmisesta järjestelmästä, joka perustuu yksilöllistämiseen tarkastettavan palvelun yksittäisiä vastaanottajia varten ja algoritmisen järjestelmän toistuviin päivityksiin, esimerkiksi kun on kyse velvoitteista antaa tietoa suosittelujärjestelmistä asetuksen (EU) 2022/2065 27 artiklan mukaisesti, tarkastusorganisaation tulisi valitsemansa menetelmän pohjalta voida suunnitella asianmukaiset testit havaitsemisriskien minimoimiseksi. Vastaavasti jos tarkastusorganisaatio pyrkii arvioimaan, onko kaikkia kyseeseen tulevia riskejä lievennetty laajoihin kielimalleihin perustuvien sovellusten suunnittelussa, toiminnassa ja käytössä, kuten tarkastettavan palveluntarjoajan käyttämissä chat-toimintoissa tai suosittelujärjestelmissä, tarkastusorganisaation tulisi ensin arvioida palveluntarjoajan käyttöön ottamien valvontatoimien tarkoituksenmukaisuus. Testien valinnassa tulisi ottaa huomioon tämän sisäisen valvonnan luotettavuus. Tarkastusmenettelyjen tulisi perustua menetelmien yhdistelmään erityisesti mutta ei pelkästään niissä tapauksissa, joissa sisäinen valvonta on liian heikkoa, puutteellista tai epävarmaa, jotta sääntöjen noudattamista voitaisiin arvioida ottaen huomioon tarkastettavan palvelun vastaanottajapopulaatio. Menetelmiin voi kuulua esimerkiksi aineistopohjaisia analyysimenetelmiä, kuten analyysiä vuorovaikutuksista kaikkien algoritmisten järjestelmien välillä suosittelujärjestelmissä ja niihin liittyvistä päätöksentekosäännöistä ja -prosesseista näiden suosittelujärjestelmien pääparametrien määrittämiseksi, mukaan lukien havainnot digitaalisista tallenteista ja lokeista. Menetelmiin tulisi kuulua myös järjestelmän testaus, kuten simuloiduissa ympäristöissä tehtävät testit.

(26)

Jotta varmistetaan, että menetelmä on relevantti ja että uudet havainnot voidaan ottaa huomioon tarkastuksen aikana, menetelmien valinnassa olisi käytettävä ohjenuorana tarkastusorganisaation ammatillista harkintaa ja menetelmien valintaa olisi mukautettava tällaisiin uusiin havaintoihin erityisesti silloin, kun tarkastusorganisaatiolla on perusteltuja epäilyjä tarkastettavan palveluntarjoajan toimittamien tietojen suhteen. Tarkastusorganisaation tulisi osoittaa ammatillista skeptisyyttä asiantuntemuksensa ja muiden asetuksen (EU) 2022/2065 soveltamisen kannalta erityisen merkittävien tietolähteiden pohjalta, mukaan lukien Euroopan digitaalisten palvelujen lautakunnan raportit, komission ohjeet, mainitun asetuksen 45, 46 ja 48 artiklassa tarkoitettujen käytännesääntöjen tai kriisiprotokollien pohjalta laaditut tarkastuskertomukset tai tarkastuksen aikana esiin tulleet tiedot, muun muassa niiden liittyessä sellaisiin tapahtumiin, erityisesti kriisitilanteisiin, jotka edellyttävät tarkastettavalta palveluntarjoajalta lisätoimia tiettyjen tarkastettavien velvoitteiden tai sitoumusten noudattamisen varmistamiseksi.

(27)

Sen varmistamiseksi, että tarkastuksen aikana kerätään riittävästi tarkastusevidenssiä, tarkastusorganisaatioiden olisi sekä arvioitava tarkastettavan palveluntarjoajan sisäistä valvontaa että suoritettava aineistotarkastusmenettelyjä voidakseen arvioida, noudattaako tarkastettava palveluntarjoaja sääntöjä. Tietyissä tapauksissa tarkastusorganisaation olisi myös suoritettava testejä.

(28)

Kun otetaan huomioon verkkoalustojen tarjoajien käyttämien algoritmisten järjestelmien monimutkaisuus ja niiden tärkeä rooli useiden asetuksessa (EU) 2022/2065 säädettyjen velvoitteiden noudattamisessa, erityistä huomiota olisi kiinnitettävä tarvittavien ja asianmukaisten menetelmien valintaan algoritmisten järjestelmien tarkastamista varten. Tämä pätee sekä silloin, kun algoritmiset järjestelmät ovat osa tarkastettavan palveluntarjoajan käyttöön ottamaa valvontaa, että silloin, kun ne ovat tarkastettavien velvoitteiden tai sitoumusten kohteena, kuten suosittelujärjestelmien osalta esimerkiksi asetuksen (EU) 2022/2065 27, 34, 35 ja 38 artiklan nojalla, mainontajärjestelmien osalta esimerkiksi sen 26, 28, 34, 35 ja 39 artiklan nojalla, sisällön moderointijärjestelmien osalta esimerkiksi sen 14, 15, 34 ja 35 artiklan nojalla tai minkä tahansa muun algoritmisen järjestelmän osalta, joka vaikuttaa kyseisen asetuksen 34 artiklassa tarkoitettuihin riskeihin.

(29)

Olisi myös käytettävä aineistopohjaisten analyysimenetelmien yhdistelmää, tarvittaessa pohjautuen havaintoihin tarkastettavan palveluntarjoajan prosesseista ja toimista algoritmisten järjestelmien suunnittelussa, kehittämisessä, käytössä, testauksessa ja seurannassa tai havaintoihin järjestelmien tuottamista digitaalisista tallenteista ja lokitiedoista. Menetelmiä olisi mukautettava algoritmisten järjestelmien erityispiirteisiin, mukaan lukien niiden hallinnointi ja eri algoritmisten järjestelmien ja niihin liittyvien tiedonhallintajärjestelmien välinen vuorovaikutus, sekä näiden algoritmisten järjestelmien perustana oleviin teknologioihin, mukaan lukien generatiiviset mallit tai muut luokittimet, valinta- tai hakualgoritmit.

(30)

Lisäksi algoritmisten järjestelmien tarkastusmenetelmiin olisi sisällyttävä testejä, esimerkiksi testejä sellaisten tietojen keräämiseksi, joita tarkastettava palveluntarjoaja ei ole aiemmin dokumentoinut, tai tarkkuusindikaattoreiden tulosten toistamiseksi ja arvioimiseksi riippumattomasti, testiympäristöissä tai simuloiduissa ympäristöissä tehtäviä testejä tai tuotantojärjestelmissä tehtäviä testejä, mukaan lukien tiedonharavointi tai testaus adversariaalihyökkäyksillä (adversarial testing).

(31)

Koska tarkastusevidenssin korkea laatu on välttämätön edellytys sille, että tarkastusorganisaatio voi muodostaa tarkastuslausunnon kohtuullisella varmuudella, tietojen, joita se päättää käyttää tarkastusevidenssinä, tulisi olla asianmukaisia ja riittäviä tarkastusriskien vähentämiseksi. Lisäksi tarkastusevidenssin tulisi olla luotettavaa tarkastusorganisaation ammatillisen harkinnan ja skeptisyyden perusteella ja soveltuvin osin vaihtoehtoisten tietolähteiden valossa. Ammatilliseen harkintaan ja skeptisyyteen olisi sisällyttävä tarkastusevidenssin ja mahdollisten virheellisyyksien kriittinen arviointi. Näitä laatustandardeja pitäisi soveltaa kaikkeen tarkastusevidenssiin riippumatta siitä, onko sen toimittanut tarkastettava palveluntarjoaja vai onko se kerätty muista lähteistä.

(32)

Tarkastusorganisaation olisi harkittava erityyppisiä tietolähteitä, joita voisivat olla esimerkiksi tarkastettavan palveluntarjoajan henkilöstön tai toimeksisaajien haastattelut, mukaan lukien sääntöjen noudattamisen valvojat, insinöörit, datatutkijat, ohjelmistoarkkitehdit tai sisäisen tarkastuksen ryhmien jäsenet. Tietolähteisiin voi sisältyä myös tekninen dokumentaatio, joka koskee kyseessä olevan järjestelmän suunnittelua, täytäntöönpanoa, testausta ja seurantaa, myös tietojen laatua ja hallinnointia sekä järjestelmän päivityksiä ja versioita, sekä muut asiakirjat tarkastettavan palveluntarjoajan hallinto- ja päätöksentekoprosesseista, mukaan lukien painopisteet, resurssit, tehtävien ja vastuiden jakaminen tai henkilöstön asiantuntemus.

(33)

Jotta voidaan varmistaa tarkastuksen tehokkuus ja oikeasuhteisuus, tarkastusorganisaation olisi voitava poimia dataa ja informaatiota edustavan otoksen muodostamiseksi, jotta se voi antaa tarkastuslausunnon kohtuullisella varmuudella. Tarkastusmenettelyjen avoimuuden ja uusittavuuden varmistamiseksi tarkastusorganisaation olisi esitettävä tarkastuskertomuksessa perustelut otoksen kokoa ja otantamenetelmää koskeville valinnoille. Otoksen koko ja menetelmät olisi esimerkiksi valittava ottaen huomioon, mikä on tehokasta sen kannalta, että voidaan saavuttaa yksittäisen tarkastettavan velvoitteen tai sitoumuksen tarkastuksen tavoite ja minimoida riski siitä, että tietyn otoksen tarkastuksen päätelmä poikkeaa päätelmästä, joka saataisiin, jos tarkastusmenettelyä sovellettaisiin koko evidenssijoukkoon. Otoksen koko ja menetelmät tulisi valita ottaen huomioon tarkastuksen täysi laajuus sekä sisäiset tai ulkoiset muutokset tarkastettavassa palvelussa tänä aikana. Niitä olisi myös mukautettava algoritmisten järjestelmien erityispiirteisiin, mukaan lukien profiloinnin avulla tapahtuvan yksilöllistäminen. Osana tätä näkökohtaa tarkastusorganisaation olisi esimerkiksi huolehdittava siitä, että otannan piiriin kuuluvat asianmukaisesti eri kohortit tai ositukset, joita voi muodostua yksilöllistämiseen käytettyjen tekniikoiden seurauksena, tai määritettävä virhemarginaali ja perusteltava, miksi se on hyväksyttävällä tasolla.

(34)

Asetuksen (EU) 2022/2065 tiettyjen säännösten uutuuden vuoksi on tarpeen vahvistaa metodologiset periaatteet, mukaan lukien tarkastuskysymykset ja muut suuntaviivat tarkastusmenetelmien ja tarkastusevidenssin valitsemiseksi näiden säännösten noudattamisen arviointia varten, erityisesti arvioitaessa, noudatetaanko asetuksen (EU) 2022/2065 34, 35 ja 36 artiklaa, jotka koskevat tarkastettavien palveluntarjoajien toteuttamia riskinanalyysejä ja niiden käyttöön ottamia riskinvähentämistoimenpiteitä sekä kriisinhallintaan liittyvien velvoitteiden soveltamista.

(35)

Koska tarkastusorganisaatioiden olisi myös arvioitava, noudattaako tarkastettava palveluntarjoaja asetuksen (EU) 2022/2065 37 artiklaa, olisi myös annettava lisäeritelmiä täsmällisestä tarkastuksesta, jonka pohjalta noudattamista olisi arvioitava, erityisesti eturistiriitojen välttämiseksi tarkastusorganisaation osalta.

(36)

Käytännesääntöjen ja kriisiprotokollien vapaaehtoisuuden vuoksi on tarpeen vahvistaa erityiset säännöt asetuksen (EU) 2022/2065 45, 46 ja 48 artiklan noudattamisen tarkastamiseksi, erityisesti jotta tarkastusorganisaatioilla olisi käytössään kaikki tarvittavat tiedot, jotta ne voisivat suorittaa tarkastukset liittyen nimenomaan kunkin käytännesäännöstön ja kriisiprotokollan mukaisiin sitoumuksiin,