(1)

Onafhankelijke controles vormen een belangrijk instrument bij het toezicht op de naleving door aanbieders van zeer grote onlineplatforms en van zeer grote onlinezoekmachines van hun verplichtingen uit hoofde van Verordening (EU) 2022/2065. Hoewel die verordening ook in andere verantwoordingsmechanismen voorziet, niet in de laatste plaats in de vorm van publieke toetsing van transparantierapportageverplichtingen en andere vereisten met betrekking tot de bekendmaking van gegevens, vervullen controleorganisaties al in een vroeg stadium een bijzondere rol bij het beoordelen van de naleving van deze verordening door deze aanbieders. De conclusies en bevindingen van deze onafhankelijke controles en de hierin vervatte aanbevelingen, leveren een betekenisvolle bijdrage aan regulerend toezicht. Tegelijkertijd is onafhankelijke controle slechts één van de verschillende bronnen van informatie en analyses waar de regelgevende instanties gebruik van kunnen maken in het kader van hun toezichthoudende en handhavende rol.

(2)

Teneinde te waarborgen dat onafhankelijke controles vanaf de datum van toepassing van Verordening (EU) 2022/2065, zoals vastgesteld in de artikelen 92 en 93 van die verordening, op doeltreffende, efficiënte, tijdige en vergelijkbare wijze worden uitgevoerd, moet de Commissie regels vaststellen inzake de uitvoering van controles, met name waar het de juridische verplichtingen van de gecontroleerde aanbieders betreft, alsook de procedurele stappen waarmee moet worden gewaarborgd dat de controles worden uitgevoerd door onafhankelijke organisaties die geen belangenconflicten hebben, de nodige expertise hebben aangetoond en blijk hebben gegeven van beroepsethiek, zoals bedoeld in artikel 37, lid 3, van Verordening (EU) 2022/2065.

(3)

Teneinde de passende uitvoering van controles met een hoog niveau van deskundigheid te waarborgen, en onbedoelde gevolgen op de markt voor controlediensten te voorkomen, moet worden verduidelijkt dat de uit hoofde van artikel 37 van Verordening (EU) 2022/2065 uitgevoerde controles door verscheidene controleurs kunnen worden uitgevoerd. Indien nodig, wanneer er bijvoorbeeld behoefte is aan specifieke deskundigheid bij de controle op bepaalde verplichtingen of toezeggingen, onder meer die met betrekking tot het ontwerp en de werking van algoritmische systemen, inzicht in de risico’s voor de grondrechten of de verspreiding van illegale inhoud, kan de gecontroleerde aanbieder voor het uitvoeren van de controle een overeenkomst aangaan met verschillende controleorganisaties of een consortium van organisaties. Controleorganisaties kunnen de benodigde deskundigheid ook uitbesteden, op voorwaarde dat zowel de controleorganisatie als de onderaannemers voldoen aan de vereisten inzake onafhankelijkheid, het voorkomen van belangenconflicten, bewezen objectiviteit en beroepsethiek, en dat zij gezamenlijk voldoen aan de eisen betreffende technische deskundigheid. In dat geval moet de gecontroleerde aanbieder alsnog waarborgen dat ten minste één keer per jaar wordt gecontroleerd dat hij voldoet aan alle verplichtingen en toezeggingen als bedoeld in artikel 37, lid 1, van Verordening (EU) 2022/2065.

(4)

De in artikel 37, lid 4, punt g), van Verordening (EU) 2022/2065 bedoelde controleadviezen moeten door de controleorganisaties met een redelijke mate van zekerheid worden afgegeven. Teneinde een redelijke mate van zekerheid te verkrijgen, moet de controleorganisatie een hoge, maar niet absolute, mate van vertrouwen hebben dat er geen sprake is van onjuistheden, zoals omissies, verkeerde voorstellingen van zaken of fouten, die niet tijdens de controle aan het licht zijn gekomen. Teneinde die mate van zekerheid te waarborgen, moet de controleorganisatie onder meer voldoende bewijsmateriaal vergaren en bij haar beoordeling passende controlemethoden toepassen.

(5)

Overeenkomstig artikel 37, lid 1, van Verordening (EU) 2022/2065 moeten de onafhankelijke controles ten minste één keer per jaar worden uitgevoerd, overeenkomstig de in artikel 34 van die verordening genoemde jaarlijkse cyclus van risicobeoordelingen. In sommige gevallen kan het echter nodig zijn vaker controles uit te voeren. De volgorde van de controles moet waarborgen dat er ononderbroken op wordt toegezien dat de gecontroleerde aanbieders Verordening (EU) 2022/2065 en de relevante gedragscodes en crisisprotocollen naleven. De gecontroleerde aanbieder moet ervoor zorgen dat de periode gedurende welke in het kader van een specifieke controle op naleving van de verplichtingen en toezeggingen wordt gecontroleerd, aansluit op de periode gedurende welke in de voorgaande controle de naleving van die verplichtingen en toezeggingen werd gecontroleerd, en uiterlijk ingaat bij het verstrijken van de periode van de voorgaande controle. Aangezien de conclusie van een controle zowel de beoordeling door de controleorganisatie als de opstelling van een controlerapport omvat, moeten gecontroleerde aanbieders ervoor zorgen dat de duur van de controle het mogelijk maakt dat controles ten minste eenmaal per jaar worden voltooid en dat de controlerapporten onverwijld bij de Commissie en de digitaledienstencoördinator worden ingediend, overeenkomstig artikel 42, lid 4, van Verordening (EU) 2022/2065.

(6)

Gecontroleerde aanbieders mogen zich op geen enkele wijze mengen in de uitvoering van de controle en de conclusies ervan, en moeten voldoen aan hun verplichtingen uit hoofde van artikel 37 van Verordening (EU) 2022/2065, onder meer door contractuele voorwaarden overeen te komen met de controleorganisatie en door, voorafgaand aan het selecteren van een controleorganisatie, na te gaan of die organisatie voldoet aan de in artikel 37, lid 3, van Verordening (EU) 2022/2065 vastgestelde voorwaarden.

(7)

Zo moet de gecontroleerde aanbieder een evaluatie uitvoeren van eerder met de controleorganisatie gesloten overeenkomsten of overeenkomsten tussen de controleorganisatie en aan de gecontroleerde aanbieder verbonden rechtspersonen. Daarnaast moet de gecontroleerde aanbieder in overeenkomsten met controleorganisaties bepalingen opnemen waarmee wordt gewaarborgd dat wordt voldaan aan de in artikel 37, lid 3, van Verordening (EU) 2022/2065 genoemde voorwaarden. Indien de controleorganisatie uit verschillende entiteiten bestaat, moet de gecontroleerde aanbieder zich ervan verzekeren dat al die entiteiten aan die voorwaarden voldoen, in voorkomend geval onder meer waar het door de controleorganisatie ingehuurde onderaannemers betreft die op welke wijze dan ook worden ingezet ter ondersteuning van de uitvoering van de controle. Hoewel iedere entiteit bij het uitvoeren van de controle individueel moet voldoen aan de eisen met betrekking tot onafhankelijkheid en het voorkomen van belangenconflicten, moeten die entiteiten gezamenlijk voldoen aan de eisen met betrekking tot de bekwaamheid, deskundigheid of technische hulpmiddelen, zodat de verschillende entiteiten verschillende onderdelen van de controle kunnen uitvoeren en in het kader van de uitvoering van de controle hun bijdrage kunnen leveren in de vorm van de benodigde capaciteiten, bekwaamheid en deskundigheid. In het controlerapport moet de verantwoordelijkheid van alle entiteiten voor hun respectieve onderdeel van de controle worden vermeld.

(8)

Bij het nagaan of een controleorganisatie voldoet aan de voorwaarden met betrekking tot onafhankelijkheid en het voorkomen van belangenconflicten, moet de gecontroleerde aanbieder overeenkomstig artikel 37, lid 3, punt a), i), van Verordening (EU) 2022/2065, zich er in het bijzonder toe inspannen te voorkomen dat de controleorganisatie de gecontroleerde aanbieder niet-controlediensten verleent. Zo moet de gecontroleerde aanbieder nagaan of er diensten zijn verleend die bijvoorbeeld in verband staan met systemen, software of processen die betrekking hebben op de gecontroleerde verplichting of toezegging, onder meer in de vorm van adviesdiensten voor de beoordeling van prestaties, governance en software, opleidingsdiensten, de ontwikkeling of het onderhoud van systemen, of het uitbesteden van inhoudsmoderatie. Hieronder vallen ook aan de gecontroleerde aanbieder verleende diensten met betrekking tot adviesverlening over of ontwikkeling van interne controles, of het voor interne doeleinden beoordelen van de naleving door de gecontroleerde aanbieder van Verordening (EU) 2022/2065 of van gedragscodes en crisisprotocollen, ook wanneer dit alleen precisietesten beslaat, zoals door derden uitgevoerde testen inzake de prestaties van systemen voor inhoudsmoderatie. Dit mag controleorganisaties die wettelijke financiële controles hebben uitgevoerd, niet uitsluiten.

(9)

Vanwege de complexiteit en de specifieke aard van de nalevingscontroles in het kader van Verordening (EU) 2022/2065, is het van essentieel belang dat de controleorganisatie deskundig is betreffende het onderwerp, zodat zij de controle met een redelijke mate van zekerheid kan uitvoeren, zich een professioneel oordeel kan vormen en een kritische houding aan de dag kan leggen teneinde ervoor te zorgen dat de organisatie bijvoorbeeld weet welke informatie zij nodig heeft voor het uitvoeren van de controleprocedures of het betwisten van tegenstrijdige informatie. De gecontroleerde aanbieder moet derhalve nagaan of de controleorganisatie onder meer op het gebied van risicobeheer dergelijke deskundigheid kan bieden, met betrekking tot zowel de controlerisico’s als het onderwerp van Verordening (EU) 2022/2065, en met name de in artikel 34 van die verordening genoemde systeemrisico’s voor de samenleving. Daarnaast moet de gecontroleerde aanbieder met het oog op de specifieke gecontroleerde dienst de technische bekwaamheid en capaciteiten van de controleorganisatie verifiëren, onder meer haar deskundigheid betreffende het onderwerp, bijvoorbeeld in verband met de werking en gevolgen van algoritmische systemen, zoals aanbevelingssystemen en andere door de aanbieder onderhouden sociaal-technische systemen. De controleorganisatie moet de mogelijkheid tot uitbesteding hebben of op andere manieren de nodige deskundigheid en capaciteiten kunnen verkrijgen en inzetten, en de gecontroleerde aanbieder moet verifiëren of en waarborgen dat de controleorganisatie in staat is die deskundigheid en capaciteiten op tijd voor de uitvoering van de controle te verkrijgen.

(10)

Bij het nagaan of de controleorganisaties voldoen aan de in artikel 37, lid 3, van Verordening (EU) 2022/2065 vastgelegde voorwaarden, moet de gecontroleerde aanbieder het relevante bewijsmateriaal beoordelen, waaronder, in voorkomend geval, door de controleorganisatie afgegeven certificaties, verklaringen en controlerapporten. Passende deskundigheid kan bijvoorbeeld worden bewezen door het aantonen van praktische ervaring bij het beoordelen en beheren van risico’s, alsook in de vorm van academische activiteiten, wetenschappelijke publicaties en ervaring met de desbetreffende controles. De controlerapporten moeten alle relevante bewijsstukken bevatten waaruit blijkt dat de controleorganisaties aan de vereiste voorwaarden voldoen.

(11)

Overeenkomstig artikel 37, lid 2, van Verordening (EU) 2022/2065 moet de gecontroleerde aanbieder de controleorganisatie de nodige samenwerking en bijstand verlenen om haar in staat te stellen de controles op doeltreffende, efficiënte en tijdige wijze uit te voeren, en mag hij zich op geen enkele wijze mengen in door de controleorganisatie te nemen onafhankelijke beslissingen. Zo mag de gecontroleerde aanbieder de controleorganisatie geen vereisten opleggen, richtsnoeren uitbrengen of op andere wijze beïnvloeden door middel van contractuele of andere beperkingen of stimulansen in het kader van het selecteren en uitvoeren van de controleprocedures en -methoden, het verzamelen en verwerken van informatie en controlebewijs, of bij analyses en testen, het controleadvies of de uitwerking van de controleconclusies.

(12)

Teneinde de nodige samenwerking en bijstand tijdens de controle te waarborgen, moet de gecontroleerde aanbieder ervoor zorgen dat de controleorganisatie toegang krijgt tot alle informatie die nodig is voor het uitvoeren van de controle. De gecontroleerde aanbieder moet in een zo vroeg mogelijk stadium en in ieder geval voordat de controleorganisatie overgaat tot het uitvoeren van de controleprocedures, alle nodige documenten en toelichtingen toezenden. Zo bestaat de compliancefunctie van de gecontroleerde aanbieder overeenkomstig artikel 41, lid 3, punten d) en e), van Verordening (EU) 2022/2065, in het monitoren van de naleving van alle gecontroleerde verplichtingen en toezeggingen, wat ertoe moet leiden dat interne controles worden uitgewerkt. Daarom moet de controleorganisatie toegang krijgen tot alle informatie met betrekking tot die controles en tot alle andere informatie over de strategie van de gecontroleerde aanbieder om de naleving te waarborgen. De gecontroleerde aanbieder moet met name de benchmarks tot waarborging van de naleving van Verordening (EU) 2022/2065 ter beschikking stellen van de controleorganisatie, zodat de controleorganisatie de controlecriteria op die informatie kan baseren. Daarnaast moet de controleorganisatie toegang krijgen tot elke analyse die de gecontroleerde aanbieder mogelijk heeft uitgevoerd met betrekking tot inherente risico’s en controlerisico’s. Die aanbieder moet de controleorganisatie informatie ter beschikking stellen die meer inzicht bieden in de gecontroleerde dienst, de governance, de bevoegdheden van de respectieve teams en de besluitvormingsstructuren, met inbegrip van zijn compliancefunctie, alsook presentaties van zijn informatietechnologiesystemen, gegevens- en documentstructuren en de wisselwerking tussen de verschillende algoritmische systemen die van belang zijn voor de controle.

(13)

De controleorganisatie moet tijdens het uitvoeren van de controle op ieder moment andere noodzakelijke informatie kunnen opvragen. De toegang tot die informatie moet onverwijld worden verleend, en wel zodanig dat de uitvoering van de controle op generlei wijze wordt belemmerd. Dit betreft onder meer toegang tot gegevens, waaronder persoonsgegevens — uit verschillende bronnen — zoals documenten, algoritmische systemen, databanken of gesprekken, naargelang het geval. De gecontroleerde aanbieder moet de controleorganisatie bovendien toegang verlenen tot procedures, processen en IT-systemen, waaronder algoritmische en informatiesystemen, met inbegrip van testomgevingen. Teneinde de controleorganisatie in staat te stellen dergelijke systemen op betekenisvolle wijze te inspecteren, moet de gecontroleerde aanbieder alle nodige middelen beschikbaar stellen om de controleorganisatie te helpen bij het verkrijgen van toegang tot de systemen en bij het beoordelen ervan, bijvoorbeeld door bevoegd personeel ter beschikking te stellen om vragen te beantwoorden, testomgevingen te beheren en toelichting te geven op de werking ervan, of door andere vormen van benodigde toegang tot personeel en ruimten, waaronder gebouwen, te faciliteren. De toegang tot processen en procedures kan bijvoorbeeld de toegang tot beschrijvingen of documenten betreffende het interne besluitvormingsproces van de gecontroleerde aanbieder betreffen. De toegang tot relevante informatie kan ook andere, aanvullende maatregelen betreffen die de gecontroleerde aanbieder moet nemen om aan zijn verplichting tot samenwerking en bijstand te voldoen. Zo zijn er voor gesprekken met personeel mogelijk door de gecontroleerde aanbieder te verstrekken beveiligde voorzieningen nodig. Indien dit nodig is voor de uitvoering van de controle, moeten gecontroleerde aanbieders voldoen aan de samenwerkings- en bijstandsverplichting ten aanzien van de controleorganisatie, onder meer door te zorgen voor toegang tot relevante gegevens met betrekking tot hun activiteiten die in het bezit zijn van hun derde contractanten. Dit kan bijvoorbeeld het geval zijn voor de resultaten van inhoudsmoderatieacties, opleidingsmateriaal of richtsnoeren die worden gebruikt door derde contractanten die inhoud modereren, of verkopers en dienstverleners voor IT-oplossingen, waaronder bijvoorbeeld algoritmen en toepassingen die worden gebruikt in aanbevelingssystemen of reclamesystemen die door de gecontroleerde aanbieder worden gebruikt.

(14)

Teneinde betekenisvolle transparantie van de bevindingen van de controle mogelijk te maken en uitgebreide en vergelijkbare formaten te bieden voor de in artikel 37, lid 4, van Verordening (EU) 2022/2065 bedoelde controlerapporten en de in artikel 37, lid 6, van die verordening bedoelde controle-uitvoeringsrapporten, moeten in deze verordening modellen voor die rapporten worden vastgesteld en een aantal bijlagen bij alle rapporten worden voorgeschreven. Hoewel de in deze verordening vastgestelde modellen uitgebreide verslaglegging vereisen, mag dit niet van invloed zijn op de eisen betreffende de openbaarmaking van rapporten als bedoeld in artikel 42, leden 4 en 5, van Verordening (EU) 2022/2065.

(15)

Teneinde te waarborgen dat de controleorganisatie alle nodige bijstand ontvangt van de gecontroleerde aanbieder, zonder in de uitvoering van de controle te worden belemmerd, en dat de controleorganisatie aan alle eisen met betrekking tot de voorbereiding van de controle voldoet en het controlerapport tijdig levert, en dat het controlerapport van voldoende kwaliteit is om een redelijke mate van zekerheid te verkrijgen, moeten er regels worden vastgesteld voor de procedures voor de voorbereiding van de controle. De taken en verantwoordelijkheden van de gecontroleerde aanbieder en de controleorganisatie, met inbegrip van alle onderaannemers of partnerorganisaties en het voor de uitvoering van de controle verantwoordelijke personeel, moeten in een schriftelijke overeenkomst uiteen worden gezet, waaronder middels contractuele voorwaarden. In de schriftelijke overeenkomst moeten ook de gecontroleerde verplichtingen en toezeggingen worden opgenomen, alsook de toegewezen middelen en de regels betreffende interactie tussen en contactpunten van de controleorganisatie en de gecontroleerde aanbieder. Alle relevante bewijsstukken en overeenkomsten moeten als bijlagen bij het controlerapport worden gevoegd indien de documenten in de vorm van een controleopdracht of andere contractuele voorwaarden worden aangeboden.

(16)

Teneinde in een uitgebreid overzicht te voorzien en de verantwoordingsplicht van gecontroleerde aanbieders te versterken, moet het controlerapport een conclusie bevatten op basis van de beoordeling van de controleorganisatie van de naleving door de gecontroleerde aanbieder van alle gecontroleerde verplichtingen of toezeggingen. Iedere controleconclusie moet gebaseerd zijn op een redelijke mate van zekerheid en moet als “positief”, “positief met kanttekeningen” of “negatief” worden aangemerkt om een passende bijdrage voor het controleadvies te vormen. Conclusies die “positief met kanttekeningen” zijn, mogen geen betrekking hebben op de beoordeling van de naleving zelf. Deze kanttekeningen kunnen bijvoorbeeld verwijzen naar het op aanvraag van de controleorganisatie verstrekken van informatie door de aanbieder, of naar verbeteringen met betrekking tot door de gecontroleerde aanbieder verricht onderhoud of gehanteerde controles, of nota nemen van verdere mitigatieplannen en verbeteringen die de aanbieder voornemens is in te voeren. Indien de controleorganisatie van oordeel is dat de gecontroleerde aanbieder voldoet aan een gecontroleerde verplichting of verbintenis volgens de door de gecontroleerde aanbieder gerapporteerde benchmarks, maar het noodzakelijk acht opmerkingen over die benchmarks op te nemen, moet de controleconclusie in ieder geval “positief met kanttekeningen” zijn, aangezien dergelijke opmerkingen de aanbieder kunnen informeren over mogelijkheden voor nuttige wijzigingen van zijn benchmarks, op basis van de kennis en de deskundigheid van de controleorganisatie, en van informatie uit externe bronnen. De opmerkingen kunnen bijvoorbeeld worden gebaseerd op richtsnoeren van de Commissie, waaronder richtsnoeren van de Commissie als bedoeld in artikel 35, lid 3, van Verordening (EU) 2022/2065, en andere relevante richtsnoeren van de Commissie met betrekking tot de toepassing van die verordening, rapporten van de digitaledienstenraad als bedoeld in artikel 35, lid 2, van die verordening, handhavingsmaatregelen, door de Commissie op grond van die verordening genomen besluiten, relevante jurisprudentie, met name van het Hof van Justitie van de Europese Unie, openbare raadplegingen of relevante gezaghebbende bronnen.

(17)

In het geval een controleconclusie als “negatief” is aangemerkt, maar slechts gedurende een beperkte periode geldt, en de controleorganisatie van mening is dat de gecontroleerde aanbieder de verplichting of toezegging gedurende de resterende gecontroleerde periode is nagekomen, moet dit in het controlerapport voor iedere verplichting of toezegging worden aangegeven teneinde publieke toetsing en regulerend toezicht mogelijk te maken. Het rapport moet de opmerkingen van de controleorganisatie bevatten over alle informatie die de gecontroleerde aanbieder haar ter beschikking heeft gesteld met betrekking tot bestaande of geplande mitigatieplannen om niet-naleving te verhelpen.

(18)

Gezien de uiteenlopende aard van de in hoofdstuk III van Verordening (EU) 2022/2065 bedoelde juridische verplichtingen en de vrijwillige toezeggingen in het kader van de gedragscodes en crisisprotocollen uit hoofde van de artikelen 45, 46 en 48 van die verordening, moet de controleorganisatie controleadviezen uitbrengen over de naleving van dat hoofdstuk en van iedere gedragscode en ieder protocol.

(19)

Teneinde de controle met een redelijke mate van zekerheid te kunnen uitvoeren en de controleprocedures op passende wijze vorm te kunnen geven op basis van methoden die het controlerisico tot een laag niveau beperken, moet de raming van de controlerisico’s essentieel onderdeel zijn van de gehanteerde methode voor de uitvoering van de controle, waarbij het gaat om het risico dat de controleorganisatie een ongeschikt controleadvies of een ongeschikte conclusie afgeeft. De controleorganisatie moet het controlerisico dan ook helemaal aan het begin van de controle beoordelen, vóór vaststelling van de precieze controlemethode en het uitvoeren van de controleprocedures. De analyse van het controlerisico is noodzakelijk om de controleorganisatie in staat te stellen de precieze controlemethoden vast te stellen en te bepalen hoe uitgebreid de controleprocedures moeten zijn om een redelijke mate van zekerheid voor het controleadvies te verkrijgen. De controleorganisatie moet de analyse van het controlerisico voor de beoordeling van de naleving van iedere gecontroleerde verplichting of toezegging uitvoeren, rekening houdend met inherente risico’s, controlerisico’s en detectierisico’s.

(20)

Teneinde de controlerisico’s op de juiste wijze te kunnen beoordelen, moet in de analyse van het controlerisico rekening worden gehouden met de aard van de gecontroleerde dienst, in het bijzonder het risicoprofiel, en de reikwijdte en de complexiteit van de controle. Zo zullen onlineplatforms die consumenten de mogelijkheid bieden overeenkomsten op afstand te sluiten, waarschijnlijk gepaard gaan met andere inherente risico’s dan videoplatforms of zoekmachines. Daarnaast moet rekening worden gehouden met de maatschappelijke en economische context waarbinnen de gecontroleerde dienst wordt verleend, bijvoorbeeld met betrekking tot typische gebruikersgroepen, zoals minderjarigen, of veelvoorkomende gedragingen, waaronder een hoog aantal gevallen van niet-authentiek gebruik en gecoördineerd gedrag in het kader van desinformatiecampagnes. De in overweging te nemen maatschappelijke en economische context moet ook de waarschijnlijkheid en, onafhankelijk daarvan, de ernst van blootstelling aan crisissituaties en onverwachte gebeurtenissen omvatten, zoals bedoeld in Verordening (EU) 2022/2065.

(21)

Teneinde te waarborgen dat de analyse van het controlerisico de evolutie weerspiegelt van de risico’s waaraan de dienst wordt blootgesteld, moet de analyse van het controlerisico in voorkomend geval mede gebaseerd zijn op informatie uit voorgaande controles die de gecontroleerde aanbieder heeft ondergaan, en voortbouwen op informatie uit bronnen als controlerapporten van andere aanbieders met een vergelijkbaar risicoprofiel. Teneinde te waarborgen dat de analyse van het controlerisico volledig gebaseerd is op bewijs met betrekking tot de stand van zaken inzake risico’s in contexten die vergelijkbaar zijn aan die waarbinnen de gecontroleerde aanbieder actief is, alsook op gezaghebbende bronnen die van rechtstreeks belang zijn voor de toepassing van Verordening (EU) 2022/2065, moet de analyse ook voortbouwen op informatie uit door de digitaledienstenraad uitgebrachte rapporten of, in voorkomend geval, richtsnoeren van de Commissie. Andere informatie kan daarnaast informatie betreffen uit overeenkomstig artikel 42, lid 4, van Verordening (EU) 2022/2065 openbaar gemaakte rapporten van andere aanbieders van zeer grote onlineplatforms of zeer grote onlinezoekmachines.

(22)

De controleorganisatie moet, zonder hierbij beïnvloed te worden door de gecontroleerde aanbieder, de controlemethoden voor het beoordelen van de naleving van de gecontroleerde verplichtingen en toezeggingen opstellen. De controlecriteria moeten gebaseerd zijn op de door de gecontroleerde aanbieder ingediende informatie, inzake de door de gecontroleerde aanbieder gehanteerde benchmarks voor het monitoren van de naleving. Daarnaast kan in de methode rekening worden gehouden met andere informatie die door de gecontroleerde aanbieder beschikbaar is gesteld, zoals de analyse van inherente risico’s — voor zover de gecontroleerde aanbieder een dergelijke analyse heeft verricht — bijvoorbeeld door middel van door de compliancefunctionaris of het leidinggevend orgaan uit hoofde van artikel 41 van Verordening (EU) 2022/2065 ontwikkelde maatregelen of andere maatregelen die zijn ingebed in de werking van de dienst voor de beoordeling van de systeemrisico’s als bedoeld in artikel 34 van die verordening.

(23)

Teneinde te waarborgen dat de controlemethoden geschikt zijn voor het verkrijgen van een redelijke mate van zekerheid voor de controleadviezen, moet de gekozen methode voor de controleprocedure gericht zijn op de specifieke kenmerken van de gecontroleerde verplichting of toezegging, en bijvoorbeeld worden afgestemd op de aard van de gecontroleerde verplichting als een inspanningsverbintenis of een resultaatsverbintenis die de aanbieder moet nakomen om naleving te verzekeren. Zo kunnen controleprocedures voor het beoordelen van de naleving van de transparantierapportageverplichtingen uit hoofde van artikel 15 van Verordening (EU) 2022/2065 de controleorganisatie in staat stellen te beslissen of de rapporten binnen de in die verordening voorgeschreven termijnen en in het voorgeschreven formaat openbaar zijn gemaakt, alsook of de rapporten volledig en de verstrekte gegevens nauwkeurig, representatief, en op passende wijze opgesplitst waren, bijvoorbeeld per categorie van illegale inhoud waartegen is opgetreden.

(24)

De te kiezen methode moet ook afhankelijk zijn van de vraag of de nalevingsbeoordeling contextuele interpretatie door de controleorganisatie vereist. De te kiezen methode moet ook worden afgestemd op de inherente risico’s die samengaan met de activiteiten die worden verricht bij het verlenen van de dienst en op de context waarbinnen de dienst wordt verleend, bijvoorbeeld de vraag of de dienst de verkoop van mogelijk illegale goederen met zich brengt of de vraag of de dienst voornamelijk door minderjarigen wordt gebruikt. Zo moeten methoden voor het beoordelen van de naleving van verplichtingen tot het treffen van passende en evenredige maatregelen om een hoog niveau van privacy, veiligheid en bescherming van minderjarigen te waarborgen overeenkomstig artikel 28, lid 1, van Verordening (EU) 2022/2065, de controleorganisatie voldoende inzicht geven in de wijze waarop de gecontroleerde dienst door minderjarigen wordt gebruikt en in de mogelijke risico’s voor hun privacy, veiligheid en bescherming, alsook in wat passende en evenredige maatregelen zijn in de specifieke context van de gecontroleerde dienst en het gebruik ervan door minderjarigen. Daartoe moeten controleorganisaties de beoordeling in passende stappen opsplitsen. Zij moeten de controlerisico’s beoordelen aan de hand van het risicoprofiel van de gecontroleerde aanbieder, met name of content beschikbaar is voor of voornamelijk wordt gebruikt door minderjarigen. Zij moeten bijvoorbeeld beoordelen of de aanbieder instrumenten voor leeftijdsgarantie heeft ingevoerd, of deze doeltreffend zijn en op welke wijze de gecontroleerde aanbieder de doeltreffendheid ervan beoordeelt en monitort. Zij moeten beoordelen of de gecontroleerde aanbieder passende maatregelen heeft genomen voor het opsporen van oneigenlijk gebruik van zijn dienst en van gedragspatronen die minderjarigen schade beogen of dreigen te berokkenen.

(25)

De keuze van de methode moet worden afgestemd op de controlerisico’s die samengaan met de door de gecontroleerde aanbieder getroffen nalevingsmaatregelen, alsook op de detectierisico’s, oftewel het risico dat onjuistheden in de door de aanbieder aan de controleorganisatie verstrekte informatie niet worden gedetecteerd. Wanneer een gecontroleerde verplichting bijvoorbeeld de controle betreft van een algoritmisch systeem op basis van personalisering voor individuele afnemers van de betrokken dienst en van periodieke updates van het algoritmisch systeem, zoals de openbaarmakingsverplichtingen voor aanbevelingssystemen uit hoofde van artikel 27 van Verordening (EU) 2022/2065, moet de gekozen methode de controleorganisatie in staat stellen passende testen te ontwikkelen om de detectierisico’s tot een minimum te beperken. Evenzo moet de controleorganisatie vóór de beoordeling of alle relevante risico’s zijn beperkt in het ontwerp, de werking en het gebruik van toepassingen op basis van grootschalige taalmodellen, zoals chatfuncties of aanbevelingssystemen die door de gecontroleerde aanbieder worden ingezet, eerst de geschiktheid van de door de aanbieder ingestelde controles beoordelen. De gekozen testen moeten gebaseerd zijn op de robuustheid van die interne controles. Voornamelijk — maar niet alleen — in gevallen van zwakke, onvolledige of niet doorslaggevende interne controles voor het beoordelen van de naleving van de voorschriften, rekening houdend met het aantal afnemers van de gecontroleerde dienst, moeten de controleprocedures gebaseerd zijn op een combinatie van methoden. Deze methoden kunnen bijvoorbeeld inhoudelijke analytische procedures omvatten, zoals de analyse van de interacties tussen alle bij de aanbevelingssystemen betrokken algoritmische systemen en de bijbehorende besluitvormingsregels en -processen voor het vaststellen van de belangrijkste parameters van die aanbevelingssystemen, alsook waarnemingen uit digitale gegevensbestanden en overzichten. De methoden kunnen ook systeemtesten omvatten, bijvoorbeeld testen in een gesimuleerde omgeving.

(26)

Teneinde te waarborgen dat de methode relevant is en is afgestemd op nieuwe bevindingen naar aanleiding van de uitvoering van de controle, moet de gekozen methode gebaseerd zijn op het professioneel oordeel van de controleorganisatie en worden aangepast aan de hand van die nieuwe bevindingen, met name wanneer er bij de controleorganisatie gerede twijfels bestaan over de door de gecontroleerde aanbieder verstrekte informatie. De professioneel-kritische instelling van de controleorganisatie moet gebaseerd zijn op haar deskundigheid, alsook op andere informatiebronnen die van bijzonder belang zijn voor de toepassing van Verordening (EU) 2022/2065, zoals door de digitaledienstenraad uitgebrachte rapporten, richtsnoeren van de Commissie, controlerapporten die zijn uitgebracht aan de hand van de in de artikelen 45, 46 en 48 van die verordening bedoelde gedragscodes en crisisprotocollen, of informatie die tijdens de uitvoering van de controle aan het licht is gekomen, onder meer met betrekking tot gebeurtenissen, met name crisissituaties, die aanvullende maatregelen van de gecontroleerde aanbieder vereisen om de naleving van bepaalde gecontroleerde verplichtingen of toezeggingen te waarborgen.

(27)

Teneinde ervoor te zorgen dat er tijdens de controle voldoende controlebewijs wordt verkregen, moeten controleorganisaties zowel de interne controles van de gecontroleerde aanbieder beoordelen als inhoudelijke controleprocedures uitvoeren voor het beoordelen van de naleving door de gecontroleerde aanbieder. In sommige gevallen moeten de controleorganisaties ook testen verrichten.

(28)

Gezien de complexiteit van de door aanbieders van onlineplatforms gebruikte algoritmische systemen en hun belangrijke rol bij de naleving van verscheidene in Verordening (EU) 2022/2065 vastgelegde verplichtingen, moet er bijzondere aandacht uitgaan naar het selecteren van noodzakelijke en passende methoden voor het controleren van algoritmische systemen. Dit geldt zowel wanneer algoritmische systemen onderdeel zijn van de door de gecontroleerde aanbieder gehanteerde controles, als wanneer deze systemen zelf onderwerp zijn van de gecontroleerde verplichtingen of toezeggingen, onder meer met betrekking tot aanbevelingssystemen, bijvoorbeeld uit hoofde van de artikelen 27, 34, 35 en 38 van Verordening (EU) 2022/2065, of reclamesystemen, bijvoorbeeld uit hoofde van de artikelen 26, 28, 34, 35 en 39 van die verordening, of inhoudsmoderatiesystemen, bijvoorbeeld uit hoofde van de artikelen 14, 15, 34 en 35 van die verordening, of andere algoritmische systemen die een bijdrage leveren aan de in artikel 34 van die verordening bedoelde risico’s.

(29)

Ook een combinatie van inhoudelijke analytische procedures moet worden ingezet, onder meer, naargelang het geval, op basis van waarnemingen betreffende processen en activiteiten van de gecontroleerde aanbieder in het kader van het ontwerpen, ontwikkelen, bedienen, testen en monitoren van algoritmische systemen, of waarnemingen betreffende door de systemen gegenereerde digitale gegevensbestanden en overzichten. De methoden moeten worden afgestemd op de bijzonderheden van de algoritmische systemen, met inbegrip van de governance ervan, de interactie tussen verschillende algoritmische systemen, alsook de bijbehorende gegevensbeheerssystemen, en op de technologieën die aan die algoritmische systemen ten grondslag liggen, zoals generatieve modellering of andere indelingscriteria, selectie- of zoekalgoritmen.

(30)

Daarnaast moeten controlemethoden voor algoritmische systemen testen omvatten, testen voor het verzamelen van informatie die de gecontroleerde aanbieder niet eerder heeft vastgelegd, of voor het onafhankelijk reproduceren en beoordelen van resultaten van precisie-indicatoren, in test- of gesimuleerde omgevingen uitgevoerde testen, testen binnen productiesystemen, onder meer door middel van datascraping of testen gericht op het ontdekken van kwetsbaarheden in het systeem.

(31)

Gezien het feit dat het controlebewijs van hoge kwaliteit moet zijn voordat een controleorganisatie een controleadvies kan uitbrengen met een redelijke mate van zekerheid, moet de informatie die de controleorganisatie besluit als controlebewijs te gebruiken, passend en voldoende zijn om de controlerisico’s te beperken. Daarnaast moet het controlebewijs naar het professioneel oordeel en overeenkomstig de professioneel-kritische instelling van de controleorganisatie en, indien van toepassing, ook op basis van alternatieve informatiebronnen, betrouwbaar zijn. Het professioneel oordeel en de professioneel-kritische instelling moeten een kritische beoordeling van het controlebewijs en mogelijke onjuistheden omvatten. Die kwaliteitsnormen moeten voor al het beschikbare controlebewijs gelden, ongeacht of dit bewijs door de gecontroleerde aanbieder is verstrekt of uit andere bronnen afkomstig is.

(32)

Het is zaak dat de controleorganisatie een reeks informatiebronnen in overweging neemt, waaronder bijvoorbeeld gesprekken met het personeel of aannemers van de gecontroleerde aanbieder, met inbegrip van compliancefunctionarissen, technici, datawetenschappers, softwarearchitecten of leden van interne controleteams. Hieronder kan ook technische documentatie vallen betreffende het ontwerp, de toepassing, het testen en het monitoren van een bepaald systeem, onder meer met betrekking tot de gegevenskwaliteit, de governance, updates en versies van het systeem, alsook andere documenten betreffende de governance en besluitvormingsprocessen van de gecontroleerde aanbieder, onder meer met het oog op de prioriteiten, middelen, toewijzing van taken en verantwoordelijkheden, of de deskundigheid van het betreffende personeel.

(33)

Met het oog op de efficiëntie en evenredigheid moet worden toegestaan dat de controleorganisatie een steekproefsgewijze controle van gegevens en informatie verricht, waarbij zij streeft naar een representatieve steekproef, zodat een controleadvies met een redelijke mate van zekerheid kan worden uitgebracht. Ter waarborging van de transparantie en reproduceerbaarheid van de controleprocedures moet de controleorganisatie in het controlerapport een onderbouwing geven van de door haar gekozen steekproefgrootte en -methode. Zo moeten de steekproefgrootte en -methode worden gekozen op basis van de doeltreffendheid ervan voor het controleren van de specifieke verplichting of toezegging en ter beperking van het risico dat de controleconclusie naar aanleiding van de specifieke steekproef afwijkt van de conclusie die zou worden getrokken als de controleprocedure zou worden toegepast op al het bewijs. Bij het selecteren van de steekproefgrootte en -methode moet rekening worden gehouden met de volledige reikwijdte van de controle, alsook met interne of externe wijzigingen van de gecontroleerde dienst gedurende deze periode. De steekproefgrootte en -methode moeten voorts worden afgestemd op de bijzonderheden van algoritmische systemen, onder meer met betrekking tot personalisering door middel van profilering. Als onderdeel van deze overweging moet de controleorganisatie bijvoorbeeld passende steekproeven verrichten van cohorten of indelingen die kunnen voortvloeien uit personaliseringstechnieken, ofwel de foutmarge bepalen en rechtvaardigen waarom dit een aanvaardbaar niveau betreft.

(34)

Gezien de nieuwigheid van een aantal bepalingen in Verordening (EU) 2022/2065 moeten er methodologische beginselen worden vastgesteld, met inbegrip van controlevragen en aanvullende richtsnoeren voor de selectie van de controlemethoden en het controlebewijs ten behoeve van de beoordeling van de naleving van die bepalingen, te weten voor het beoordelen van de naleving van de artikelen 34, 35 en 36 van Verordening (EU) 2022/2065 inzake het uitvoeren van risicobeoordelingen en het door gecontroleerde aanbieders vaststellen van risicobeperkende maatregelen, en voor het toepassen van verplichtingen in het kader van de crisisrespons.

(35)

Gezien het feit dat controleorganisaties ook de naleving door de gecontroleerde aanbieder van artikel 37 van Verordening (EU) 2022/2065 moeten controleren, moeten er voorts aanvullende specificaties worden vastgesteld voor de precieze controle die wordt gebruikt voor het beoordelen van de naleving, met name ter vermijding van belangenconflicten voor de controleorganisatie.

(36)

Gezien de vrijwillige aard van gedragscodes en crisisprotocollen moeten er specifieke voorschriften worden vastgesteld voor het controleren van de naleving van de artikelen 45, 46 en 48 van Verordening (EU) 2022/2065, met name om te waarborgen dat controleorganisaties over alle informatie beschikken die nodig is voor het uitvoeren van controles die specifiek zijn afgestemd op de toezeggingen uit hoofde van iedere gedragscode en ieder crisisprotocol,