(1)

Uafhængige revisioner er et vigtigt redskab i tilsynet med, at udbydere af meget store onlineplatforme og meget store onlinesøgemaskiner overholder deres forpligtelser i henhold til forordning (EU) 2022/2065. Selv om der er fastsat andre ansvarlighedsværktøjer i nævnte forordning, ikke mindst gennem øget offentlig kontrol med gennemsigtighedsrapporter og andre krav om offentliggørelse af data, spiller uafhængige revisionsinstanser en særlig rolle i vurderingen af sådanne udbyderes overholdelse af nævnte forordning på et tidligt tidspunkt. Konklusionerne og resultaterne af sådanne uafhængige revisioner og anbefalingerne herfra kan underrette tilsynet på en formålstjenlig måde. Samtidig udgør uafhængige revisioner en af flere kilder til oplysninger og analyser, som tilsynsmyndighederne kan anvende i deres tilsyns- og håndhævelsesrolle.

(2)

For at sikre, at uafhængige revisioner foretages på en effektiv, virkningsfuld, rettidig og sammenlignelig måde fra datoen for anvendelse af forordning (EU) 2022/2065, som defineret i samme forordnings artikel 92 og 93, bør Kommissionen fastsætte regler for gennemførelsen af revisioner, navnlig for så vidt angår de retlige forpligtelser for udbydere, der er underlagt revision, og de proceduremæssige skridt med henblik på at sikre, at instanser, der gennemfører revisioner, opfylder betingelserne om uafhængighed, ingen interessekonflikter, ekspertise og faglig etik som fastsat i artikel 37, stk. 3, i forordning (EU) 2022/2065.

(3)

For at lette en hensigtsmæssig gennemførelse af revisioner med et højt ekspertiseniveau og foregribe utilsigtede konsekvenser på markedet for revisionstjenester bør det præciseres, at revisioner, der foretages i overensstemmelse med artikel 37 i forordning (EU) 2022/2065, kan udføres af flere revisorer. Hvis det er nødvendigt, f.eks. på grund af behovet for særlig ekspertise inden for revision af visse forpligtelser eller tilsagn, f.eks. vedrørende udformningen og funktionen af algoritmiske systemer, forståelse for risiciene for de grundlæggende rettigheder eller spredningen af ulovligt indhold, kan udbyderen, der er underlagt revision, indgå aftale med forskellige revisionsinstanser eller et konsortium af instanser om at foretage revisionen. Revisionsinstanserne kan også give den nødvendige ekspertise i underentreprise, forudsat at både revisionsinstansen og underleverandørerne opfylder de nødvendige betingelser om uafhængighed, ikke-interessekonflikt, udviser objektivitet og overholder fagetiske standarder, og at de samlet set opfylder betingelserne om teknisk ekspertise. I sådanne tilfælde bør udbyderen, der er underlagt revision, stadig sikre, at dennes opfyldelse af alle de i artikel 37, stk. 1, i forordning (EU) 2022/2065 omhandlede forpligtelser og tilsagn, revideres mindst én gang om året.

(4)

Revisionserklæringerne, som er fastsat i artikel 37, stk. 4, litra g), i forordning (EU) 2022/2065, bør fremsættes af revisionsinstanser med et rimeligt niveau af revisionssikkerhed. For at opnå et rimeligt niveau af revisionssikkerhed bør revisionsinstansen have en høj, men ikke absolut, grad af tillid til, at der ikke har været nogen ukorrekte angivelser såsom udeladelser, urigtige oplysninger eller fejl, som ikke er blevet opdaget under revisionen. For at sikre et sådant niveau af revisionssikkerhed bør revisionsinstansen bl.a. indhente tilstrækkelig dokumentation og anvende passende revisionsmetoder i sin vurdering.

(5)

I henhold til artikel 37, stk. 1, i forordning (EU) 2022/2065 bør der gennemføres uafhængige revisioner mindst én gang om året i overensstemmelse med den årlige cyklus af risikovurderinger som fastsat i nævnte forordnings artikel 34. I visse tilfælde kan det dog være nødvendigt at foretage hyppigere revisioner. Rækkefølgen af revisioner bør sikre et kontinuerligt tilsyn med, at udbyderne, der er underlagt revision, overholder forordning (EU) 2022/2065 og relevante adfærdskodekser og kriseprotokoller. Udbyderen, der er underlagt revision, bør sikre, at den periode, hvor en given revision vurderer opfyldelsen af de forpligtelser og tilsagn, der er underlagt revision, supplerer den periode, der er omfattet af den foregående revision af udbyderens opfyldelse af disse forpligtelser og tilsagn, og at den begynder senest ved afslutningen af den af foregående revision omfattede periode. Da konklusionen på en revision omfatter både revisionsinstansens vurdering og udarbejdelsen af en revisionsrapport, bør de udbydere, der er underlagt revision, sikre, at revisionens varighed gør det muligt at afslutte revisioner mindst én gang om året, og at revisionsrapporterne derefter fremsendes til Kommissionen og koordinatoren for digitale tjenester uden unødig forsinkelse, jf. artikel 42, stk. 4, i forordning (EU) 2022/2065.

(6)

Selv om udbydere, der er underlagt revision, under ingen omstændigheder bør forsøge at øve indflydelse på gennemførelsen af revisionen og dens konklusioner, skal de opfylde deres forpligtelser i henhold til artikel 37 i forordning (EU) 2022/2065, herunder ved at aftale kontraktmæssige vilkår med revisionsinstansen og inden udvælgelsen af en revisionsinstans kontrollere, at denne instans opfylder betingelserne i artikel 37, stk. 3, i forordning (EU) 2022/2065.

(7)

Udbyderen, der er underlagt revision, bør f.eks. vurdere kontrakter, som denne tidligere har indgået med revisionsinstansen, eller kontrakter, der er indgået mellem revisionsinstansen og juridiske personer med tilknytning til udbyderen, der er underlagt revision. Udbyderen, der er underlagt revision, bør også medtage kontraktbestemmelser over for revisionsinstanser for at sikre, at betingelserne i artikel 37, stk. 3, i forordning (EU) 2022/2065 er opfyldt. Hvis revisionsinstansen består af flere enheder, bør udbyderen, der er underlagt revision, sikre sig, at alle disse enheder opfylder nævnte betingelser, herunder, hvis det er relevant, eventuelle underleverandører, der er ansat af revisionsinstansen med henblik på at yde støtte til gennemførelsen af revisionen i denne henseende. Selv om hver enhed, der gennemfører revisionen, hver især skal opfylde uafhængighedskravene og kravene om ingen interessekonflikter, bør disse enheder i fællesskab opfylde kravene vedrørende kompetence, ekspertise eller tekniske ressourcer og dermed give de forskellige enheder mulighed for at gennemføre forskellige dele af revisionen og bidrage med den kapacitet, kompetence og ekspertise, der er nødvendig for gennemførelse af revisionen. Hver af disse enheders ansvar for de respektive dele af revisionen bør fremgå af revisionsrapporten.

(8)

I henhold til artikel 37, stk. 3, litra a), nr. i), i forordning (EU) 2022/2065 bør udbyderen, der er underlagt revision, være særlig opmærksom på at undgå, at revisionsinstansen yder ikkerevisionsydelser til udbyderen, der er underlagt revision, når den kontrollerer, om en revisionsinstans opfylder uafhængighedskravene og kravene om ingen interessekonflikter. Udbyderen, der er underlagt revision, bør f.eks. vurdere, om der blev ydet tjenesteydelser, såsom dem, der er knyttet til systemer, software eller processer i forbindelse med spørgsmål, der er relevante for forpligtelsen eller tilsagnet, der er underlagt revision, såsom konsulenttjenester i forbindelse med vurdering af ydeevne, styring og software, uddannelsestjenester, udvikling eller vedligeholdelse af systemer eller udførelse af indholdsmoderation i underentreprise. Sådanne tjenester omfatter også tjenester, der ydes udbyderen, der er underlagt revision, og som består i at konsultere eller udvikle interne kontroller eller til interne formål vurdere, om udbyderne, der er underlagt revision, overholder forordning (EU) 2022/2065 eller adfærdskodekser og kriseprotokoller, herunder når dette er begrænset til regelmæssige test, såsom prøvninger udført af tredjemand af indholdsmoderationssystemers effektivitet. Dette bør ikke udelukke revisionsinstanser, der har udført lovpligtig finansiel revision.

(9)

I betragtning af kompleksiteten og den særlige karakter af juridisk-kritiske revisioner i forbindelse med forordning (EU) 2022/2065 er revisionsinstansens faglige ekspertise afgørende for gennemførelsen af revisioner med et rimeligt niveau af revisionssikkerhed og for udøvelsen af den faglige dømmekraft og skepsis, der gør det muligt for den nævnte instans f.eks. at vide, hvilke oplysninger der er nødvendige for at gennemføre revisionsprocedurerne eller anfægte modstridende oplysninger. Udbyderen, der er underlagt revision, bør derfor kontrollere, om revisionsinstansen giver adgang til en sådan ekspertise, herunder inden for risikostyring, både med hensyn til revisionsrisici og genstanden for forordning (EU) 2022/2065 og navnlig de systemiske risici af samfundsmæssig betydning som fastsat i nævnte forordnings artikel 34. Desuden bør udbyderen, der er underlagt revision, kontrollere revisionsinstansens tekniske kompetence og kapacitet med henblik på den specifikke tjeneste, der er underlagt revision, herunder dens faglige ekspertise, f.eks. med hensyn til funktionen og virkningerne af algoritmiske systemer såsom anbefalingssystemer og andre sociotekniske systemer, der anvendes af udbyderen. Revisionsinstansen bør have mulighed for at give den nødvendige ekspertise og kapacitet i underentreprise eller på anden måde erhverve og anvende den nødvendige ekspertise og kapacitet, og udbyderen, der er underlagt revision, bør kontrollere og sikre, at revisionsinstansen er i stand til at erhverve denne ekspertise og kapacitet inden revisionens gennemførelse.

(10)

Ved kontrollen af, at revisionsinstanser opfylder betingelserne i artikel 37, stk. 3, i forordning (EU) 2022/2065, bør udbyderen, der er underlagt revision, vurdere relevant dokumentation, herunder, hvis det er relevant, certificeringer, erklæringer og revisionsrapporter udstedt af revisionsinstansen. Den passende ekspertise kan f.eks. dokumenteres ved hjælp af praktiske erfaringer med vurdering og styring af risici samt ved akademisk aktivitet, videnskabelige publikationer og erfaring med relevante revisioner. Revisionsrapporter bør indeholde al relevant dokumentation for, at revisionsinstansen opfylder de nødvendige betingelser.

(11)

I henhold til artikel 37, stk. 2, i forordning (EU) 2022/2065 skal udbyderen, der er underlagt revision, yde det nødvendige samarbejde og den nødvendige bistand til, at revisionsinstansen kan foretage revisionen effektivt og rettidigt, og vedkommende skal samtidig afholde sig fra på nogen måde at blande sig i revisionsinstansens uafhængige afgørelser. Udbyderen, der er underlagt revision, bør f.eks. ikke pålægge, vejlede eller på anden måde påvirke revisionsinstansen gennem nogen form for kontraktlige eller andre begrænsninger eller incitamenter i forbindelse med revisionsinstansens valg og håndtering af revisionsprocedurer, metoder, indsamling og behandling af oplysninger og revisionsbevis, analyser, test, revisionserklæring eller udarbejdelse af revisionskonklusioner.

(12)

For at sikre det nødvendige samarbejde og den nødvendige bistand under revisionen bør udbyderen, der er underlagt revision, sikre, at revisionsinstansen får adgang til alle de oplysninger, der er nødvendige for gennemførelsen af revisionen. Udbyderen, der er underlagt revision, bør hurtigst muligt og under alle omstændigheder inden revisionsinstansen begynder at gennemføre revisionsprocedurer, fremsende alle de nødvendige dokumenter og begrundelser. I henhold til artikel 41, stk. 3, litra d) og e), i forordning (EU) 2022/2065 skal compliancefunktionen hos udbyderen, der er underlagt revision, f.eks. overvåge opfyldelsen af alle forpligtelser og tilsagn, som er underlagt revision, hvilket bør medføre udarbejdelse af interne kontroller. Revisionsinstansen bør derfor gives adgang til alle oplysninger vedrørende sådanne kontroller og alle andre oplysninger vedrørende den overholdelsesstrategi, der anvendes af udbyderen, der er underlagt revision. Den udbyder, der er underlagt revision, bør navnlig stille de benchmarks til rådighed for revisionsorganisationen, som vedkommende benytter til at sikre overholdelsen af forordning (EU) 2022/2065, således at revisionsorganisationen kan basere revisionskriterierne på disse oplysninger. Desuden bør revisionsorganisationen gives adgang til enhver analyse, som den udbyder, der er underlagt revision, måtte have foretaget af iboende risici og kontrolrisici. Udbyderen bør stille oplysninger til rådighed for revisionsorganisationen, hvor disse oplysninger letter forståelsen af den tjeneste, der er underlagt revision, dens ledelse, de respektive arbejdsgruppers kompetencer, dens beslutningsstrukturer, herunder dens compliancefunktion, samt præsentationer af dens IT-systemer, data- og registreringsstrukturer og samspillet mellem forskellige algoritmiske systemer af relevans for revisionen.

(13)

Revisionsinstansen bør til enhver tid i forbindelse med gennemførelsen af revisionen kunne anmode om andre nødvendige oplysninger. Adgang til disse oplysninger bør gives uden unødig forsinkelse på en måde, der på ingen måde hindrer gennemførelsen af revisionen. Dette bør omfatte adgang til data, herunder personoplysninger, der er indsamlet fra forskellige kilder, såsom dokumentation, algoritmiske systemer, databaser eller interviews, alt efter hvad der er relevant. Udbyderen, der er underlagt revision, bør også give revisionsinstansen adgang til procedurer og processer, IT-systemer såsom algoritmiske systemer og informationssystemer, herunder testmiljøer. For at gøre det muligt for revisionsinstansen at kontrollere sådanne systemer på en formålstjenlig måde bør udbyderen, der er underlagt revision, stille alle nødvendige ressourcer til rådighed for at bistå instansen med at få adgang til og vurdere systemerne, f.eks. ved at stille udbyderens kompetente personale til rådighed med henblik på at besvare spørgsmål eller drive testmiljøer og redegøre for deres funktion eller lette enhver anden nødvendig adgang til personale og lokaler såsom bygninger. Adgang til procedurer og processer kan f.eks. indebære adgang til beskrivelser eller dokumentation vedrørende den interne beslutningsproces hos udbyderen, der er underlagt revision. Adgang til relevante oplysninger kan også kræve andre supplerende foranstaltninger fra udbyderen, der er underlagt revision, for at denne opfylder sin forpligtelse til samarbejde og bistand. F.eks. kan interviews med personale kræve, at udbyderen, der er underlagt revision, stiller sikre faciliteter til rådighed. Hvor det er nødvendigt for udførelsen af revisionen, bør de udbydere, der er underlagt revision, opfylde forpligtelsen til samarbejde og bistand over for revisionsorganisationen, bl.a. ved at lette adgangen til relevante data vedrørende deres aktiviteter, der opbevares hos deres tredjepartskontrahenter. Dette kan f.eks. være tilfældet med hensyn til resultater af indholdsmoderation, undervisningsmateriale eller vejledning anvendt af indholdsmodererende tredjepartskontrahenter eller udbydere og tjenesteudbydere af IT-løsninger, herunder f.eks. algoritmer og applikationer, som anvendes i de anbefalingssystemer eller reklamesystemer, der anvendes af den udbyder, der er underlagt revision.

(14)

For at fremme formålstjenlig gennemsigtighed i revisionsresultaterne og indføre et sammenhængende og sammenligneligt format for de revisionsrapporter, der er omhandlet i artikel 37, stk. 4, i forordning (EU) 2022/2065, og de revisionsrapporter om gennemførelsen af revisioner, der er omhandlet i artikel 37, stk. 6, i nævnte forordning, bør der ved nærværende forordning fastlægges skabeloner for disse rapporter og stilles krav om en række bilag for hver af rapporterne. Selv om skabelonerne i denne forordning kræver omfattende rapportering, bør de ikke påvirke kravene om offentliggørelse af rapporter, jf. artikel 42, stk. 4 og 5, i forordning (EU) 2022/2065.

(15)

For at sikre at revisionsinstansen ydes den nødvendige bistand af udbyderen, der er underlagt revision, uden indblanding i gennemførelsen af revisionen, og at revisionsinstansen opfylder alle betingelser for udarbejdelsen af revisionen og afleverer revisionsrapporten rettidigt og med den kvalitet, der er nødvendig for at opnå et rimeligt niveau af revisionssikkerhed, bør visse regler præcisere procedurerne for udarbejdelsen af revisionen. De opgaver og det ansvar, der påhviler udbyderen, som er underlagt revision, og revisionsinstansen, herunder alle underleverandører eller partnerorganisationer og det personale, der er ansvarligt for at foretage revisionen, bør fastlægges i en skriftlig aftale, herunder gennem kontraktbestemmelser. I den skriftlige aftale bør de forpligtelser og tilsagn, der er underlagt revision, fordelingen af ressourcer og reglerne for interaktion og kontaktpunkter mellem revisionsinstansen og udbyderen, der er underlagt revision, også præciseres. Al dokumentation og alle kontrakter skal vedlægges revisionsrapporten, også når dokumentationen tager form af en revisionstilsagnsskrivelse eller andre kontraktbestemmelser.

(16)

For at give et samlet overblik og lette ansvarligheden for udbydere, der er underlagt revision, bør revisionsrapporten indeholde en konklusion på revisionsinstansens vurdering af, om udbyderen, der er underlagt revision, opfylder hver enkelt forpligtelse eller tilsagn, der er underlagt revision. Hver revisionskonklusion bør være baseret på et rimeligt niveau af revisionssikkerhed og bør være enten »positiv«, »positiv med bemærkninger« eller »negativ«, for på passende vis at kunne danne grundlag for revisionserklæringen. Konklusioner, der er »positive med bemærkninger«, bør ikke vedrøre selve vurderingen af overholdelsen. Sådanne bemærkninger kan f.eks. vedrøre udbyderens fremlæggelse af oplysninger efter anmodning fra revisionsinstansen eller forbedringer af den vedligeholdelse eller kontrol, som udbyderen, der er underlagt revision, har indført, eller vedrøre yderligere afbødende foranstaltninger eller forbedringer, som den pågældende udbyder agter at indføre. Hvis revisionsinstansen under alle omstændigheder vurderer, at den udbyder, der er underlagt revision, opfylder en forpligtelse eller et tilsagn, der er underlagt revision, i henhold til de benchmarks, som den nævnte leverandør har indberettet, men finder det nødvendigt at fremsætte bemærkninger til disse benchmarks, bør revisionskonklusionen være »positiv med bemærkninger«, da sådanne bemærkninger med fordel kan gøre udbyderen opmærksom på muligheder for potentielle ændringer af sine benchmarks på grundlag af revisionsinstansens viden og ekspertise samt oplysninger fra eksterne kilder. Bemærkningerne kan f.eks. baseres på vejledning fra Kommissionen, herunder Kommissionens retningslinjer, jf. artikel 35, stk. 3, i forordning (EU) 2022/2065, og andre relevante retningslinjer udstedt af Kommissionen med hensyn til anvendelsen af nævnte forordning, rapporter fra Det Europæiske Råd for Digitale Tjenester, jf. artikel 35, stk. 2, i nævnte forordning, håndhævelsesforanstaltninger, afgørelser truffet af Kommissionen i henhold til nævnte forordning, relevant retspraksis, navnlig fra Den Europæiske Unions Domstol, offentlige høringer eller relevante autoritative kilder.

(17)

For at muliggøre offentlig kontrol og myndighedstilsyn, hvis en revisionskonklusion er »negativ«, men kun gælder i en begrænset periode, og revisionsinstansen vurderer, at udbyderen, der er underlagt revision, har opfyldt forpligtelsen eller tilsagnet i resten af den periode, revisionen omfatter, bør dette afspejles i revisionsrapporten for hver af de pågældende forpligtelser eller tilsagn. Rapporten bør indeholde revisionsinstansens bemærkninger til alle oplysninger, som den udbyder, der er underlagt revision, har stillet til rådighed for dem, for så vidt angår eksisterende eller planlagte afbødningsplaner for at afhjælpe den manglende overholdelse.

(18)

I lyset af de forskellige retlige forpligtelser, der er fastsat i kapitel III i forordning (EU) 2022/2065, og de frivillige tilsagn, der er afgivet gennem adfærdskodekser og kriseprotokoller i henhold til artikel 45, 46 og 48 i nævnte forordning, bør revisionsinstansen afgive revisionserklæringer om overholdelsen af nævnte kapitel og af hver kodeks og protokol.

(19)

For at gennemføre revisionen med et rimeligt niveau af revisionssikkerhed og udforme passende revisionshandlinger i overensstemmelse med metoder, der bringer revisionsrisikoen ned på et lavt niveau, bør en central del af metoden til gennemførelse af revisionen være et skøn over revisionsrisiciene, nemlig risikoen for, at revisionsinstansen afgiver en revisionserklæring eller -konklusion, som er uhensigtsmæssig. Revisionsinstansen bør derfor vurdere revisionsrisikoen allerede i begyndelsen af revisionen, inden udformningen af den præcise metode og gennemførelsen af revisionsprocedurer. Revisionsrisikoanalysen er nødvendig for at give revisionsinstansen mulighed for at vælge de præcise revisionsmetoder og fastslå, hvor omfattende revisionsprocedurerne skal være for at opnå et rimeligt niveau af revisionssikkerhed for revisionserklæringen. Revisionsinstansen bør foretage revisionsrisikoanalysen til vurdering af opfyldelsen af hver enkelt forpligtelse eller tilsagn, der er underlagt revision, under hensyntagen til iboende risici, kontrolrisici og opdagelsesrisici.

(20)

For at kunne vurdere revisionsrisiciene korrekt bør der i revisionsrisikoanalysen tages hensyn til arten af den tjeneste, der er underlagt revision, især dens risikoprofil, samt revisionens omfang og kompleksitet. Det er f.eks. sandsynligt, at onlineplatforme, der giver forbrugere mulighed for at indgå aftaler om fjernsalg, vil have andre iboende risici end videodelingsplatforme eller søgemaskiner. Desuden bør den samfundsmæssige og økonomiske kontekst, hvori tjenesten, der er underlagt revision, ydes, tages i betragtning, f.eks. med hensyn til typiske brugergrupper såsom mindreårige eller hyppig adfærd såsom høj forekomst af ikkeautentisk brug og koordineret adfærd i forbindelse med desinformationskampagner. Den samfundsmæssige og økonomiske kontekst, der skal tages i betragtning, bør også omfatte sandsynligheden for af eksponering for krisesituationer og uventede begivenheder som fastsat i forordning (EU) 2022/2065; alvoren af denne eksponering bør også medtages som et uafhængigt element.

(21)

For at sikre at revisionsrisikoanalysen afspejler udviklingen i de risici, som tjenesten er underlagt, bør revisionsrisikoanalysen, hvis det er relevant, også baseres på oplysninger fra tidligere revisioner, som udbyderen, der er underlagt revision, var underlagt, og på oplysninger fra kilder såsom andre revisionsrapporter vedrørende andre udbydere med en lignende risikoprofil. For at sikre at revisionsrisikoanalysen er fuldt ud baseret på det nyeste inden for dokumentation af risici under omstændigheder, der svarer til dem, som udbyderen, der er underlagt revision, opererer under, samt på autoritative kilder af direkte relevans for anvendelsen af forordning (EU) 2022/2065, bør analysen også baseres på oplysninger fra rapporter fra Det Europæiske Råd for Digitale Tjenester eller retningslinjer fra Kommissionen, hvis det er relevant. Andre oplysninger kan også omfatte oplysninger fra revisionsrapporter, der er offentliggjort i henhold til artikel 42, stk. 4, i forordning (EU) 2022/2065 af andre udbydere af meget store onlineplatforme eller af meget store onlinesøgemaskiner.

(22)

Revisionsinstansen bør, uden påvirkninger fra udbyderen, der er underlagt revision, udarbejde de revisionsmetoder, som anvendes til at vurdere opfyldelsen af de forpligtelser og tilsagn, der er underlagt revision. Revisionskriterierne bør være baseret på oplysninger, som udbyderen, der er underlagt revision, har indgivet med hensyn til de benchmarks, som udbyderen, der er underlagt revision, anvender til at overvåge overholdelsen. Der kan i metoderne også tages hensyn til andre oplysninger, der stilles til rådighed af den udbyder, der er underlagt revision, såsom analysen af iboende risici, når udbyderen, der er underlagt revision, har foretaget en sådan analyse, f.eks. gennem foranstaltninger udviklet af compliancerådgiveren eller ledelsesorganet i overensstemmelse med artikel 41 i forordning (EU) 2022/2065, eller andre foranstaltninger indeholdt i tjenestens virkemåde med henblik på vurderinger af de systemiske risici som fastsat i artikel 34 i nævnte forordning.

(23)

For at sikre at revisionsmetoderne er egnede til at opnå et rimeligt niveau af revisionssikkerhed for revisionserklæringerne, bør der ved valg af metode til gennemførelse af revisionsprocedurerne tages hensyn til de særlige forhold, der gør sig gældende for den forpligtelse eller det tilsagn, der er underlagt revision, og metoderne bør f.eks. tilpasses karakteren af den forpligtelse, der er underlagt revision, som en forpligtelse med hensyn til midler eller resultater, som udbyderen skal opfylde for at overholde kravene. Revisionsprocedurer til vurdering af opfyldelsen af rapporteringsforpligtelser vedrørende gennemsigtighed i henhold til artikel 15 i forordning (EU) 2022/2065 kan f.eks. give revisionsinstansen mulighed for at konkludere, om rapporterne blev offentliggjort inden for de frister og i de formater, der kræves i nævnte forordning, samt om de data, der er rapporteret, var nøjagtige, repræsentative og korrekt opdelt f.eks. efter kategori af ulovligt indhold, som der er skredet til værks over for.

(24)

Valget af metode bør også afhænge af, om vurderingen af overholdelse kræver kontekstuelle fortolkninger fra revisionsinstansens side. Valget af metoder bør også tilpasses de iboende risici, der er forbundet med de aktiviteter, der udføres i forbindelse med ydelsen af tjenesten, og den sammenhæng, hvori tjenesten ydes, f.eks. om tjenesten omfatter salg af varer, der kan være ulovlige, eller om tjenesten primært anvendes af mindreårige. Metoderne til vurdering af opfyldelsen af forpligtelserne til at indføre passende og forholdsmæssige foranstaltninger til at sikre et højt niveau af privatlivets fred, tryghed og sikkerhed for mindreårige i henhold til artikel 28, stk. 1, i forordning (EU) 2022/2065 bør f.eks. give revisionsinstansen mulighed for at få tilstrækkelig forståelse af, hvordan tjenesten, der er underlagt revision, anvendes af mindreårige, af de mulige risici for deres privatliv, tryghed og sikkerhed samt af det, der udgør en passende og forholdsmæssig foranstaltning i forbindelse med tjenesten, der er underlagt revision, og mindreåriges brug heraf. Med henblik herpå bør revisionsinstanserne opdele vurderingen i passende trin. De bør vurdere revisionsrisiciene i henhold til risikoprofilen for den udbyder, der er underlagt revision, navnlig om den kan tilgås eller hovedsagelig anvendes af mindreårige. De bør f.eks. vurdere, om udbyderen har indført værktøjer til alderskontrol, om disse er effektive, og hvordan den udbyder, der er underlagt revision, vurderer og overvåger deres effektivitet. De bør vurdere, om den udbyder, der er underlagt revision, har indført passende foranstaltninger til at opdage ondsindet brug af deres tjenester og adfærdsmønstre, der søger at skade eller sandsynligvis vil skade mindreårige.

(25)

Metodevalget bør tilpasses til de kontrolrisici, der er forbundet med de overholdelsesforanstaltninger, som udbyderen, der er underlagt revision, har indført, samt til opdagelsesrisiciene, navnlig risikoen for ikke at opdage ukorrekte angivelser i de oplysninger, som udbyderen stiller til rådighed for revisionsinstansen. Hvis en forpligtelse, der er underlagt revision, f.eks. omfatter revision af et algoritmisk system baseret på personalisering til de enkelte tjenestemodtagere af tjenesten, der er underlagt revision, og på tilbagevendende ajourføringer af det algoritmiske system, såsom oplysningsforpligtelserne for anbefalingssystemer i henhold til artikel 27 i forordning (EU) 2022/2065, bør valget af metode give revisionsinstansen mulighed for at udforme passende test for at minimere opdagelsesrisikoen. Hvor revisionsinstansen søger at vurdere, om alle relevante risici er blevet afbødet i forbindelse med udformningen, funktionen og anvendelsen af applikationer baseret på store sprogmodeller (»large language models« — LLM'er) såsom chatfunktioner eller anbefalingssystemer, der anvendes af den udbyder, der er underlagt revision, bør revisionsinstansen ligeledes først vurdere hensigtsmæssigheden af de kontroller, som udbyderen har indført. Valget af test bør være baseret på robustheden af disse interne kontroller. Navnlig, men ikke udelukkende i de tilfælde, hvor de interne kontroller er svage, ufuldstændige eller ufyldestgørende med hensyn til at vurdere, om reglerne overholdes, når populationen af modtagere af tjenesten, der er underlagt revision, tages i betragtning, bør revisionsprocedurerne baseres på en kombination af metoder. Metoderne kan f.eks. indeholde omfattende analytiske procedurer såsom en analyse af interaktionerne mellem alle de algoritmiske systemer, der er involveret i anbefalingssystemerne, og de deraf følgende regler for beslutningstagning og processer til fastlæggelse af de vigtigste parametre for disse anbefalingssystemer, bemærkninger til digitale registreringer og logfiler. Metoderne bør også omfatte test af systemet, f.eks. test i simulerede miljøer.

(26)

For at sikre at metoden er relevant og tilpasset nye resultater under gennemførelsen af revisionen, bør valget af metoder være baseret på revisionsinstansens faglige skøn og tilpasses for at tage højde for disse nye resultater, navnlig når revisionsinstansen nærer begrundet tvivl med hensyn til de oplysninger, som udbyderen, der er underlagt revision, har indgivet. Revisionsinstansens faglige skepsis bør baseres på dens ekspertise samt på andre informationskilder af særlig relevans for anvendelsen af forordning (EU) 2022/2065, såsom rapporter fra Det Europæiske Råd for Digitale Tjenester, vejledning fra Kommissionen, revisionsrapporter fra adfærdskodekser eller kriseprotokoller som fastsat i nævnte forordnings artikel 45, 46 og 48 eller oplysninger, der fremkommer under gennemførelsen af revisionen, herunder når de vedrører begivenheder, navnlig krisesituationer, der kræver yderligere foranstaltninger fra udbyderen, der er underlagt revision, for at sikre opfyldelse af visse forpligtelser eller tilsagn, der er underlagt revision.

(27)

For at sikre, at der indsamles tilstrækkeligt revisionsbevis under revisionen, bør revisionsinstanserne både vurdere den interne kontrol hos udbyderen, der er underlagt revision, og gennemføre omfattende revisionsprocedurer til vurdering af, om vedkommende overholder reglerne. I visse tilfælde bør revisionsinstansen også foretage test.

(28)

I betragtning af kompleksiteten af de algoritmiske systemer, der anvendes af udbydere af onlineplatforme, og deres vigtige rolle med hensyn til at opfylde flere forpligtelser som fastsat i forordning (EU) 2022/2065, bør der lægges særlig vægt på de nødvendige og passende valg af metoder til revision af algoritmiske systemer. Dette gør sig både gældende, når algoritmiske systemer indgår i den kontrol, der er indført af udbyderen, der er underlagt revision, og når de selv er genstand for forpligtelser eller tilsagn, der er underlagt revision, såsom med hensyn til anbefalingssystemer, f.eks. i henhold til artikel 27, 34, 35 og 38 i forordning (EU) 2022/2065, eller reklamesystemer, f.eks. i henhold til artikel 26, 28, 34, 35 og 39 i nævnte forordning, indholdsmoderationssystemer, f.eks. i henhold til artikel 14, 15, 34 og 35 i nævnte forordning, eller ethvert andet algoritmisk system, der bidrager til de risici, der er fastsat i nævnte forordnings artikel 34.

(29)

Der bør også anvendes en kombination af omfattende analytiske procedurer, herunder, hvis det er relevant, baseret på bemærkninger til processer og aktiviteter, udbyderen, der er underlagt revision, gennemfører i forbindelse med udformning, udvikling, drift, afprøvning og overvågning af algoritmiske systemer eller bemærkninger til digitale registreringer og logfiler, der genereres af systemerne. Metoderne bør tilpasses de særlige forhold, der gør sig gældende for algoritmiske systemer, herunder deres forvaltning, interaktionen mellem forskellige algoritmiske systemer samt de dertil hørende datastyringssystemer, og de teknologier, der ligger til grund for disse algoritmiske systemer, såsom generative modeller eller andre klassifikatorer samt udvælgelses- eller søgealgoritmer.

(30)

Endvidere bør revisionsmetoder for algoritmiske systemer omfatte test til f.eks. at indsamle oplysninger, som udbyderen, der er underlagt revision, ikke tidligere har dokumenteret, eller test til at reproducere og vurdere resultaterne af nøjagtighedsindikatorer, test i datasandkasser eller simulerede miljøer eller test i produktionssystemer, herunder gennem data scraping eller test af sikkerhed mod ondsindet brug.

(31)

Da revisionsbevisets høje kvalitet er en nødvendig betingelse for, at revisionsinstansen kan afgive en revisionserklæring med et rimeligt niveau af revisionssikkerhed, bør de oplysninger, som revisionsinstansen beslutter at anvende som revisionsbevis, være relevante og tilstrækkelige til at begrænse revisionsrisiciene. Desuden bør revisionsbeviset være pålideligt efter revisionsinstansens professionelle dømmekraft og skepsis og, hvor det er hensigtsmæssigt, i lyset af alternative informationskilder. Professionel dømmekraft og skepsis bør omfatte en kritisk vurdering af revisionsbeviset og eventuelle ukorrekte angivelser. Disse kvalitetsstandarder bør gælde for alle revisionsbeviser, uanset om de er blevet fremlagt af udbyderen, der er underlagt revision, eller indsamlet fra andre kilder.

(32)

Revisionsinstansen bør overveje en række informationskilder, som f.eks. kan omfatte interviews med personale eller kontrahenter hos udbyderen, der er underlagt revision, herunder compliancerådgivere, ingeniører, dataforskere, softwarearkitekter eller medlemmer af interne revisionshold. De kan også omfatte teknisk dokumentation om udformning, gennemførelse, afprøvning og overvågning af et relevant system, herunder om datakvalitet og -styring og om ajourføringer og versioner af systemet, samt anden dokumentation vedrørende ledelsesordninger og beslutningsprocesser hos udbyderen, der er underlagt revision, herunder med hensyn til prioriteter, ressourcer, fordeling af opgaver og ansvarsområder eller ekspertise hos det relevante personale.

(33)

For at sikre effektivitet og proportionalitet i gennemførelsen af revisionen bør revisionsinstansen have mulighed for at udtage stikprøver af data og oplysninger under behørig hensyntagen til at nå frem til en repræsentativ stikprøve, således at revisionsinstansen kan fremlægge en revisionserklæring med et rimeligt niveau af revisionssikkerhed. For at sikre revisionsprocedurernes gennemsigtighed og reproducerbarhed bør revisionsinstansen begrunde valget af stikprøvestørrelse og stikprøvemetode i revisionsrapporten. F.eks. bør stikprøvestørrelsen og -metoden vælges under hensyntagen til, hvad der er effektivt med hensyn til at opfylde formålet med at gennemføre revision af den specifikke forpligtelse eller det specifikke tilsagn, der er underlagt revisionen, og for at minimere risikoen for, at konklusionen af revisionen af den specifikke stikprøve er forskellig fra, hvad konklusionen ville være, hvis hele bevispopulationen blev underlagt revisionsproceduren. Stikprøvestørrelsen og -metoden bør udvælges under hensyntagen til revisionens fulde omfang samt interne eller eksterne ændringer af tjenesten, der er underlagt revision, i denne periode. Stikprøven bør også tilpasses de særlige forhold ved algoritmiske systemer, herunder med hensyn til tilpasning gennem profilering. Som led i denne betragtning bør revisionsinstansen f.eks. på passende vis udtage stikprøver fra de forskellige kohorter eller opdelinger, der ville kunne opstå som følge af tilpassede teknikker, eller identificere fejlmargenen og begrunde, hvorfor den ligger på et acceptabelt niveau.

(34)

Da visse bestemmelser i forordning (EU) 2022/2065 er nye, er det nødvendigt at fastsætte metodologiske principper, herunder revisionsspørgsmål, og yderligere retningslinjer for valg af revisionsmetoder og revisionsbevis til vurdering af overholdelsen af disse bestemmelser, nemlig for vurdering af overholdelsen af artikel 34, 35 og 36 i forordning (EU) 2022/2065 om gennemførelse af risikovurderinger og vedtagelse af risikobegrænsende foranstaltninger fra udbydere, der er underlagt revision, og om anvendelsen af forpligtelser med hensyn til kriserespons.

(35)

Eftersom revisionsinstanserne også bør vurdere, om udbyderen, der er underlagt revision, overholder artikel 37 i forordning (EU) 2022/2065, bør der også udstikkes yderligere specifikationer for den præcise revision, i henhold til hvilke overholdelsen bør vurderes, navnlig for at undgå interessekonflikter for revisionsinstansen.

(36)

I betragtning af den frivillige karakter af adfærdskodekser og kriseprotokoller er det nødvendigt at fastsætte specifikke regler for revision af overholdelse af artikel 45, 46 og 48 i forordning (EU) 2022/2065, navnlig for at sikre, at revisionsinstanserne råder over alle de oplysninger, der er nødvendige for at gennemføre revisioner, der specifikt vedrører forpligtelserne i henhold til hver adfærdskodeks og kriseprotokol.