(1)

Le revisioni indipendenti costituiscono uno strumento importante nell’ambito della vigilanza della conformità dei fornitori di piattaforme online di dimensioni molto grandi e di motori di ricerca online di dimensioni molto grandi agli obblighi previsti dal regolamento (UE) 2022/2065. Sebbene il regolamento preveda altri strumenti di assunzione della responsabilità, non da ultimi un maggiore controllo pubblico delle relazioni di trasparenza e altri obblighi in materia di divulgazione dei dati, le organizzazioni di revisione indipendenti ricoprono un ruolo specifico nella valutazione tempestiva della conformità di tali fornitori al regolamento. Le conclusioni e le constatazioni derivanti dalle revisioni indipendenti, nonché le relative raccomandazioni, possono contribuire in modo significativo alla vigilanza regolamentare. Allo stesso tempo, le revisioni indipendenti rappresentano una delle diverse fonti di informazione e analisi utili alle autorità di regolamentazione per lo svolgimento del proprio ruolo di vigilanza e applicazione delle norme.

(2)

Al fine di garantire che le revisioni indipendenti siano effettuate in modo efficace, efficiente, tempestivo e comparabile a partire dalla data di applicazione del regolamento (UE) 2022/2065, stabilita agli articoli 92 e 93 dello stesso, è opportuno che la Commissione stabilisca norme relative all’esecuzione delle revisioni, in particolare per quanto riguarda gli obblighi giuridici dei fornitori sottoposti a revisione e le fasi procedurali a garanzia del rispetto, da parte delle organizzazioni di revisione, delle condizioni di indipendenza, assenza di conflitti di interessi, esperienza e deontologia professionale di cui all’articolo 37, paragrafo 3, del regolamento (UE) 2022/2065.

(3)

Al fine di favorire la corretta esecuzione delle revisioni con un livello elevato di competenza e di prevenire conseguenze indesiderate nel mercato dei servizi di revisione, è opportuno chiarire che le revisioni condotte conformemente all’articolo 37 del regolamento (UE) 2022/2065 possono essere effettuate da diversi revisori. Il fornitore sottoposto a revisione può, ove necessario, incaricare della revisione diverse organizzazioni di revisione o un consorzio di organizzazioni, ad esempio qualora siano necessarie competenze specifiche per la revisione di determinati obblighi o impegni, come quelli relativi alla progettazione e al funzionamento dei sistemi algoritmici, alla comprensione dei rischi per i diritti fondamentali o alla diffusione di contenuti illegali. Le organizzazioni di revisione possono anche subappaltare le competenze necessarie, a condizione che sia l’organizzazione di revisione sia i subappaltatori rispettino le condizioni di indipendenza, assenza di conflitti di interessi e comprovata obiettività e deontologia professionale richieste, e che essi soddisfino congiuntamente le condizioni relative alle competenze tecniche. In tali casi è comunque opportuno che il fornitore sottoposto a revisione provveda affinché la propria conformità a tutti gli obblighi e gli impegni di cui all’articolo 37, paragrafo 1, del regolamento (UE) 2022/2065 sia sottoposta a revisione almeno una volta all’anno.

(4)

È opportuno che le organizzazioni di revisione formulino i giudizi di revisione di cui all’articolo 37, paragrafo 4, lettera g), del regolamento (UE) 2022/2065 con un livello di garanzia ragionevole. Per raggiungere un livello di garanzia ragionevole l’organizzazione di revisione dovrebbe avere un livello elevato, ma non assoluto, di fiducia nel fatto che non vi siano inesattezze, come omissioni, false dichiarazioni o errori, sfuggite alla revisione. Al fine di assicurare tale livello di garanzia l’organizzazione di revisione dovrebbe, tra l’altro, ottenere prove sufficienti e utilizzare metodologie di revisione appropriate nel corso della valutazione.

(5)

A norma dell’articolo 37, paragrafo 1, del regolamento (UE) 2022/2065, è opportuno che le revisioni indipendenti siano effettuate almeno una volta all’anno, in linea con la cadenza annuale delle valutazioni dei rischi di cui all’articolo 34 del medesimo regolamento. Tuttavia in alcuni casi possono essere necessarie revisioni più frequenti. La calendarizzazione delle revisioni dovrebbe garantire una vigilanza costante della conformità dei fornitori sottoposti a revisione al regolamento (UE) 2022/2065 e ai codici di condotta e protocolli di crisi pertinenti. È opportuno che il fornitore sottoposto a revisione provveda affinché il periodo di riferimento di una data revisione, effettuata ai fini della valutazione della conformità agli obblighi e agli impegni sottoposti a revisione, integri quello interessato dalla revisione precedente della conformità del fornitore ai medesimi obblighi e impegni e abbia inizio, al più tardi, al termine del periodo di riferimento della revisione precedente. Poiché la conclusione di una revisione comprende sia la valutazione effettuata dall’organizzazione di revisione sia l’elaborazione di una relazione di revisione, i fornitori sottoposti a revisione dovrebbero provvedere affinché la durata della revisione sia tale da consentire che le revisioni siano concluse almeno una volta all’anno e che le relazioni di revisione siano trasmesse alla Commissione e al coordinatore dei servizi digitali senza indebito ritardo, a norma dell’articolo 42, paragrafo 4, del regolamento (UE) 2022/2065.

(6)

I fornitori sottoposti a revisione non dovrebbero in alcun caso interferire con l’esecuzione della revisione e con le sue conclusioni, ma è opportuno che essi rispettino gli obblighi previsti dall’articolo 37 del regolamento (UE) 2022/2065 anche concordando le condizioni contrattuali con l’organizzazione di revisione e verificando, prima di selezionarne una, che questa soddisfi le condizioni di cui all’articolo 37, paragrafo 3, del regolamento (UE) 2022/2065.

(7)

È opportuno, ad esempio, che il fornitore sottoposto a revisione valuti i contratti precedentemente stipulati con l’organizzazione di revisione o i contratti conclusi tra l’organizzazione di revisione e le persone giuridiche a esso connesse. Inoltre, nei contratti stipulati con tali organizzazioni, il fornitore sottoposto a revisione dovrebbe includere clausole atte a garantire il rispetto delle condizioni di cui all’articolo 37, paragrafo 3, del regolamento (UE) 2022/2065. Qualora l’organizzazione di revisione sia composta da più entità, è opportuno che il fornitore sottoposto a revisione si accerti che tutte le entità soddisfino tali condizioni, compresi, se del caso, eventuali subappaltatori assunti dall’organizzazione di revisione al fine di sostenere in qualsiasi modo l’esecuzione della revisione. Mentre a livello individuale ciascuna delle entità incaricate della revisione dovrebbe soddisfare i requisiti di indipendenza e di assenza di conflitti di interessi, a livello collettivo tali entità dovrebbero soddisfare i requisiti relativi alla competenza, all’esperienza o alle risorse tecniche, cosicché entità diverse possano svolgere parti diverse della revisione e contribuire con le capacità, la competenza e l’esperienza necessarie alla sua esecuzione. È opportuno che la relazione di revisione specifichi la responsabilità di ciascuna delle entità per le rispettive parti della revisione.

(8)

A norma dell’articolo 37, paragrafo 3, lettera a), punto i), del regolamento (UE) 2022/2065, al momento della verifica del rispetto dei requisiti di indipendenza e di assenza di conflitti di interessi da parte di un’organizzazione di revisione, è opportuno che il fornitore sottoposto a revisione presti particolare attenzione al fine di evitare che l’organizzazione di revisione fornisca servizi diversi dalla revisione. Il fornitore sottoposto a revisione dovrebbe, ad esempio, valutare se sono stati forniti servizi quali servizi legati a qualsivoglia sistema, software o processo connesso a questioni rilevanti per l’obbligo o l’impegno sottoposto a revisione, servizi di consulenza per la valutazione delle prestazioni, della governance e del software, servizi di formazione, sviluppo o manutenzione di sistemi o subappalto della moderazione dei contenuti. Tra i servizi sono compresi anche quelli offerti al fornitore sottoposto a revisione che consistono nella consulenza sui controlli interni, o nel loro sviluppo, o nella valutazione, a fini interni, della conformità del fornitore al regolamento (UE) 2022/2065 o ai codici di condotta e ai protocolli di crisi, anche quando tale valutazione si limita a sperimentazioni puntuali, come quelle eseguite da terzi sulle prestazioni dei sistemi di moderazione dei contenuti. Ciò non dovrebbe escludere le organizzazioni di revisione che hanno effettuato revisioni legali dei conti.

(9)

Data la complessità e la particolarità delle revisioni relative alla conformità al regolamento (UE) 2022/2065, la competenza in materia dell’organizzazione di revisione è fondamentale affinché tali revisioni siano eseguite con un livello di garanzia ragionevole e affinché siano esercitati il giudizio e lo scetticismo professionale che consentono a tale organizzazione di sapere, ad esempio, di quali informazioni necessita per eseguire le procedure di revisione o per contestare informazioni contraddittorie. È opportuno dunque che il fornitore sottoposto a revisione verifichi se l’organizzazione di revisione dispone di tale competenza, anche nell’ambito della gestione dei rischi, per quanto riguarda sia i rischi di revisione sia l’oggetto del regolamento (UE) 2022/2065, e in particolare i rischi sistemici per la società di cui all’articolo 34 del regolamento. È inoltre opportuno che il fornitore sottoposto a revisione verifichi le competenze e le capacità tecniche dell’organizzazione di revisione nell’ottica dello specifico servizio sottoposto a revisione, compresa la relativa competenza in materia, ad esempio per quanto riguarda il funzionamento e gli effetti di sistemi algoritmici, quali i sistemi di raccomandazione e altri sistemi socio-tecnici gestiti dal fornitore. L’organizzazione di revisione dovrebbe avere la possibilità di subappaltare o di ottenere in altro modo e impiegare le competenze e le capacità necessarie, e il fornitore sottoposto a revisione dovrebbe verificare e garantire che l’organizzazione di revisione sia in grado di acquisire tali competenze e tali capacità in tempo utile per l’esecuzione della revisione.

(10)

Nel verificare che le organizzazioni di revisione rispettino le condizioni stabilite all’articolo 37, paragrafo 3, del regolamento (UE) 2022/2065, è opportuno che il fornitore sottoposto a revisione valuti le prove pertinenti, tra cui, se del caso, certificazioni, dichiarazioni e relazioni di revisione fornite dall’organizzazione di revisione. Le competenze adeguate potrebbero essere dimostrate, ad esempio, tramite le esperienze pratiche nella valutazione e nella gestione dei rischi, l’attività accademica, le pubblicazioni scientifiche e l’esperienza con revisioni pertinenti. Le relazioni di revisione dovrebbero contenere tutti i documenti giustificativi pertinenti attestanti che l’organizzazione di revisione soddisfa le condizioni necessarie.

(11)

A norma dell’articolo 37, paragrafo 2, del regolamento (UE) 2022/2065, il fornitore sottoposto a revisione deve consentire all’organizzazione di revisione tutta la cooperazione e l’assistenza necessarie per consentire alla stessa di condurre la revisione in modo efficace, efficiente e tempestivo, nonché astenersi dall’interferire in qualsiasi modo con le sue decisioni indipendenti. Il fornitore sottoposto a revisione non dovrebbe, ad esempio, imporre o fornire alcuna indicazione né influenzare in altro modo l’organizzazione di revisione mediante alcuna tipologia di restrizione contrattuale o di altro tipo, né di incentivi per la scelta e l’esecuzione delle procedure o metodologie di revisione, la raccolta e il trattamento di informazioni e prove di revisione, le analisi, le sperimentazioni e i giudizi di revisione o l’elaborazione delle conclusioni della revisione.

(12)

Al fine di garantire la cooperazione e l’assistenza necessarie durante la revisione, è opportuno che il fornitore sottoposto a revisione assicuri all’organizzazione di revisione l’accesso a tutte le informazioni utili all’esecuzione della stessa. Il fornitore sottoposto a revisione dovrebbe inviare quanto prima, e in ogni caso prima che l’organizzazione di revisione inizi a svolgere le procedure di revisione, tutti i documenti e le spiegazioni necessari. Ad esempio, a norma dell’articolo 41, paragrafo 3, lettere d) ed e), del regolamento (UE) 2022/2065, la funzione di controllo della conformità del fornitore sottoposto a revisione consiste nel monitorare la conformità dello stesso a tutti gli obblighi e gli impegni sottoposti a revisione, il che dovrebbe tradursi nell’elaborazione di controlli interni. È opportuno che all’organizzazione di revisione sia dunque accordato l’accesso a tutte le informazioni relative a tali controlli e ad altre eventuali informazioni che illustrino la strategia impiegata dal fornitore sottoposto a revisione per garantire la conformità. In particolare, il fornitore sottoposto a revisione dovrebbe mettere a disposizione dell’organizzazione di revisione i parametri di riferimento su cui si basa per garantire la conformità al regolamento (UE) 2022/2065, affinché l’organizzazione di revisione possa basare i criteri di revisione su tali informazioni. L’organizzazione di revisione dovrebbe inoltre avere accesso a eventuali analisi condotte dal fornitore sottoposto a revisione sui rischi intrinseci e sui rischi di controllo. Il fornitore dovrebbe mettere a disposizione dell’organizzazione di revisione informazioni che facilitino la comprensione del servizio sottoposto a revisione, della sua governance e della competenza dei rispettivi gruppi e strutture decisionali, compresa la sua funzione di controllo della conformità, nonché presentazioni dei propri sistemi informatici, delle strutture di dati e registri e dell’interazione tra i diversi sistemi algoritmici rilevanti ai fini della revisione.

(13)

L’organizzazione di revisione dovrebbe poter richiedere eventuali altre informazioni necessarie in qualsiasi momento durante l’esecuzione della revisione. È opportuno che l’accesso a tali informazioni sia accordato senza indebito ritardo e in maniera da non ostacolare l’esecuzione della revisione in alcun modo. Ciò dovrebbe includere l’accesso ai dati, compresi quelli personali, raccolti da varie fonti, come documenti, sistemi algoritmici, banche dati o colloqui, a seconda dei casi. È inoltre opportuno che il fornitore sottoposto a revisione conceda all’organizzazione di revisione l’accesso alle procedure, ai processi e ai sistemi informatici, come i sistemi algoritmici e di informazione, compresi gli ambienti di prova. Al fine di consentire all’organizzazione di revisione di ispezionare in modo significativo tali sistemi, il fornitore sottoposto a revisione dovrebbe mettere a sua disposizione tutte le risorse necessarie affinché questa possa accedere ai sistemi e valutarli, ad esempio mettendo a disposizione il proprio personale competente per rispondere alle domande o per gestire gli ambienti di prova e fornire spiegazioni sul loro funzionamento, oppure facilitare qualsiasi altro accesso necessario al personale e ai locali, come gli edifici. L’accesso alle procedure e ai processi potrebbe comportare, ad esempio, l’accesso a descrizioni o documenti relativi al processo decisionale interno del fornitore sottoposto a revisione. Ai fini del rispetto dell’obbligo di cooperazione e assistenza, l’accesso alle informazioni pertinenti può necessitare anche di altre azioni accessorie da parte del fornitore sottoposto a revisione. I colloqui con il personale, ad esempio, possono richiedere la fornitura da parte fornitore sottoposto a revisione di strutture sicure. Ove necessario per l’esecuzione della revisione, i fornitori sottoposti a revisione dovrebbero adempiere all’obbligo di cooperazione e assistenza nei confronti dell’organizzazione di revisione, tra l’altro agevolando l’accesso ai dati pertinenti relativi alle loro operazioni detenuti da contraenti terzi. Potrebbe trattarsi ad esempio di dati relativi ai risultati degli interventi di moderazione dei contenuti, al materiale formativo o agli orientamenti utilizzati da contraenti terzi che moderano i contenuti, o a fornitori e prestatori di servizi per soluzioni informatiche, compresi, ad esempio, gli algoritmi e le applicazioni utilizzati nei sistemi di raccomandazione o nei sistemi pubblicitari utilizzati dal fornitore sottoposto a revisione.

(14)

Al fine di agevolare una significativa trasparenza delle constatazioni della revisione e di fornire un formato esaustivo e comparabile per le relazioni di revisione di cui all’articolo 37, paragrafo 4, del regolamento (UE) 2022/2065 e per le relazioni di attuazione della revisione di cui all’articolo 37, paragrafo 6, del medesimo regolamento, è opportuno che il presente regolamento stabilisca modelli per tali relazioni e che preveda una serie di allegati per ciascuna di esse. Sebbene i modelli stabiliti nel presente regolamento richiedano relazioni esaustive, essi dovrebbero lasciare impregiudicati gli obblighi relativi alla pubblicazione delle relazioni di cui all’articolo 42, paragrafi 4 e 5, del regolamento (UE) 2022/2065.

(15)

Al fine di garantire che l’organizzazione di revisione riceva tutta l’assistenza necessaria da parte del fornitore sottoposto a revisione, senza subire interferenze durante l’esecuzione della stessa, e che tale organizzazione soddisfi tutte le condizioni per la preparazione della revisione e completi la relativa relazione nei tempi stabiliti e con la qualità necessaria a raggiungere un livello di garanzia ragionevole, è opportuno che alcune norme specifichino le procedure per la preparazione della revisione. I doveri e le responsabilità del fornitore sottoposto a revisione e dell’organizzazione di revisione, compresi i subappaltatori o le organizzazioni partner e il personale responsabile dell’esecuzione della revisione, dovrebbero essere stabiliti in un accordo scritto, anche mediante condizioni contrattuali. L’accordo scritto dovrebbe anche specificare gli obblighi e gli impegni sottoposti a revisione, l’allocazione delle risorse, le regole di interazione e i punti di contatto tra l’organizzazione di revisione e il fornitore sottoposto a revisione. È opportuno allegare tutti i documenti giustificativi e i contratti alla relazione di revisione, anche quando tali documenti assumono la forma di una lettera di incarico della revisione o di altre condizioni contrattuali.

(16)

Al fine di fornire una panoramica esaustiva e facilitare l’assunzione della responsabilità da parte dei fornitori sottoposti a revisione, è opportuno che la relazione di revisione contenga la conclusione della valutazione della conformità del fornitore sottoposto a revisione a ciascun obbligo e impegno sottoposto a revisione eseguita dall’organizzazione di revisione. La conclusione di ciascuna revisione dovrebbe basarsi su un livello di garanzia ragionevole ed essere «positiva», «positiva con osservazioni» o «negativa», al fine di contribuire in modo appropriato al giudizio di revisione. Le conclusioni «positive con osservazioni» non dovrebbero riguardare la valutazione della conformità stessa. Le osservazioni potrebbero essere riferite, ad esempio, alla produzione di informazioni da parte del fornitore su richiesta dell’organizzazione di revisione o ai miglioramenti nella manutenzione o nei controlli predisposti dal fornitore sottoposto a revisione, oppure prendere atto di ulteriori piani di attenuazione e miglioramenti che il fornitore intende realizzare. In ogni caso, qualora l’organizzazione di revisione ritenga che il fornitore sottoposto a revisione rispetti un obbligo o un impegno sottoposto a revisione secondo i parametri di riferimento comunicati da tale fornitore, ma ritenga necessario includere osservazioni in merito a tali parametri, la conclusione della revisione dovrebbe essere «positiva con osservazioni», poiché tali osservazioni potrebbero fornire informazioni utili al fornitore in merito a eventuali opportunità di modifica dei suoi parametri di riferimento, sulla base delle conoscenze e delle competenze dell’organizzazione di revisione, nonché di informazioni provenienti da fonti esterne. Ad esempio, le osservazioni potrebbero basarsi su indicazioni della Commissione, compresi gli orientamenti di cui all’articolo 35, paragrafo 3, del regolamento (UE) 2022/2065, e su altri eventuali orientamenti pertinenti della Commissione in relazione all’applicazione di tale regolamento, sulle relazioni del comitato europeo per i servizi digitali di cui all’articolo 35, paragrafo 2, di tale regolamento, su azioni di esecuzione, su decisioni adottate dalla Commissione a norma di tale regolamento, sulla pertinente giurisprudenza, in particolare della Corte di giustizia dell’Unione europea, su consultazioni pubbliche o su pertinenti fonti autorevoli.

(17)

Al fine di consentire il controllo pubblico e la vigilanza regolamentare, qualora la conclusione di una revisione sia «negativa» ma si applichi solo a un periodo di tempo limitato e l’organizzazione di revisione ritenga che il fornitore sottoposto a revisione abbia rispettato l’obbligo o l’impegno per il resto del periodo di revisione, è opportuno che tale informazione sia riportata nella relazione di revisione per ciascun obbligo o impegno considerato. La relazione dovrebbe anche includere le osservazioni dell’organizzazione di revisione sulle informazioni messe a sua disposizione dal fornitore sottoposto a revisione per quanto riguarda i piani di attenuazione predisposti o programmati per porre rimedio alla non conformità.

(18)

Alla luce della diversa natura degli obblighi giuridici stabiliti al capo III del regolamento (UE) 2022/2065 e degli impegni assunti su base volontaria a norma dei codici di condotta e dei protocolli di crisi di cui agli articoli 45, 46 e 48 del medesimo regolamento, è opportuno che l’organizzazione di revisione formuli giudizi di revisione relativi alla conformità al capo III e a ciascun codice e protocollo.

(19)

Al fine di svolgere la revisione con un livello di garanzia ragionevole e di elaborare procedure di revisione adeguate in base a metodologie che riducano al minimo il rischio di revisione, la stima dei rischi di revisione dovrebbe costituire un elemento fondamentale della metodologia di revisione, in particolare in relazione al rischio che l’organizzazione di revisione formuli un giudizio o una conclusione di revisione inadeguati. Prima di elaborare l’esatta metodologia ed eseguire le procedure di revisione, l’organizzazione di revisione dovrebbe pertanto valutare il rischio di revisione sin dall’inizio. L’analisi dei rischi di revisione è necessaria per consentire all’organizzazione di revisione di scegliere le metodologie per il suo svolgimento e di determinare il grado di completezza delle procedure, in modo da formulare il giudizio di revisione con un livello di garanzia ragionevole. È opportuno che l’organizzazione di revisione esegua l’analisi dei rischi di revisione per la valutazione della conformità a ciascun obbligo o impegno sottoposto a revisione, considerando i rischi intrinseci, di controllo e di mancata rilevazione.

(20)

Al fine di valutare correttamente i rischi di revisione, è opportuno che l’analisi dei rischi di revisione tenga conto della natura del servizio sottoposto a revisione, in particolare del relativo profilo di rischio, nonché dell’ambito di applicazione e della complessità della revisione. Ad esempio, è probabile che le piattaforme online che consentono la conclusione di contratti a distanza tra consumatori presentino rischi intrinseci diversi rispetto alle piattaforme per la condivisione di video o ai motori di ricerca. Inoltre si dovrebbe considerare il contesto sociale ed economico in cui viene fornito il servizio sottoposto a revisione, ad esempio per quanto riguarda i gruppi di utenti tipici, come i minori, o i comportamenti frequenti, come un alto tasso di uso non autentico e di comportamenti coordinati nelle campagne di disinformazione. Il contesto sociale ed economico da considerare dovrebbe anche includere la probabilità e, separatamente, la gravità dell’esposizione a situazioni di crisi ed eventi inattesi, come indicato nel regolamento (UE) 2022/2065.

(21)

Al fine di garantire che l’analisi dei rischi di revisione rifletta l’evoluzione dei rischi a cui il servizio è soggetto, è opportuno che tale analisi sia basata anche su informazioni provenienti da revisioni precedenti di cui il fornitore sottoposto a revisione è stato oggetto, se del caso, e su informazioni provenienti da fonti quali le relazioni di revisione di altri fornitori con un profilo di rischio simile. Al fine di garantire che nell’analisi dei rischi di revisione confluiscano prove aggiornate relative a rischi che si verificano in contesti simili a quelli in cui opera il fornitore sottoposto a revisione e fonti autorevoli direttamente rilevanti ai fini dell’applicazione del regolamento (UE) 2022/2065, l’analisi dovrebbe anche basarsi su informazioni provenienti dalle relazioni del comitato europeo per i servizi digitali o su orientamenti della Commissione, se del caso. Tra le altre informazioni potrebbero essere comprese anche quelle contenute nelle relazioni di revisione pubblicate da altri fornitori di piattaforme online di dimensioni molto grandi o di motori di ricerca online di dimensioni molto grandi a norma dell’articolo 42, paragrafo 4, del regolamento (UE) 2022/2065.

(22)

È opportuno che l’organizzazione di revisione, senza essere influenzata dal fornitore sottoposto a revisione, elabori le metodologie di revisione utilizzate per valutare il rispetto degli obblighi e degli impegni sottoposti a revisione. I criteri di revisione dovrebbero basarsi sulle informazioni presentate dal fornitore sottoposto a revisione per quanto riguarda i parametri di riferimento da esso utilizzati per il monitoraggio della conformità. La metodologia può anche tenere conto di altre informazioni messe a disposizione dal fornitore sottoposto a revisione, quali l’analisi dei rischi intrinseci, laddove il fornitore sottoposto a revisione l’abbia eseguita, ad esempio attraverso le misure elaborate dal responsabile della conformità o dall’organo di gestione a norma dell’articolo 41 del regolamento (UE) 2022/2065 o altre misure integrate nel funzionamento del servizio per la valutazione dei rischi sistemici di cui all’articolo 34 di tale regolamento.

(23)

Al fine di garantire che le metodologie di revisione consentano la formulazione di giudizi di revisione con un livello di garanzia ragionevole, è opportuno che queste siano scelte tenendo conto delle specificità dell’obbligo o dell’impegno sottoposto a revisione e che siano adattate, ad esempio, alla natura dell’obbligo sottoposto a revisione in quanto obbligo di mezzi o obbligo di risultati che il fornitore deve conseguire per essere conforme. Ad esempio, le procedure di revisione per la valutazione della conformità agli obblighi in materia di relazioni di trasparenza di cui all’articolo 15 del regolamento (UE) 2022/2065 potrebbero consentire all’organizzazione di revisione di stabilire se le relazioni sono state pubblicate nel rispetto dei termini e dei formati previsti dal regolamento, se sono complete e se i dati riportati sono accurati, rappresentativi e adeguatamente disaggregati, ad esempio per categoria di contenuti illegali su cui sono stati effettuati interventi.

(24)

La scelta della metodologia dovrebbe dipendere anche dal fatto che la valutazione della conformità richieda o meno interpretazioni contestuali da parte dell’organizzazione di revisione. È opportuno che la selezione delle metodologie tenga conto anche dei rischi intrinseci legati alle attività svolte nel corso della fornitura del servizio e del contesto in cui il servizio è fornito, ad esempio se questo comporta la vendita di beni che potrebbero essere illegali o se è utilizzato principalmente da minori. Ad esempio, le metodologie per la valutazione della conformità all’obbligo di adottare misure adeguate e proporzionate per garantire un elevato livello di tutela della vita privata, di sicurezza e di protezione dei minori di cui all’articolo 28, paragrafo 1, del regolamento (UE) 2022/2065 dovrebbero consentire all’organizzazione di revisione di comprendere a sufficienza le modalità di utilizzo del servizio sottoposto a revisione da parte dei minori e i possibili rischi per la tutela della vita privata, la sicurezza e la protezione di questi ultimi, oltre che di comprendere ciò che costituisce una misura adeguata e proporzionata nel contesto specifico del servizio sottoposto a revisione e del suo utilizzo da parte dei minori. A tal fine le organizzazioni di revisione dovrebbero suddividere la valutazione in opportune fasi. Dovrebbero valutare i rischi di revisione in base al profilo di rischio del fornitore sottoposto a revisione, in particolare se sia accessibile ai minori o usato prevalentemente da questi ultimi. Dovrebbero valutare, ad esempio, se il fornitore abbia predisposto strumenti di accertamento dell’età, l’efficacia di tali strumenti e le modalità con cui quest’ultima è valutata e monitorata dal fornitore sottoposto a revisione. Dovrebbero valutare se il fornitore sottoposto a revisione abbia predisposto misure adeguate per individuare usi antagonistici dei propri servizi e modelli comportamentali volti a danneggiare i minori o che rischiano di danneggiarli.

(25)

La selezione delle metodologie dovrebbe inoltre tenere conto dei rischi di controllo legati alle misure di conformità adottate dal fornitore sottoposto a revisione, nonché dei rischi di mancata rilevazione, in particolare legati alla mancata rilevazione di inesattezze nelle informazioni che il fornitore mette a disposizione dell’organizzazione di revisione. Ad esempio, qualora vi sia la possibilità che un obbligo sottoposto a revisione comporti la revisione di un sistema algoritmico basato sulla personalizzazione per i singoli destinatari del servizio sottoposto a revisione e sugli aggiornamenti ricorrenti di tale sistema, come gli obblighi di divulgazione per i sistemi di raccomandazione di cui all’articolo 27 del regolamento (UE) 2022/2065, la scelta della metodologia dovrebbe consentire all’organizzazione di revisione di progettare le sperimentazioni adeguate per ridurre al minimo i rischi di mancata rilevazione. Analogamente, qualora cerchi di valutare se tutti i rischi pertinenti siano stati attenuati a livello di progettazione, funzionamento e uso di applicazioni basate su modelli linguistici su vasta scala, quali le funzionalità di chat o i sistemi di raccomandazione utilizzati dal fornitore sottoposto a revisione, l’organizzazione di revisione dovrebbe innanzitutto valutare l’adeguatezza dei controlli predisposti dal fornitore. La scelta delle sperimentazioni dovrebbe basarsi sulla solidità di tali controlli interni. In particolare, a titolo esemplificativo, laddove i controlli interni siano deboli, incompleti o inconcludenti al fine di valutare se, quando si considera la popolazione dei destinatari del servizio sottoposto a revisione, le norme siano rispettate, le procedure di revisione dovrebbero basarsi su una combinazione di metodologie. Ad esempio, le metodologie potrebbero includere procedure analitiche sostanziali, come l’analisi delle interazioni tra tutti i sistemi algoritmici coinvolti nei sistemi di raccomandazione e i relativi processi e regole per i processi decisionali per stabilire i parametri principali di tali sistemi di raccomandazione, nonché consultazioni di registri e log digitali. Le metodologie dovrebbero anche includere delle sperimentazioni del sistema, come le prove in ambienti simulati.

(26)

Al fine di garantire che, durante l’esecuzione della revisione, la metodologia sia pertinente e adatta alle nuove constatazioni, è opportuno che la selezione delle metodologie sia guidata dal giudizio professionale dell’organizzazione di revisione e che sia adattata per far fronte a tali nuove constatazioni, in particolare qualora l’organizzazione di revisione nutra dubbi ragionevoli in relazione alle informazioni presentate dal fornitore sottoposto a revisione. Lo scetticismo professionale dell’organizzazione di revisione dovrebbe essere basato sulla sua competenza e su altre fonti di informazione di particolare rilevanza ai fini dell’applicazione del regolamento (UE) 2022/2065, come relazioni del comitato europeo per i servizi digitali, indicazioni della Commissione, relazioni di revisione basate su codici di condotta o protocolli di crisi di cui agli articoli 45, 46 e 48 del suddetto regolamento o informazioni emerse durante l’esecuzione della revisione, anche in relazione agli eventi, in particolare le situazioni di crisi, che richiedono azioni aggiuntive da parte del fornitore sottoposto a revisione per garantire la conformità ad alcuni obblighi o impegni sottoposti a revisione.

(27)

Al fine di garantire che durante la revisione siano raccolte prove di revisione sufficienti, è opportuno che le organizzazioni di revisione valutino i controlli interni del fornitore sottoposto a revisione e svolgano procedure di revisione sostanziali per valutarne la conformità. In alcuni casi l’organizzazione di revisione dovrebbe inoltre eseguire delle sperimentazioni.

(28)

Data la complessità dei sistemi algoritmici utilizzati dai fornitori di piattaforme online e il ruolo importante che tali sistemi rivestono nel conseguimento della conformità a diversi obblighi stabiliti dal regolamento (UE) 2022/2065, è opportuno prestare particolare attenzione alle scelte metodologiche necessarie e appropriate per sottoporre tali sistemi a revisione. Quanto precede vale sia per i sistemi algoritmici che sono parte dei controlli predisposti dal fornitore sottoposto a revisione, sia per i sistemi algoritmici che sono essi stessi oggetto degli obblighi o degli impegni sottoposti a revisione, come nel caso dei sistemi di raccomandazione, ad esempio a norma degli articoli 27, 34, 35 e 38 del regolamento (UE) 2022/2065, o dei sistemi pubblicitari, ad esempio a norma degli articoli 26, 28, 34, 35 e 39 di tale regolamento, dei sistemi di moderazione dei contenuti, ad esempio a norma degli articoli 14, 15, 34 e 35 del medesimo regolamento, o di qualsiasi altro sistema algoritmico che contribuisca ai rischi di cui all’articolo 34 di tale regolamento.

(29)

È opportuno inoltre utilizzare una combinazione di procedure analitiche sostanziali, tra cui, se del caso, procedure basate sull’osservazione di processi e attività svolti dal fornitore sottoposto a revisione al fine di progettare, sviluppare, operare, sperimentare e monitorare i sistemi algoritmici, oppure su consultazioni di log e registri digitali prodotti dai sistemi. Le metodologie dovrebbero essere adattate alle particolarità dei sistemi algoritmici, tra cui la governance, l’interazione tra sistemi algoritmici diversi e i relativi sistemi di gestione dei dati, e alle tecnologie su cui essi sono basati, come modelli generativi o altri classificatori, algoritmi di selezione o di ricerca.

(30)

Inoltre è opportuno che le metodologie di revisione per i sistemi algoritmici includano sperimentazioni, ad esempio volte alla raccolta di informazioni che il fornitore sottoposto a revisione non ha documentato in precedenza, o alla riproduzione indipendente e alla valutazione dei risultati degli indicatori di accuratezza, oppure effettuate in spazi di sperimentazione o ambienti simulati, o nei sistemi accessibili al pubblico, anche mediante data scraping o adversarial testing.

(31)

Dal momento che l’elevata qualità delle prove di revisione è un presupposto necessario affinché l’organizzazione di revisione formuli un giudizio di revisione con un livello di garanzia ragionevole, è opportuno che le informazioni che l’organizzazione di revisione decide di usare come prove di revisione siano adeguate e sufficienti per ridurre i rischi di revisione. Inoltre le prove di revisione dovrebbero essere affidabili in base al giudizio e allo scetticismo professionale dell’organizzazione di revisione e, ove opportuno, alla luce di fonti di informazione alternative. Il giudizio e lo scetticismo professionale dovrebbero comprendere una valutazione critica delle prove di revisione e delle possibili inesattezze. Tali standard qualitativi dovrebbero applicarsi a tutte le prove di revisione indipendentemente dal fatto che queste siano state presentate dal fornitore sottoposto a revisione o raccolte da altre fonti.

(32)

È opportuno che l’organizzazione di revisione consideri una serie di fonti di informazione, tra cui, ad esempio, i colloqui con il personale o con i contraenti del fornitore sottoposto a revisione, compresi i responsabili della conformità, gli ingegneri, gli scienziati dei dati, gli architetti del software o i membri dei gruppi di revisione interna. Tali fonti potrebbero comprendere anche la documentazione tecnica relativa alla progettazione, all’implementazione, alla sperimentazione e al monitoraggio di un sistema pertinente, inclusa la documentazione relativa alla qualità e alla governance dei dati e agli aggiornamenti e alle versioni del sistema, nonché altri documenti relativi alla governance e ai processi decisionali del fornitore sottoposto a revisione, anche in considerazione delle priorità, delle risorse, dell’assegnazione di compiti e responsabilità o delle competenze del personale pertinente.

(33)

Al fine di garantire l’efficienza e la proporzionalità nell’esecuzione della revisione, è opportuno che l’organizzazione di revisione sia autorizzata a sottoporre a campionamento dati e informazioni, tenendo in debito conto l’ottenimento di un campione rappresentativo, così da poter formulare un giudizio di revisione con un livello di garanzia ragionevole. Per garantire la trasparenza e la riproducibilità delle procedure di revisione, l’organizzazione di revisione dovrebbe inserire nella relazione di revisione le motivazioni della scelta della dimensione del campione e del metodo di campionamento. Ad esempio, la scelta della dimensione del campione e della metodologia dovrebbe avvenire in considerazione di ciò che consente di raggiungere l’obiettivo della revisione dello specifico obbligo o impegno sottoposto a revisione in modo efficace e di ridurre al minimo il rischio che la conclusione della revisione del campione specifico sia diversa da quella che si otterrebbe qualora l’intera popolazione delle prove fosse sottoposta alla procedura di revisione. La dimensione del campione e la metodologia di campionamento dovrebbero essere determinate tenendo conto dell’intero ambito di applicazione della revisione, nonché dei cambiamenti interni o esterni che interessano il servizio sottoposto a revisione durante questo periodo. Dovrebbero inoltre essere adattate alle particolarità dei sistemi algoritmici, anche per quanto riguarda la personalizzazione mediante profilazione. Nell’ambito di tale considerazione, l’organizzazione di revisione dovrebbe, ad esempio, sottoporre adeguatamente a campionamento le diverse coorti o partizioni eventualmente derivanti dalle tecniche di personalizzazione, oppure identificare il margine di errore e motivare perché ritiene che sia a un livello accettabile.

(34)

Data la novità rappresentata da alcune disposizioni del regolamento (UE) 2022/2065, è necessario stabilire principi metodologici, tra cui i quesiti di revisione, e ulteriori orientamenti per la selezione delle metodologie e delle prove di revisione per la valutazione della conformità a tali disposizioni, in particolare per la valutazione della conformità agli articoli 34, 35 e 36 del regolamento (UE) 2022/2065 sull’esecuzione delle valutazioni del rischio, sull’adozione di misure di attenuazione dei rischi da parte dei fornitori sottoposti a revisione e sull’applicazione degli obblighi in materia di risposta alle crisi.

(35)

Poiché le organizzazioni di revisione dovrebbero anche valutare la conformità del fornitore sottoposto a revisione all’articolo 37 del regolamento (UE) 2022/2065, è opportuno fornire ulteriori specifiche sull’esatta revisione rispetto alla quale dovrebbe essere valutata la conformità, in particolare per evitare conflitti di interessi per l’organizzazione di revisione.

(36)

In considerazione della natura volontaria dei codici di condotta e dei protocolli di crisi, è necessario prevedere norme specifiche per la revisione della conformità agli articoli 45, 46 e 48 del regolamento (UE) 2022/2065, in particolare al fine di garantire che le organizzazioni di revisione dispongano di tutte le informazioni necessarie per svolgere revisioni specifiche degli impegni previsti da ciascun codice di condotta e protocollo di crisi,