(1)

As auditorias independentes são um instrumento importante para a supervisão do cumprimento, por parte dos fornecedores de plataformas em linha de muito grande dimensão e de motores de pesquisa em linha de muito grande dimensão, das obrigações que lhes incumbem por força do Regulamento (UE) 2022/2065. Embora o referido regulamento preveja outros instrumentos de responsabilização, em especial por meio do controlo público reforçado dos relatórios de transparência e outros requisitos de divulgação de dados, as organizações de auditoria independentes desempenham, desde cedo, um papel especial na avaliação da conformidade dos fornecedores com o referido regulamento. As conclusões e constatações de tais auditorias independentes e as suas recomendações podem contribuir de forma significativa para a supervisão regulamentar. Ao mesmo tempo, as auditorias independentes constituem uma das várias fontes de informação e análise que os reguladores podem utilizar no âmbito das suas funções de supervisão e controlo.

(2)

A fim de assegurar uma realização eficaz, eficiente, atempada e comparável das auditorias independentes a partir da data de aplicação do Regulamento (UE) 2022/2065, definida nos artigos 92.o e 93.o do referido regulamento, é conveniente que a Comissão estabeleça regras sobre a realização das auditorias, em especial no que diz respeito às obrigações jurídicas dos fornecedores auditados e às etapas processuais destinadas a assegurar que as organizações que realizam auditorias cumprem as condições de independência, inexistência de conflitos de interesses, experiência e ética profissional previstas no artigo 37.o, n.o 3, do Regulamento (UE) 2022/2065.

(3)

A fim de facilitar a realização adequada de auditorias com um elevado nível de especialização e prevenir consequências indesejadas no mercado dos serviços de auditoria, importa clarificar que as auditorias conduzidas em conformidade com o artigo 37.o do Regulamento (UE) 2022/2065 podem ser realizadas por vários auditores. Sempre que necessário, por exemplo por necessidade de conhecimentos especializados específicos para a auditoria de determinadas obrigações ou compromissos, como os relacionados com a conceção e o funcionamento de sistemas algorítmicos, a compreensão dos riscos para os direitos fundamentais ou a propagação de conteúdos ilegais, o fornecedor auditado pode celebrar contratos com diferentes organizações de auditoria, ou um consórcio de organizações, para realizar a auditoria. As organizações de auditoria podem igualmente subcontratar os conhecimentos especializados necessários, desde que tanto a organização de auditoria como os subcontratantes cumpram as condições necessárias em matéria de independência, inexistência de conflitos de interesses, objetividade e ética profissional comprovadas e cumpram conjuntamente as condições relativas à competência técnica. Nesses casos, o fornecedor auditado deve continuar a assegurar que o seu cumprimento de todas as obrigações e compromissos referidos no artigo 37.o, n.o 1, do Regulamento (UE) 2022/2065 é auditado pelo menos uma vez por ano.

(4)

É importante que os pareceres de auditoria referidos no artigo 37.o, n.o 4, alínea g), do Regulamento (UE) 2022/2065 sejam formulados pelas organizações de auditoria com um nível razoável de garantia. Para alcançar um nível razoável de garantia, a organização de auditoria deve ter um nível de confiança elevado, ainda que não absoluto, de que não ficou por detetar na auditoria nenhuma distorção, como omissões, deturpações ou erros. A fim de assegurar esse nível de garantia, a organização de auditoria deve, nomeadamente, obter suficientes elementos de prova e utilizar metodologias de auditoria adequadas na sua avaliação.

(5)

Nos termos do artigo 37.o, n.o 1, do Regulamento (UE) 2022/2065, as auditorias independentes devem realizar-se, no mínimo, uma vez por ano, alinhando-se pelo ciclo anual de avaliações dos riscos referido no artigo 34.o do mesmo regulamento. No entanto, podem ser necessárias auditorias mais frequentes em certos casos. É importante que a sequência das auditorias assegure a continuidade da supervisão da conformidade dos fornecedores auditados com o Regulamento (UE) 2022/2065 e os códigos de conduta e protocolos de crise pertinentes. O fornecedor auditado deve assegurar que o período de referência de uma determinada auditoria que avalie o cumprimento das obrigações e compromissos auditados complementa o período abrangido pela anterior auditoria do cumprimento, por parte do fornecedor, das mesmas obrigações e compromissos e tem início, o mais tardar, quando o período abrangido pela auditoria anterior tiver terminado. Uma vez que a conclusão de uma auditoria inclui tanto a avaliação efetuada pela organização de auditoria como a elaboração de um relatório de auditoria, os fornecedores auditados devem assegurar que a duração da auditoria permite a conclusão de auditorias pelo menos uma vez por ano e que a apresentação dos relatórios de auditoria à Comissão e ao coordenador dos serviços digitais se segue sem demora injustificada, nos termos do artigo 42.o, n.o 4, do Regulamento (UE) 2022/2065.

(6)

Embora não devam, em circunstância alguma, interferir com a realização da auditoria e as suas conclusões, os fornecedores auditados devem cumprir as obrigações que lhes incumbem por força do artigo 37.o do Regulamento (UE) 2022/2065, nomeadamente acordando condições contratuais com a organização de auditoria e verificando, antes de selecionarem uma organização de auditoria, se esta preenche as condições estabelecidas no artigo 37.o, n.o 3, do Regulamento (UE) 2022/2065.

(7)

O fornecedor auditado deve, por exemplo, analisar os contratos que celebrou anteriormente com a organização de auditoria ou os contratos celebrados entre a organização de auditoria e as pessoas coletivas ligadas ao fornecedor auditado. O fornecedor auditado deve também incluir cláusulas nos contratos celebrados com as organizações de auditoria destinadas a garantir o respeito das condições estabelecidas no artigo 37.o, n.o 3, do Regulamento (UE) 2022/2065. Se a organização de auditoria for composta por várias entidades, o fornecedor auditado deve confirmar se todas as entidades cumprem as referidas condições, incluindo, se for caso disso, os eventuais subcontratantes contratados pela organização de auditoria para apoiar, seja de que forma for, a realização da auditoria. Se cada entidade que realize a auditoria deve cumprir individualmente os requisitos de independência e os requisitos relativos à inexistência de conflitos de interesses, os requisitos relativos à competência, conhecimentos especializados ou recursos técnicos devem ser cumpridos conjuntamente pelas entidades, permitindo assim que diferentes entidades realizem diferentes partes da auditoria e contribuam com as capacidades, competências e conhecimentos especializados necessários para a realização da mesma. O relatório de auditoria deve especificar a responsabilidade de cada uma das entidades pelas respetivas partes da auditoria.

(8)

Nos termos do artigo 37.o, n.o 3, alínea a), subalínea i), do Regulamento (UE) 2022/2065, ao verificar se uma organização de auditoria cumpre os requisitos de independência e de inexistência de conflitos de interesses, o fornecedor auditado deve prestar especial atenção por forma a evitar que a organização de auditoria lhe preste serviços que não sejam de auditoria. É conveniente que o fornecedor auditado analise, por exemplo, se foram prestados serviços, como os relacionados com qualquer sistema, software ou processo implicados em questões pertinentes para a obrigação ou compromisso auditado, nomeadamente serviços de consultoria para avaliações do desempenho, da governação e do software, serviços de formação, desenvolvimento ou manutenção de sistemas ou subcontratação da moderação de conteúdos. Esses serviços abrangem igualmente os serviços prestados ao fornecedor auditado que consistam em consultoria ou desenvolvimento de controlos internos ou na avaliação, para fins internos, da conformidade do fornecedor auditado com o Regulamento (UE) 2022/2065 ou os códigos de conduta e protocolos de crise, incluindo quando tal se limite a testes pontuais, como os testes realizados por terceiros ao desempenho de sistemas de moderação de conteúdos. Tal não deve excluir as organizações de auditoria que tenham realizado auditorias financeiras oficiais.

(9)

Atendendo à complexidade e natureza específica das auditorias de conformidade no âmbito do Regulamento (UE) 2022/2065, os conhecimentos especializados da organização de auditoria na matéria são fundamentais para a realização de auditorias com um nível razoável de garantia e para o juízo profissional e o espírito crítico que lhe permitem saber, por exemplo, de que informações necessita para executar os procedimentos de auditoria ou questionar informações contraditórias. Por conseguinte, o fornecedor auditado deve verificar se a organização de auditoria disponibiliza tais conhecimentos especializados, nomeadamente no domínio da gestão de riscos, tanto no que diz respeito aos riscos de auditoria como ao objeto do Regulamento (UE) 2022/2065 e, em especial, aos riscos sociais sistémicos referidos no artigo 34.o do mesmo regulamento. Além disso, o fornecedor auditado deve verificar as competências e capacidades técnicas da organização de auditoria tendo em conta o serviço auditado específico, incluindo os seus conhecimentos especializados na matéria, por exemplo, no que diz respeito ao funcionamento e aos efeitos de sistemas algorítmicos, como sistemas de recomendação e outros sistemas sociotécnicos mantidos pelo fornecedor. Importa que a organização de auditoria tenha a possibilidade de subcontratar ou adquirir (de outro modo) e utilizar os conhecimentos especializados e capacidades necessários, devendo o fornecedor auditado verificar e assegurar que a organização de auditoria está em condições de os obter a tempo da realização da auditoria.

(10)

Ao verificar se as organizações de auditoria cumprem as condições estabelecidas no artigo 37.o, n.o 3, do Regulamento (UE) 2022/2065, o fornecedor auditado deve avaliar os elementos de prova pertinentes, incluindo, se for caso disso, as certificações, declarações e relatórios de auditoria emitidos pela organização de auditoria. Os conhecimentos especializados adequados poderão ser comprovados, por exemplo, pela experiência prática de avaliação e gestão de riscos, bem como por atividades académicas, publicações científicas e experiência em auditorias pertinentes. Os relatórios de auditoria devem conter todos os documentos comprovativos pertinentes que atestem que a organização de auditoria preenche as condições necessárias.

(11)

Nos termos do artigo 37.o, n.o 2, do Regulamento (UE) 2022/2065, o fornecedor auditado deve assegurar toda a cooperação e assistência necessárias para que a organização de auditoria realize a auditoria de forma eficaz, eficiente e atempada, bem como abster-se de interferir, seja de que forma for, nas decisões independentes da organização de auditoria. Por exemplo, o fornecedor auditado não deve, mediante qualquer tipo de limitações ou incentivos contratuais ou de outra natureza, impor, dar orientações ou influenciar de outra forma a organização de auditoria na sua escolha e execução de procedimentos de auditoria, metodologias, recolha e tratamento das informações e elementos de prova da auditoria, análises, testes, pareceres de auditoria ou elaboração de conclusões da auditoria.

(12)

A fim de garantir a cooperação e a assistência necessárias durante a auditoria, o fornecedor auditado deve assegurar que a organização de auditoria tem acesso a todas as informações necessárias para a realização da mesma. O fornecedor auditado deve enviar, tão cedo quanto possível e, em todo o caso, antes de a organização de auditoria dar início aos procedimentos de auditoria, todos os documentos e explicações necessários. Por exemplo, nos termos do artigo 41.o, n.o 3, alíneas d) e e), do Regulamento (UE) 2022/2065, a função de verificação da conformidade do fornecedor auditado consiste em controlar o cumprimento de todas as obrigações e compromissos auditados, o que deve resultar na criação de controlos internos. A organização de auditoria deve, por conseguinte, ter acesso a todas as informações relacionadas com esses controlos, bem como a quaisquer outras informações que descrevam a estratégia do fornecedor auditado para garantir a conformidade. Em particular, o fornecedor auditado deve disponibilizar à organização de auditoria os critérios de referência em que se baseia para assegurar o cumprimento do Regulamento (UE) 2022/2065, de modo que a organização de auditoria possa fundar os critérios de auditoria nessas informações. Além disso, a organização de auditoria deve ter acesso a qualquer análise dos riscos inerentes e dos riscos de controlo que o fornecedor auditado tenha realizado. O fornecedor deve disponibilizar à organização de auditoria informações que facilitem a compreensão do serviço auditado, da sua governação, das competências das respetivas equipas e das estruturas de tomada de decisão, incluindo a sua função de verificação da conformidade, bem como uma apresentação dos seus sistemas informáticos (TI), das estruturas de dados e de registos e da interação entre os diferentes sistemas algorítmicos relevantes para a auditoria.

(13)

Importa que a organização de auditoria possa solicitar, a qualquer momento durante a realização da auditoria, quaisquer outras informações necessárias. O acesso a essas informações deve ser concedido sem demora injustificada, de uma forma que não prejudique de modo algum a realização da auditoria. Tal deve incluir o acesso a dados, incluindo dados pessoais, recolhidos a partir de várias fontes, como documentos, sistemas algorítmicos, bases de dados ou entrevistas, consoante o caso. O fornecedor auditado deve também conceder à organização de auditoria acesso a procedimentos, a processos e a sistemas informáticos, como os sistemas algorítmicos e de informação, incluindo ambientes de teste. A fim de permitir que a organização de auditoria inspecione os sistemas de forma significativa, o fornecedor auditado deve disponibilizar todos os recursos necessários para ajudar a referida organização a aceder e avaliar os sistemas, nomeadamente disponibilizando o seu pessoal competente para responder a perguntas ou operar os ambientes de teste e explicar como funcionam, ou facilitar qualquer outro acesso necessário ao pessoal e às instalações, designadamente edifícios. O acesso a procedimentos e processos pode implicar, por exemplo, o acesso a descrições ou documentos relativos ao processo interno de decisão do fornecedor auditado. O acesso às informações pertinentes também pode implicar a tomada, por parte do fornecedor auditado, de outras medidas acessórias, a fim de cumprir a obrigação de cooperação e assistência que lhe incumbe. Por exemplo, o fornecedor auditado poderá ter de disponibilizar instalações seguras para realizar as entrevistas com o pessoal. Sempre que tal seja necessário para a realização da auditoria, os fornecedores auditados devem cumprir a obrigação de cooperação e assistência para com a organização de auditoria, nomeadamente facilitando o acesso a dados relevantes relacionados com as suas operações que se encontrem na posse de contratantes terceiros. Tal pode ser o caso, por exemplo, dos resultados de ações de moderação de conteúdos, do material de formação ou das orientações utilizados por contratantes terceiros que moderam conteúdos, ou por fornecedores e prestadores de serviços para soluções informáticas, nomeadamente algoritmos e aplicações utilizados em sistemas de recomendação ou sistemas de publicidade utilizados pelo fornecedor auditado.

(14)

A fim de facilitar uma transparência significativa das constatações da auditoria e disponibilizar um formato abrangente e comparável dos relatórios de auditoria a que se refere o artigo 37.o, n.o 4, do Regulamento (UE) 2022/2065 e dos relatórios de execução da auditoria a que se refere o artigo 37.o, n.o 6, do mesmo regulamento, importa que o presente regulamento estabeleça modelos para esses relatórios e exija uma série de anexos para cada um deles. Embora exijam uma comunicação exaustiva de informações, os modelos estabelecidos no presente regulamento não devem afetar os requisitos relativos à publicação de relatórios previstos no artigo 42.o, n.os 4 e 5, do Regulamento (UE) 2022/2065.

(15)

A fim de assegurar que a organização de auditoria recebe toda a assistência necessária do fornecedor auditado, sem interferência na realização da auditoria, que satisfaz todas as condições para a preparação da auditoria e apresenta o relatório de auditoria em tempo útil e com a qualidade necessária para alcançar um nível razoável de garantia, é importante que determinadas regras especifiquem os procedimentos para a preparação da auditoria. Os deveres e responsabilidades do fornecedor auditado e da organização de auditoria, incluindo todos os subcontratantes ou organizações parceiras e o pessoal responsável pela realização da auditoria, devem ser estabelecidos num acordo escrito, incluindo por meio de cláusulas contratuais. O acordo escrito deve igualmente especificar as obrigações e compromissos auditados, a afetação de recursos e as regras de interação e pontos de contacto entre a organização de auditoria e o fornecedor auditado. Todos os documentos comprovativos e contratos devem ser anexados ao relatório de auditoria, incluindo quando os documentos assumem a forma de uma carta de compromisso de auditoria ou de outras condições contratuais.

(16)

A fim de proporcionar uma panorâmica abrangente e facilitar a responsabilização dos fornecedores auditados, o relatório de auditoria deve incluir uma conclusão da avaliação da organização de auditoria sobre o cumprimento, por parte do fornecedor auditado, de cada obrigação ou compromisso auditado. Cada conclusão de auditoria deve assentar num nível razoável de garantia e deve ser «positiva», «positiva com observações» ou «negativa», a fim de fundamentar adequadamente o parecer de auditoria. As conclusões «positivas com observações» não devem dizer respeito à própria avaliação do cumprimento. Tais observações podem dizer respeito, por exemplo, à comunicação de informações pelo fornecedor a pedido da organização de auditoria ou a melhorias na manutenção ou nos controlos efetuados pelo fornecedor auditado, ou registar outros planos de atenuação e melhorias que o fornecedor tencione introduzir. Em todo o caso, sempre que a organização de auditoria considere que o fornecedor auditado cumpre uma obrigação ou compromisso auditado de acordo com os critérios de referência por ele comunicados, mas entender que é necessário incluir observações sobre esses critérios, a conclusão da auditoria deve ser «positiva com observações», uma vez que essas observações podem facultar ao fornecedor informações úteis sobre possibilidades de eventuais alterações dos seus critérios de referência, com base nos conhecimentos e competências especializados da organização de auditoria, bem como em informações de fontes externas. Por exemplo, as observações podem basear-se em orientações da Comissão, formuladas, nomeadamente, através das diretrizes da Comissão a que se refere o artigo 35.o, n.o 3, do Regulamento (UE) 2022/2065, e em quaisquer outras diretrizes pertinentes emitidas pela Comissão no que diz respeito à aplicação desse regulamento, nos relatórios do Comité Europeu dos Serviços Digitais a que se refere o artigo 35.o, n.o 2, do mesmo regulamento, em medidas de execução, nas decisões tomadas pela Comissão nos termos desse regulamento, na jurisprudência pertinente, em especial do Tribunal de Justiça da União Europeia, em consultas públicas ou em fontes fidedignas pertinentes.

(17)

A fim de permitir o controlo público e a supervisão regulamentar, sempre que uma conclusão de auditoria seja «negativa», mas se aplique apenas a um período limitado, e a organização de auditoria considere que o fornecedor auditado cumpriu a obrigação ou o compromisso durante o período auditado remanescente, é necessário que tal se reflita no relatório de auditoria relativo à obrigação ou compromisso em causa. O relatório deve incluir as observações da organização de auditoria sobre quaisquer informações que lhe tenham sido disponibilizadas pelo fornecedor auditado no que diz respeito aos planos de atenuação em vigor ou previstos para corrigir situações de não conformidade.

(18)

Tendo em conta a natureza diversa das obrigações jurídicas estabelecidas no capítulo III do Regulamento (UE) 2022/2065 e dos compromissos voluntários assumidos no âmbito dos códigos de conduta e protocolos de crise em conformidade com os artigos 45.o, 46.o e 48.o do mesmo regulamento, importa que a organização de auditoria emita pareceres de auditoria sobre a conformidade com o referido capítulo e com cada código e protocolo.

(19)

Para que a auditoria se realize com um nível razoável de garantia e se concebam procedimentos de auditoria adequados de acordo com metodologias que reduzam o risco de auditoria para um nível baixo, uma das partes essenciais da metodologia para a realização da auditoria deve consistir na estimativa dos riscos de auditoria, ou seja, o risco de a organização de auditoria emitir um parecer ou conclusão de auditoria inadequado. Por conseguinte, a organização de auditoria deve avaliar o risco de auditoria logo no início da mesma, antes de conceber a metodologia exata e de executar os procedimentos de auditoria. A análise do risco de auditoria é necessária para que a organização de auditoria possa selecionar as metodologias precisas para a auditoria e determinar a exaustividade dos procedimentos de auditoria, a fim de atingir um nível razoável de garantia do parecer de auditoria. A organização de auditoria deve realizar a análise do risco de auditoria no âmbito da avaliação do cumprimento de cada obrigação ou compromisso auditado, tendo em conta os riscos inerentes, os riscos de controlo e os riscos de deteção.

(20)

A fim de avaliar corretamente os riscos de auditoria, a análise do risco de auditoria deve ter em conta a natureza do serviço auditado, nomeadamente o seu perfil de risco, bem como o âmbito e a complexidade da auditoria. Por exemplo, é provável que as plataformas em linha que permitem a celebração de contratos à distância entre consumidores tenham riscos inerentes diferentes dos das plataformas de partilha de vídeos ou dos motores de pesquisa. Além disso, há que ter em conta o contexto social e económico da prestação do serviço auditado, por exemplo, no que diz respeito a grupos de utilizadores típicos, como os menores, ou comportamentos frequentes, como uma elevada incidência de utilização não autêntica e comportamentos coordenados em campanhas de desinformação. O contexto social e económico a ter em conta deve abranger também a probabilidade e, de forma independente, a gravidade da exposição a situações de crise e acontecimentos imprevistos, tal como referido no Regulamento (UE) 2022/2065.

(21)

A fim de assegurar que a análise do risco de auditoria reflete a evolução dos riscos a que o serviço está sujeito, esta análise deve igualmente basear-se em informações de auditorias anteriores de que o fornecedor auditado tenha sido objeto, se for caso disso, e em informações provenientes de fontes como os relatórios de auditoria de outros fornecedores com um perfil de risco semelhante. Para garantir que a análise do risco de auditoria se funda totalmente nos dados mais avançados sobre os riscos em contextos semelhantes àqueles em que o fornecedor auditado desenvolve a sua atividade e em fontes fidedignas com relevância direta para a aplicação do Regulamento (UE) 2022/2065, a análise deve basear-se igualmente em informações provenientes de relatórios publicados pelo Comité Europeu dos Serviços Digitais ou em diretrizes da Comissão, se for caso disso. Entre as outras informações podem igualmente incluir-se as informações provenientes de relatórios de auditoria publicados nos termos do artigo 42.o, n.o 4, do Regulamento (UE) 2022/2065 por outros fornecedores de plataformas em linha de muito grande dimensão ou de motores de pesquisa em linha de muito grande dimensão.

(22)

A organização de auditoria deve elaborar, sem influência do fornecedor auditado, as metodologias de auditoria utilizadas para avaliar o cumprimento das obrigações e compromissos auditados. Os critérios de auditoria devem basear-se nas informações apresentadas pelo fornecedor auditado no que respeita aos critérios de referência por este utilizados para controlar a conformidade. A metodologia pode também ter em conta outras informações disponibilizadas pelo fornecedor auditado, como a análise dos riscos inerentes, caso o fornecedor auditado a tenha efetuado, por exemplo por meio de medidas desenvolvidas pelo responsável pela conformidade ou pelo órgão de administração, nos termos do artigo 41.o do Regulamento (UE) 2022/2065 ou de outras medidas integradas no funcionamento do serviço para as avaliações dos riscos sistémicos a que se refere o artigo 34.o do mesmo regulamento.

(23)

A fim de assegurar que as metodologias de auditoria são adequadas para alcançar um nível razoável de garantia dos pareceres de auditoria, a escolha da metodologia dos procedimentos de auditoria deve ter em conta as especificidades da obrigação ou compromisso auditado e deve ser adaptada, por exemplo, à natureza da obrigação auditada enquanto obrigação de meios ou obrigação de resultados que o fornecedor deve alcançar para estar conforme. Por exemplo, os procedimentos de auditoria destinados a avaliar o cumprimento da apresentação de relatórios de transparência em conformidade com o artigo 15.o do Regulamento (UE) 2022/2065 poderão permitir à organização de auditoria concluir se os relatórios foram publicados dentro dos prazos e nos formatos exigidos no referido regulamento, bem como se estavam completos e se os dados comunicados eram exatos, representativos e estavam devidamente repartidos, nomeadamente por categoria de conteúdos ilegais contra os quais se tenha atuado.

(24)

A escolha da metodologia deve também depender do facto de a avaliação da conformidade exigir ou não interpretações contextuais da organização de auditoria. A seleção de metodologias também deve ser adaptada aos riscos inerentes às atividades realizadas na prestação do serviço e ao contexto em que o serviço é prestado, por exemplo, se o serviço implica a venda de bens suscetíveis de serem ilegais ou se é principalmente utilizado por menores. Por exemplo, as metodologias destinadas a avaliar o cumprimento das obrigações de adotar medidas adequadas e proporcionadas para assegurar um nível elevado de privacidade, proteção e segurança dos menores em conformidade com o artigo 28.o, n.o 1, do Regulamento (UE) 2022/2065 devem permitir que a organização de auditoria compreenda suficientemente a forma como o serviço auditado é utilizado por menores e os potenciais riscos para a sua privacidade, proteção e segurança, bem como o que constitui uma medida adequada e proporcionada no contexto específico do serviço auditado e da sua utilização por menores. Para o efeito, as organizações de auditoria devem dividir a avaliação em fases adequadas. Devem avaliar os riscos de auditoria de acordo com o perfil de risco do fornecedor auditado, nomeadamente se o serviço prestado está disponível ou é utilizado predominantemente por menores. Devem avaliar, por exemplo, se o fornecedor auditado criou ferramentas que permitam garantir a idade, se estas são eficazes e de que forma avalia e controla a sua eficácia. Devem avaliar se o fornecedor auditado adotou medidas adequadas para detetar a utilização incongruente do seu serviço e padrões comportamentais que procurem prejudicar ou sejam suscetíveis de prejudicar menores.

(25)

A seleção de metodologias deve ser adaptada aos riscos de controlo associados às medidas de conformidade adotadas pelo fornecedor auditado, bem como aos riscos de deteção, ou seja, o risco de não se detetarem distorções nas informações que o fornecedor disponibiliza à organização de auditoria. Por exemplo, sempre que uma obrigação auditada seja suscetível de envolver a auditoria de um sistema algorítmico baseado na personalização para os destinatários individuais do serviço auditado e em atualizações recorrentes do sistema algorítmico, como as obrigações de divulgação que incidem sobre os sistemas de recomendação nos termos do artigo 27.o do Regulamento (UE) 2022/2065, a escolha da metodologia deve permitir que a organização de auditoria conceba os testes adequados para minimizar os riscos de deteção. Do mesmo modo, quando a organização de auditoria procura avaliar se foram atenuados todos os riscos pertinentes ligados à conceção, ao funcionamento e à utilização de aplicações baseadas em modelos linguísticos de grande escala, tais como funcionalidades de conversa (chat) ou sistemas de recomendação utilizados pelo fornecedor auditado, deve, em primeiro lugar, avaliar a adequação dos controlos estabelecidos pelo fornecedor. A escolha dos testes deve basear-se na robustez desses controlos internos. Os procedimentos de auditoria devem basear-se numa combinação de metodologias, em especial, mas não exclusivamente, nos casos em que os controlos internos sejam pouco rigorosos, incompletos ou inconclusivos para determinar se as regras são cumpridas, tendo em conta a população de destinatários do serviço auditado. Por exemplo, as metodologias podem incluir procedimentos analíticos substantivos, como a análise das interações entre todos os sistemas algorítmicos utilizados nos sistemas de recomendação e as regras e processos de decisão conexos para estabelecer os principais parâmetros dos sistemas de recomendação, observações de ficheiros cronológicos e registos digitais. As metodologias devem igualmente incluir testes do sistema, tais como testes em ambientes simulados.

(26)

A fim de assegurar que a metodologia é pertinente e está adaptada às novas constatações durante a realização da auditoria, a seleção das metodologias deve guiar-se pelo juízo profissional da organização de auditoria e ser ajustada por forma a dar resposta às novas constatações, em especial quando a organização de auditoria tiver dúvidas razoáveis em relação às informações apresentadas pelo fornecedor auditado. O espírito crítico da organização de auditoria deve assentar nos conhecimentos especializados da mesma, bem como noutras fontes de informação de especial relevância para a aplicação do Regulamento (UE) 2022/2065, tais como os relatórios do Comité Europeu dos Serviços Digitais, as orientações da Comissão, os relatórios de auditoria publicados com base nos códigos de conduta ou protocolos de crise a que se referem os artigos 45.o, 46.o e 48.o do mesmo regulamento, ou ainda as informações que surjam durante a realização da auditoria, inclusive quando relacionadas com acontecimentos, em particular situações de crise, que requeiram a tomada de medidas adicionais por parte do fornecedor auditado para assegurar o cumprimento de determinadas obrigações ou compromissos auditados.

(27)

A fim de assegurar a recolha de suficientes elementos de prova de auditoria durante a auditoria, as organizações de auditoria devem avaliar os controlos internos do fornecedor auditado e realizar procedimentos de auditoria substantivos para avaliar a conformidade do fornecedor auditado. Em certos casos, a organização de auditoria também deve realizar testes.

(28)

Dada a complexidade dos sistemas algorítmicos utilizados pelos fornecedores de plataformas em linha e o seu importante papel no cumprimento de várias obrigações estabelecidas no Regulamento (UE) 2022/2065, importa conferir especial atenção às escolhas metodológicas necessárias e adequadas para auditar os sistemas algorítmicos. Tal é necessário tanto quando os sistemas algorítmicos fazem parte dos controlos instituídos pelo fornecedor auditado, como quando os próprios são objeto das obrigações ou compromissos auditados, como no que diz respeito aos sistemas de recomendação, por exemplo, nos termos dos artigos 27.o, 34.o, 35.o e 38.o do Regulamento (UE) 2022/2065, aos sistemas de publicidade, por exemplo, nos termos dos artigos 26.o, 28.o, 34.o, 35.o e 39.o do referido regulamento, aos sistemas de moderação de conteúdos, por exemplo, nos termos dos artigos 14.o, 15.o, 34.o e 35.o do mesmo regulamento, ou a qualquer outro sistema algorítmico que contribua para os riscos referidos no artigo 34.o do mesmo regulamento.

(29)

Deve igualmente utilizar-se uma combinação de procedimentos analíticos substantivos, incluindo, se for caso disso, os baseados em observações dos processos e atividades do fornecedor auditado na conceção, desenvolvimento, exploração, teste e monitorização de sistemas algorítmicos ou em observações de ficheiros cronológicos e registos digitais gerados pelos sistemas. As metodologias devem ser adaptadas às especificidades dos sistemas algorítmicos, incluindo a sua governação, a interação entre diferentes sistemas algorítmicos e os sistemas de gestão de dados conexos, e às tecnologias subjacentes aos sistemas algorítmicos, tais como modelos generativos ou outros classificadores, algoritmos de seleção ou de pesquisa.

(30)

Além disso, é importante que as metodologias de auditoria dos sistemas algorítmicos incluam testes para, por exemplo, recolher informações que o fornecedor auditado não documentou anteriormente ou para reproduzir e avaliar de forma independente os resultados de indicadores de precisão, testes em ambientes de testagem ou ambientes simulados ou testes em sistemas de produção, incluindo por meio da raspagem de dados ou de testes antagónicos.

(31)

Dado que a elevada qualidade dos elementos de prova da auditoria é uma condição necessária para que a organização de auditoria formule um parecer de auditoria com um nível razoável de garantia, as informações que a organização de auditoria decide utilizar como elementos de prova da auditoria devem ser adequadas e suficientes por forma a reduzir os riscos de auditoria. Além disso, os elementos de prova da auditoria devem ser fiáveis de acordo com o juízo profissional e o espírito crítico da organização de auditoria e, se for caso disso, tendo em conta fontes de informação alternativas. O juízo profissional e o espírito crítico devem compreender uma avaliação crítica dos elementos de prova da auditoria e das possíveis distorções. Estes padrões de qualidade devem aplicar-se a todos os elementos de prova da auditoria, independentemente de terem sido facultados pelo fornecedor auditado ou recolhidos junto de outras fontes.

(32)

A organização de auditoria deve ter em conta uma série de fontes de informação, que poderão abranger, por exemplo, entrevistas com o pessoal ou os contratantes do fornecedor auditado, nomeadamente os responsáveis pela conformidade, engenheiros, cientistas de dados, arquitetos de software ou membros de equipas de auditoria interna. Podem também abranger a documentação técnica sobre a conceção, a implantação, os testes e a monitorização de um sistema pertinente, nomeadamente sobre a qualidade e governação dos dados, bem como sobre as atualizações e versões do sistema, e outros documentos relativos aos processos de governação e decisão do fornecedor auditado, tendo em conta, designadamente, as prioridades, os recursos, a atribuição de tarefas e responsabilidades ou os conhecimentos especializados do pessoal relevante.

(33)

A fim de assegurar a eficiência e a proporcionalidade na realização da auditoria, é importante que a organização de auditoria esteja autorizada a proceder à amostragem dos dados e das informações, tendo o devido cuidado de assegurar a recolha de uma amostra representativa, para poder emitir um parecer de auditoria com um nível razoável de garantia. Por forma a assegurar a transparência e a reprodutibilidade dos procedimentos de auditoria, a organização de auditoria deve justificar as escolhas sobre a dimensão da amostra e o método de amostragem no relatório de auditoria. Por exemplo, a dimensão da amostra e a metodologia devem ser selecionadas tendo em conta a eficácia em termos de consecução do objetivo da auditoria da obrigação ou compromisso específico auditado e de forma a minimizar o risco de a conclusão da auditoria feita à amostra específica ser diferente da conclusão a que se chegaria se a totalidade da população dos elementos de prova fosse sujeita ao procedimento de auditoria. A dimensão e a metodologia da amostra devem ser selecionadas tendo em conta o âmbito completo da auditoria, bem como as alterações internas ou externas do serviço auditado durante o período de análise. Devem também ser adaptadas às especificidades dos sistemas algorítmicos, nomeadamente no que diz respeito à personalização mediante a definição de perfis. No âmbito desta consideração, a organização de auditoria deve, por exemplo, proceder a uma amostragem adequada das diferentes coortes ou partições que possam resultar das técnicas de personalização ou identificar a margem de erro e explicar a razão pela qual se encontra num nível aceitável.

(34)

Dada a novidade de determinadas disposições do Regulamento (UE) 2022/2065, é necessário estabelecer princípios metodológicos, incluindo perguntas de auditoria e orientações adicionais para a seleção das metodologias da auditoria e dos elementos de prova da auditoria, com vista à avaliação do cumprimento das disposições, ou seja, para avaliar a conformidade com os artigos 34.o, 35.o e 36.o do Regulamento (UE) 2022/2065 relativos à realização de avaliações dos riscos e à adoção de medidas de atenuação dos riscos por parte dos fornecedores auditados, bem como à aplicação das obrigações respeitantes à resposta em caso de crise.

(35)

Uma vez que as organizações de auditoria deverão igualmente avaliar a conformidade do fornecedor auditado com o artigo 37.o do Regulamento (UE) 2022/2065, há que fornecer também mais especificações sobre a auditoria exata mediante a qual deve avaliar-se a conformidade, em especial para evitar quaisquer conflitos de interesses para a organização de auditoria.

(36)

Tendo em conta o caráter voluntário dos códigos de conduta e dos protocolos de crise, é necessário prever regras específicas para a auditoria da conformidade com os artigos 45.o, 46.o e 48.o do Regulamento (UE) 2022/2065, nomeadamente para assegurar que as organizações de auditoria dispõem de todas as informações necessárias para realizar auditorias específicas em relação aos compromissos assumidos no âmbito de cada código de conduta e protocolo de crise,