Parecer do Comité Económico e Social Europeu sobre a comunicação da Comissão ao Parlamento Europeu, ao Conselho, ao Comité Económico e Social Europeu e ao Comité das Regiões «Aumentar a confiança numa inteligência artificial centrada no ser humano»

[COM(2019) 168 final]

(2020/C 47/09)

Relatora: Franca SALIS-MADINIER

Consulta	Comissão Europeia, 3.6.2019
Base jurídica	Artigo 304.o do Tratado sobre o Funcionamento da União Europeia
Competência	Secção do Mercado Único, Produção e Consumo
Adoção em secção	18.10.2019
Adoção em plenária	30.10.2019
Reunião plenária n.o	547
Resultado da votação (votos a favor/votos contra/abstenções)	198/1/4

1.   Conclusões e recomendações

1.1.

A inteligência artificial (IA) não é um fim em si mesma, mas sim um instrumento que pode gerar mudanças radicais positivas, mas que também comporta riscos. Por conseguinte, é necessário enquadrar a sua utilização.

1.2.

A Comissão deve adotar medidas para prever, prevenir e proibir a utilização mal-intencionada da IA e da aprendizagem automática, e regular melhor a comercialização de produtos lançados no mercado com fins mal-intencionados.

1.3.

A UE deve, em particular, promover o desenvolvimento de sistemas de IA orientados para aplicações concretas que permitam acelerar a transição ecológica e climática.

1.4.

Importa identificar os desafios que podem ser abordados através de códigos de ética, da autorregulação e de compromissos voluntários, e aqueles que devem ser enfrentados através de instrumentos regulamentares e legislativos, prevendo mecanismos de acompanhamento e, em caso de incumprimento, sanções. Em qualquer caso, os sistemas de IA devem cumprir a legislação existente.

1.5.

A IA exige uma abordagem que abranja não só os aspetos técnicos, mas também os aspetos sociais e éticos. O CESE acolhe favoravelmente a vontade da UE de desenvolver uma abordagem da IA centrada no ser humano e consentânea com os seus valores fundamentais: respeito pela dignidade humana, liberdade, democracia, igualdade e não discriminação, Estado de direito e respeito pelos direitos humanos.

1.6.

O CESE reitera (1) a necessidade de consultar e informar os trabalhadores e os seus representantes aquando da introdução de sistemas de IA suscetíveis de gerar mudanças na organização do trabalho, na sua supervisão e controlo, bem como nos sistemas de avaliação e de recrutamento de trabalhadores. A Comissão deve promover o diálogo social com vista a associar os trabalhadores à utilização dos sistemas de IA.

1.7.

O CESE salienta (2) que uma IA de confiança pressupõe o controlo do ser humano sobre a máquina e a informação aos cidadãos sobre as suas utilizações. Os sistemas de IA devem ser explicáveis ou, quando tal não seja possível, os cidadãos e os consumidores devem ser informados sobre os seus limites e os seus riscos.

1.8.

A UE deve enfrentar os «riscos emergentes» (3) em matéria de saúde e segurança no trabalho. Devem ser estabelecidas normas para evitar que os sistemas autónomos se tornem prejudiciais para as pessoas ou lhes causem danos. Os trabalhadores devem receber formação para trabalhar com as máquinas e desativá-las em caso de emergência.

1.9.

O CESE apela para o desenvolvimento de um sistema de certificação sólido baseado em procedimentos de teste que permitam às empresas atestar a fiabilidade e a segurança dos seus sistemas de IA. A transparência, a rastreabilidade e a explicabilidade dos processos de tomada de decisões algorítmicas são um desafio técnico que requer o apoio de instrumentos da UE, como o Programa Horizonte Europa.

1.10.

O respeito pela privacidade e a proteção de dados determinarão o nível de confiança dos cidadãos e dos consumidores na IA. A propriedade dos dados, o seu controlo e a sua utilização pelas empresas e organizações são questões que, em larga medida, continuam por esclarecer (em particular no tocante à Internet das coisas). O CESE insta a Comissão a rever periodicamente o Regulamento Geral sobre a Proteção de Dados (RGPD) (4) e a regulamentação conexa, em função da evolução tecnológica.

1.11.

O CESE considera que é essencial refletir sobre o potencial contributo dos sistemas de IA para a redução das emissões de gases com efeito de estufa, nomeadamente nos setores da indústria, dos transportes, da energia, da construção e da agricultura. Defende que a transição climática e a transição digital devem estar interligadas.

1.12.

O CESE entende que o controlo sobre os sistemas de IA pode não ser suficiente para determinar as responsabilidades e fomentar a confiança. Recomenda que se dê prioridade à definição de regras claras para a atribuição de responsabilidades, em caso de incumprimento, às pessoas jurídicas, quer singulares quer coletivas. Insta igualmente a Comissão a examinar, a título prioritário, a questão fundamental da segurabilidade dos sistemas de IA.

1.13.

O CESE propõe que se desenvolva, para as empresas que cumprem as normas, um «certificado europeu de empresa de IA de confiança», baseado, nomeadamente, na lista de avaliação proposta pelo Grupo de peritos de alto nível sobre a IA (doravante designado «grupo de peritos de alto nível»).

1.14.

Ao promover o trabalho pertinente no âmbito do G7, do G20 e dos diálogos bilaterais, a UE deve procurar assegurar que a regulação da IA ultrapassa as fronteiras europeias. Há que estabelecer um acordo internacional para uma IA de confiança, que permita desenvolver normas internacionais e verificar periodicamente a sua pertinência.

2.   Síntese da proposta da Comissão

2.1.

A comunicação em apreço baseia-se no trabalho do grupo de peritos de alto nível, estabelecido pela Comissão, em junho de 2018. Na comunicação, a Comissão identifica sete requisitos fundamentais para alcançar uma IA de confiança, que são enumerados no ponto 4.

2.2.

A Comissão lançou uma fase-piloto que conta com a participação de um vasto leque de partes interessadas. Este exercício centra-se, em particular, na lista de avaliação elaborada pelo grupo de peritos de alto nível para cada um dos requisitos fundamentais. No início de 2020, o grupo de peritos de alto nível reexaminará e atualizará a lista de avaliação, e a Comissão proporá, se necessário, novas medidas.

2.3.

A Comissão pretende transpor a sua abordagem relativa à IA para o plano internacional e continuará a desempenhar um papel ativo, incluindo no âmbito do G7 e do G20.

3.   Observações na generalidade

3.1.

A IA centrada no ser humano exige uma abordagem que abranja os aspetos técnicos, mas também os aspetos sociais e éticos. O CESE acolhe favoravelmente a vontade manifestada pelas instituições da UE de desenvolver uma abordagem da IA consentânea com os seus valores fundamentais: respeito pela dignidade humana, liberdade, democracia, igualdade e não discriminação, Estado de direito e respeito pelos direitos humanos. Tal como salientado pela Comissão (5), a IA não é um fim em si mesma, mas sim um instrumento que pode desencadear mudanças radicais positivas. À semelhança de qualquer outro instrumento, cria simultaneamente oportunidades e riscos. Por conseguinte, a UE deve enquadrar a sua utilização e determinar claramente quem é responsável.

3.2.

A confiança numa IA centrada no ser humano será criada através da afirmação de valores e princípios, de um quadro regulamentar bem estabelecido e de orientações em matéria de ética com requisitos fundamentais.

3.3.

Entre os diversos desafios associados à IA, importa identificar, com o conjunto das partes interessadas, os que devem ser enfrentados através de instrumentos regulamentares e legislativos, prevendo mecanismos de acompanhamento regulamentares e, em caso de incumprimento, sanções, bem como aqueles que podem ser abordados através de códigos de ética, da autorregulação e de compromissos voluntários. O CESE congratula-se por alguns dos princípios por si abordados inicialmente terem sido retomados pela Comissão, mas lamenta que, até ao momento, esta não tenha proposto medidas específicas para responder às preocupações legítimas em matéria de direitos dos consumidores, segurança dos sistemas e responsabilidade.

3.4.

Os sistemas de IA devem respeitar o quadro regulamentar existente, nomeadamente em relação à proteção de dados pessoais, à responsabilidade decorrente dos produtos, à defesa dos consumidores, à não discriminação, às qualificações profissionais, bem como à informação e à consulta dos trabalhadores no local de trabalho. Há que garantir que estas legislações são adaptadas aos novos desafios da digitalização e da IA.

3.5.

Como observado pela Comissão, «[d]evem ser criados processos destinados a clarificar e avaliar os riscos potenciais associados à utilização de sistemas de IA em diferentes áreas de aplicação» (6). O CESE atribui a maior importância às modalidades futuras desta avaliação e à criação de indicadores que possam ser tidos em conta para a realizar. O projeto de lista de avaliação elaborado pelo grupo de peritos de alto nível constitui um ponto de partida para a aplicação de tais processos.

3.6.

Tal diz igualmente respeito à questão da distribuição equitativa do valor acrescentado que se espera dos sistemas de IA. O CESE considera que as transformações positivas viabilizadas pela IA em matéria de desenvolvimento económico, sustentabilidade dos processos de produção e consumo (nomeadamente a energia) e melhoria da utilização dos recursos devem beneficiar todos os países e, em cada país, todos os cidadãos.

4.   Observações na especialidade

4.1.   Iniciativa e controlo por humanos

4.1.1.

A Comissão pretende assegurar que a utilização dos sistemas de IA não prejudica, em circunstância alguma, a autonomia humana nem causa efeitos adversos. O CESE subscreve esta abordagem do controlo do ser humano sobre a máquina, tal como referido em pareceres anteriores.

4.1.2.

Neste sentido, também é necessário que os cidadãos sejam devidamente informados sobre as utilizações destes sistemas, que estes sejam explicáveis ou, quando tal não seja possível (por exemplo, no caso da «aprendizagem profunda»), que sejam fornecidas informações ao utilizador sobre os limites e os riscos do sistema. Em todo o caso, os cidadãos devem poder conservar a liberdade de tomar uma decisão distinta da do sistema de IA.

4.1.3.

Nas empresas e nas administrações públicas, os trabalhadores e os seus representantes devem ser devidamente informados e consultados aquando da introdução de sistemas de IA suscetíveis de alterar a organização do trabalho e de os afetar em termos de controlo, supervisão, avaliação e recrutamento. A Comissão deve promover um diálogo social com vista a associar os trabalhadores à utilização dos sistemas de IA.

4.1.4.

No que diz respeito aos recursos humanos, deve prestar-se especial atenção aos riscos de utilização abusiva dos sistemas de IA, como a vigilância sem restrições, a recolha de dados pessoais e de dados de saúde, e a partilha de tais dados com terceiros, bem como aos riscos emergentes em matéria de saúde e segurança no trabalho (7). Devem ser definidas normas claras para assegurar que a colaboração homem-máquina não causa danos às pessoas. A norma estabelecida pela Organização Internacional de Normalização (ISO) em matéria de robôs colaborativos (8), dirigida aos fabricantes, aos integradores e aos utilizadores, fornece orientações para a conceção e a organização do espaço de trabalho e a redução dos riscos a que as pessoas podem estar expostas. Os trabalhadores devem receber formação para utilizar a IA e a robótica, para trabalhar com elas e, em especial, para as desativar em situações de emergência (princípio do «travão de emergência»).

4.2.   Robustez e segurança

4.2.1.

O CESE apela para a introdução de normas de segurança europeias e para o desenvolvimento de um sistema de certificação sólido assente em procedimentos de teste que permitam às empresas atestar a fiabilidade dos seus sistemas de IA. O CESE gostaria igualmente de sublinhar a importância da questão da segurabilidade dos sistemas de IA.

4.2.2.

A Comissão presta pouca atenção ao aspeto da previsão, prevenção e proibição da utilização mal-intencionada da IA e da aprendizagem automática, para a qual muitos investigadores estão a alertar (9). Importa ter em conta as recomendações destes últimos, nomeadamente quanto à dupla utilização destas tecnologias, que pode dizer respeito à segurança digital (aumento dos ciberataques, exploração de vulnerabilidades humanas e da IA, contaminação de dados), à segurança física (pirataria de sistemas autónomos, incluindo de veículos autónomos, drones e armas automáticas) ou à segurança política (recolha de dados pessoais em massa, propaganda direcionada, manipulação de vídeos, etc.). Os investigadores, os engenheiros e as autoridades públicas devem cooperar estreitamente para prevenir estes riscos, e os peritos e outras partes interessadas, como os utilizadores e os consumidores, devem ser associados aos debates sobre estes desafios.

4.3.   Privacidade e governação dos dados

4.3.1.

A Comissão preconiza que o acesso aos dados seja «adequadamente regulado e controlado» (10). O CESE considera que se deve ir além das declarações gerais. O grau de confiança que o cidadão deposita nos sistemas de IA também determinará o seu desenvolvimento. As questões da propriedade dos dados, do seu controlo e da sua utilização pelas empresas e organizações continuam, em larga medida, por esclarecer. O volume de dados transmitidos, por exemplo, pelos automóveis aos fabricantes de automóveis e o tipo de dados transmitidos são impressionantes (11). Não obstante o conceito da «privacidade desde a conceção», que os objetos conectados devem respeitar nos termos do RGPD, observa-se que o consumidor dispõe de muito pouca ou nenhuma informação sobre esta matéria e não possui quaisquer meios de controlo sobre estes dados. Por conseguinte, o CESE insta a Comissão a rever o RGPD e a regulamentação conexa, em função da evolução tecnológica (12).

4.4.   Transparência

4.4.1.

O CESE considera que a explicabilidade dos processos de tomada de decisões algorítmicas é essencial para compreender não os mecanismos em si, mas a lógica subjacente aos processos de tomada de decisão e a forma como estes são influenciados pelos sistemas de IA. O desenvolvimento de procedimentos de teste normalizados para os sistemas de aprendizagem automática continua a ser um desafio técnico, que deve ser apoiado por instrumentos da UE, como o Programa Horizonte Europa.

4.4.2.

O CESE subscreve o ponto de vista da Comissão segundo o qual os sistemas de IA devem ser identificáveis enquanto tais, «assegurando que os utilizadores sabem que estão a interagir com um sistema de IA» (13), incluindo no contexto da relação entre os pacientes e os profissionais de saúde, e dos serviços profissionais associados à saúde e ao bem-estar dos cidadãos. O CESE salienta ainda que os utilizadores ou consumidores também devem poder ser informados sobre os serviços prestados por seres humanos. Muitos sistemas de IA implicam, na verdade, uma quantidade significativa de intervenção humana, amiúde escondida dos utilizadores finais (14). A este respeito, coloca-se a questão da falta de transparência em relação aos utilizadores e aos consumidores de serviços, mas também de uma forma de utilização de um trabalho dissimulado e não reconhecido.

4.4.3.

Além disso, o CESE considera que os consumidores devem ser sempre informados da integração de sistemas de IA nos produtos que compram e devem poder aceder aos seus dados e controlá-los.

4.5.   Diversidade, não discriminação e equidade

4.5.1.

Algumas aplicações de IA que permitem a definição de perfis dos cidadãos, utilizadores e consumidores (por exemplo, para fins de recrutamento, arrendamento de imóveis, ou determinados serviços pessoais) comportam riscos em matéria de discriminação. A UE dispõe de um acervo legislativo em matéria de igualdade de tratamento e não discriminação (15), que os sistemas de IA devem respeitar. No entanto, essa legislação também deve ser adaptada e, se necessário, reforçada (incluindo ao nível do controlo do cumprimento) para responder às novas práticas. Existe um risco bem real de que a definição de perfis algorítmica se torne um novo e poderoso instrumento de discriminação. A UE deve evitar este risco.

4.5.2.

A diretiva relativa à luta contra o racismo (16) e a diretiva relativa à igualdade de tratamento entre homens e mulheres fora do mundo do trabalho (17) preveem a criação de organismos específicos e competentes em matéria de promoção da igualdade entre homens e mulheres. O CESE apela para que estes organismos desempenhem um papel ativo na supervisão e no controlo dos sistemas de IA em relação aos riscos de discriminação direta ou indireta.

4.6.   Bem-estar social e ambiental

4.6.1.

A Comissão não propõe medidas concretas sobre a forma de interligar a transição climática e a transformação digital, em particular no que diz respeito à utilização de sistemas de IA. É essencial refletir sobre o potencial contributo dos sistemas de IA para a redução das emissões de gases com efeito de estufa, nomeadamente nos setores da indústria, dos transportes, da energia, da construção e da agricultura.

4.6.2.

A Comissão afirma que os sistemas de IA podem ser utilizados para reforçar as competências sociais, embora também possam contribuir para as deteriorar. O CESE considera que a UE deve avaliar melhor determinados desafios sociais. Vários estudos demonstraram, por exemplo, que algumas aplicações que incorporam sistemas de IA estão concebidas de forma a manter os utilizadores de serviços em linha conectados durante o maior tempo possível (redes sociais, jogos, vídeos, etc.). O objetivo é recolher o maior número possível de dados sobre os seus comportamentos, e as estratégias utilizadas vão desde a renovação incessante das recomendações algorítmicas a lembretes e notificações, passando pelos jogos, etc. Os efeitos da ligação e do estímulo excessivos sobre as crianças foram estudados (18), e os resultados revelaram um aumento da ansiedade, da agressividade, da privação de sono e repercussões na educação, nas relações sociais, na saúde e no bem-estar. Para desenvolver uma IA digna de confiança, a UE deve ter em conta estes efeitos e preveni-los.

4.6.3.

Por último, um dos fatores de bem-estar social está relacionado com o sentimento de segurança no trabalho. Contudo, os efeitos da digitalização podem gerar insegurança e ser uma fonte de tensão (19). Por conseguinte, importa estabelecer estratégias de previsão das mudanças, antes da ocorrência de eventuais restruturações, e de formação contínua de todos os trabalhadores. Tal exige um diálogo social de qualidade entre empregadores e representantes dos trabalhadores nas empresas, que permita, nomeadamente, a introdução integradora das novas tecnologias, em particular da IA e da robótica. A fim de reforçar a confiança entre as direções e os trabalhadores, os sistemas de IA utilizados na gestão, nas avaliações e no controlo dos trabalhadores devem ser explicáveis, os seus parâmetros conhecidos e o seu funcionamento transparente.

4.7.   Responsabilização

4.7.1.

As decisões tomadas por sistemas de aprendizagem automática não se explicam facilmente e, além disso, são atualizadas periodicamente. O CESE entende que o controlo sobre os sistemas de IA pode não ser suficiente para determinar as responsabilidades e fomentar a confiança. Por conseguinte, recomenda a definição de regras para a atribuição de responsabilidades, em caso de incumprimento, às pessoas jurídicas, quer singulares quer coletivas. O CESE recomenda que se privilegie o recurso a empresas ou profissionais de confiança, em vez de algoritmos, e propõe que se desenvolva, para as empresas que cumprem todas as normas, um «certificado europeu de empresa de IA de confiança», assente, nomeadamente, na lista de avaliação proposta pelo grupo de peritos de alto nível.

4.7.2.

A Diretiva em matéria de responsabilidade decorrente dos produtos defeituosos (20) estabelece o princípio da responsabilidade não culposa aplicável aos produtores europeus: se um produto que apresenta um defeito causar danos a um consumidor, o produtor pode ser responsabilizado, mesmo na ausência de culpa ou negligência deste último. A conceção, introdução e utilização cada vez mais generalizada dos sistemas de IA exigem que a UE adote regras adaptadas em matéria de responsabilidade a aplicar nas situações em que os produtos com conteúdos digitais e os serviços propostos aos consumidores possam ser perigosos e prejudiciais. Os consumidores devem poder ter acesso à justiça em caso de danos causados por um sistema de IA.

5.   Necessidade de regulação para além da Europa

5.1.

Num mundo globalizado, a regulação da IA deve ultrapassar as fronteiras europeias. A Europa deve promover um amplo acordo sobre a IA no âmbito do G7 e do G20 e prosseguir os diálogos bilaterais, para que a maioria dos países possa participar nos processos de normalização da IA e verificar periodicamente a sua pertinência.

---

(1)  JO C 440 de 6.12.2018, p. 1.

(2)  JO C 288 de 31.8.2017, p. 1; JO C 440 de 6.12.2018, p. 1.

(3)  https://osha.europa.eu/fr/emerging-risks.

(4)  Regulamento (UE) 2016/679 do Parlamento Europeu e do Conselho, de 27 de abril de 2016, relativo à proteção das pessoas singulares no que diz respeito ao tratamento de dados pessoais e à livre circulação desses dados e que revoga a Diretiva 95/46/CE (Regulamento Geral sobre a Proteção de Dados) (JO L 119 de 4.5.2016, p. 1).

(5)  COM(2019) 168 final.

(6)  COM(2019) 168 final, p. 5.

(7)  Ver, em particular: «OSH and the future of work: benefits and risks of artificial intelligence tools in workplaces» [A SST e o futuro do trabalho: benefícios e riscos dos instrumentos de inteligência artificial nos locais de trabalho].

(8)  ISO/TS 15066, 2016.

(9)  Ver o relatório intitulado «The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation» [A utilização mal-intencionada da inteligência artificial: previsão, prevenção e atenuação], fevereiro de 2018.

(10)  COM(2019) 168 final, p. 6.

(11)  «Your car knows when you gain weight» (Se engordar, o seu carro vai saber), The New York Times (International Edition), 22 de maio de 2019.

(12)  JO C 190 de 5.6.2019, p. 17.

(13)  COM(2019) 168 final, p. 6.

(14)  Ver, por exemplo: «A white-collar sweatshop»: Google Assistant contractors allege wage theft» (Exploração de «colarinhos brancos»: colaboradores externos do Google Assistente alegam furto dos salários), The Guardian, 29 de maio de 2019, e «Bot technology impressive, except when it’s not the bot» (A tecnologia do robô é impressionante, exceto quando não se trata de um robô), The New York Times (International Edition), 24 de maio de 2019.

(15)  JO L 180 de 19.7.2000, p. 22; JO L 303 de 2.12.2000, p. 16; JO L 373 de 21.12.2004, p. 37; JO L 204 de 26.7.2006, p. 23.

(16)  Diretiva 2000/43/CE do Conselho, de 29 de junho de 2000, que aplica o princípio da igualdade de tratamento entre as pessoas, sem distinção de origem racial ou étnica (JO L 180 de 19.7.2000, p. 22).

(17)  Diretiva 2004/113/CE do Conselho, de 13 de dezembro de 2004, que aplica o princípio de igualdade de tratamento entre homens e mulheres no acesso a bens e serviços e seu fornecimento (JO L 373 de 21.12.2004, p. 37).

(18)  Ver, por exemplo: Kidron, Evans, Afia (2018), «Disrupted Childhood – The Cost of Persuasive Design» (Infância perturbada – O preço da conceção persuasiva), 5Rights Foundation.

(19)  Relatório do grupo de peritos de alto nível sobre o impacto da transformação digital nos mercados de trabalho da UE, 2019.

(20)  Diretiva 85/374/CEE do Conselho, de 25 de julho de 1985, relativa à aproximação das disposições legislativas, regulamentares e administrativas dos Estados-Membros em matéria de responsabilidade decorrente dos produtos defeituosos (JO L 210 de 7.8.1985, p. 29).