P9_TA(2021)0405

Изкуственият интелект в наказателното право и използването му от полицията и съдебните органи по наказателноправни въпроси

Резолюция на Европейския парламент от 6 октомври 2021 г. относно изкуствения интелект в наказателното право и използването му от полицията и съдебните органи по наказателноправни въпроси (2020/2016(INI))

(2022/C 132/02)

Европейският парламент,

—	като взе предвид Договора за Европейския съюз, и по-специално членове 2 и 6 от него, и Договора за функционирането на Европейския съюз, и по-специално член 16 от него,

—	като взе предвид Хартата на основните права на Европейския съюз („Хартата“), и по-специално членове 6, 7, 8, 11, 12, 13, 20, 21, 24 и 47 от нея,

—	като взе предвид Конвенцията за защита на правата на човека и основните свободи,

—	като взе предвид Конвенция № 108 на Съвета на Европа за защита на лицата при автоматизираната обработка на лични данни, и протокола за изменението ѝ (Конвенция 108+);

—	като взе предвид „Европейската етична харта за използване на изкуствения интелект в съдебните системи и тяхната среда“ на Европейската комисия за ефикасност на правосъдието(CEPEJ) към Съвета на Европа;

—	като взе предвид съобщението на Комисията от 8 април 2019 г., озаглавено „Изграждане на доверие в ориентирания към човека изкуствен интелект“ (COM(2019)0168),

—	като взе предвид Насоките относно етичните аспекти за надежден ИИ на експертната група на високо равнище по въпросите на изкуствения интелект от 8 април 2019 г.,

—	като взе предвид Бялата книга на Комисията от 19 февруари 2020 г., озаглавена „Изкуствен интелект — Европа в търсене на високи постижения и атмосфера на доверие“ (COM(2020)0065),

—	като взе предвид съобщението на Комисията от 19 февруари 2020 г., озаглавено „Европейска стратегия за данните“ (COM(2020)0066),

—

като взе предвид Регламент (ЕС) 2016/679 на Европейския парламент и на Съвета от 27 април 2016 г. относно защитата на физическите лица във връзка с обработването на лични данни и относно свободното движение на такива данни и за отмяна на Директива 95/46/EО (Общ регламент относно защитата на данните) (1),

—

като взе предвид Директива (ЕС) 2016/680 на Европейския парламент и на Съвета от 27 април 2016 г. относно защитата на физическите лица във връзка с обработването на лични данни от компетентните органи за целите на предотвратяването, разследването, разкриването или наказателното преследване на престъпления или изпълнението на наказания и относно свободното движение на такива данни, и за отмяна на Рамково решение 2008/977/ПВР на Съвета (2),

—

като взе предвид Регламент (ЕС) 2018/1725 на Европейския парламент и на Съвета от 23 октомври 2018 г. относно защитата на физическите лица във връзка с обработването на лични данни от институциите, органите, службите и агенциите на Съюза и относно свободното движение на такива данни и за отмяна на Регламент (ЕО) № 45/2001 и Решение № 1247/2002/ЕО (3),

—

като взе предвид Директива 2002/58/ЕО на Европейския парламент и на Съвета от 12 юли 2002 година относно обработката на лични данни и защита на правото на неприкосновеност на личния живот в сектора на електронните комуникации (Директива за правото на неприкосновеност на личния живот и електронни комуникации) (4),

—

като взе предвид Регламент (ЕС) 2016/794 на Европейския парламент и на Съвета от 11 май 2016 г. относно Агенцията на Европейския съюз за сътрудничество в областта на правоприлагането (Европол) и за замяна и отмяна на решения 2009/371/ПВР, 2009/934/ПВР, 2009/935/ПВР, 2009/936/ПВР и 2009/968/ПВР на Съвета (5),

—	като взе предвид своята резолюция от 19 юни 2020 г. относно протестите срещу расизма след смъртта на Джордж Флойд (6),

—	като взе предвид своята резолюция от 14 март 2017 г. относно последиците за основните права, породени от големи информационни масиви: неприкосновеност на личния живот, защита на личните данни, недопускане на дискриминация, сигурност и правоприлагане (7),

—	като взе предвид изслушването в комисията по граждански свободи, правосъдие и вътрешни работи (LIBE) на 20 февруари 2020 г. относно изкуствения интелект в наказателното право и употребата му при наказателноправни въпроси от полицията и съдебните органи;

—	като взе предвид доклада от командировката на LIBE в Съединените американски щати през февруари 2020 г.,

—	като взе предвид член 54 от своя Правилник за дейността,

—	като взе предвид становищата на комисията по вътрешния пазар и защита на потребителите и комисията по правни въпроси,

—	като взе предвид доклада на комисията по граждански свободи, правосъдие и вътрешни работи (A9-0232/2021),

като има предвид, че цифровите технологии като цяло и разпространението на обработването на лични данни и анализи, осигурено от изкуствения интелект (ИИ), носят със себе си изключителни обещания и рискове; като има предвид, че чрез развитието на ИИ през последните години беше направена голяма крачка напред, което превърна ИИ в една от стратегическите технологии на 21-ви век, съдържаща потенциал за създаване на значителни ползи по отношение на ефективността, точността и удобството, като по този начин доведе до положителна промяна на европейската икономика и обществото, но също до големи рискове за основните права и демократичните устои на принципите на правовата държава; като има предвид, че ИИ не следва да се разглежда като самоцел, а като инструмент за обслужване на хората, чиято крайна цел е повишаването на благосъстоянието на хората, човешките способности и безопасност;

Б.

като има предвид, че въпреки постоянния напредък в областта на изчислителната скорост и капацитета на паметта на компютрите, засега не съществуват програми, които да могат да заместят човешката адаптивност в обширни области или при задачи, изискващи разбиране на контекста или критичен анализ; като има предвид, че някои приложения, свързани с ИИ достигнаха равнищата на показатели на хората с опит и професионалистите при изпълнението на определени конкретни задачи (например „правни технологии“), и могат да постигат резултати с категорично по-висока скорост и по-широк мащаб;

В.

като има предвид, че някои държави, включително няколко държави членки, използват в по-голяма степен приложенията на ИИ или вградени системи на ИИ в областта на правоприлагането и съдебната система, отколкото други, което отчасти се дължи на липсата на законова уредба и наличието на регулаторни различия, които позволяват или забраняват използването на ИИ за определени цели; като има предвид, че нарастващата употреба на ИИ в наказателно-правната област се основава най-вече на обещанията, че това ще намали определени видове престъпления и ще доведе до по-обективни решения; като има предвид обаче, че тези обещания невинаги се оказват верни;

Г.

като има предвид, че основните права и свободи, залегнали в Хартата, следва да бъдат гарантирани през целия жизнен цикъл на ИИ и свързаните с него технологии, по-специално по време на проектирането, разработването, внедряването и използването им, и следва да се прилагат за целите на правоприлагането при всички обстоятелства;

Д.

като има предвид, че технологиите в областта на ИИ следва да бъдат развивани по такъв начин, че да определят централно място за хората, да заслужават обществено доверие и винаги да работят в услуга на хората; като има предвид, че системите с ИИ следва по най-добър начин да гарантират, че са проектирани по такъв начин, че винаги да могат да бъдат затворени от човешки оператор;

Е.

като има предвид, че системите с ИИ трябва да бъдат проектирани с цел защита и осигуряване на ползи за всички членове на обществото (като при тяхното проектиране се включат съображения относно уязвимите, маргинализираните групи от населението), да бъдат недискриминационни, безопасни, решенията им да подлежат на разяснение и да бъдат прозрачни, и да зачитат автономността на човека и основните права, за да бъдат надеждни, както това е описано в Етичните насоки на експертната група на високо равнище по въпросите на изкуствения интелект;

Ж.

като има предвид, че Съюзът, наред с държавите членки, носи отговорност за гарантиране, че решенията, свързани с жизнения цикъл на приложение и използване на ИИ в областта на съдебната система и правоприлагането, се приемат по прозрачен начин, изцяло зачитат основните права и по-специално не затвърждават дискриминация, пристрастия или увреждания, когато последните съществуват; като има предвид, че съответните политически решения следва да зачитат принципите на необходимост и пропорционалност, за да се гарантира конституционосъобразност и справедлива и хуманна съдебна система;

З.

като има предвид, че приложенията с ИИ могат да предложат големи възможности в областта на правоприлагането, по-специално за подобряване на работните методи на правоприлагащите и съдебните органи, както и за по-ефективна борба с определени видове престъпления, по-специално финансовите престъпления, изпирането на пари и финансирането на тероризма, сексуалното насилие над деца онлайн и експлоатацията на цена, както и някои видове киберпрестъпления, като по този начин допринасят за безопасността и сигурността на гражданите на ЕС, като същевременно могат да доведат до значителни рисове за основните права на хората; като има предвид, че всяко общо приложение на ИИ за целите на масовото наблюдение би било непропорционално;

И.

като има предвид, че разработването и оперирането на системи с ИИ от страна на полицейските и съдебни органи предполага принос от различни лица, организации, машинни елементи, софтуерни алгоритми и човешки ползватели в среда, която често е сложна и крие предизвикателства; като има предвид, че приложенията на ИИ в областта на правоприлагането и съдебната система са на различни етапи на развитие, от концептуализацията през създаването на прототипи или оценка до използването след одобрение; като има предвид, че в бъдеще могат да възникнат нови възможности за използване, тъй като технологиите все повече се усъвършенстват благодарение на продължаващите научни изследвания в световен мащаб;

Й.

като има предвид, че е задължително наличието на ясен модел за търсене на правна отговорност за потенциалното вредно въздействие на системите с ИИ в областта на наказателното право; като има предвид, че регулаторните разпоредби в тази област следва винаги да запазват отчетността на човека и трябва да имат за цел, на първо място, да се избегне първоначалното причиняване на вредни последици;

К.	като има предвид, че в крайна сметка държавите членки носят отговорност за гарантирането на цялостното зачитане на основните права, когато се използват системи с ИИ в областта на правоприлагането и съдебната система;

Л.

като има предвид, че връзката между защитата на основните права и ефективната полицейска дейност трябва винаги да бъде съществен елемент в обсъжданията относно това дали и как ИИ следва да се използва от сектора на правоприлагането, където решенията могат да имат дълготрайни последици за живота и свободата на физическите лица; като има предвид, че това е от особено значение, тъй като ИИ има потенциала да бъде постоянна част от нашата екосистема за наказателно правосъдие, като предоставя анализ и съдействие при разследването;

М.

като има предвид, че ИИ се използва от правоприлагащите органи в приложения като технологии за лицево разпознаване, напр. за търсене в бази данни на заподозрени лица и идентифициране на жертвите на трафик на хора или сексуална експлоатация на деца, автоматизирано разпознаване на регистрационни номера, разпознаване на говорещите, разпознаване на речта, технологии за четене по устните, звуково наблюдение (напр. алгоритми за откриване на изстрели), автономно изследване и анализиране на разкрити бази данни, прогнозиране (прогнози за полицейската дейност и анализ на горещи точки на престъпността), инструменти за разкриване на поведение, усъвършенствани инструменти за виртуална аутопсия, които да помогнат да се определи причината за смъртта, автономни инструменти за разкриване на финансови измами и финансиране на тероризма, наблюдение на социалните медии (извличане и събиране на данни за връзки за интелигентен анализ на текст) и автоматизирани системи за наблюдение с различни способности за разкриване (като детектори за сърдечна дейност и термокамери); като има предвид, че посочените по-горе приложения, наред с други потенциални или бъдещи приложения на технологията с изкуствен интелект в областта на правоприлагането, имат твърде различни степени на надеждност и точност и се отразяват върху защитата на основните права и върху динамиката на наказателноправните системи; като има предвид, че много от тези инструменти се използват в държави извън ЕС, но биха били незаконни съгласно постиженията на правото на Съюза и съдебната практика в областта на защитата на данни; като има предвид, че рутинното внедряване на алгоритми, дори и с нисък процент на фалшива положителна идентификация, може да доведе до неверни сигнали, които далеч надминават точните сигнали;

Н.

като има предвид, че инструментите и приложенията с ИИ се използват също така от съдебната система на редица държави в световен мащаб, включителнов подкрепа на решения за предварително задържане, при постановяването на присъди, изчисляването на вероятността от рецидив и определянето на изпитателния срок,онлайн решаване на спорове, управление на съдебната практика и предоставянето на улеснен достъп до правото; като има предвид, че това доведе до вмешателство в и намаляване на възможностите за цветнокожите и други малцинства; като има предвид, че понастоящем в ЕС, с изключение на някои държави членки, тяхното използване е ограничено главно до гражданскоправни въпроси;

О.

като има предвид, че използването на ИИ в правоприлагането е свързано с редица потенциално високи и в някои случаи неприемливи рискове за защитата на основните права на физическите лица, като например непрозрачен процес на вземане на решения, различни видове дискриминация и присъщи на базовия алгоритъм грешки, които могат да бъдат засилени от веригите за обратна информация, както и рискове по отношение на защитата на неприкосновеността на личния живот и личните данни, защитата на свободата на изразяване на мнение и на информация, презумпцията за невиновност, правото на ефективни правни средства за защита и справедлив съдебен процес, както и рискове за свободата и сигурността на физическите лица;

П.

като има предвид, че системите с ИИ, използвани от правоприлагащите органи и съдебната система, са също така уязвими по отношение на атаките с помощта на ИИ срещу информационните системи или заразяването на данни, при които преднамерено се включва неправилен набор от данни, за да се получат необективни резултати; като има предвид, че в тези ситуации произтичащите от това вреди потенциално са дори по-значителни и могат да доведат в много по-висока степен до по-голямо увреждане както на отделни лица, така и на групи;

Р.

като има предвид, че внедряването на ИИ в областта на правоприлагането и съдебната система не следва да се разглежда само от гледна точка на техническата осъществимост, а по-скоро като политическо решение относно проектирането и целите на правоприлагането и на системите за наказателно правосъдие; като има предвид, че съвременното наказателно право се основава на идеята, че органите реагират на престъпление, след като то е извършено, без да се допуска предположението, че всички хора са опасни и трябва постоянно да бъдат наблюдавани, за да се предотврати потенциално нарушение; като има предвид, че основаните на ИИ техники за наблюдение подкопават из основи този подход и налагат спешната необходимост законодателите по света да извършат задълбочена оценка на последиците от разрешаването на внедряването на технологии, които намаляват ролята на човека в правоприлагането и правораздаването;

отново заявява, че тъй като обработването на големи количества лични данни е в основата на ИИ, правото на зачитане на личния живот и правото на защита на личните данни се прилагат във всички области на ИИ и че трябва да бъде спазвана изцяло нормативната уредба на Съюза за защита на данните и неприкосновеността на личния живот; следователно припомня, че ЕС вече е установил стандарти за защита на данните за правоприлагането, които са в основата на всяка бъдеща правна уредба в областта на ИИ, използван в областта на правоприлагането и съдебната система; припомня, че обработването на лични данни следва да бъде законосъобразно и добросъвестно, целите на обработването следва да бъдат уточнени, ясно формулирани и законосъобразни, обработването следва да бъде адекватно, относимо и да не бъде прекомерно спрямо целта, за която се обработват данните, то следва да бъде точно, актуализирано, а неточните данни следва да се коригират или заличават, освен при случаите, за които се прилагат ограничения, данните не следва да се съхраняват по-дълго от необходимото, следва да се определят ясни и подходящи срокове за заличаване или периодичен преглед на необходимостта от съхранение на такива данни и те следва да се обработват по сигурен начин; подчертава също така, че следва да се предотврати евентуалното идентифициране на лица чрез приложение с ИИ, като се използват данни, които преди това са били анонимизирани;

потвърждава, че всички решения въз основа на ИИ за правоприлагащите органи и съдебната система трябва също така да зачитат изцяло принципите на защита на човешкото достойнство, недискриминация, свобода на движение, презумпцията за невиновност и правото на защита, включително правото да се запази мълчание, свободата на изразяване на мнение и свободата на информация, свободата на събранията и сдруженията, равенството пред закона, принципа на равните процесуални възможности, както и правото на ефективни правни средства за защита и на справедлив съдебен процес, в съответствие с Хартата и Европейската конвенция за правата на човека; подчертава, че използването на приложения с ИИ трябва да бъде забранено, когато е несъвместимо с основните права;

признава, че скоростта, с която се разработват приложения с ИИ по света, не позволява изчерпателен списък на приложенията и следователно изисква ясен и последователен модел на управление, който да гарантира както основните права на физическите лица, така и правната яснота за разработчиците, като се има предвид непрекъснатото развитие на технологиите; все пак счита, че като се имат предвид ролята и отговорността на полицейските и съдебните органи и въздействието на решенията, които те вземат за целите на предотвратяването, разследването, разкриването или наказателното преследване на престъпления или изпълнението на наказания, използването на приложения с ИИ трябва да бъде категоризирано като високорисково в случаите, когато е налице потенциал за значително въздействие върху живота на физическите лица;

във връзка с това счита, че всички инструменти с ИИ, разработени или използвани от правоприлагащите органи или съдебната система, следва, като минимум, да бъдат безопасни, стабилни, сигурни и съобразени с целта си, да зачитат принципите на справедливост, свеждане на данните до минимум, отчетност, прозрачност, недопускане на дискриминация и обяснимост, и че тяхното разработване, внедряване и използване следва да подлежи на оценка на риска и на строг тест за необходимост и пропорционалност, при които гаранциите трябва да са пропорционални на установените рискове; подчертава, че доверието сред гражданите в използването на ИИ, внедрен, разработен и използван в ЕС, зависи от пълното изпълнение на тези критерии;

признава положителния принос на някои видове приложения с ИИ за работата на правоприлагащите и съдебните органи в целия Съюз; подчертава например засиленото управление на съдебната практика, постигнато чрез инструменти, позволяващи допълнителни опции за търсене; счита, че съществуват редица други потенциални приложения на ИИ за целите на правоприлагането и съдебната система, които биха могли да бъдат проучени, като се вземат предвид петте принципа на Етичната харта относно използването на изкуствения интелект в съдебните системи и тяхната среда, приета от Европейската комисия за ефикасност на правосъдието (CEPEJ), и като се обърне специално внимание на установените от CEPEJ „употреби, които трябва да бъдат разгледани с най-голяма резервираност“;

подчертава, че целите на всяка технология могат да се променят, и поради това призовава за строг демократичен контрол и независим надзор над всякакви технологии с ИИ, използвани от правоприлагащите и съдебните органи, особено над тези, чиято цел може да бъде пренасочена към масово наблюдение или масово профилиране; поради това отбелязва с голяма загриженост потенциала на някои технологии с ИИ, използвани в сектора на правоприлагането за целите на масовото наблюдение; подчертава правното изискване за предотвратяване на масовото наблюдение посредством технологии с ИИ, което по дефиниция не отговаря на принципите на необходимост и пропорционалност, както и за забрана на използването на приложения, които биха могли да доведат до това;

подчертава, че подходът, възприет в някои държави извън ЕС по отношение на разработването, внедряването и използването на технологии за масово наблюдение, засяга непропорционално основните права и следователно не трябва да бъде следван от ЕС; поради това подчертава, че предпазните мерки срещу злоупотребата с технологии с ИИ от страна на правоприлагащите и съдебните органи също трябва да бъдат регулирани в целия Съюз по еднакъв начин;

подчертава потенциала за предубеждения и дискриминация, произтичащи от използването на приложения с ИИ като машинното самообучение, включително алгоритмите, на които се основават такива приложения; отбелязва, че някои предубеждения могат да бъдат присъщи за основните набори от данни, особено когато се използват исторически данни, въведени от разработчици на алгоритмите или генерирани, когато системите се прилагат в реални условия; посочва, че резултатите, предоставяни от приложенията на ИИ, неизбежно се влияят от качеството на използваните данни и че при подобни присъщи предубеждения съществува тенденция те постепенно да се увеличават и с това да поддържат и засилват съществуващата дискриминация, по-специално за лицата, принадлежащи към определени етнически групи или расови общности;

подчертава факта, че много от използваните понастоящем технологии за идентификация, основани на алгоритми, допускат непропорционално много грешки при идентифицирането и класифицирането и по този начин причиняват вреди на хората, които са в неравностойно положение вследствие на расизъм, на лицата, принадлежащи към определени етнически общности, на ЛГБТИ лицата, децата и възрастните хора, а така също и на жените; припомня, че физическите лица имат право не само да бъдат правилно идентифицирани, но имат правото и да не бъдат идентифицирани изобщо, освен ако това не се изисква от закона с оглед на императивни и легитимни обществени интереси; подчертава, че прогнозите за ИИ, основани на характеристиките на конкретна група лица, в крайна сметка увеличават и възпроизвеждат съществуващите форми на дискриминация; счита, че следва да се положат големи усилия за избягване на автоматична дискриминация и предубеждения; призовава за солидни допълнителни гаранции, когато системи с ИИ в областта на правоприлагането или съдебната система се използват спрямо или във връзка с малолетни или непълнолетни лица;

10.

подчертава властовата асиметрия между тези, които използват технологии с ИИ, и тези, спрямо които се прилагат тези технологии; подчертава, че е задължително използването от страна на правоприлагащите и съдебните органи на инструменти с ИИ да не се превръща във фактор за неравенство, социално разделение или изключване; подчертава въздействието на използването на инструменти с ИИ върху правата на защита на заподозрените лица, трудностите при получаване на съдържателна информация относно тяхното функциониране и произтичащата от това трудност при оспорване на резултатите от тях в съда, по-специално от страна на лица, срещу които се води разследване;

11.

отбелязва рисковете, свързани по-специално с изтичане на данни, нарушения на сигурността на данните и неразрешен достъп до лични данни и друга информация, свързана например с наказателни разследвания или съдебни дела, които се обработват от системите с ИИ; подчертава, че аспектите, свързани със сигурността и безопасността на системите с ИИ, използвани в областта на правоприлагането и от съдебната система, трябва да бъдат обмислени внимателно и да бъдат достатъчно надеждни и устойчиви, за да се предотвратят евентуални катастрофални последици от зловредни атаки срещу системи с ИИ; подчертава значението на сигурността на етапа на проектирането, както и на специфичния човешки надзор преди експлоатацията на някои приложения от критично значение, и поради това призовава правоприлагащите и съдебните органи да използват само приложения с ИИ, които се придържат към принципа на неприкосновеност на личния живот и защита на данните още при проектирането, за да се избегне изместване на функциите;

12.

подчертава, че никакви системи с ИИ, използвани в областта на правоприлагането и от съдебната система, не следва да бъдат в състояние да вредят на физическата неприкосновеност на човека, нито да предоставят права или налагат правни задължения на физически лица;

13.

признава предизвикателствата, свързани с правилното определяне на правната отговорност за потенциални вреди, като се има предвид сложността на разработването и функционирането на системите с ИИ; счита, че е необходимо да се създаде ясен и справедлив режим за търсене на правна отговорност за потенциалните неблагоприятни последици от тези модерни цифрови технологии; подчертава обаче, че целта трябва да бъде преди всичко да се предотврати от самото начало реалното възникване на такива последици; ето защо призовава за прилагане на принципа на предпазливост за всички приложения с ИИ в контекста на правоприлагането; подчертава, че правната отговорност трябва винаги да се носи от физическо или юридическо лице, което, при решения, взети с помощта на ИИ, винаги трябва да бъде идентифицирано; поради това подчертава необходимостта да се гарантира прозрачността на корпоративните структури, които произвеждат и управляват системи с ИИ;

14.

счита, че е от съществено значение — както за ефективността на упражняването на правата на защита, така и за прозрачността на националните наказателноправни системи — ясна и прецизна правна рамка да урежда реда и условията, процедурите и последиците от използването на инструментите на ИИ в областта на правоприлагането и съдебната система, както и правата на засегнатите лица и ефективните и лесно достъпни процедури за жалби и разрешаване на спорове, включително възможностите за търсене на правна защита; подчертава правото на страните в наказателното производство да имат достъп до процеса на събиране на данни и до свързаните с това оценки, направени от или получени чрез използването на приложения с ИИ; подчертава необходимостта изпълняващите органи, участващи в съдебно сътрудничество, когато вземат решение по искане за екстрадиране (или предаване) на друга държава членка или трета държава, да преценяват дали използването на инструменти с ИИ в държавата, отправила искането, може да застраши явно основното право на справедлив съдебен процес; призовава Комисията да издаде насоки за това как да се извършва такава оценка в контекста на съдебното сътрудничество по наказателноправни въпроси; настоява държавите членки да гарантират в съответствие с приложимото законодателство, че физическите лица биват информирани, когато са обект на използването на приложения с ИИ от страна на правоприлагащите органи или съдебната система;

15.

посочва, че ако хората разчитат единствено на данните, профилите и препоръките, генерирани от машини, те няма да могат да извършат независима оценка; подчертава потенциално сериозните неблагоприятни последици, по-специално в областта на правоприлагането и правосъдието, когато отделни лица имат прекомерно доверие в привидно обективния и научен характер на инструментите с ИИ и не разглеждат възможността резултатите от тях да бъдат неточни, непълни, неуместни или дискриминационни; подчертава, че следва да се избягва прекомерно уповаване на резултатите, предоставени от системи с ИИ, и отбелязва, че е необходимо органите да изграждат доверие и познания, за да поставят под съмнение или да отхвърлят препоръките на алгоритмите; счита, че е важно да има реалистични очаквания за такива технологични решения и да не се обещават перфектни решения за правоприлагането и разкриването на всички извършени престъпления;

16.

подчертава, че в съдебната и правоприлагащата среда решение, което има правни или подобни последици, трябва винаги да се взема от човек, който може да бъде подведен под отговорност за взетите решения; счита, че лицата, спрямо които се използват системи, основани на ИИ, трябва да използват средства за правна защита; припомня, че съгласно правото на ЕС дадено лице има право да не бъде обект на решение, което се основава единствено на автоматизирана обработка на данни и поражда правни последици за него или го засяга в значителна степен; подчертава освен това, че автоматизираното вземане на индивидуални решения не трябва да се основава на специални категории лични данни, освен ако не са въведени подходящи мерки за защита на правата и свободите и легитимните интереси на субекта на данните; подчертава, че правото на ЕС забранява профилирането, което води до дискриминация срещу физически лица въз основа на специални категории лични данни; подчертава, че решенията в областта на правоприлагането почти винаги оказват правно въздействие върху засегнатото лице поради изпълнителния характер на органите за правоприлагане и техните действия; отбелязва, че използването на ИИ може да окаже влияние върху човешките решения и да има въздействие върху всички етапи на наказателните производства; поради това счита, че органите, които използват системи с ИИ, трябва да поддържат изключително високи правни стандарти и да гарантират човешка намеса, особено когато анализират данни, произтичащи от такива системи; ето защо изисква да се запази суверенното право на преценка на съдиите и на вземане на решение за всеки отделен случай; призовава за забрана на използването на ИИ и свързаните с него технологии при съставяне на проекти на съдебни решения;

17.

призовава за алгоритмична обяснимост, прозрачност, проследимост и удостоверяване като необходима част от надзора, за да се гарантира, че разработването, внедряването и използването на системи с ИИ в съдебната система и правоприлагането са в съответствие с основните права и се ползват с доверието на гражданите, както и за да се гарантира, че резултатите, създадени от алгоритмите на ИИ, могат да бъдат разбираеми за ползвателите и за лицата, спрямо които се прилагат тези системи, както и че е налице прозрачност относно изходните данни и начина, по който системата е достигнала до определено заключение; посочва, че за да се гарантира техническа прозрачност, стабилност и точност, правоприлагащите или съдебните органи в Съюза следва да могат да закупуват само такива инструменти и системи, чиито алгоритми и логика подлежат на одит и са достъпни най-малко за полицията и съдебната система, както и за независимите одитори, за да се даде възможност за тяхната оценка, одит и проверка, и че те не трябва да бъдат затваряни или етикетирани от продавачите като обекти на права на собственост; посочва освен това, че на ясен и разбираем език следва да се предоставя документация относно естеството на услугата, разработените инструменти, изпълнението и условията, при които може да се очаква да функционират, и рисковете, които биха могли да крият; поради това призовава съдебните и правоприлагащите органи да осигурят проактивна и пълна прозрачност по отношение на частните дружества, като им предоставят системи с ИИ за целите на правоприлагането и съдебната система; поради това препоръчва използването на софтуер с отворен код, когато това е възможно;

18.

насърчава правоприлагащите и съдебните органи да идентифицират и оценяват областите, в които някои специално разработени решения в областта на ИИ биха могли да бъдат от полза, и да обменят най-добри практики относно внедряването на ИИ; призовава за приемането от държавите членки и агенциите на ЕС на подходящи процедури за възлагане на обществени поръчки за системи с ИИ, когато те се използват в контекста на правоприлагането или съдебната система, за да се гарантира тяхното съответствие с основните права и приложимото законодателство, включително като се гарантира, че документацията и алгоритмите на софтуера са на разположение и са достъпни за компетентните и надзорните органи за преглед; призовава по-специално за задължителни правила, изискващи публикуване на информация относно публично-частните партньорства, договорите и придобиванията, както и относно целите на извършените придобивания; подчертава необходимостта от предоставяне на необходимите финансови средства на органите, както и от предоставяне на необходимите експертни знания, за да се гарантира пълно спазване на етичните, правните и техническите изисквания, свързани с всяко внедряване на ИИ;

19.

призовава за проследимост на системите с ИИ и на процеса на вземане на решение, която да очертава техните функции, да определя възможностите и ограниченията на системите и чрез задължително документиране да проследява откъде произхождат определящите характеристики за вземане на дадено решение; подчертава, че е важно да се поддържа пълна документация на данните за обучение, техния контекст, цел, точност и странични ефекти, както и тяхното обработване от страна на създателите и разработчиците на алгоритмите и съответствието им с основните права; подчертава, че винаги трябва да е възможно изчисленията на дадена система с ИИ да бъдат сведени до форма, която е разбираема за хората;

20.

призовава за извършването на задължителна оценка на въздействието върху основните права преди прилагането или внедряването на каквито и да било системи с ИИ в областта на правоприлагането или съдебната система с цел да се направи оценка на потенциалните рискове за основните права; припомня, че предварителната оценка на въздействието върху защитата на данните е задължителна по отношение на всеки вид обработване, по-специално чрез използване на нови технологии, които има вероятност да доведат до висок риск за правата и свободите на физическите лица, и счита, че такъв е случаят с повечето технологии с ИИ в областта на правоприлагането и съдебната система; подчертава експертния опит на органите за защита на данните и агенциите в областта на основните права при оценката на тези системи; подчертава, че тези оценки на въздействието върху основните права следва да се извършват възможно най-открито и с активното участие на гражданското общество; изисква в оценките на въздействието също така ясно да се определят гаранциите, необходими за справяне с установените рискове, и те да бъдат направени публично достояние във възможно най-голяма степен преди внедряването на всяка система с ИИ;

21.

подчертава, че само едно силно европейско управление в областта на ИИ с независима оценка може да направи възможно действителното прилагане на принципите за основните права; призовава за периодичен задължителен одит на всички използвани от правоприлагащите и съдебните органи системи с ИИ, когато съществува потенциал за оказване на значително въздействие върху живота на хората, който да се извършва от независим орган, за да се изпитват и оценяват алгоритмичните системи, техният контекст, цел, точност, ефективност и мащаб и след като бъдат въведени в действие, с цел откриване, разследване, диагностициране и коригиране на всякакви нежелани и неблагоприятни последици, както и за да се гарантира, че системите с ИИ изпълняват предназначението си; поради това призовава за ясна институционална рамка за тази цел, включително подходящ регулаторен и надзорен контрол, за да се осигури пълно прилагане и да се гарантира напълно информиран демократичен дебат относно необходимостта и пропорционалността на ИИ в областта на наказателното правосъдие; подчертава, че резултатите от тези одити следва да бъдат публикувани в публични регистри, така че гражданите да познават внедряваните системи с ИИ и мерките, които се предприемат за отстраняване на нарушенията на основните права;

22.

подчертава, че наборите от данни и алгоритмичните системи, използвани при изготвянето на класификации, оценки и прогнози на различните етапи от обработването на данни при разработването на ИИ и свързани с него технологии, могат да доведат до различно третиране на групи хора и до пряка и непряка дискриминация срещу тях, особено като се има предвид, че данните, използвани за обучение на алгоритми за прогнозиране на полицейската дейност, отразяват текущите приоритети за наблюдение и следователно могат да доведат до възпроизвеждане и увеличаване на съществуващите предубеждения; поради това подчертава, че технологиите с ИИ, особено когато се използват за целите на правоприлагането и съдебната система, изискват интердисциплинарни изследвания и принос, включително от областта на научните и технологичните изследвания, критичните расови проучвания, изследванията на хората с увреждания и други дисциплини, които разглеждат социалния контекст, включително начина, по който се концептуализират разликите, работата по класификацията и последиците от нея; поради това подчертава необходимостта от систематично инвестиране в интегрирането на тези дисциплини в изучаването и научните изследвания на ИИ на всички равнища; подчертава също така, че е важно екипите, които проектират, разработват, изпитват, поддържат, внедряват и доставят тези системи с ИИ за целите на правоприлагането и съдебната система, да отразяват по възможност многообразието на обществото като цяло като нетехническа мярка за намаляване на рисковете от дискриминация;

23.

подчертава освен това, че подходящата отчетност и отговорност изискват значително специализирано обучение по отношение на етичните разпоредби, потенциалните опасности, ограниченията и правилното използване на технологиите с ИИ, особено за полицейски и съдебни служители; подчертава, че едно подходящо професионално обучение и подходящи квалификации следва да гарантират, че лицата, отговорни за вземането на решения, са обучени относно възможността за пристрастност, тъй като наборите от данни може да се базират на дискриминационни и основани на предубеждения данни; подкрепя създаването на инициативи за повишаване на осведомеността и образователни инициативи, за да се гарантира, че лицата, работещи в областта на правоприлагането и съдебната система, са запознати с ограниченията, възможностите и рисковете, свързани с използването на системи с ИИ, включително риска от пристрастие към автоматизацията, и ги разбират; припомня, че включването в набора от данни за обучение в областта на ИИ на случаи на расизъм от страна на полицейските сили при изпълнението на техните задължения неизбежно ще доведе до расистки пристрастия в генерираните от ИИ констатации, оценки и препоръки; ето защо повтаря призива си към държавите членки да насърчават политики за борба с дискриминацията и да разработят национални планове за действие срещу расизма в областта на полицията и в съдебната система;

24.

отбелязва, че прогнозирането в полицейската област е сред приложенията с ИИ, които се използват в областта на правоприлагането, но предупреждава, че ако от една страна прогнозирането в полицейската област може да анализира дадени набори от данни за идентифициране на модели и взаимовръзки, то не може да отговори на въпроса за причинно-следствената връзка и да прави надеждни прогнози за индивидуалното поведение и следователно не може да представлява единственото основание за намеса; посочва, че след извършването на одити няколко града в Съединените щати са прекратили използването на системи за прогнозиране на полицейската дейност; припомня, че по време на командировката на комисията по граждански свободи, правосъдие и вътрешни работи (LIBE) в САЩ през февруари 2020 г., членовете на ЕП са били информирани от полицейските служби на Ню Йорк и на Кеймбридж (Масачусетс), че те постепенно са спрели своите програми за прогнозиране в полицейската област поради липсата на ефективност, дискриминационен ефект и практически неуспех и вместо това са се върнали към полицейска дейност в сътрудничество с местните общности; отбелязва, че това е довело до спад в процентите на престъпност; ето защо се противопоставя на използването от правоприлагащите органи на ИИ за изготвяне на поведенчески прогнози за физически лица или групи въз основа на минало поведение, принадлежност към дадена група, местоположение, или други подобни характеристики, с които се прави опит за идентифициране на лица, за които има вероятност да извършат престъпление;

25.

отбелязва различните видове използване на разпознаването на лица, като например, но не само, проверка/удостоверяване (т.е. съпоставяне на лице на живо със снимка в документ за самоличност, напр. интелигентни граници), идентификация (т.е. съпоставяне на снимка спрямо набор от снимки) и откриване (т.е. откриване на лица в реално време от източници като записите на вътрешни системи за видеонаблюдение, и съпоставянето им с бази данни, напр. наблюдение в реално време), всяко от които има различно отражение за защитата на основните права; твърдо вярва, че внедряването на системи за лицево разпознаване от правоприлагащите органи следва да бъде ограничено до ясно обосновани цели и да се извършва при пълно зачитане на принципите на пропорционалност и необходимост и на приложимото право; отново потвърждава, че използването на технологията за лицево разпознаване трябва да отговаря най-малко на изискванията за свеждане на данните до минимум, точност на данните, ограничаване на съхранението, сигурност на данните и отчетност, както и да бъде законосъобразно, справедливо, прозрачно и да следва конкретна, изрична и законна цел, която е ясно определена в правото на държавите членки или на Съюза; счита, че системите за проверка и удостоверяване на автентичността могат да продължат да се внедряват и използват успешно само ако неблагоприятните последици от тях бъдат смекчени и горепосочените критерии — изпълнени;

26.

призовава освен това за постоянна забрана на използването на автоматизиран анализ и/или разпознаване в публично достъпни пространства на други човешки характеристики, като например походка, пръстови отпечатъци, ДНК, гласови и други биометрични и поведенчески сигнали;

27.

призовава обаче да бъде наложен мораториум върху внедряването на системи за лицево разпознаване в контекста на правоприлагането за цели, които имат идентификационни функции, освен ако това не е строго необходимо за разпознаване на жертвите на престъпления, докато техническите стандарти не бъдат счетени за напълно съобразени с основните права, получените резултати са безпристрастни и недискриминационни, правната рамка предвижда строги предпазни мерки срещу злоупотреба и строг демократичен контрол и надзор и съществуват емпирични доказателства за необходимостта и пропорционалността на внедряването на такива технологии; отбелязва, че когато горепосочените критерии не са изпълнени, системите не следва да се използват или внедряват;

28.

изразява своята дълбока загриженост относно използването на частни бази данни за лицево разпознаване от страна на правоприлагащи органи и разузнавателни служби, като например ИИ на „Клиър Вю“ — база данни с повече от три милиарда снимки, събрани от социалните медии и други уебсайтове, включително от граждани на ЕС; призовава държавите членки да задължат органите, работещи в областта на правоприлагането, да оповестяват дали използват технологията ИИ Клиър Вю, или еквивалентни технологии от други доставчици; припомня становището на Европейския комитет по защита на данните, че използването на услуга като ИИ на „Клиър Вю“ от страна на правоприлагащите органи в Европейския съюз „вероятно не е в съответствие с режима на ЕС за защита на данните“; призовава за забрана на използването на частни бази данни за лицево разпознаване в областта на правоприлагането;

29.

взема под внимание проучването на Комисията за осъществимост относно възможни промени в Решението „Прюм“ (8), включително относно лицевото разпознаване; отбелязва предишни проучвания, според които никои от потенциалните нови идентификатори, например ирис или лицево разпознаване, не биха били толкова надеждни в контекста на криминалистиката, колкото ДНК или пръстовите отпечатъци; припомня на Комисията, че всяко законодателно предложение трябва да се основава на доказателства и да зачита принципа на пропорционалност; настоятелно призовава Комисията да не разширява обхвата на рамката на Решението „Прюм“, освен ако не са налице солидни научни доказателства за надеждността на лицевото разпознаване в контекста на криминалистиката в сравнение с ДНК или пръстовите отпечатъци, след като извърши пълна оценка на въздействието и като вземе под внимание препоръките на Европейския надзорен орган по защита на данните (ЕНОЗД) и на Европейския комитет по защита на данните (ЕКЗД);

30.

отбелязва, че използването на биометрични данни засяга в по-широк смисъл принципа на правото на човешко достойнство, залегнал в основата на всички гарантирани от Хартата основни права; счита, че използването и събирането на каквито и да било биометрични данни с цел дистанционно разпознаване, например чрез провеждане на лицево разпознаване на обществени места, както и на автоматични врати за граничен контрол, използвани за гранични проверки на летищата, може да създаде специфични рискове за основните права, чиито последствия могат да варират значително в зависимост от целта, контекста и обхвата на използване; подчертава освен това оспорваната научна стойност на технологията за разпознаване на чувства, като например камери за откриване на движения на очите и промени на размера на зениците, в контекста на правоприлагането; счита, че използването на биометрична идентификация в контекста на правоприлагането и съдебната система следва винаги да се счита за „високорисково“ и следователно да подлежи на допълнителни изисквания, в съответствие с препоръките на експертната група на високо равнище на Комисията по въпросите на изкуствения интелект;

31.

изразява силната си загриженост относно научноизследователските проекти, финансирани по „Хоризонт 2020“, които използват изкуствен интелект по външните граници, като например проекта „iBorderCtrl“ — „интелигентна система с детектор на лъжата“, която профилира пътниците въз основа на компютърно автоматизирано интервю, взето от уебкамерата на пътуващия преди пътуването, и основан на изкуствен интелект анализ на 38 микрожестове, тестван в Унгария, Латвия и Гърция; ето защо призовава Комисията да прилага чрез законодателни и незаконодателни средства, и ако е необходимо — чрез производства за установяване на нарушения, забрана за всякаква обработка на биометрични лични данни, включително лицеви изображения, за целите на правоприлагането, която води до масово наблюдение в публично достъпни пространства; призовава освен това Комисията да спре финансирането на биометрични научни изследвания и тяхното внедряване или на програми, които биха могли да допринесат за неселективно масово наблюдение на обществени места; подчертава в този контекст, че следва да се обърне специално внимание и да се прилага строга рамка на използването на безпилотни летателни апарати в полицейските операции;

32.

подкрепя препоръките на експертната група на високо равнище на Комисията по въпросите на изкуствения интелект за налагане на забрана за масово оценяване на физически лица с помощта на ИИ; счита, че всяка форма на нормативно установено, широкомащабно оценяване на гражданите от страна на публичните органи, и по-специално в областта на правоприлагането и съдебната система, води до загуба на автономност, застрашава принципа на недискриминация и не може да се счита за съобразено с основните права, кодифицирани в законодателството на ЕС, особено с човешкото достойнство;

33.

призовава за по-голяма цялостна прозрачност с цел постигане на всеобхватно разбиране относно използването на приложенията с ИИ в Съюза; изисква от държавите членки да предоставят всеобхватна информация относно инструментите, използвани от техните правоприлагащи и съдебни органи, видовете използвани инструменти, целите, за които те се използват, вида престъпления, към които се прилагат, както и наименованията на дружествата или организациите, разработили съответните инструменти; призовава правоприлагащите и съдебните органи също така да информират обществеността и да осигуряват достатъчна прозрачност по отношение на ИИ и свързаните с него технологии, които те използват при изпълнение на правомощията си, включително оповестяването на неверни положителни и неверни отрицателни резултати от съответната технология; изисква от Комисията да събира и актуализира информацията на едно място; призовава Комисията също така да публикува и актуализира информацията относно използването на ИИ от агенциите на Съюза, натоварени с изпълнението на задачи в областта на правоприлагането и съдебната система; призовава Европейския комитет по защита на данните (ЕКЗД) да оцени законосъобразността на тези технологии и приложения, които се използват от правоприлагащите органи и съдебната власт;

34.

припомня, че приложенията с ИИ, включително приложенията, използвани в контекста на правоприлагането и съдебната система, се развиват с бързи темпове в световен мащаб; настоятелно призовава всички заинтересовани страни в Европа, включително държавите членки и Комисията, да гарантират, чрез международно сътрудничество, участието на партньори извън ЕС с цел повишаване на стандартите на международно равнище и намиране на обща и допълваща правна и етична рамка за използването на ИИ, по-специално за целите на правоприлагането и съдебната система, при което изцяло се зачитат Хартата, достиженията на правото на ЕС в областта на защитата на данните и правата на човека в по-широк план;

35.

призовава Агенцията на ЕС за основните права, в сътрудничество с ЕКЗД и ЕНОЗД, да изготви подробни насоки, препоръки и най-добри практики с цел допълнително уточняване на критериите и условията за разработването, използването и внедряването на приложения и решения с ИИ, предназначени за използване от правоприлагащите и съдебните органи; поема ангажимент да проведе проучване относно прилагането на Директивата относно правоприлагането (9), за да установи как е гарантирана защитата на личните данни при дейностите по обработване от страна на правоприлагащите и съдебните органи, особено в процеса на разработване или внедряване на нови технологии; освен това призовава Комисията да обмисли дали са необходими конкретни законодателни действия за допълнително уточняване на критериите и условията за разработването, използването и внедряването на приложения и решения с ИИ от правоприлагащите и съдебните органи;

36.

възлага на своя председател да предаде настоящата резолюция на Съвета и на Комисията.

(1) ОВ L 119, 4.5.2016 г., стр. 1.

(2) ОВ L 119, 4.5.2016 г., стр. 89.

(3) ОВ L 295, 21.11.2018 г., стр. 39.

(4) ОВ L 201, 31.7.2002 г., стр. 37.

(5) ОВ L 135, 24.5.2016 г., стр. 53.

(6) ОВ C 362, 8.9.2021 г., стр. 63.

(7) ОВ C 263, 25.7.2018 г., стр. 82.

(8) Решение 2008/615/ПВР на Съвета от 23 юни 2008 г. за засилване на трансграничното сътрудничество, по-специално в борбата срещу тероризма и трансграничната престъпност(ОВ L 210, 6.8.2008 г., стp. 1).

(9) Директива (ЕС) 2016/680 на Европейския парламент и на Съвета от 27 април 2016 г. относно защитата на физическите лица във връзка с обработването на лични данни от компетентните органи за целите на предотвратяването, разследването, разкриването или наказателното преследване на престъпления или изпълнението на наказания и относно свободното движение на такива данни, и за отмяна на Рамково решение 2008/977/ПВР на Съвета (ОВ L 119, 4.5.2016 г., стр. 89).