This document is an excerpt from the EUR-Lex website
Document 32024R1689
Regulation (EU) 2024/1689 of the European Parliament and of the Council of 13 June 2024 laying down harmonised rules on artificial intelligence and amending Regulations (EC) No 300/2008, (EU) No 167/2013, (EU) No 168/2013, (EU) 2018/858, (EU) 2018/1139 and (EU) 2019/2144 and Directives 2014/90/EU, (EU) 2016/797 and (EU) 2020/1828 (Artificial Intelligence Act) (Text with EEA relevance)
Регламент (ЕС) 2024/1689 на Европейския парламент и на Съвета от 13 юни 2024 година за установяване на хармонизирани правила относно изкуствения интелект и за изменение на регламенти (ЕО) № 300/2008, (ЕС) № 167/2013, (ЕС) № 168/2013, (ЕС) 2018/858, (ЕС) 2018/1139 и (ЕС) 2019/2144 и директиви 2014/90/ЕС, (ЕС) 2016/797 и (ЕС) 2020/1828 (Акт за изкуствения интелект) (Текст от значение за ЕИП)
Регламент (ЕС) 2024/1689 на Европейския парламент и на Съвета от 13 юни 2024 година за установяване на хармонизирани правила относно изкуствения интелект и за изменение на регламенти (ЕО) № 300/2008, (ЕС) № 167/2013, (ЕС) № 168/2013, (ЕС) 2018/858, (ЕС) 2018/1139 и (ЕС) 2019/2144 и директиви 2014/90/ЕС, (ЕС) 2016/797 и (ЕС) 2020/1828 (Акт за изкуствения интелект) (Текст от значение за ЕИП)
PE/24/2024/REV/1
OВ L, 2024/1689, 12.7.2024, ELI: http://data.europa.eu/eli/reg/2024/1689/oj (BG, ES, CS, DA, DE, ET, EL, EN, FR, GA, HR, IT, LV, LT, HU, MT, NL, PL, PT, RO, SK, SL, FI, SV)
In force
Официален вестник |
BG Серия L |
2024/1689 |
12.7.2024 |
РЕГЛАМЕНТ (ЕС) 2024/1689 НА ЕВРОПЕЙСКИЯ ПАРЛАМЕНТ И НА СЪВЕТА
от 13 юни 2024 година
за установяване на хармонизирани правила относно изкуствения интелект и за изменение на регламенти (ЕО) № 300/2008, (ЕС) № 167/2013, (ЕС) № 168/2013, (ЕС) 2018/858, (ЕС) 2018/1139 и (ЕС) 2019/2144 и директиви 2014/90/ЕС, (ЕС) 2016/797 и (ЕС) 2020/1828 (Акт за изкуствения интелект)
(текст от значение за ЕИП)
ЕВРОПЕЙСКИЯТ ПАРЛАМЕНТ И СЪВЕТЪТ НА ЕВРОПЕЙСКИЯ СЪЮЗ,
като взеха предвид Договора за функционирането на Европейския съюз, и по-специално членове 16 и 114 от него,
като взеха предвид предложението на Европейската комисия,
след предаване на проекта на законодателния акт на националните парламенти,
като взеха предвид становището на Европейския икономически и социален комитет (1),
като взеха предвид становището на Европейската централна банка (2),
като взеха предвид становището на Комитета на регионите (3),
в съответствие с обикновената законодателна процедура (4),
като имат предвид, че:
(1) |
Целта на настоящия регламент е да се подобри функционирането на вътрешния пазар чрез установяване на единна правна рамка, по-специално за разработването, пускането на пазара, пускането в действие и използването на системи с изкуствен интелект (наричани по-долу „системи с ИИ“) в Съюза, в съответствие с ценностите на Съюза, да се насърчи навлизането на ориентиран към човека и надежден изкуствен интелект (ИИ), като същевременно се гарантира високо равнище на защита на здравето, безопасността и основните права, залегнали в Хартата на основните права на Европейския съюз (наричана по-долу „Хартата“), включително демокрацията, принципите на правовата държава и опазването на околната среда, да се осигури защита срещу вредните последици от системите с ИИ в Съюза и да се подкрепят иновациите. С настоящия регламент се гарантира свободното трансгранично движение на стоки и услуги, основани на ИИ, като по този начин не се допуска държавите членки да налагат ограничения върху разработването, предлагането на пазара и използването на системи с ИИ, освен ако това не е изрично разрешено с настоящия регламент. |
(2) |
Настоящият регламент следва да се прилага в съответствие с ценностите на Съюза, залегнали в Хартата, като се улеснява защитата на физическите лица, предприятията, демокрацията, принципите на правовата държава и опазването на околната среда и същевременно се насърчават иновациите и заетостта и се спомага за превръщането на Съюза в лидер във възприемането на надежден ИИ. |
(3) |
Системите с ИИ могат лесно да бъдат внедрени в най-различни сектори на икономиката и в много сфери на обществото, включително в трансграничен план, и да се ползват от свободно движение в целия Съюз. Някои държави членки вече са проучили възможността за приемане на национални правила, за да гарантират, че ИИ е надежден и безопасен и се разработва и използва в съответствие със задълженията, свързани с основните права. Различаващите се национални правила могат да доведат до разпокъсаност на вътрешния пазар и да намалят правната сигурност за операторите, които разработват, внасят или използват системи с ИИ. Ето защо, с цел да се осигури надежден ИИ, следва да се гарантира последователно и високо равнище на защита в целия Съюз, като същевременно се предотвратят различията, възпрепятстващи свободното движение, иновациите, внедряването и възприемането в рамките на вътрешния пазар на системи с ИИ и свързани с тях продукти и услуги, като за целта се предвидят еднакви задължения за операторите и се гарантира еднаква защита на императивните съображения от обществен интерес и на правата на лицата в рамките на целия вътрешен пазар на основание член 114 от Договора за функционирането на Европейския съюз (ДФЕС). Доколкото настоящият регламент съдържа специални правила за защита на физическите лица по отношение на обработването на лични данни във връзка с ограниченията за използването на системи с ИИ за дистанционна биометрична идентификация за правоохранителни цели, за използването на системи с ИИ за оценка на риска за физическите лица за правоохранителни цели и за използването на системи с ИИ за биометрично категоризиране за правоохранителни цели, е целесъобразно правното основание на настоящия регламент, във връзка с тези специални правила, да бъде член 16 ДФЕС. С оглед на тези специални правила и защитата съгласно член 16 ДФЕС е целесъобразно да се проведе консултация с Европейския комитет по защита на данните. |
(4) |
ИИ е бързо развиваща се съвкупност от технологии, които допринасят за извличането на множество икономически, екологични и обществени ползи по протежение на целия спектър от стопански сектори и социални дейности. Като подобрява прогнозирането, оптимизира операциите и разпределянето на ресурсите и персонализира цифровите решения, които са на разположение на физическите лица и организациите, използването на ИИ може да осигури ключови конкурентни предимства за предприятията и да спомогне за постигането на социално и екологично благоприятни резултати, например в областта на здравеопазването, селското стопанство, безопасността на храните, образованието и обучението, медиите, спорта, културата, управлението на инфраструктурата, енергетиката, транспорта и логистиката, публичните услуги, сигурността, правосъдието, ресурсната и енергийната ефективност, мониторинга на околната среда, опазването и възстановяването на биоразнообразието и екосистемите, както и смекчаването на последиците от изменението на климата и адаптирането към него. |
(5) |
Същевременно, в зависимост от обстоятелствата по отношение на конкретното му приложение, използване и равнище на технологично развитие, ИИ може да доведе до рискове и да накърни обществените интереси и основните права, защитени от правото на Съюза. Тези вреди могат да бъдат имуществени или неимуществени, включително физически, психически, обществени или икономически. |
(6) |
Предвид значителното въздействие, което ИИ може да окаже върху обществото, и необходимостта от изграждане на доверие, е от жизненоважно значение ИИ и неговата регулаторна рамка да бъдат разработени в съответствие с ценностите на Съюза, залегнали в член 2 от Договора за Европейския съюз (ДЕС), и основните права и свободи, залегнали в Договорите и, съгласно член 6 ДЕС, в Хартата. Като предварително условие ИИ следва да бъде технология, ориентирана към човека. Той следва да служи като инструмент за хората, като крайната цел е да се повиши тяхното благосъстояние. |
(7) |
За да се гарантира последователно и високо равнище на защита на обществените интереси по отношение на здравето, безопасността и основните права, следва да бъдат установени общи правила за високорисковите системи с ИИ. Тези правила следва да бъдат в съответствие с Хартата, да бъдат недискриминационни и да са в съответствие с международните търговски ангажименти на Съюза. Освен това те следва да са съобразени с Европейската декларация относно цифровите права и принципи за цифровото десетилетие и Насоките относно етичните аспекти за надежден ИИ на експертната група на високо равнище по въпросите на изкуствения интелект (ЕГВР ИИ). |
(8) |
Поради това е необходима правна рамка на Съюза, с която да се установят хармонизирани правила относно ИИ, за да се насърчи разработването, използването и навлизането на ИИ на вътрешния пазар, и която същевременно да осигурява високо равнище на защита на обществените интереси, например здравето и безопасността, и защитата на основните права, включително демокрацията, принципите на правовата държава и опазването на околната среда, признати и защитени от правото на Съюза. За постигането на тази цел следва да бъдат установени правила, уреждащи пускането на пазара, пускането в действие и използването на някои системи с ИИ, и по този начин да се гарантира безпрепятственото функциониране на вътрешния пазар и да се даде възможност на тези системи да се ползват от принципа на свободно движение на стоки и услуги. Тези правила следва да бъдат ясни и надеждни по отношение на защитата на основните права, да благоприятстват нови иновативни решения и да дават възможност за изграждане на европейска екосистема от публични и частни участници, които да създават системи с ИИ в съответствие с ценностите на Съюза и да отключват потенциала на цифровата трансформация във всички региони на Съюза. С установяването на такива правила, както и на мерки в подкрепа на иновациите с отделяне на специално внимание на малките и средните предприятия (МСП), включително новосъздадените предприятия, настоящият регламент подкрепя целта за насърчаване на европейския подход към ИИ, ориентиран към човека, и целта на Съюза да бъде световен лидер в разработването на сигурен, надежден и етичен ИИ, както бе посочено от Европейския съвет (5), и гарантира защитата на етичните принципи, както изрично бе поискано от Европейския парламент (6). |
(9) |
Следва да бъдат установени хармонизирани правила, приложими за пускането на пазара, пускането в действие и използването на високорискови системи с ИИ, в съответствие с Регламент (ЕО) № 765/2008 на Европейския парламент и на Съвета (7), Решение № 768/2008/ЕО на Европейския парламент и на Съвета (8) и Регламент (ЕС) 2019/1020 на Европейския парламент и на Съвета (9) (наричани по-долу „новата законодателна рамка“). Хармонизираните правила, установени в настоящия регламент, следва да се прилагат във всички сектори и, в съответствие с новата законодателна рамка, следва да не засягат действащото право на Съюза, по-специално в областта на защитата на данните, защитата на потребителите, основните права, заетостта, защитата на работниците и безопасността на продуктите, което настоящият регламент допълва. В резултат на това всички права и правни средства за защита, предвидени в това право на Съюза в интерес на потребителите и други лица, върху които системите с ИИ могат да окажат отрицателно въздействие, включително по отношение на обезщетението за евентуални вреди съгласно Директива 85/374/ЕИО на Съвета (10), остават незасегнати и напълно приложими. Наред с това, в контекста на заетостта и защитата на работниците, настоящият регламент не следва да засяга правото на Съюза в областта на социалната политика и националното трудово право, което е в съответствие с правото на Съюза, относно условията на заетост и труд, включително здравословните и безопасни условия на труд и отношенията между работодателите и работниците. Настоящият регламент не следва да засяга и упражняването на основни права, признати в държавите членки и на равнището на Съюза, включително правото или свободата на стачка или на други действия, обхванати от специалните системи на колективни трудови правоотношения в държавите членки, както и правото да се преговаря, да се сключват и прилагат колективни трудови договори или да се предприемат колективни действия в съответствие с националното право. Настоящият регламент не следва да засяга разпоредбите, насочени към подобряване на условията на труд при работа през платформа, предвидени в директива на Европейския парламент и на Съвета относно подобряването на условията на труд при работата през платформа. Освен това настоящият регламент има за цел да повиши ефективността на тези съществуващи права и правни средства за защита чрез установяване на конкретни изисквания и задължения, включително по отношение на прозрачността, техническата документация и поддържането на регистри по отношение на системите с ИИ. Наред с това задълженията, наложени на различните оператори, участващи във веригата за създаване на стойност в областта на ИИ съгласно настоящия регламент, следва да се прилагат, без да се засяга националното право, съвместимо с правото на Съюза и което води до ограничаване на използването на определени системи с ИИ, когато това право е извън приложното поле на настоящия регламент или преследва законни цели от обществен интерес, различни от преследваните с настоящия регламент. Например националното трудово право и правото за закрила на ненавършилите пълнолетие лица, а именно лицата на възраст под 18 години, като се вземе предвид Общ коментар № 25 (2021) на Комитета по правата на детето на Организацията на обединените нации относно правата на децата във връзка с цифровата среда, доколкото те не са конкретно насочени към системите с ИИ и преследват други законни цели от обществен интерес, не следва да бъдат засегнати от настоящия регламент. |
(10) |
Основното право на защита на личните данни е гарантирано по-специално с регламенти (ЕС) 2016/679 (11) и (ЕС) 2018/1725 (12) на Европейския парламент и на Съвета и с Директива (ЕС) 2016/680 на Европейския парламент и на Съвета (13). Директива 2002/58/ЕО на Европейския парламент и на Съвета (14) допълнително защитава личния живот и поверителността на съобщенията, включително чрез установяване на условията за съхраняване на лични и нелични данни в крайно оборудване и достъп до такива данни от крайно оборудване. Посочените правни актове на Съюза осигуряват основата за устойчиво и отговорно обработване на данни, включително когато наборите от данни включват комбинация от лични и нелични данни. Настоящият регламент няма за цел да засегне прилагането на съществуващото право на Съюза, уреждащо обработването на лични данни, включително задачите и правомощията на независимите надзорни органи, компетентни да наблюдават спазването на тези инструменти. Освен това той не засяга задълженията на доставчиците и внедрителите на системи с ИИ в ролята им на администратори или обработващи лични данни, които произтичат от правото на Съюза или националното право относно защитата на личните данни, доколкото проектирането, разработването или използването на системи с ИИ включва обработването на лични данни. Целесъобразно е също така да се поясни, че субектите на данни продължават да се ползват с всички права и гаранции, предоставени им с посоченото право на Съюза, включително правата, свързани с изцяло автоматизираното вземане на индивидуални решения, включително профилирането. Хармонизираните правила относно пускането на пазара, пускането в действие и използването на системи с ИИ, установени съгласно настоящия регламент, следва да улеснят ефективното прилагане и да позволят упражняването на правата на субектите на данни и другите правни средства за защита, гарантирани с правото на Съюза в областта на защитата на личните данни, и на други основни права. |
(11) |
Настоящият регламент следва да не засяга разпоредбите относно отговорността на доставчиците на посреднически услуги, установени в Регламент (ЕС) 2022/2065 на Европейския парламент и на Съвета (15). |
(12) |
Понятието „система с ИИ“ в настоящия регламент следва да бъде ясно определено и тясно съгласувано с резултатите от работата на международни организации в областта на ИИ, за да се гарантира правна сигурност и да се улесни сближаването и широкото приемане в международен план, като същевременно се осигури гъвкавост с цел да се реагира на бързото технологично развитие в тази област. Освен това определението следва да се основава на ключови характеристики на системите с ИИ, които ги отличават от по-прости традиционни софтуерни системи или подходи за програмиране, и не следва да обхваща системи, които се основават на правилата, определени единствено от физически лица за автоматично изпълнение на операциите. Ключова характеристика на системите с ИИ е тяхната способност да правят изводи. Тази способност да се правят изводи се отнася до процеса на получаване на резултати, например прогнози, съдържание, препоръки или решения, които могат да повлияят на физическата и виртуалната среда, както и до способността на системите с ИИ да извличат модели или алгоритми, или и двете, от входяща информация или данни. Техниките, даващи възможност да се правят изводи при изграждането на системи с ИИ, включват подходи за машинно обучение, при които те се учат от данните как да постигнат определени цели, както и основани на логика и знания подходи, при които достигат до изводи от кодирани знания или символично представяне на задачата, която трябва да бъде решена. Способността на дадена система с ИИ да прави изводи надхвърля основната обработка на данни, като дава възможност за обучение, разсъждение или моделиране. Понятието „машинно базиран“ се отнася до факта, че системите с ИИ работят с помощта на машини. С позоваването на явни или подразбиращи цели се подчертава, че системите с ИИ могат да работят в съответствие с ясно определени или с подразбиращи се цели. Целите на дадена система с ИИ може да се различават от предназначението на системата с ИИ в специфичен контекст. За целите на настоящия регламент под „среда“ следва да се разбира контекстът, в който функционират системите с ИИ, а резултатите, генерирани от системата с ИИ, отразяват различни функции, изпълнявани от системите с ИИ, и включват прогнози, съдържание, препоръки или решения. Системите с ИИ са проектирани да функционират с различна степен на автономност, което означава, че те разполагат с известна степен на независимост на действията от участието на човека и на способност за работа без човешка намеса. Адаптивността, която дадена система с ИИ би могла да прояви след внедряването ѝ, се отнася до способностите за самообучение, които позволяват на системата да се променя по време на нейното използване. Системите с ИИ могат да се използват самостоятелно или като компонент на продукт, независимо дали системата е физически интегрирана в продукта (вградена), или обслужва функционалността на продукта, без да бъде интегрирана в него (невградена). |
(13) |
Понятието „внедрител“, посочено в настоящия регламент, следва да се тълкува като всяко физическо или юридическо лице, включително публичен орган, агенция или друга структура, които използват система с ИИ, върху която упражняват контрол, с изключение на случаите, когато системата с ИИ се използва в процеса на лична непрофесионална дейност. В зависимост от вида на системата с ИИ използването на системата може да засегне лица, различни от внедрителя. |
(14) |
Понятието „биометрични данни“, посочено в настоящия регламент, следва да се тълкува с оглед на понятието за биометрични данни съгласно определението в член 4, точка 14 от Регламент (ЕС) 2016/679, член 3, точка 18 от Регламент (ЕС) 2018/1725 и член 3, точка 13 от Директива (ЕС) 2016/680. Биометричните данни могат да позволят удостоверяване на самоличността, идентифициране или категоризиране на физически лица, както и разпознаване на емоции на физически лица. |
(15) |
Понятието „биометрична идентификация“, посочено в настоящия регламент, следва да се определи като автоматизираното разпознаване на физически, физиологични и поведенчески характеристики на човека, например лице, движение на очите, форма на тялото, глас, ритъм и интонация на говора, походка, стойка, сърдечен ритъм, кръвно налягане, мирис и особености на натиска на клавиши, с цел установяване на самоличността на дадено лице чрез сравняване на биометрични данни на това лице със съхранени биометрични данни на лица в референтна база данни, независимо дали лицето е дало своето съгласие. Това изключва системите с ИИ, предназначени да бъдат използвани за биометрична проверка, която включва удостоверяване на самоличността, чиято единствена цел е да се потвърди, че конкретно физическо лице е лицето, за което се представя, и да се потвърди самоличността на физическо лице единствено за да се получи достъп до услуга, да се отключи устройство или да се придобие сигурен достъп до помещения. |
(16) |
Понятието „биометрично категоризиране“, посочено в настоящия регламент, следва да се определи като отнасяне на физически лица към конкретни категории въз основа на техните биометрични данни. Подобни конкретни категории могат да са свързани с аспекти като пол, възраст, цвят на косата, цвят на очите, татуировки, поведенчески или личностни черти, език, религия, принадлежност към национално малцинство, сексуална или политическа ориентация. Това не включва системи за биометрично категоризиране, които представляват чисто спомагателна функция, неразривно свързана с друга търговска услуга, което означава, че тази функция не може по обективни технически причини да се използва без основната услуга и интегрирането на тази функция или функционалност не е средство за заобикаляне на приложимостта на правилата на настоящия регламент. Например филтрите за категоризиране на черти на лицето или тялото, използвани на онлайн места за търговия, биха могли да представляват такава спомагателна функция, тъй като могат да се използват само във връзка с основната услуга, която се състои в продажбата на продукт, като позволяват на потребителя да визуализира изображението на продукта върху себе си и му помагат да вземе решение при покупка. Филтрите, използвани в онлайн услугите на социалните мрежи, които категоризират черти на лицето или тялото, за да позволят на ползвателите да добавят или променят снимки или видеоклипове, също могат да се считат за спомагателна функция, тъй като такъв филтър не може да се използва без основната услуга при услугите на социалните мрежи, състояща се в споделяне на съдържание онлайн. |
(17) |
Понятието „система за дистанционна биометрична идентификация“, посочено в настоящия регламент, следва да се определи функционално като система с ИИ, предназначена за идентифициране на физически лица без тяхното активно участие, обикновено от разстояние, чрез сравняване на биометричните данни на дадено лице с биометричните данни, съдържащи се в референтна база данни, независимо от конкретните използвани технологии, процеси или видове биометрични данни. Такива системи за дистанционна биометрична идентификация обикновено се използват за едновременно наблюдение на множество лица или тяхното поведение с цел да се улесни значително идентифицирането на физически лица без тяхното активно участие. Това изключва системите с ИИ, предназначени да бъдат използвани за биометрична проверка, която включва удостоверяване на самоличността, чиято единствена цел е да се потвърди, че конкретно физическо лице е лицето, за което се представя, и да се потвърди самоличността на физическо лице единствено за да се получи достъп до услуга, да се отключи устройство или да се придобие сигурен достъп до помещения. Това изключване е обосновано от факта, че е вероятно такива системи да оказват незначително въздействие върху основните права на физическите лица в сравнение със системите за дистанционна биометрична идентификация, които могат да се използват за обработването на биометрични данни на голям брой лица без тяхното активно участие. При системите, работещи в реално време, снемането на биометрични данни, сравнението и идентификацията се осъществяват мигновено, почти мигновено или при всички случаи без значително забавяне. В това отношение не следва да има възможност за заобикаляне на правилата на настоящия регламент относно използването в реално време на съответните системи с ИИ и за целта в него следва да се уредят незначителните забавяния. Системите, работещи в реално време, предполагат използването на материал „на живо“ или „почти на живо“, като видеозапис от камера или друго устройство с подобна функция. За разлика от тях при функциониращите впоследствие системи биометричните данни вече са снети и сравняването и идентифицирането се извършват едва след значително забавяне. Това предполага материал, като снимки или видеозаписи от камери от вътрешна система за видеонаблюдение или от частни устройства, които са направени преди използването на системата по отношение на съответните физически лица. |
(18) |
Понятието „система за разпознаване на емоции“, посочено в настоящия регламент, следва да се определи като система с ИИ, чието предназначение е да определи или да прави изводи за емоциите или намеренията на физически лица въз основа на техните биометрични данни. Това понятие се отнася до емоции или намерения като щастие, тъга, гняв, изненада, отвращение, смущение, вълнение, срам, презрение, удовлетворение и забавление. Не се включват физически състояния като болка или умора, като например системи, използвани за установяване на състояние на умора при професионални пилоти или водачи с цел предотвратяване на произшествия. Освен това то не включва откриването на лесно забележими изражения, жестове или движения, освен ако те не се използват, за да се определят или да се правят изводи за емоциите. Тези изражения могат да бъдат основни изражения на лицето, като например намръщване или усмивка, или жестове като движение на ръцете или главата, или характеристики на човешкия глас, например висок глас или шепот. |
(19) |
За целите на настоящия регламент понятието „обществено достъпно място“ следва да се разбира като означаващо всяко физическо място, което е достъпно за неопределен брой физически лица, независимо дали това място е частна или публична собственост и без значение от дейността, за която мястото може да се използва, като за търговия, например магазини, ресторанти, кафенета, за услуги, например банки, професионални дейности, хотелиерство и ресторантьорство, за спорт, например плувни басейни, спортни зали, стадиони, за транспорт, например автобусни, метро и железопътни гари, летища, транспортни средства, за развлечение, например кина, театри, музеи, концертни и конферентни зали, за отдих или други дейности, например отворени за обществено ползване пътища, площади, паркове, гори, детски площадки. Дадено място следва също така да се класифицира като обществено достъпно ако, независимо от потенциалния капацитет или ограниченията във връзка със сигурността, достъпът до него зависи от някои предварително определени условия, които могат да бъдат изпълнени от неопределен брой лица, като например закупуване на билет или друг превозен документ, предварителна регистрация или навършване на определена възраст. Дадено място не следва обаче да се счита за обществено достъпно, ако достъпът до него е ограничен до конкретни и определени физически лица чрез правото на Съюза или националното право, пряко свързано с обществената безопасност или сигурност, или чрез ясното волеизявление от страна на лицето, което е носител на съответните права по отношение на мястото. Единствено фактическата възможност за достъп, например незаключена врата или отворена порта в ограда, не означава, че мястото е обществено достъпно, при наличие на признаци или обстоятелства, които предполагат обратното, например знаци, забраняващи или ограничаващи достъпа. Помещенията на дадено дружество и фабрика, както и офисите и работните места, до които се предвижда достъп само за съответните служители и доставчици на услуги, не са обществено достъпни места. Обществено достъпните места не следва да включват затворите или зоните за граничен контрол. Други зони могат да се състоят както от зони, които са обществено достъпни, така и от зони, които не са обществено достъпни, като например коридорите в частни жилищни сгради, необходими за достъп до лекарски кабинет, или летищата. Онлайн пространствата не се включват, тъй като те не са физически места. Дали дадено място е достъпно за обществеността обаче следва да се определя отделно във всеки един случай, като се отчитат особеностите на отделния случай. |
(20) |
За да се извлекат максимални ползи от системите с ИИ, като същевременно се защитават основните права, здравето и безопасността, и за да се даде възможност за демократичен контрол, грамотността в областта на ИИ следва да осигури на доставчиците, внедрителите и засегнатите лица необходимите понятия за вземане на информирани решения относно системите с ИИ. Тези понятия могат да се различават по отношение на съответния контекст и могат да включват разбиране на правилното прилагане на техническите елементи по време на етапа на разработване на системата с ИИ, мерките, които трябва да се прилагат по време на използването ѝ, подходящите начини за тълкуване на резултатите от системата с ИИ и, по отношение на засегнатите лица, знанията, необходими за разбиране на начина, по който решенията, взети с помощта на ИИ, ще окажат въздействие върху тях. В контекста на прилагането на настоящия регламент грамотността в областта на ИИ следва да осигури на всички съответни участници във веригата за създаване на стойност в областта на ИИ необходимата информация, за да се гарантира подходящото спазване и правилното му прилагане. Освен това широкото прилагане на мерки за повишаване на грамотността в областта на ИИ и въвеждането на подходящи последващи действия биха могли да допринесат за подобряване на условията на труд и в крайна сметка да поддържат процеса на утвърждаване и иновации на надеждния ИИ в Съюза. Европейският съвет по изкуствен интелект (наричан по-долу „Съветът по ИИ“) следва да подпомага Комисията с цел насърчаване на инструментите за грамотност в областта на ИИ, обществената осведоменост и разбирането на ползите, рисковете, гаранциите, правата и задълженията във връзка с използването на системи с ИИ. В сътрудничество със съответните заинтересовани страни Комисията и държавите членки следва да улеснят изготвянето на незадължителни кодекси за поведение с цел повишаване на грамотността в областта на ИИ сред лицата, занимаващи се с разработването, експлоатацията и използването на ИИ. |
(21) |
За да се гарантират равнопоставеност и ефективна защита на правата и свободите на физическите лица в целия Съюз, правилата, установени с настоящия регламент, следва да се прилагат недискриминационно за доставчиците на системи с ИИ, независимо дали са установени в Съюза, или в трета държава, както и за внедрителите на системи с ИИ, установени в Съюза. |
(22) |
Поради своето цифрово естество някои системи с ИИ следва да попадат в обхвата на настоящия регламент дори когато не се пускат на пазара, не се пускат в действие и не се използват в Съюза. Такъв е например случаят с оператор, установен в Съюза, който сключва договор за определени услуги с оператор, установен в трета държава, във връзка с дейност, която ще се извършва от система с ИИ, която би била определена като високорискова. При тези обстоятелства системата с ИИ, използвана в трета държава от оператора, би могла да обработва данни, които са законно събрани в Съюза и прехвърлени от Съюза, и да предоставя на сключилия договор оператор в Съюза резултата от системата с ИИ, получен въз основа на тази обработка, без системата с ИИ да е била пускана на пазара, пусната в действие или използвана в Съюза. За да не се допусне заобикаляне на настоящия регламент и да се гарантира ефективна защита на физическите лица, намиращи се в Съюза, настоящият регламент следва също така да се прилага за доставчиците и внедрителите на системи с ИИ, установени в трета държава, доколкото резултатът, получен от тези системи, е предназначен да се използва в Съюза. Независимо от това, за да се вземат предвид съществуващите договорености и особените нужди от бъдещо сътрудничество с чуждестранни партньори, с които се обменят информация и доказателства, настоящият регламент не следва да се прилага за публични органи на трета държава и за международни организации, когато те действат в рамките на споразумения за сътрудничество или международни споразумения, сключени на равнището на Съюза или на национално равнище за сътрудничество в областта на правоприлагането и за съдебно сътрудничество със Съюза или с неговите държави членки, при условие че съответната трета държава или международна организация осигурява подходящи гаранции по отношение на защитата на основните права и свободи на лицата. Когато е приложимо, това може да обхваща дейности на субекти, на които третите държави са възложили изпълнението на конкретни задачи в подкрепа на това сътрудничество в областта на правоприлагането и съдебно сътрудничество. Такива рамки за сътрудничество или споразумения са установени двустранно между държави членки и трети държави или между Европейския съюз, Европол и други агенции на Съюза, трети държави и международни организации. Органите, компетентни за надзора на правоохранителните органи и органите на съдебната власт съгласно настоящия регламент, следва да преценят дали тези рамки за сътрудничество или международни споразумения включват подходящи гаранции по отношение на защитата на основните права и свободи на лицата. Националните органи и институциите, органите, службите и агенциите на Съюза, които получават и използват такива резултати в Съюза, продължават да са задължени да гарантират, че използването им е в съответствие с правото на Съюза. Когато тези международни споразумения се преразглеждат или се сключват нови в бъдеще, договарящите страни следва да положат максимални усилия да приведат тези споразумения в съответствие с изискванията на настоящия регламент. |
(23) |
Настоящият регламент следва да се прилага и за институциите, органите, службите и агенциите на Съюза, когато те действат като доставчик или внедрител на система с ИИ. |
(24) |
Ако и доколкото системите с ИИ се пускат на пазара, пускат в действие или използват, със или без изменение на тези системи, за военни цели и цели, свързани с отбраната или националната сигурност, те следва да бъдат изключени от обхвата на настоящия регламент, независимо от това какъв вид субект извършва тези дейности, например дали е публичен, или частен субект. По отношение на военните цели и целите, свързани с отбраната, това изключение е обосновано както от член 4, параграф 2 ДЕС, така и от специфичните особености на политиката за отбрана на държавите членки и общата политика за отбрана на Съюза, обхваната от дял V, глава 2 ДЕС, спрямо които се прилага международното публично право, което поради това е по-подходящата правна рамка за регулиране на системите с ИИ в контекста на употребата на смъртоносна сила и на други системи с ИИ в контекста на военните и отбранителните дейности. По отношение на целите на националната сигурност, изключението е обосновано както от факта, че националната сигурност продължава да бъде отговорност единствено на държавите членки в съответствие с член 4, параграф 2 ДЕС, така и от специфичното естество и оперативни нужди на дейностите в областта на националната сигурност и специалните национални правила, приложими за тези дейности. Въпреки това, ако система с ИИ, разработена, пусната на пазара, пусната в действие или използвана за военни цели и цели, свързани с отбраната или националната сигурност, се използва извън рамките на тези цели временно или се използва постоянно за други цели, например за граждански или хуманитарни цели и за правоохранителни цели или цели, свързани с обществената сигурност, тази система би попаднала в обхвата на настоящия регламент. В този случай субектът, използващ системата с ИИ за цели, различни от военни цели и цели, свързани с отбраната или националната сигурност, следва да гарантира съответствието на системата с ИИ с настоящия регламент, освен ако системата вече не е в съответствие с настоящия регламент. Системите с ИИ, пуснати на пазара или пуснати в действие за изключена цел, а именно военна цел и цел, свързана с отбраната или национална сигурност, и една или повече неизключени цели, например граждански цели или правоохранителни цели, попадат в обхвата на настоящия регламент и доставчиците на тези системи следва да гарантират спазването на настоящия регламент. В тези случаи фактът, че дадена система с ИИ може да попадне в обхвата на настоящия регламент, не следва да засяга възможността субектите, извършващи дейности в областта на националната сигурност и отбраната и военни дейности, независимо от вида на субекта, извършващ тези дейности, да използват за цели в областта на националната сигурност и отбраната и за военни цели системи с ИИ, чието използване е изключено от обхвата на настоящия регламент. Система с ИИ, пусната на пазара за граждански цели или за правоохранителни цели, която се използва, със или без изменение, за военни цели и за цели, свързани с отбраната или националната сигурност, не следва да попада в обхвата на настоящия регламент, независимо от вида на субекта, извършващ тези дейности. |
(25) |
Настоящият регламент следва да подкрепя иновациите, да зачита свободата на науката и не следва да е пречка за научноизследователската и развойната дейност. Поради това е необходимо от неговия обхват да бъдат изключени системите и моделите с ИИ, специално разработени и пуснати в действие единствено с цел научноизследователска и развойна дейност. Освен това е необходимо да се гарантира, че настоящият регламент не засяга по друг начин научноизследователската и развойната дейност в областта на системите или моделите с ИИ преди пускането им на пазара или пускането им в действие. По отношение на ориентираната към продуктите научноизследователска, изпитателна и развойна дейност във връзка със системи или модели с ИИ, разпоредбите на настоящия регламент също така не следва да се прилагат преди пускането в действие или пускането на пазара на тези системи и модели. Това изключение не засяга задължението за спазване на настоящия регламент, когато система с ИИ, попадаща в обхвата на настоящия регламент, е пусната на пазара или пусната в действие в резултат на такава научноизследователска и развойна дейност, както и прилагането на разпоредбите относно регулаторните лаборатории в областта на ИИ и изпитването в реални условия. Освен това, без да се засяга изключението по отношение на системите с ИИ, специално разработени и пуснати в действие единствено за целите на научноизследователската и развойната дейност, за всяка друга система с ИИ, която може да се използва за извършването на научноизследователска и развойна дейност, разпоредбите на настоящия регламент следва да продължат да се прилагат. Във всеки случай всяка научноизследователска и развойна дейност следва да се извършва в съответствие с признатите етични и професионални стандарти по отношение на научните изследвания и следва да се провежда в съответствие с приложимото право на Съюза. |
(26) |
За да се въведе пропорционален и ефективен набор от задължителни правила за системите с ИИ, следва да се прилага ясно определен подход, основан на риска. В рамките на този подход видът и съдържанието на правилата следва да се адаптират към интензитета и обхвата на рисковете, които системите с ИИ могат да породят. Поради това е необходимо да се забранят някои неприемливи практики в областта на ИИ, да се установят изисквания за високорисковите системи с ИИ и задължения за съответните оператори, както и да се установят задължения за прозрачност за някои системи с ИИ. |
(27) |
Въпреки че основаният на риска подход е основата за пропорционален и ефективен набор от задължителни правила, е важно да се припомнят Насоките относно етичните аспекти за надежден ИИ от 2019 г., разработени от независимата ЕГВР ИИ, определена от Комисията. В тези насоки ЕГВР ИИ е разработила седем необвързващи етични принципа за ИИ, които имат за цел да спомогнат да се гарантира, че ИИ е надежден и етичен. Седемте принципа включват човешки фактор и контрол; техническа стабилност и безопасност; неприкосновеност на личния живот и управление на данните; прозрачност; многообразие, недискриминация и справедливост; обществено и екологично благосъстояние; отчетност. Без да засягат правно обвързващите изисквания на настоящия регламент и на всички други приложими правни актове на Съюза, посочените насоки допринасят за разработването на съгласуван, надежден и ориентиран към човека ИИ в съответствие с Хартата и с ценностите, на които се основава Съюзът. Съгласно Насоките на ЕГВР ИИ човешки фактор и контрол означава, че системите с ИИ се разработват и използват като инструмент, който служи на хората, зачита човешкото достойнство и личната независимост и функционира така, че да може да се контролира и наблюдава от хората по подходящ начин. Техническа стабилност и безопасност означава, че системите с ИИ се разработват и използват по начин, който позволява стабилност в случай на проблеми и устойчивост срещу опити за промяна на използването или действието на системата с ИИ, така че да се даде възможност за незаконно използване от трети лица, и който свежда до минимум непреднамерените вреди. Неприкосновеност на личния живот и управление на данните означава, че системите с ИИ се разработват и използват в съответствие с правилата относно неприкосновеността на личния живот и защитата на данните, като същевременно се обработват данни, които отговарят на високи стандарти по отношение на качеството и целостта. Прозрачност означава, че системите с ИИ се разработват и използват по начин, който позволява подходяща проследимост и разбираемост, като същевременно хората се уведомяват, че комуникират или си взаимодействат със система с ИИ, и внедрителите надлежно се информират за способностите и ограниченията на тази система с ИИ, а засегнатите лица – за техните права. Многообразие, недискриминация и справедливост означава, че системите с ИИ се разработват и използват по начин, който включва различни участници и насърчава равния достъп, равенството между половете и културното многообразие, като същевременно се избягват дискриминационните въздействия и несправедливата предубеденост, които са забранени от правото на Съюза или националното право. Обществено и екологично благосъстояние означава, че системите с ИИ се разработват и използват по устойчив и екологосъобразен начин, както и така, че да са от полза за всички хора, като същевременно се наблюдават и оценяват дългосрочните въздействия върху отделните лица, обществото и демокрацията. Прилагането на тези принципи следва да бъде отразено, когато е възможно, при проектирането и използването на модели с ИИ. При всички случаи те следва да служат като основа за изготвянето на кодекси за поведение съгласно настоящия регламент. Всички заинтересовани страни, включително стопанските сектори, академичните среди, гражданското общество и организациите за стандартизация, се насърчават да вземат предвид, когато е целесъобразно, етичните принципи за разработването на незадължителни най-добри практики и стандарти. |
(28) |
Въпреки че ИИ има многобройни полезни приложения, с него може да се злоупотребява и той може да осигури нови и мощни инструменти за манипулативни и експлоататорски практики и практики за социален контрол. Тези практики са особено вредни и недобросъвестни и следва да бъдат забранени, тъй като противоречат на ценностите на Съюза за зачитане на човешкото достойнство, свободата, равенството, демокрацията и принципите на правовата държава, и основните права, залегнали в Хартата, включително правото на недискриминация, на защита на данните и на неприкосновеност на личния живот, както и правата на детето. |
(29) |
Манипулативните техники, използващи ИИ, могат да служат за склоняване на хората към нежелано поведение или за подвеждането им, като ги подтикват да вземат решения по начин, който подкопава и накърнява тяхната независимост, вземане на решения и свободен избор. Пускането на пазара, пускането в действие или използването на някои системи с ИИ с цел или последици, изразяващи се в съществено изменение на човешкото поведение, при което е вероятно да възникнат значителни вреди, по-специално оказващи достатъчно значимо неблагоприятно въздействие върху физическото или психологическото здраве или финансовите интереси, са особено опасни и поради това следва да бъдат забранени. Такива системи с ИИ използват компоненти, действащи на подсъзнанието, например стимули чрез изображения и аудио и видео стимули, които хората не могат да възприемат, тъй като тези стимули са отвъд човешкото възприятие, или други манипулативни или заблуждаващи техники, които подкопават или накърняват независимостта, вземането на решения или свободния избор така, че хората не осъзнават, че се използват такива техники, или дори когато го осъзнават, те все пак могат да бъдат заблудени или не са в състояние да ги контролират или да им устоят. Това може да бъде улеснено например от интерфейси мозък-машина или виртуална реалност, тъй като те позволяват по-висока степен на контрол върху това какви стимули се предоставят на хората, доколкото те могат съществено да променят поведението им по начин, който води до значителна вреда. Наред с това системите с ИИ могат да се възползват и по друг начин от уязвимостта на дадено лице или конкретна група лица поради тяхната възраст, увреждане по смисъла на Директива (ЕС) 2019/882 на Европейския парламенти и на Съвета (16) или конкретно социално или икономическо положение, което има вероятност да направи тези лица по-уязвими на експлоатация, като например лица, живеещи в крайна бедност, етнически или религиозни малцинства. Такива системи с ИИ могат да бъдат пуснати на пазара, пуснати в действие или използвани с цел или последици, изразяващи се в съществено изменение на поведението на дадено лице, и по начин, който причинява или има разумна вероятност да причини значителна вреда на това или на друго лице или групи лица, включително вреди, които могат да се натрупват с течение на времето, поради което следва да бъдат забранени. Може да не е възможно да се приеме, че е налице намерение за изменение на поведението, когато изменението се дължи на фактори, външни за системата с ИИ, които са извън контрола на доставчика или внедрителя, а именно фактори, които може да не са разумно предвидими и поради това да не е възможно доставчикът или внедрителят на системата с ИИ да ги смекчи. Във всеки случай не е необходимо доставчикът или внедрителят да има намерение да причини значителна вреда, при условие че тази вреда произтича от манипулативни или експлоататорски практики, използващи ИИ. Забраните за такива практики в областта на ИИ допълват разпоредбите, съдържащи се в Директива 2005/29/ЕО на Европейския парламент и на Съвета (17), по-специално за забрана при всички обстоятелства на нелоялните търговски практики, водещи до икономически или финансови вреди за потребителите, независимо дали са въведени чрез системи с ИИ, или по друг начин. Забраните за манипулативни и експлоататорски практики в настоящия регламент не следва да засягат законните практики при медицинско лечение, като например психологическо лечение на психично заболяване или физическа рехабилитация, когато тези практики се извършват в съответствие с приложимото право и приложимите медицински стандарти, например за изричното съгласие на лицата или техните законни представители. Освен това общоприетите и законни търговски практики, например в областта на рекламата, които са в съответствие с приложимото право, не следва сами по себе си да се считат за вредни манипулативни практики, използващи ИИ. |
(30) |
Следва да бъдат забранени системите за биометрично категоризиране, които се основават на биометрични данни на физическите лица, като например лицето или пръстовите отпечатъци на дадено лице, за да се направят заключения или изводи относно неговите политически възгледи, членство в синдикални организации, религиозни или философски убеждения, раса, сексуален живот или сексуална ориентация. Тази забрана не следва да обхваща законното обозначаване, филтриране или категоризиране на наборите от биометрични данни, получени в съответствие с правото на Съюза или националното право въз основа на биометрични данни, като например сортиране на изображения според цвета на косата или цвета на очите, които могат да се използват например в правоохранителната област. |
(31) |
Системите с ИИ, осигуряващи социално оценяване на физически лица, извършено от публични или частни субекти, могат да доведат до дискриминационни резултати и изключване на определени групи. Те могат да нарушат правото на достойнство и недискриминация и ценностите на равенството и справедливостта. Подобни системи с ИИ оценяват или класифицират физически лица или групи от такива лица въз основа на множество данни, свързани с тяхното социално поведение в различен контекст, или известни, изведени или предполагаеми лични или личностни характеристики, през определен период от време. Социалната класация, получена от такива системи с ИИ, може да доведе до увреждащо или неблагоприятно третиране на физически лица или на цели групи от такива лица в социален контекст, който няма връзка с контекста, в който първоначално са били генерирани или събрани данните, или до увреждащо третиране, което е непропорционално или неоправдано с оглед на тежестта, която се отдава на тяхното социално поведение. Поради това системите с ИИ, които включват такива неприемливи практики за оценяване и водещи до вредни или неблагоприятни резултати, следва да бъдат забранени. Тази забрана не следва да засяга законните практики за оценяване на физически лица, извършвани за конкретна цел в съответствие с правото на Съюза или националното право. |
(32) |
Използването на системи с ИИ за дистанционна биометрична идентификация в реално време на физически лица на обществено достъпни места за правоохранителни цели особено силно накърнява правата и свободите на засегнатите лица, доколкото то може да засегне личния живот на голяма част от населението, да породи усещане за постоянно наблюдение и косвено да действа разубеждаващо по отношение на упражняването на свободата на събранията и други основни права. Техническите неточности на системите с ИИ, предназначени за дистанционна биометрична идентификация на физически лица, могат да доведат до опорочени от предубеденост резултати и до дискриминация. Такива възможни опорочени от предубеденост резултати и дискриминационни последици са от особено значение по отношение на възраст, етническа принадлежност, раса, пол или увреждане. Освен това непосредственият ефект и ограничените възможности за допълнителни проверки или корекции във връзка с използването на такива системи, функциониращи в реално време, крият повишен риск за правата и свободите на лицата, които са засегнати при правоохранителните дейности или върху които тези дейности оказват въздействие. |
(33) |
Поради това използването на тези системи за правоохранителни цели следва да бъде забранено, освен в изчерпателно изброени и подробно определени ситуации, при които използването е строго необходимо за постигане на значителен обществен интерес, чиято важност надделява над рисковете. Тези ситуации включват издирването на някои жертви на престъпления, включително изчезнали лица; някои заплахи за живота или физическата безопасност на физически лица или от терористично нападение; както и установяването на местоположението или самоличността на извършители или заподозрени в извършването на престъпленията, изброени в приложение към настоящия регламент, когато тези престъпления се наказват в съответната държава членка с лишаване от свобода или мярка за задържане с максимален срок не по-малко от четири години, като се отчита определението на тези престъпления в правото на съответната държава членка. Прагът относно срока на лишаването от свобода или на мярката за задържане в съответствие с националното право спомага да се гарантира, че престъплението е достатъчно тежко, за да обоснове евентуално използването на системи за дистанционна биометрична идентификация в реално време. Освен това списъкът на престъпленията, поместен в приложение към настоящия регламент, се основава на 32-те престъпления, изброени в Рамково решение 2002/584/ПВР на Съвета (18), като се отчита, че някои от тези престъпления на практика вероятно имат по-голямо значение от други, доколкото използването на дистанционна биометрична идентификация в реално време би могло да е вероятно необходимо и пропорционално в много различна степен с оглед на практическото установяване на местоположението или самоличността на извършителя или заподозрения за различните изброени престъпления, като се имат предвид също вероятните разлики в тяхната тежест, вероятност и размер на вредата или възможните отрицателни последици. Непосредствена заплаха за живота или физическата безопасност на физически лица може да възникне и от сериозно нарушаване на критична инфраструктура съгласно определението в член 2, точка 4 от Директива (ЕС) 2022/2557 на Европейския парламент и на Съвета (19), когато нарушаването или унищожаването на такава критична инфраструктура би довело до непосредствена заплаха за живота или физическата безопасност на дадено лице, включително чрез сериозно увреждане на снабдяването с основни продукти за населението или на упражняването на основните функции на държавата. Освен това с настоящия регламент следва да се запази възможността правоохранителните органи, органите за граничен контрол, имиграционните органи или органите в областта на убежището да извършват проверки на самоличността в присъствието на засегнатото лице в съответствие с условията, определени в правото на Съюза и в националното право за такива проверки. По-специално, правоохранителните органи, органите за граничен контрол, имиграционните органи или органите в областта на убежището следва да могат да използват информационни системи, в съответствие с правото на Съюза или националното право, за установяване на самоличността на лица, които по време на проверка за установяване на самоличността отказват да бъде установена самоличността им или не са в състояние да посочат или докажат самоличността си, без настоящият регламент да изисква предварително разрешение с тази цел. Това може да бъде например лице, замесено в престъпление, което не желае или не може, поради злополука или здравословно състояние, да разкрие самоличността си пред правоохранителните органи. |
(34) |
За да се гарантира, че тези системи се използват по отговорен и пропорционален начин, е важно също така да се определи, че във всяка от тези изчерпателно изброени и подробно определени ситуации следва да се вземат предвид определени елементи, по-специално по отношение на естеството на ситуацията, във връзка с която е искането, и последиците от използването за правата и свободите на всички засегнати лица, както и гаранциите и условията, при които ще премине използването. Освен това използването на системи за дистанционна биометрична идентификация в реално време на обществено достъпни места за правоохранителни цели следва да бъде единствено с цел потвърждаване на самоличността на конкретно лице и следва да бъде ограничено до строго необходимото от гледна точка на срок, както и на териториален обхват и обхват по отношение на лицата, като се вземат предвид по-специално доказателствата или признаците за опасностите, жертвите или извършителя. Използването на системата за дистанционна биометрична идентификация в реално време на обществено достъпни места следва да бъде разрешено само ако съответният правоохранителен орган е извършил оценка на въздействието върху основните права и, освен ако в настоящия регламент не е предвидено друго, е регистрирал системата в базата данни, посочена в настоящия регламент. Референтната база данни на лицата следва да бъде подходяща за всеки случай на използване във всяка от посочените по-горе ситуации. |
(35) |
За всяко използване на система за дистанционна биометрична идентификация в реално време на обществено достъпни места за правоохранителни цели следва да се изисква изрично и конкретно разрешение от съдебен орган или от независим административен орган на държава членка, чието решение е задължително. Това разрешение следва по принцип да бъде получено преди използването на системата с ИИ с цел идентифициране на дадено лице или лица. Изключения от това правило следва да се допускат в надлежно обосновани спешни случаи, а именно в ситуации, при които необходимостта от използване на съответните системи е такава, че е практически и обективно невъзможно да бъде получено разрешение преди началото на използването на системата с ИИ. При такива спешни ситуации използването на системата с ИИ следва да бъде ограничено до абсолютно необходимия минимум и да е съпроводено с подходящи гаранции и условия, както са установени в националното право и специално указани в контекста на всеки отделен случай на спешно използване от самия правоохранителен орган. Освен това в такива ситуации правоохранителният орган следва да поиска такова разрешение, като посочи причините, поради които не е могъл да го поиска по-рано, без ненужно забавяне и най-късно в рамките на 24 часа. Ако искането за това разрешение бъде отхвърлено, използването на системи за биометрична идентификация в реално време, свързано с това разрешение, следва да бъде прекратено незабавно и всички данни, свързани с това използване, следва да бъдат премахнати и заличени. Тези данни включват входящите данни, получени пряко от система с ИИ в хода на използването на такава система, както и резултатите от използването, свързано с това разрешение. Това не следва да включва входящи данни, законно придобити в съответствие с друг правен акт на Съюза или национален правен акт. Във всеки случай решение, което поражда неблагоприятни правни последици за дадено лице, не следва да бъде взето единствено въз основа на резултата от системата за дистанционна биометрична идентификация. |
(36) |
За да изпълняват задачите си в съответствие с изискванията, установени в настоящия регламент, както и в националните правила, съответният орган за надзор на пазара и националният орган за защита на данните следва да бъдат уведомявани за всяко използване на системата за биометрична идентификация в реално време. Уведомените за това използване органи за надзор на пазара и национални органи за защита на данните следва да представят на Комисията годишен доклад относно използването на системи за биометрична идентификация в реално време. |
(37) |
Също така е целесъобразно да се предвиди, в рамките на изчерпателната уредба, създадена с настоящия регламент, че такова използване на територията на държава членка в съответствие с настоящия регламент следва да бъде възможно само и доколкото съответната държава членка е решила изрично да предвиди възможността за допускане на такова използване в подробните правила на националното си право. Следователно съгласно настоящия регламент държавите членки са свободни изобщо да не предвиждат такава възможност или да предвидят такава възможност само по отношение на някои от целите, посочени в настоящия регламент, които могат да оправдаят допустимото използване. Тези национални правила следва да бъдат съобщени на Комисията в срок от 30 дни след приемането им. |
(38) |
Използването на системи с ИИ за дистанционна биометрична идентификация в реално време на физически лица на обществено достъпни места за правоохранителни цели задължително включва обработването на биометрични данни. Правилата на настоящия регламент, които забраняват, с някои изключения, подобно използване и чието правно основание е член 16 ДФЕС, следва да се прилагат като lex specialis по отношение на правилата относно обработването на биометрични данни, съдържащи се в член 10 от Директива (ЕС) 2016/680, като по този начин се урежда изчерпателно това използване и свързаното с него обработване на биометрични данни. Поради това такова използване и такова обработване следва да бъдат възможни само доколкото са съвместими с рамката, установена с настоящия регламент, без да има възможност извън тази рамка компетентните органи, когато действат с правоохранителни цели, да използват такива системи и да обработват такива данни във връзка с тях на основанията, изброени в член 10 от Директива (ЕС) 2016/680. В този контекст настоящият регламент няма за цел да осигури правно основание на обработването на лични данни съгласно член 8 от Директива (ЕС) 2016/680. Използването обаче на системи за дистанционна биометрична идентификация в реално време на обществено достъпни места за цели, различни от правоохранителни цели, включително от компетентни органи, не следва да бъде обхванато от специалната рамка относно такова използване за правоохранителни цели, установена с настоящия регламент. Поради това спрямо използването за цели, различни от правоохранителни цели, не следва да се прилагат изискването за разрешение съгласно настоящия регламент и приложимите подробни правила на националното право, които може да уреждат това разрешение. |
(39) |
Всяко обработване на биометрични данни и други лични данни, необходимо за използването на системи с ИИ за биометрична идентификация, различно от обработване във връзка с използването на системи за дистанционна биометрична идентификация в реално време на обществено достъпни места за правоохранителни цели, уредено в настоящия регламент, следва да продължи да отговаря на всички изисквания, произтичащи от член 10 от Директива (ЕС) 2016/680. За цели, различни от правоохранителни цели, с член 9, параграф 1 от Регламент (ЕС) 2016/679 и член 10, параграф 1 от Регламент (ЕС) 2018/1725 се забранява обработването на биометрични данни, като се прилагат ограничен брой изключения, предвидени в посочените членове. В приложение на член 9, параграф 1 от Регламент (ЕС) 2016/679 използването на дистанционна биометрична идентификация за цели, различни от правоохранителни цели, вече е забранявано с решения на националните органи за защита на данните. |
(40) |
В съответствие с член 6а от Протокол № 21 относно позицията на Обединеното кралство и Ирландия по отношение на пространството на свобода, сигурност и правосъдие, приложен към ДЕС и към ДФЕС, Ирландия не е обвързана от правилата, предвидени в член 5, параграф 1, първа алинея, буква ж), доколкото се прилагат за използването на системи за биометрично категоризиране за дейности в областта на полицейското и съдебното сътрудничество по наказателноправни въпроси, в член 5, параграф 1, първа алинея, буква г), доколкото се прилагат за използването на системи с ИИ, обхванати от посочената разпоредба, в член 5, параграф 1, първа алинея, буква з) и параграфи 2 – 6 и в член 26, параграф 10 от настоящия регламент, приети на основание член 16 ДФЕС и отнасящи се до обработването на лични данни от държавите членки при осъществяване на дейности, попадащи в обхвата на трета част, дял V, глава 4 или 5 ДФЕС, когато Ирландия не е обвързана от правилата, уреждащи формите на съдебно сътрудничество по наказателноправни въпроси или на полицейско сътрудничество, в рамките на които трябва да бъдат спазвани разпоредбите, установени на основание член 16 ДФЕС. |
(41) |
В съответствие с членове 2 и 2а от Протокол № 22 относно позицията на Дания, приложен към ДЕС и към ДФЕС, Дания не е обвързана и за нея не се прилагат правилата, предвидени в член 5, параграф 1, първа алинея, буква ж), доколкото се прилагат за използването на системи за биометрично категоризиране за дейности в областта на полицейското и съдебното сътрудничество по наказателноправни въпроси, в член 5, параграф 1, първа алинея, буква г), доколкото се прилагат за използването на системи с ИИ, обхванати от посочената разпоредба, в член 5, параграф 1, първа алинея, буква з) и параграфи 2 – 6 и в член 26, параграф 10 от настоящия регламент, приети на основание член 16 от ДФЕС и отнасящи се до обработването на лични данни от държавите членки при осъществяването на дейности, попадащи в обхвата на трета част, дял V, глава 4 или 5 ДФЕС. |
(42) |
В съответствие с презумпцията за невиновност физическите лица в Съюза следва винаги да бъдат съдени въз основа на тяхното действително поведение. Физическите лица никога не следва да бъдат съдени въз основа на прогнозирано от ИИ поведение, базирано единствено на тяхното профилиране, личностни черти или характеристики, например гражданство, място на раждане, местопребиваване, брой деца, равнище на задлъжнялост или вид автомобил, без основателно подозрение за участието на лицето в престъпна дейност въз основа на обективни и проверими факти и без човешка оценка. Поради това следва да се забрани извършването на оценки на риска по отношение на физически лица, за да се оцени вероятността от извършване на престъпление или да се прогнозира извършването на действително или вероятно престъпление единствено въз основа на профилирането им или на оценката на техните личностни черти и характеристики. Във всеки случай тази забрана не се отнася до анализа на вероятността, който не се основава на профилирането на лица или на личностните черти и характеристики на тези лица, като например системи с ИИ, използващи анализ на риска за оценка на риска от финансови измами от страна на предприятия въз основа на подозрителни сделки или инструменти за анализ на риска за прогнозиране на вероятността за откриване на наркотици или незаконни стоки от страна на митническите органи, например въз основа на известни маршрути за трафик. |
(43) |
Пускането на пазара, пускането в действие за тази конкретна цел или използването на системи с ИИ, които създават или разширяват бази данни за разпознаване на лица чрез нецеленасочено извличане на лицеви изображения от интернет или записи от видеонаблюдение, следва да бъдат забранени, тъй като тази практика допринася за усещането за масово наблюдение и може да доведе до груби нарушения на основните права, включително правото на неприкосновеност на личния живот. |
(44) |
Съществуват сериозни опасения относно научната основа на системите с ИИ, които имат за цел да определят или да направят изводи за емоциите, по-специално като се има предвид, че изразяването на емоции се различава значително в отделните култури и ситуации и дори при едно и също лице. Сред основните недостатъци на тези системи са ограничената надеждност, липсата на съобразен с конкретния случай подход и ограничената възможност за обобщаване. Поради това системите с ИИ, които определят или правят изводи за емоциите или намеренията на физически лица въз основа на техните биометрични данни, могат да доведат до дискриминационни резултати и да накърнят правата и свободите на съответните лица. Като се има предвид властовото неравновесие в контекста на работата или образованието, съчетано с инвазивния характер на тези системи, подобни системи биха могли да доведат до увреждащо или неблагоприятно третиране на определени физически лица или на цели групи от такива лица. Поради това пускането на пазара, пускането в действие или използването на системи с ИИ, предназначени за определяне на емоционалното състояние на лица в ситуации, свързани с работното място и образованието, следва да бъдат забранени. Тази забрана не следва да обхваща системи с ИИ, пуснати на пазара единствено от медицински съображения или съображения, свързани с безопасността, като например системи, предназначени за терапевтична употреба. |
(45) |
Практиките, които са забранени от правото на Съюза, включително правото в областта на защитата на данните, недискриминацията и защитата на потребителите, както и правото в областта на конкуренцията, не следва да бъдат засегнати от настоящия регламент. |
(46) |
Високорисковите системи с ИИ следва да се пускат на пазара на Съюза, да се пускат в действие или да се използват само ако отговарят на определени задължителни изисквания. Тези изисквания следва да гарантират, че високорисковите системи с ИИ, които се предлагат в Съюза или резултатите от които се използват по друг начин в Съюза, не пораждат неприемливи рискове за важни обществени интереси на Съюза, признати и защитени от правото на Съюза. Въз основа на новата законодателна рамка, както е пояснено в известието на Комисията „Синьото ръководство“ за прилагане на правилата на ЕС относно продуктите – 2022 г. (20), общото правило е, че повече от един правен акт от законодателството на Съюза за хармонизация, например регламенти (ЕС) 2017/745 (21) и (ЕС) 2017/746 (22) на Европейския парламент и на Съвета или Директива 2006/42/ЕО на Европейския парламент и на Съвета (23), може да е приложим за един продукт, тъй като предоставянето или пускането в действие може да се извърши само когато продуктът е в съответствие с цялото приложимо законодателство на Съюза за хармонизация. За да се гарантира съгласуваност и да се избегне ненужна административна тежест или разходи, доставчиците на продукт, който съдържа една или повече високорискови системи с ИИ, за които се прилагат изискванията на настоящия регламент и на законодателството на Съюза за хармонизация, посочено в приложение към настоящия регламент, следва да разполагат с гъвкавост по отношение на оперативните решения за това как да се гарантира оптимално съответствие на продукт, който съдържа една или повече системи с ИИ, с всички приложими изисквания на законодателството на Съюза за хармонизация. Системите с ИИ, които се определят като високорискови, следва да се ограничат до имащите значително вредно въздействие върху здравето, безопасността и основните права на хората в Съюза, като при това следва да се свежда до минимум всяко възможно ограничаване на международната търговия. |
(47) |
Системите с ИИ биха могли да имат неблагоприятни последици за здравето и безопасността на хората, по-специално когато тези системи функционират като защитни елементи на продуктите. В съответствие с целите на законодателството на Съюза за хармонизация – да се улесни свободното движение на продукти на вътрешния пазар и да се гарантира, че на пазара се предлагат само безопасни и съответстващи на изискванията продукти – е важно да бъдат надлежно предотвратени и ограничени рисковете за безопасността, които могат да бъдат породени от даден продукт като цяло поради неговите цифрови компоненти, включително системи с ИИ. Например все по-автономните роботи, независимо дали в контекста на производството, или на личната помощ и грижи, следва да могат да работят и да изпълняват функциите си безопасно в сложна среда. По същия начин, в сектора на здравеопазването, където рисковете за живота и здравето са особено високи, все по-усъвършенстваните системи за диагностика и системите за подпомагане на човешките решения следва да бъдат надеждни и точни. |
(48) |
Степента на неблагоприятно въздействие на системата с ИИ върху основните права, защитени от Хартата, е от особено значение, когато дадена система с ИИ се класифицира като високорискова. Тези права включват правото на човешко достойнство, правото на зачитане на личния и семейния живот, защитата на личните данни, свободата на изразяване на мнение и свободата на информация, свободата на събранията и сдруженията, правото на недискриминация, правото на образование, защитата на потребителите, правата на работниците, правата на хората с увреждания, равенството между половете, правата върху интелектуалната собственост, правото на ефективни правни средства за защита и на справедлив съдебен процес, правото на защита и презумпцията за невиновност, както и правото на добра администрация. В допълнение към тези права е важно да се подчертае факта, че децата имат специални права, които са залегнали в член 24 от Хартата и в Конвенцията на Организацията на обединените нации за правата на детето, допълнително разработени в Общ коментар № 25 по Конвенцията на ООН за правата на детето по отношение на цифровата среда, като и в двата акта се изисква да се отчита уязвимостта на децата и да се осигуряват защитата и грижите, необходими за тяхното благосъстояние. Основното право на високо равнище на опазване на околната среда, залегнало в Хартата и отразено в политиките на Съюза, също следва да се взема предвид при оценката на тежестта на вредата, която дадена система с ИИ може да причини, включително във връзка с човешкото здраве и безопасност. |
(49) |
По отношение на високорисковите системи с ИИ, които са защитни елементи на продукти или системи или които сами по себе си са продукти или системи, попадащи в обхвата на Регламент (ЕО) № 300/2008 на Европейския парламент и на Съвета (24), Регламент (ЕС) № 167/2013 на Европейския парламент и на Съвета (25), Регламент (ЕС) № 168/2013 на Европейския парламент и на Съвета (26), Директива 2014/90/ЕС на Европейския парламент и на Съвета (27), Директива (ЕС) 2016/797 на Европейския парламент и на Съвета (28), Регламент (ЕС) 2018/858 на Европейския парламент и на Съвета (29), Регламент (ЕС) 2018/1139 на Европейския парламент и на Съвета (30) и Регламент (ЕС) 2019/2144 на Европейския парламент и на Съвета (31), е целесъобразно тези актове да бъдат изменени, за да се гарантира, че Комисията отчита – въз основа на техническата и регулаторна специфика на всеки сектор и без да има намеса в съществуващите механизми и органи за управление, оценяване на съответствието и контрол на прилагането, създадени съгласно горепосочените актове – задължителните изисквания за високорисковите системи с ИИ, установени в настоящия регламент, когато приема съответни делегирани актове или актове за изпълнение на основание на горепосочените актове. |
(50) |
По отношение на системите с ИИ, които са защитни елементи на продукти или които сами по себе си са продукти, попадащи в обхвата на определено законодателство на Съюза за хармонизация, посочено в приложение към настоящия регламент, е целесъобразно те да бъдат класифицирани като високорискови съгласно настоящия регламент, ако съответният продукт преминава през процедура за оценяване на съответствието с орган за оценяване на съответствието – трето лице, съгласно съответното законодателство на Съюза за хармонизация. Подобни продукти са по-специално машини, играчки, асансьори, оборудване и защитни системи, предназначени за използване в потенциално взривоопасна среда, радиооборудване, оборудване под налягане, оборудване за плавателни съдове за отдих, въжени линии, уреди, захранвани с газово гориво, медицински изделия, медицински изделия за инвитро диагностика, автомобили и въздухоплавателни средства. |
(51) |
Класифицирането на дадена система с ИИ като високорискова съгласно настоящия регламент не следва непременно да означава, че продуктът, чийто защѝтен елемент е системата с ИИ, или самата система с ИИ като продукт, се счита за високорисков или високорискова съгласно критериите, установени в съответното законодателство на Съюза за хармонизация, приложимо за продукта. Такъв е по-специално случаят с регламенти (ЕС) 2017/745 и (ЕС) 2017/746, в които се предвижда оценяване на съответствието от трето лице за продукти със среден и висок риск. |
(52) |
По отношение на самостоятелните системи с ИИ, а именно високорисковите системи с ИИ, различни от тези, които са защитни елементи на продукти или които сами по себе си са продукти, е целесъобразно те да бъдат класифицирани като високорискови, ако с оглед на предназначението си представляват висок риск от увреждане на здравето и безопасността или на основните права на хората, като се вземат предвид както тежестта на възможната вреда, така и вероятността от настъпването ѝ, и тези системи с ИИ се използват в някои конкретно и предварително определени области, посочени в настоящия регламент. Идентифицирането на тези системи се основава на същата методика и критерии като предвидените и за евентуални бъдещи изменения на списъка на високорисковите системи с ИИ, които Комисията следва да бъде оправомощена да приеме чрез делегирани актове, за да се вземат предвид бързите темпове на технологично развитие, както и възможните промени в използването на системите с ИИ. |
(53) |
Важно е също така да се поясни, че може да има особени случаи, в които системите с ИИ, свързани с предварително определени области, посочени в настоящия регламент, не водят до значителен риск от увреждане на правните интереси, защитени в тези области, тъй като не оказват съществено влияние върху вземането на решения или не увреждат съществено тези интереси. За целите на настоящия регламент система с ИИ, която не оказва съществено влияние върху резултата от вземането на решения, следва да се разбира като система с ИИ, която не оказва въздействие върху същността, а оттам и върху резултата от вземането на решения, независимо дали е от човека, или автоматизирано. Система с ИИ, която не оказва съществено влияние върху резултата от вземането на решения, може да включва ситуации, при които са изпълнени едно или повече от посочените по-нататък условия. Първото условие следва да бъде системата с ИИ да е предназначена да изпълнява конкретно определена процедурна задача, като например система с ИИ, която преобразува неструктурирани данни в структурирани данни, система с ИИ, която класифицира входящите документи в категории, или система с ИИ, която се използва за откриване на случаи на дублиране в рамките на голям брой приложения. Тези задачи са с толкова тесен и ограничен характер, че пораждат само ограничени рискове, които не се увеличават чрез използването на система с ИИ в контекст, посочен като високорисково използване в приложение към настоящия регламент. Второто условие следва да бъде задачата, изпълнявана от системата с ИИ, да има за цел подобряване на резултата от извършена преди това човешка дейност, която може да е от значение за целите на видовете високорисково използване, изброени в приложение към настоящия регламент. Като се имат предвид тези характеристики, системата с ИИ представлява само допълнение към човешката дейност с произтичащ от това понижен риск. Това условие например ще е приложимо при системи с ИИ, които имат за цел да подобрят езика, използван във вече изготвени документи, например във връзка с професионалния тон, академичния стил на езика или чрез привеждане на текста в съответствие с определено послание на дадена марка. Третото условие следва да бъде системата с ИИ да е предназначена да открива модели за вземане на решения или отклонения от съществуващи модели за вземане на решения. Рискът ще бъде намален, тъй като използването на системата с ИИ следва предварително извършена човешка оценка, която системата няма за цел да замени или да повлияе без подходящ преглед, извършен от човек. Тези системи с ИИ включват например такива, които, предвид определен модел на оценяване от преподавател, могат да се използват за последваща проверка на вероятността преподавателят да се е отклонил от модела на оценяване, така че да се откроят възможни несъответствия или аномалии. Четвъртото условие следва да бъде системата с ИИ да е предназначена да изпълнява задача, която представлява само подготвителен етап преди извършването на оценка, която е от значение за целите на системите с ИИ, изброени в приложение в настоящия регламент, като по този начин възможното въздействие на резултата от системата намалява в значителна степен от гледна точка на това дали представлява риск за оценката, която ще последва. Това условие обхваща, наред с другото, интелигентни решения за обработка на файлове, които включват различни функции като индексиране, търсене, обработка на текст и реч или свързване на данни с други източници на данни, или системи с ИИ, използвани за превод на първоначални документи. Във всеки случай следва да се счита, че системи с ИИ, използвани в случаи на високорисково използване, посочени в приложение към настоящия регламент, пораждат значителни рискове от вреди за здравето, безопасността или основните права, ако системата с ИИ предполага профилиране по смисъла на член 4, точка 4 от Регламент (ЕС) 2016/679 или член 3, точка 4 от Директива (ЕС) 2016/680, или член 3, точка 5 от Регламент (ЕС) 2018/1725. За да се гарантират проследимост и прозрачност, доставчик, който счита, че дадена система с ИИ не е високорискова въз основа на посочените по-горе условия, следва да изготви документация за оценката, преди системата да бъде пусната на пазара или пусната в действие, и при поискване да предостави тази документация на националните компетентни органи. Този доставчик следва да бъде задължен да регистрира системата с ИИ в базата данни на ЕС, създадена съгласно настоящия регламент. С цел да се дадат допълнителни насоки за практическото изпълнение на условията, съгласно които системи с ИИ, изброени в приложение към настоящия регламент, по изключение не са високорискови, Комисията, след консултация със Съвета по ИИ, следва да предостави насоки, в които да се конкретизира това практическо изпълнение, допълнено от изчерпателен списък с практически примери за случаи на използване на системи с ИИ, които са високорискови, и такива, които не са. |
(54) |
Тъй като биометричните данни представляват специална категория лични данни, е целесъобразно да се класифицират като високорискови няколко случая на критично използване на биометрични системи, доколкото тяхното използване е разрешено съгласно съответното право на Съюза и национално право. Техническите неточности на системите с ИИ, предназначени за дистанционна биометрична идентификация на физически лица, могат да доведат до опорочени от предубеденост резултати и до дискриминация. Рискът от такива опорочени от предубеденост резултати и дискриминация е от особено значение във връзка с възраст, етническа принадлежност, раса, пол или увреждане. Поради това системите за дистанционна биометрична идентификация следва да бъдат класифицирани като високорискови с оглед на рисковете, които пораждат. Тази класификация изключва системите с ИИ, предназначени да бъдат използвани за биометрична проверка, включително за удостоверяване на самоличността, чиято единствена цел е да се потвърди, че конкретно физическо лице е лицето, за което се представя, и да се потвърди самоличността на физическо лице единствено за да се получи достъп до услуга, да се отключи устройство или да се придобие сигурен достъп до помещения. Освен това следва да бъдат класифицирани като високорискови системите с ИИ, предназначени да се използват за биометрично категоризиране в съответствие с чувствителни признаци или характеристики, защитени съгласно член 9, параграф 1 от Регламент (ЕС) 2016/679, въз основа на биометрични данни, доколкото те не са забранени съгласно настоящия регламент, и системи за разпознаване на емоции, които не са забранени съгласно настоящия регламент. Биометричните системи, които са предназначени да се използват единствено с цел да се позволи предприемането на мерки за киберсигурност и за защита на личните данни, не следва да се считат за високорискови системи с ИИ. |
(55) |
Във връзка с управлението и експлоатацията на критична инфраструктура, е целесъобразно системите с ИИ, предназначени да бъдат използвани като защитни елементи при управлението и експлоатацията на критична цифрова инфраструктура, посочена в точка 8 от приложението към Директива (ЕС) 2022/2557, движението по пътищата и водоснабдяването, газоснабдяването, отоплението и електроенергията, да бъдат класифицирани като високорискови системи с ИИ, тъй като при тях аварията или неизправността може да изложи на риск живота и здравето на множество хора и да доведе до значителни смущения в обичайното осъществяване на социални и икономически дейности. Защитните елементи на критичната инфраструктура, включително критичната цифрова инфраструктура, са системи, използвани за пряка защита на физическата цялост на критичната инфраструктура или на здравето и безопасността на хората и имуществото, но не са необходими за функционирането на системата. Аварията или неизправността на тези елементи може пряко да породи рискове за физическата цялост на критичната инфраструктура и оттук –рискове за здравето и безопасността на хората и имуществото. Елементи, предназначени да се използват единствено за целите на киберсигурността, не следва да се квалифицират като защитни елементи. Сред примерите за защитни елементи на критичната инфраструктура могат да се посочат системите за наблюдение на водното налягане или контролните системи за пожароизвестяване в центровете за изчисления в облак. |
(56) |
Внедряването на системи с ИИ в образованието е важно, за да се насърчи висококачествено цифрово образование и обучение и да се даде възможност на всички учащи се и преподаватели да придобиват и споделят необходимите цифрови умения и компетентности, включително за медийна грамотност и критично мислене, за да участват активно в икономиката, обществото и демократичните процеси. Същевременно системите с ИИ, използвани в образованието или професионалното обучение, по-специално за определяне на достъпа или приема, за разпределяне на лица в институции или програми на всички нива на образованието и професионалното обучение, за оценяване на учебните резултати, за оценяване на подходящото ниво на образование за дадено лице и за оказване на съществено влияние върху нивото на образование и обучение, което лицата ще получат или до което ще могат да имат достъп, или за наблюдение и откриване на забранено поведение на ученици и студенти по време на изпити, следва да се класифицират като високорискови системи с ИИ, тъй като могат да определят образователния и професионалния път на дадено лице и така да повлияят на способността на това лице да осигурява прехраната си. Когато не са правилно проектирани и използвани, тези системи може да са особено инвазивни и е възможно да нарушат правото на образование и обучение, както и правото на недискриминация, и да продължат да възпроизвеждат исторически наложени дискриминационни модели, например срещу жени, определени възрастови групи, хора с увреждания или с определен расов или етнически произход или сексуална ориентация. |
(57) |
Системите с ИИ, използвани в областта на заетостта, управлението на работниците и достъпа до самостоятелна заетост, по-специално за подбор и наемане на лица, за вземане на решения, засягащи условията за повишение при отношения във връзка с полагане на труд и прекратяване на договорни отношения във връзка с полагане на труд, за разпределяне на задачи въз основа на индивидуално поведение, личностни черти или характеристики и за наблюдение или оценка на лица, които имат договорни отношения във връзка с полагане на труд, също следва да бъдат класифицирани като високорискови, тъй като тези системи могат в значителна степен да повлияят на бъдещите перспективи за професионално развитие, осигуряването на прехраната на тези лица и правата на работниците. Съответните договорни отношения във връзка с полагането на труд следва по пълноценен начин да включват и служителите и лицата, предоставящи услуги чрез платформи, както е посочено в работната програма на Комисията за 2021 г. По време на целия процес на набиране на персонал и при оценката, повишаването или задържането на лица в договорни отношения във връзка с полагането на труд такива системи могат да продължат да възпроизвеждат исторически наложени дискриминационни модели, например срещу жени, определени възрастови групи, хора с увреждания или с определен расов или етнически произход или сексуална ориентация. Системите с ИИ, използвани за наблюдение на работата и поведението на тези лица, могат също така да накърнят техните основни права на защита на данните и неприкосновеност на личния живот. |
(58) |
Друга област, в която използването на системи с ИИ заслужава специално внимание, е достъпът до и ползването на някои основни частни и публични услуги и подпомагане, необходими на хората за пълноценно участие в обществото или за подобряване на техния стандарт на живот. По-специално, физическите лица, които кандидатстват или получават основно обществено подпомагане и услуги от публични органи, а именно здравни услуги, социалноосигурителни обезщетения, социални услуги, осигуряващи закрила в случаи като майчинство, заболяване, трудова злополука, зависимост или старост и загуба на работа, както и на социална помощ и помощ за жилищно настаняване, обикновено зависят от това подпомагане и услуги и са в уязвимо положение по отношение на отговорните органи. Ако системите с ИИ се използват, за да се определи дали това подпомагане и услуги следва да бъдат предоставени, отказани, намалени, отменени или възстановени от органите, включително дали бенефициерите имат законно право да се ползват от това подпомагане или услуги, въпросните системи могат да окажат значително въздействие върху материалната издръжка на тези лица и да нарушат основните им права, като правото на социална закрила, недискриминация, човешко достойнство или ефективни правни средства за защита, и поради това следва да бъдат класифицирани като високорискови. Независимо от това настоящият регламент не следва да възпрепятства разработването и използването на иновативни подходи в публичната администрация, за които по-широкото използване на съвместими и безопасни системи с ИИ би било полезно, при условие че тези системи не пораждат висок риск за юридическите и физическите лица. Наред с това системите с ИИ, използвани за оценка на кредитния рейтинг или кредитоспособността на физически лица, следва да бъдат класифицирани като високорискови системи с ИИ, тъй като те определят какъв достъп ще имат тези лица до финансови ресурси или основни услуги като жилищно настаняване, електроенергия и телекомуникационни услуги. Използваните за тези цели системи с ИИ могат да доведат до дискриминация на лица или групи и да продължат да възпроизвеждат исторически наложени дискриминационни модели, например въз основа на расов или етнически произход, пол, увреждане, възраст, сексуална ориентация, или да създадат нови форми на дискриминация. Системите с ИИ, предвидени в правото на Съюза за целите на разкриването на измами при предлагането на финансови услуги и за пруденциални цели за изчисляване на капиталовите изисквания на кредитните институции и застрахователите, не следва обаче да се считат за високорискови съгласно настоящия регламент. Освен това системите с ИИ, предназначени да се използват за оценка на риска и ценообразуване във връзка със здравно застраховане и животозастраховане на физически лица, също могат да окажат значително въздействие върху осигуряването на прехраната на лицата и ако не са надлежно проектирани, разработени и използвани, могат да нарушат техните основни права и да доведат до сериозни последици за живота и здравето на хората, включително финансово изключване и дискриминация. И на последно място, системите с ИИ, използвани за оценка и класифициране на спешните повиквания от физически лица или за изпращане или определяне на приоритет по отношение на изпращането на службите за спешно реагиране, включително от полицията, пожарната и медицинската помощ, както и на системите за разпределяне на пациенти в областта на спешната здравна помощ, също следва да бъдат класифицирани като високорискови, тъй като те вземат решения в ситуации, които са изключително критични за живота и здравето на хората и за тяхното имущество. |
(59) |
Предвид техните функции и отговорност, действията на правоохранителните органи, включващи определени видове използване на системи с ИИ, се характеризират със значителна степен на властово неравновесие и могат да доведат до наблюдение, задържане или лишаване от свобода на физическо лице, както и до други неблагоприятни въздействия по отношение на основните права, гарантирани от Хартата. По-специално, ако системата с ИИ не е обучена с висококачествени данни, не отговаря на съответните изисквания по отношение на своето функциониране, точност или надеждност или не е била правилно проектирана и изпитана преди да бъде пусната на пазара или по друг начин пусната в действие, тя може да избира лица по дискриминационен начин или по неправилен или необективен в друго отношение начин. Освен това упражняването на важни процесуални основни права, като правото на ефективни правни средства за защита и на справедлив съдебен процес, както и правото на защита и презумпцията за невиновност, би могло да бъде възпрепятствано, по-специално когато системите с ИИ не са достатъчно прозрачни, разбираеми и документирани. Поради това е целесъобразно редица системи с ИИ, предназначени да бъдат използвани в правоохранителен контекст, където точността, надеждността и прозрачността са особено важни за избягване на неблагоприятни въздействия, запазване на общественото доверие и гарантиране на отчетност и ефективна правна защита, да се класифицират като високорискови, доколкото тяхното използване е разрешено съгласно съответното право на Съюза и национално право. С оглед на естеството на дейностите и свързаните с тях рискове тези високорискови системи с ИИ следва да включват по-специално системи с ИИ, предназначени да бъдат използвани от или от името на правоохранителните органи или от институции, органи, служби или агенции на Съюза в подкрепа на правоохранителните органи за оценка на риска дадено физическо лице да стане жертва на престъпления, например полиграфи и подобни инструменти, за оценка на надеждността на доказателствата в хода на разследването или наказателното преследване на престъпления, и, доколкото това не е забранено съгласно настоящия регламент, за оценка на риска дадено физическо лице да извърши нарушение или повторно нарушение не само въз основа на профилирането на физически лица или на оценката на личностни черти и характеристики или на минало престъпно поведение на физически лица или групи, както и за профилиране в хода на разкриването, разследването или наказателното преследване на престъпления. Системите с ИИ, специално предназначени да се използват за административни производства от данъчните и митническите органи, както и от звената за финансово разузнаване, изпълняващи административни задачи за анализ на информация съгласно правото на Съюза за борба с изпирането на пари, не следва да се класифицират като високорискови системи с ИИ, използвани от правоохранителните органи за целите на предотвратяването, разкриването, разследването и наказателното преследване на престъпления. Използването на инструменти с ИИ от страна на правоохранителните и други съответни органи не следва да се превръща във фактор, обуславящ неравенство или изключване. Въздействието на използването на инструменти с ИИ върху правата на защита на заподозрените лица не следва да се пренебрегва, по-специално трудностите при получаване на съдържателна информация относно функционирането на тези системи и произтичащите от това трудности при оспорване на резултатите от тях в съда, по-специално от страна на физически лица, срещу които се води разследване. |
(60) |
Системите с ИИ, използвани в управлението на миграцията, убежището и граничния контрол, засягат лица, които често са в особено уязвимо положение и които зависят от резултата от действията на компетентните публични органи. Поради това точността, недискриминационният характер и прозрачността на системите с ИИ, използвани в тези ситуации, са особено важни, за да се гарантира зачитането на основните права на засегнатите лица, по-специално правото им на свободно движение, недискриминация, защита на личния живот и личните данни, международна закрила и добра администрация. Поради това е целесъобразно, доколкото използването им е разрешено съгласно съответното право на Съюза и национално право, да бъдат класифицирани като високорискови системите с ИИ, предназначени да бъдат използвани от или от името на компетентните публични органи или от институции, органи, служби или агенции на Съюза, натоварени със задачи в областта на управлението на миграцията, убежището и граничния контрол, например полиграфи и подобни инструменти, за оценка на определени рискове, произтичащи от физически лица, които влизат на територията на държава членка или подават молба за виза или убежище, за подпомагане на компетентните публични органи при разглеждането, включително свързаната с това оценка на надеждността на доказателствата, на молби за убежище, визи и разрешения за пребиваване и свързаните с тях жалби по отношение на целта за установяване на допустимостта на физическите лица, кандидатстващи за статут, с цел откриване, разпознаване или установяване на самоличността на физически лица в контекста на управлението на миграцията, убежището и граничния контрол, с изключение на проверка на документите за пътуване. Системите с ИИ в областта на управлението на миграцията, убежището и граничния контрол, обхванати от настоящия регламент, следва да съответстват на съответните процедурни изисквания, установени в Регламент (ЕО) № 810/2009 на Европейския парламент и на Съвета (32), Директива 2013/32/ЕС на Европейския парламент и на Съвета (33) и друго съответно право на Съюза. Системите с ИИ в контекста на управлението на миграцията, убежището и граничния контрол не следва при никакви обстоятелства да се използват от държавите членки или институциите, органите, службите или агенциите на Съюза като средство за заобикаляне на техните международни задължения съгласно Конвенцията на Организацията на обединените нации за статута на бежанците, съставена в Женева на 28 юли 1951 г. и изменена с Протокола от 31 януари 1967 г. Те не следва да се използват и за нарушаване по какъвто и да било начин на принципа на забрана за връщане или за отказ във връзка с безопасни и ефективни законни възможности за достъп до територията на Съюза, включително правото на международна закрила. |
(61) |
Някои системи с ИИ, предназначени за използване в правораздаването и при демократичните процеси, следва да бъдат класифицирани като високорискови, като се има предвид потенциално значителното им въздействие върху демокрацията, принципите на правовата държава, индивидуалните свободи, както и правото на ефективни правни средства за защита и на справедлив съдебен процес. По-специално, за да се преодолеят рисковете от възможна предубеденост, грешки и непрозрачност, е целесъобразно да се класифицират като високорискови системите с ИИ, предназначени да бъдат използвани от орган на съдебна власт или от негово име, за да подпомагат органите на съдебна власт при проучването и тълкуването на фактите и правото и при прилагането на правото към конкретен набор от факти. Системите с ИИ, предназначени да бъдат използвани от органите за алтернативно разрешаване на спорове за тези цели, също следва да се считат за високорискови, когато резултатите от производството по алтернативно разрешаване на спорове пораждат правни последици за страните. Използването на инструменти с ИИ може да подпомогне, но не следва да заменя правомощията на съда за вземане на решения или независимостта на съдебната власт; окончателното вземане на решение трябва да продължи да бъде ръководено от човека. Класификацията на системите с ИИ като високорискови не следва обаче да обхваща системите с ИИ, предназначени за чисто спомагателни административни дейности, които не засягат самото правораздаване по отделните дела, като например анонимизиране или псевдонимизиране на съдебни решения, документи или данни, комуникация между персонала и административни задачи. |
(62) |
Без да се засягат правилата, предвидени в Регламент (ЕС) 2024/900 на Европейския парламент и на Съвета (34), и с цел да се преодолеят рисковете от неправомерна външна намеса в упражняването на правото на глас, залегнало в член 39 от Хартата, и от неблагоприятните последици за демокрацията и принципите на правовата държава, системите с ИИ, предназначени да се използват за оказване на влияние върху резултата от избори или референдум или върху поведението на физическите лица при упражняване на правото им на глас в избори или референдум, следва да се класифицират като високорискови системи с ИИ, с изключение на системите с ИИ, на чиито резултати физическите лица не са пряко изложени, като например инструменти, използвани за организиране, оптимизиране и структуриране на политически кампании от административна и логистична гледна точка. |
(63) |
Фактът, че дадена система с ИИ е класифицирана като високорискова система с ИИ съгласно настоящия регламент, не следва да се тълкува като указване, че използването на системата е законосъобразно съгласно други актове на правото на Съюза или съгласно националното право, съвместимо с правото на Съюза, като например относно защитата на личните данни и използването на полиграфи и подобни инструменти или други системи за разпознаване на емоционалното състояние на физическите лица. Всяко такова използване следва да продължи да се извършва единствено в съответствие с приложимите изисквания, произтичащи от Хартата и от приложимите актове на вторичното право на Съюза и националното право. Настоящият регламент не следва да се тълкува като предоставящ правно основание за обработването на лични данни, включително, ако е приложимо, на специални категории лични данни, освен когато в него изрично е предвидено друго. |
(64) |
За да се ограничат рисковете, произтичащи от високорискови системи с ИИ, пуснати на пазара или пуснати в действие, и за да се гарантира високо равнище на надеждност, за високорисковите системи с ИИ следва да се прилагат някои задължителни изисквания, при които се вземат предвид предназначението и контекстът на използване на системата с ИИ и които са съобразени със системата за управление на риска, която ще бъде създадена от доставчика. Мерките, предприети от доставчиците за спазване на задължителните изисквания на настоящия регламент, следва да са съобразени с общопризнатите съвременни технически постижения в областта на ИИ и да бъдат пропорционални и ефективни за постигане на целите на настоящия регламент. Въз основа на новата законодателна рамка, съгласно обясненията в известието на Комисията „Синьото ръководство“ за прилагане на правилата на ЕС относно продуктите – 2022 г., общото правило е, че повече от един правен акт от законодателството на Съюза за хармонизация може да е приложим за един продукт, тъй като предоставянето на пазара или пускането в действие може да се извърши само когато продуктът е в съответствие с цялото приложимо законодателство на Съюза за хармонизация. Опасностите, свързани със системите с ИИ, обхванати от изискванията на настоящия регламент, се отнасят до аспекти, различни от действащото законодателство на Съюза за хармонизация, поради което изискванията на настоящия регламент ще допълнят действащото законодателство на Съюза за хармонизация. Например машините или медицинските изделия, включващи система с ИИ, могат да представляват рискове, които не са обхванати от съществените изисквания, свързани със здравето и безопасността, установени в съответното законодателство на Съюза за хармонизация, тъй като в това секторно право не се уреждат рисковете, присъщи за системите с ИИ. Поради това е необходимо едновременно и допълващо се прилагане на различните законодателни актове. За да се гарантира съгласуваност и да се избегнат ненужна административна тежест и ненужни разходи, доставчиците на продукт, който съдържа една или повече високорискови системи с ИИ, за които се прилагат изискванията на настоящия регламент и на законодателството на Съюза за хармонизация въз основа на новата законодателна рамка, което е посочено в приложение към настоящия регламент, следва да разполагат с гъвкавост по отношение на оперативните решения за това как да се гарантира оптимално съответствие на продукт, който съдържа една или повече системи с ИИ, с всички приложими изисквания на това законодателство на Съюза за хармонизация. Тази гъвкавост би могла да означава например решение на доставчика да интегрира част от необходимите процеси на изпитване и докладване, информация и документация, изисквани съгласно настоящия регламент, във вече съществуваща документация и процедури, изисквани съгласно съществуващото законодателство на Съюза за хармонизация въз основа на новата законодателна рамка, посочено в приложение към настоящия регламент. Това по никакъв начин не следва да засяга задължението на доставчика да спазва всички приложими изисквания. |
(65) |
Системата за управление на риска следва да се състои от непрекъснат цикличен процес, който се планира и протича през целия жизнен цикъл на високорисковата система с ИИ. Този процес следва да бъде насочен към установяване и ограничаване на съответните рискове, произтичащи от системите с ИИ, за здравето, безопасността и основните права. Системата за управление на риска следва да подлежи на редовен преглед и за бъде актуализирана, за да се гарантира непрекъснатата ѝ ефективност, както и обосновката и документирането на всички важни решения и действия, предприети съгласно настоящия регламент. Този процес следва да гарантира, че доставчикът установява рисковете или неблагоприятните въздействия и прилага мерки за ограничаване на известните и разумно предвидими рискове, произтичащи от системите с ИИ, за здравето, безопасността и основните права с оглед на тяхното предназначение и разумно предвидима неправилна експлоатация, включително възможните рискове, произтичащи от взаимодействието между системата с ИИ и средата, в която тя работи. Системата за управление на риска следва да предприема най-подходящите мерки за управление на риска с оглед на съвременните технически постижения в областта на ИИ. При определянето на най-подходящите мерки за управление на риска доставчикът следва да документира и обясни направения избор и, когато е целесъобразно, да включи експерти и външни заинтересовани страни. При установяването на разумно предвидима неправилна експлоатация на високорискови системи с ИИ доставчикът следва да обхване използването на системите с ИИ, които, макар и да не са пряко обхванати от предназначението и предвидени в инструкциите за употреба, може все пак да се очаква, че са резултат от лесно предвидимо човешко поведение в контекста на специфичните характеристики и използване на конкретна система с ИИ. Всички известни или предвидими обстоятелства, свързани с използването на високорисковата система с ИИ в съответствие с предназначението ѝ или в условия на разумно предвидима неправилна експлоатация, които могат да породят рискове за здравето и безопасността или за основните права, следва да бъдат включени в инструкциите за употреба, предоставени от доставчика. Целта е да се гарантира, че внедрителят е запознат с тях и ги взема предвид при използването на високорисковата система с ИИ. Определянето и прилагането на мерки за ограничаване на риска в случаи на предвидима неправилна експлоатация съгласно настоящия регламент не следва да изискват осигуряването на конкретно допълнително обучение за високорисковата система с ИИ от страна на доставчика с цел намиране на решение във връзка с предвидимата неправилна експлоатация. Доставчиците обаче се насърчават да обмислят такива допълнителни мерки за обучение с цел ограничаване на случаи на разумно предвидима неправилна експлоатация, когато това е необходимо и целесъобразно. |
(66) |
По отношение на високорисковите системи с ИИ следва да се прилагат изисквания за управлението на риска, качеството и целесъобразността на използваните набори от данни, техническата документация и поддържането на регистри, прозрачността и предоставянето на информация на внедрителите, човешкия контрол, надеждността, точността и киберсигурността. Тези изисквания са необходими за ефективно ограничаване на рисковете за здравето, безопасността и основните права. Тъй като не съществуват други разумни, по-малко ограничителни мерки за търговията, тези изисквания не представляват необосновани ограничения на търговията. |
(67) |
Висококачествените данни и достъпът до тях имат жизненоважна роля за осигуряването на структура и за гарантирането на функционирането на много системи с ИИ, особено когато се използват техники, включващи обучение на модели, с цел да се гарантира, че високорисковата система с ИИ функционира по предназначение и по безопасен начин и не води до дискриминация, забранена от правото на Съюза. Висококачествените набори от обучителни, валидационни и изпитвателни данни изискват прилагането на подходящи практики за администриране и управление на данни. Наборите от обучителни, валидационни и изпитвателни данни, включително обозначенията, следва да бъдат подходящи, достатъчно представителни и във възможно най-голяма степен пълни и без грешки с оглед на предназначението на системата. За да се улесни спазването на правото на Съюза в областта на защитата на данните, като например Регламент (ЕС) 2016/679, практиките за администриране и управление на данни следва да включват, в случай на лични данни, прозрачност по отношение на първоначалната цел на събирането на данните. Наборите от данни следва също така да имат подходящи статистически свойства, включително по отношение на лицата или групите лица, във връзка с които е предназначена да се използва високорисковата система с ИИ, като се обръща специално внимание на намаляването на възможна предубеденост в наборите от данни, която има вероятност да засегне здравето и безопасността на хората, да окаже отрицателно въздействие върху основните права или да доведе до дискриминация, забранена съгласно правото на Съюза, особено когато резултатите от данните оказват влияние върху входящите данни за бъдещи операции (обратни връзки). Предубедеността може например да бъде присъща за основните набори от данни, особено при използването или генерирането на исторически данни, когато системите се внедряват в реални условия. Резултатите, предоставени от системи с ИИ, могат да се повлияват от такава присъща предубеденост, при която съществува тенденция постепенно да се увеличава и по този начин да затвърждава и засилва съществуващата дискриминация, по-специално по отношение на лица, принадлежащи към определени уязвими групи, включително расови или етнически групи. Изискването наборите от данни да бъдат във възможно най-голяма степен пълни и без грешки не следва да засяга използването на техники за опазване на неприкосновеността на личния живот в контекста на разработването и изпитването на системи с ИИ. По-специално, наборите от данни следва да са съобразени, доколкото това се изисква с оглед на предназначението им, с особеностите, характеристиките или елементите, характерни за конкретната географска, контекстуална, поведенческа или функционална среда, в която системата с ИИ е предназначена да бъде използвана. Изискванията, свързани с администрирането на данни, могат да бъдат спазени чрез използване на услугите на трети лица, които предлагат сертифицирани услуги за осигуряване на съответствие, включително проверка на администрирането на данните, целостта на наборите от данни и практиките за обучение, валидиране и изпитване на данните, доколкото се гарантира спазването на изискванията за данните по настоящия регламент. |
(68) |
За разработването и оценката на високорискови системи с ИИ определени участници, като например доставчици, нотифицирани органи и други съответни субекти, например европейски цифрови иновационни центрове, структури за експериментиране и изпитване и научни работници, следва да имат достъп до и да използват висококачествени набори от данни в областите на дейност на тези участници, които са свързани с настоящия регламент. Общите европейски пространства на данни, създадени от Комисията, и улесняването на обмена на данни между предприятията и с държавните органи в името на обществения интерес ще бъдат от основно значение за осигуряването на надежден, отговорен и недискриминационен достъп до висококачествени данни за обучението, валидирането и изпитването на системите с ИИ. Например в областта на здравеопазването европейското пространство на здравни данни ще улесни недискриминационния достъп до здравни данни и обучението на алгоритми на ИИ въз основа на тези набори от данни по сигурен, навременен, прозрачен и надежден начин, при който се запазва неприкосновеността на личния живот, и при подходящо институционално управление. Съответните компетентни органи, включително секторните органи, които предоставят или подпомагат достъпа до данни, могат също така да подкрепят предоставянето на висококачествени данни за обучението, валидирането и изпитването на системите с ИИ. |
(69) |
Правото на неприкосновеност на личния живот и на защита на личните данни трябва да бъде гарантирано през целия жизнен цикъл на системата с ИИ. В това отношение принципите на свеждане на данните до минимум и на защита на данните при проектирането и по подразбиране, определени в правото на Съюза в областта на защитата на данните, са приложими при обработването на лични данни. Мерките, предприети от доставчиците за гарантиране на спазването на тези принципи, могат да включват не само анонимизиране и криптиране, но и използване на технологии, които позволяват въвеждането на алгоритми в данните и позволяват обучение на системи с ИИ без предаване между страните или копиране на самите необработени или структурирани данни, без да се засягат изискванията за администриране на данните, предвидени в настоящия регламент. |
(70) |
За да се защитят правата на други лица от дискриминацията, която може да произтича от предубеденост в системите с ИИ, доставчиците следва по изключение, доколкото това е строго необходимо за целите на осигуряването на откриване и коригиране на предубедеността във високорисковите системи с ИИ, при спазване на подходящи гаранции за основните права и свободи на физическите лица и след прилагането на всички приложими условия, установени в настоящия регламент, в допълнение към условията, установени в регламенти (ЕС) 2016/679 и (ЕС) 2018/1725 и в Директива (ЕС) 2016/680, да могат да обработват и специални категории лични данни като въпрос от важен обществен интерес по смисъла на член 9, параграф 2, буква ж) от Регламент (ЕС) 2016/679 и член 10, параграф 2, буква ж) от Регламент (ЕС) 2018/1725. |
(71) |
Наличието на разбираема информация за начина на разработване на високорисковите системи с ИИ и начина на функционирането им през целия срок на експлоатация е от съществено значение, за да се даде възможност за проследимост на тези системи, проверка на съответствието с изискванията съгласно настоящия регламент, както и мониторинг на тяхното функциониране и мониторинг след пускането на пазара. Това изисква поддържането на регистри и наличието на техническа документация, съдържаща информация, която е необходима за оценяване на съответствието на системата с ИИ с приложимите изисквания и за улесняване на мониторинга след пускането на пазара. Тази информация следва да включва общите характеристики, способностите и ограниченията на системата, използваните алгоритми, данни и процеси на обучение, изпитване и валидиране, както и документация за съответната система за управление на риска, и следва да се изготвя в ясна и разбираема форма. Техническата документация следва да се актуализира по подходящ начин през целия срок на експлоатация на системата с ИИ. Освен това високорисковите системи с ИИ следва технически да позволяват автоматично записване на събития посредством записи по време на срока на експлоатация на системата. |
(72) |
За да се отговори на опасенията, свързани с непрозрачността и сложността на някои системи с ИИ, и да се помогне на внедрителите да изпълняват задълженията си съгласно настоящия регламент, следва да се изисква прозрачност за високорисковите системи с ИИ преди пускането им на пазара или пускането им в действие. Високорисковите системи с ИИ следва да бъдат проектирани по начин, който позволява на внедрителите да разберат как функционира системата с ИИ, да оценят нейната функционалност и да разберат нейните силни страни и ограничения. Високорисковите системи с ИИ следва да се придружават от подходяща информация под формата на инструкции за употреба. Тази информация следва да включва характеристиките, способностите и ограниченията на действието на системата с ИИ. Те ще обхващат информация относно възможните известни и предвидими обстоятелства, свързани с използването на високорисковата система с ИИ, включително действия от страна на внедрителя, които могат да повлияят на поведението и работата на системата и в рамките на които системата с ИИ може да породи рискове за здравето, безопасността и основните права, относно промените, които са предварително определени и чието съответствие е оценено от доставчика, както и относно съответните мерки за човешки контрол, включително мерките за улесняване на тълкуването на резултатите от системата с ИИ от внедрителите. Прозрачността, включително придружаващите инструкции за употреба, следва да подпомага внедрителите при използването на системата, както и при вземането на информирани решения. Внедрителите следва, наред с другото, да разполагат с по-добра възможност да направят правилния избор за системата, която възнамеряват да използват с оглед на приложимите за тях задължения, да бъдат запознати с предвиденото и неразрешеното използване и да използват системата с ИИ правилно и целесъобразно. За да се подобри разбираемостта и достъпността на информацията, включена в инструкциите за употреба, когато е целесъобразно следва да бъдат включени илюстративни примери, например относно ограниченията и относно предвиденото и неразрешеното използване на системата с ИИ. Доставчиците следва да гарантират, че цялата документация, включително инструкциите за употреба, съдържа съдържателна, изчерпателна, достъпна и разбираема информация, като се вземат предвид нуждите и предвидимите познания на внедрителите, за които е предназначена. Инструкциите за употреба следва да се предоставят на език, лесно разбираем за внедрителите, за които са предназначени, който е определен от съответната държава членка. |
(73) |
Високорисковите системи с ИИ следва да бъдат проектирани и разработени по такъв начин, че физическите лица да могат да следят тяхното функциониране, да гарантират, че те се използват по предназначение и че въздействието им се взема предвид през целия жизнен цикъл на системата. За тази цел доставчикът на системата следва да определи подходящи мерки за човешки контрол преди пускането ѝ на пазара или пускането ѝ в действие. По-специално, когато е целесъобразно, тези мерки следва да гарантират, че за системата се прилагат вградени оперативни ограничения, които не могат да бъдат заобиколени от самата система, и че тя отговаря на човека оператор, както и че физическите лица, на които е възложен човешкият контрол, разполагат с необходимата компетентност, обучение и авторитет за изпълнение на тази роля. Освен това е от съществено значение, когато е целесъобразно, да се гарантира, че високорисковите системи с ИИ включват механизми за даване на насоки и информация на дадено физическо лице, на което е възложен човешки контрол, за да взема информирани решения дали, кога и как да се намеси, за да се избегнат отрицателни последици или рискове, или да се спре системата, ако тя не функционира по предназначение. Предвид сериозните последици за хората в случай на неточно съвпадение, генерирано от някои системи за биометрична идентификация, е целесъобразно да се предвиди изискване за засилен човешки контрол над тези системи, така че внедрителят да не може да предприеме действие или да вземе решение въз основа на установена от системата самоличност, без това да е било проверено и потвърдено най-малко от две физически лица поотделно. Тези лица могат да се числят към един или повече образувания и да включват лицето, което управлява или използва системата. Това изискване не следва да поражда ненужна тежест или да води до забавяне; автоматичното вписване на отделните проверки, извършени от различните лица, в генерираните от системата записи би могло да е достатъчно. Като се имат предвид особеностите на правоохранителната област и областите на миграцията, граничния контрол и убежището, това изискване не следва да се прилага, когато според правото на Съюза или националното право се счита, че прилагането на това изискване е непропорционално. |
(74) |
Високорисковите системи с ИИ следва да функционират стабилно през целия си жизнен цикъл и да съответстват на подходящо ниво на точност, надеждност и киберсигурност, с оглед на тяхното предназначение и в съответствие с общопризнатите съвременни технически постижения. Комисията и съответните организации и заинтересовани страни се насърчават да вземат надлежно предвид ограничаването на рисковете и отрицателното въздействие на системата с ИИ. Очакваното ниво на показателите за ефективност следва да бъде обявено в придружаващите инструкции за употреба. Доставчиците се приканват да съобщават тази информация на внедрителите по ясен и лесно разбираем начин, без възможности за недоразумения или подвеждащи твърдения. Правото на Съюза в областта на законовата метрология, включително директиви 2014/31/ЕС (35) и 2014/32/ЕС (36) на Европейския парламент и на Съвета, има за цел да гарантира точността на измерванията и да спомогне за прозрачността и почтеността на търговските сделки. В този контекст, в сътрудничество със съответните заинтересовани страни и организации, като например органите по метрология и сравнителен анализ, Комисията следва да насърчава, когато е целесъобразно, разработването на сравнителни показатели и методики за измерване за системите с ИИ. При това Комисията следва да вземе под внимание и да си сътрудничи с международните партньори, работещи в областта на метрологията и съответните показатели за измерване, свързани с ИИ. |
(75) |
Техническата надеждност е ключово изискване за високорисковите системи с ИИ. Те следва да бъдат устойчиви на вредно или друго нежелателно поведение, което може да се прояви в резултат на ограничения в системите или средата, в която те работят (например грешки, дефекти, несъответствия, неочаквани ситуации). Поради това следва да се предприемат технически и организационни мерки, за да се гарантира надеждността на високорисковите системи с ИИ, например чрез проектиране и разработване на подходящи технически решения за предотвратяване или свеждане до минимум на вредното или друго нежелано поведение. Тези технически решения могат да включват например механизми, позволяващи на системата безопасно да прекъсне работата си (аварийни планове) при наличието на определени аномалии или когато работата се извършва извън предварително определени граници. Липсата на защита срещу тези рискове може да повлияе на безопасността или да се отрази отрицателно на основните права, например поради неправилни решения или погрешни или опорочени от предубеденост резултати, генерирани от системата с ИИ. |
(76) |
Киберсигурността има решаващо значение, за да се гарантира, че системите с ИИ са устойчиви на опити за промяна на тяхното използване, поведение или ефективност или за засягане на техните свойства, свързани със сигурността, от недобросъвестни трети лица, които се възползват от уязвимостта на системата. Кибератаките срещу системи с ИИ могат да засегнат специфични за ИИ ресурси, като например набори от обучителни данни (например чрез „отравяне на данните“) или обучени модели (например чрез враждебни атаки или изводи за принадлежност), или да използват уязвимите места в цифровите ресурси на системата с ИИ или в основната ИКТ инфраструктура. За да се гарантира ниво на киберсигурност, съобразено с рисковете, доставчиците на високорискови системи с ИИ следва да предприемат подходящи мерки, например проверки на сигурността, като отчитат надлежно и основната ИКТ инфраструктура. |
(77) |
Без да се засягат изискванията, свързани с надеждността и точността, установени в настоящия регламент, при високорисковите системи с ИИ, които попадат в обхвата на регламент на Европейския парламент и на Съвета относно хоризонтални изисквания за киберсигурност за продукти с цифрови елементи, в съответствие с посочения регламент, може да се докаже съответствие с изискванията за киберсигурност на настоящия регламент, като се изпълнят съществените изисквания за киберсигурност, установени в посочения регламент. Когато високорисковите системи с ИИ съответстват на съществените изисквания на регламент на Европейския парламент и на Съвета относно хоризонтални изисквания за киберсигурност за продукти с цифрови елементи, те следва да се считат за съответстващи на изискванията за киберсигурност, установени в настоящия регламент, доколкото изпълнението на тези изисквания е доказано в ЕС декларацията за съответствие или части от нея, изготвена съгласно посочения регламент. За тази цел при оценката на рисковете за киберсигурността, свързани с продукт с цифрови елементи, класифициран като високорискова система с ИИ съгласно настоящия регламент, извършена съгласно регламент на Европейския парламент и на Съвета относно хоризонтални изисквания за киберсигурност за продукти с цифрови елементи, следва да се вземат предвид рисковете за киберустойчивостта на дадена система с ИИ по отношение на опитите на неоправомощени трети лица да променят нейното използване, поведение или работа, включително специфичните за ИИ уязвими места, като например „отравяне на данни“ или враждебни атаки, както и, ако е целесъобразно, рисковете за основните права, както се изисква в настоящия регламент. |
(78) |
Процедурата за оценяване на съответствието, предвидена в настоящия регламент, следва да се прилага по отношение на съществените изисквания за киберсигурност на даден продукт с цифрови елементи, попадащ в обхвата на регламент на Европейския парламент и на Съвета относно хоризонтални изисквания за киберсигурност за продукти с цифрови елементи и класифициран като високорискова система с ИИ съгласно настоящия регламент. Това правило обаче не следва да води до намаляване на необходимото ниво на увереност за критичните продукти с цифрови елементи, обхванати от регламент на Европейския парламент и на Съвета относно хоризонтални изисквания за киберсигурност за продукти с цифрови елементи. Поради това, чрез дерогация от това правило, за високорисковите системи с ИИ, които попадат в обхвата на настоящия регламент и които също така са определени като важни и критични продукти с цифрови елементи съгласно регламент на Европейския парламент и на Съвета относно хоризонтални изисквания за киберсигурност за продукти с цифрови елементи, и за които се прилага процедурата за оценяване на съответствието въз основа на вътрешен контрол, посочена в приложение към настоящия регламент, се прилагат разпоредбите за оценяване на съответствието, съдържащи се в регламент на Европейския парламент и на Съвета относно хоризонтални изисквания за киберсигурност за продукти с цифрови елементи, доколкото това се отнася до съществените изисквания за киберсигурност, установени в посочения регламент. В този случай за всички останали аспекти, обхванати от настоящия регламент, следва да се прилагат съответните разпоредби относно оценяването на съответствието въз основа на вътрешен контрол, установени в приложение към настоящия регламент. Въз основа на знанията и експертния опит на Агенцията на Европейския съюз за киберсигурност (ENISA) относно политиката в областта на киберсигурността и задачите, възложени на ENISA съгласно Регламент (ЕС) 2019/881 на Европейския парламент и на Съвета (37), Комисията следва да си сътрудничи с ENISA по въпроси, свързани с киберсигурността на системите с ИИ. |
(79) |
Целесъобразно е конкретно физическо или юридическо лице, определено като доставчик, да поеме отговорността за пускането на пазара или пускането в действие на дадена високорискова система с ИИ, независимо дали това физическо или юридическо лице е проектирало или разработило системата. |
(80) |
Като страни по Конвенцията на Организацията на обединените нации за правата на хората с увреждания Съюзът и държавите членки са правно задължени да защитават хората с увреждания от дискриминация и да насърчават тяхното равенство, да гарантират, че хората с увреждания имат достъп на равна основа с всички останали до информационни и комуникационни технологии и системи, и да гарантират зачитане на неприкосновеността на личния живот на хората с увреждания. Предвид нарастващото значение и използване на системи с ИИ прилагането на принципите за универсален дизайн за всички нови технологии и услуги следва да гарантира пълен и равен достъп на всички, които е възможно да бъдат засегнати от технологиите за ИИ или които ги използват, включително хората с увреждания, по начин, който изцяло отчита присъщото им достойнство и многообразие. Следователно е от съществено значение доставчиците да осигурят пълно съответствие с изискванията за достъпност, включително с Директива (ЕС) 2016/2102 на Европейския парламент и на Съвета (38) и Директива (ЕС) 2019/882. Доставчиците следва да осигурят съответствието с тези изисквания при проектирането. Поради това необходимите мерки следва да бъдат интегрирани във възможно най-голяма степен в проектирането на високорисковата система с ИИ. |
(81) |
Доставчикът следва да създаде стабилна система за управление на качеството, да гарантира изпълнението на изискваната процедура за оценяване на съответствието, да изготви съответната документация и да създаде надеждна система за мониторинг след пускането на пазара. Доставчиците на високорискови системи с ИИ, които имат задължения по отношение на системите за управление на качеството съгласно съответното секторно право на Съюза, следва да имат възможност да включат елементите на системата за управление на качеството, предвидена в настоящия регламент, като част от съществуващата система за управление на качеството, предвидена в посоченото друго секторно право на Съюза. Взаимното допълване между настоящия регламент и действащото секторно право на Съюза също следва да бъде взето предвид в бъдещите дейности по стандартизация или в насоките, приемани от Комисията. Публичните органи, които пускат в действие високорискови системи с ИИ за свое собствено ползване, могат да приемат и прилагат правилата за системата за управление на качеството като част от приетата на национално или регионално равнище система за управление на качеството, когато е целесъобразно, като вземат предвид особеностите на сектора и компетентността и организацията на съответния публичен орган. |
(82) |
За да се даде възможност за прилагането на настоящия регламент и за да се създадат условия на равнопоставеност за операторите, както и предвид различните форми на предоставяне на цифрови продукти, е важно да се гарантира, че при всички обстоятелства установено в Съюза лице може да предостави на органите цялата необходима информация относно съответствието на дадена система с ИИ. Следователно преди да се предоставят техните системи на пазара на Съюза, доставчиците, установени в трети държави, следва да определят с писмено пълномощно упълномощен представител, който е установен в Съюза. Този упълномощен представител има ключово значение за осигуряване на съответствието на високорисковите системи с ИИ, пуснати на пазара или пуснати в действие в Съюза от тези доставчици, които не са установени в Съюза, както и за изпълнение на функциите на лице за връзка, установено в Съюза. |
(83) |
С оглед на естеството и сложността на веригата за създаване на стойност за системите с ИИ и в съответствие с новата законодателна рамка, е от съществено значение да се гарантира правна сигурност и да се улесни спазването на настоящия регламент. Поради това е необходимо да се изяснят функциите и конкретните задължения на съответните оператори по веригата за създаване на стойност, като например вносителите и дистрибуторите, които могат да допринесат за разработването на системи с ИИ. В определени ситуации тези оператори биха могли да имат едновременно повече от една функция и поради това следва кумулативно да изпълняват всички съответни задължения, свързани с тези функции. Например даден оператор може да действа едновременно като дистрибутор и вносител. |
(84) |
За да се гарантира правна сигурност, е необходимо да се поясни, че при определени специфични условия всеки дистрибутор, вносител, внедрител или друго трето лице следва да се счита за доставчик на високорискова система с ИИ и следователно да поеме всички съответни задължения. Такъв би бил случаят, ако това лице постави името или търговската си марка върху високорискова система с ИИ, която вече е пусната на пазара или пусната в действие, без да се засягат споразумения, предвиждащи, че задълженията се разпределят по друг начин. Такъв би бил и случаят, ако това лице внесе съществено изменение във високорискова система с ИИ, която вече е пусната на пазара или пусната в действие, по такъв начин, че тя да продължи да бъде високорискова система с ИИ в съответствие с настоящия регламент, или ако измени предназначението на система с ИИ, включително система с ИИ с общо предназначение, която не е класифицирана като високорискова и вече е пусната на пазара или пусната в действие, по такъв начин, че системата с ИИ да стане високорискова система с ИИ в съответствие с настоящия регламент. Тези разпоредби следва да се прилагат, без да се засягат специалните разпоредби, установени в някои секторни законодателни актове на Съюза за хармонизация въз основа на новата законодателна рамка, заедно с които следва да се прилага настоящият регламент. Например член 16, параграф 2 от Регламент (ЕС) 745/2017, съгласно който определени изменения не следва да се считат за промени на изделие, които могат да се отразят на съответствието му с приложимите изисквания, следва да продължи да се прилага за високорисковите системи с ИИ, които са медицински изделия по смисъла на посочения регламент. |
(85) |
Системите с ИИ с общо предназначение могат да се използват като високорискови системи с ИИ сами по себе си или да бъдат компоненти на други високорискови системи с ИИ. Ето защо поради специфичното си естество и за да се гарантира справедливо разпределяне на отговорността по веригата за създаване на стойност в областта на ИИ, доставчиците на такива системи, независимо дали те могат да се използват сами по себе си като високорискови системи с ИИ от други доставчици, или като компоненти на високорискови системи с ИИ, и освен ако не е предвидено друго съгласно настоящия регламент, следва да си сътрудничат тясно с доставчиците на съответните високорискови системи с ИИ, за да им се даде възможност да спазват съответните задължения съгласно настоящия регламент, както и с компетентните органи, създадени съгласно настоящия регламент. |
(86) |
Когато съгласно условията, предвидени в настоящия регламент, доставчикът, който първоначално е пуснал на пазара системата с ИИ или я е пуснал в действие, вече не следва да се счита за доставчик за целите на настоящия регламент и когато този доставчик не е изключил изрично промяната на системата с ИИ във високорискова система с ИИ, първоначалният доставчик следва въпреки това да си сътрудничи тясно и да предостави необходимата информация, както и да осигури разумно очакваните технически достъп и друга помощ, които са необходими за изпълнението на задълженията, установени в настоящия регламент, по-специално по отношение на спазването на оценката на съответствието на високорисковите системи с ИИ. |
(87) |
Освен това когато високорискова система с ИИ, която е защѝтен елемент на продукт, попадащ в обхвата на законодателството на Съюза за хармонизация въз основа на новата законодателна рамка, не е пусната на пазара или пусната в действие независимо от продукта, производителят на продукта съгласно определението в съответното законодателство, следва да спазва задълженията на доставчика, установени в настоящия регламент, и следва по-специално да гарантира, че системата с ИИ, вградена в крайния продукт, съответства на изискванията на настоящия регламент. |
(88) |
В рамките на веригата за създаване на стойност в областта на ИИ множество лица често доставят системи, инструменти и услуги с ИИ, но също така и компоненти или процеси, които са интегрирани от доставчика в системата с ИИ с различни цели, включително обучение и повторно обучение на модели и изпитване и оценка на модели, интегриране в софтуера или други аспекти на разработването на модели. Тези лица заемат важно място във веригата за създаване на стойност по отношение на доставчика на високорисковата система с ИИ, в която са интегрирани техните системи, инструменти, услуги, компоненти или процеси с ИИ, и следва да предоставят чрез писмено споразумение на този доставчик необходимата информация, капацитет, технически достъп и друга помощ въз основа на общопризнатите съвременни технически постижения, за да се даде възможност на доставчика да изпълни изцяло задълженията, установени в настоящия регламент, без да се излагат на риск собствените им права върху интелектуалната собственост или търговски тайни. |
(89) |
Трети лица, които предоставят публичен достъп до инструменти, услуги, процеси или компоненти с ИИ, различни от модели на ИИ с общо предназначение, не следва да са задължени да спазват изискванията, насочени към отговорността по веригата за създаване на стойност в областта на ИИ, по-специално по отношение на доставчика, който ги е използвал или интегрирал, когато тези инструменти, услуги, процеси или компоненти с ИИ са достъпни в рамките на безплатен лиценз с отворен код. Разработчиците на безплатни инструменти, услуги, процеси или компоненти с ИИ с отворен код, различни от модели на ИИ с общо предназначение, следва да се насърчават да прилагат широко възприети практики за документиране, например карти за модели и информационни фишове, като начин за ускоряване на обмена на информация по веригата за създаване на стойност в областта на ИИ, което ще даде възможност да се популяризират надеждни системи с ИИ в Съюза. |
(90) |
Комисията би могла да разработи и препоръча незадължителни примерни договорни условия между доставчиците на високорискови системи с ИИ и трети лица, които доставят инструменти, услуги, компоненти или процеси, използвани или интегрирани във високорискови системи с ИИ, за да се улесни сътрудничеството по веригата за създаване на стойност. При разработването на незадължителни примерни договорни условия Комисията следва също така да взема предвид възможните договорни изисквания, приложими в конкретни сектори или стопански дейности. |
(91) |
Предвид естеството на системите с ИИ и евентуалните рискове за безопасността и основните права, свързани с тяхното използване, включително по отношение на необходимостта да се гарантира подходящ мониторинг на работата на дадена система с ИИ в реални условия, е целесъобразно да се определят конкретни отговорности за внедрителите. Внедрителите следва по-специално да предприемат подходящи технически и организационни мерки, за да гарантират, че използват високорискови системи с ИИ в съответствие с инструкциите за употреба, а също така следва да се предвидят някои други задължения по отношение на мониторинга на функционирането на системите с ИИ и по отношение на поддържането на регистри, когато е целесъобразно. Освен това внедрителите следва да гарантират, че лицата, на които е възложено да изпълняват инструкциите за употреба и човешкия контрол съгласно настоящия регламент, притежават необходимата компетентност, по-специално подходящо ниво на грамотност, обучение и авторитет в областта на ИИ, за да изпълняват правилно тези задачи. Тези задължения не следва да засягат други задължения на внедрителите във връзка с високорискови системи с ИИ съгласно правото на Съюза или националното право. |
(92) |
Настоящият регламент не засяга задълженията на работодателите да информират или да информират и консултират работниците или техните представители съгласно правото и практиката на Съюза или националното право и практика, включително Директива 2002/14/ЕО на Европейския парламент и на Съвета (39), относно решения за пускане в действие или използване на системи с ИИ. Продължава да е необходимо да се гарантира предоставянето на информация на работниците и техните представители относно планираното внедряване на високорискови системи с ИИ на работното място, когато не са изпълнени условията за тези задължения за информиране или информиране и консултиране, предвидени в други правни актове. Освен това подобно право на информиране допълва и е необходимо за постигането на целта за защита на основните права, залегнала в основата на настоящия регламент. Поради това в настоящия регламент следва да бъде предвидено изискване за информиране в този смисъл, без да се засягат съществуващите права на работниците. |
(93) |
Рисковете, свързани със системите с ИИ, могат да произтичат от начина, по който са проектирани тези системи, но могат да се дължат и на начина, по който се използват тези системи с ИИ. По тази причина внедрителите на високорискова система с ИИ имат решаващо значение за гарантиране на защитата на основните права, като допълват задълженията на доставчика при разработването на системата с ИИ. Внедрителите могат най-добре да разберат как конкретно ще бъде използвана високорисковата система с ИИ и следователно могат да установят потенциални значителни рискове, които не са били предвидени на етапа на разработване, тъй като разполагат с по-точни знания за контекста на използване и лицата или групите лица, които има вероятност да бъдат засегнати, включително уязвимите групи. Внедрителите на високорискови системи с ИИ, изброени в приложение към настоящия регламент, също имат решаващо значение за информирането на физическите лица и следва, когато вземат решения или подпомагат вземането на решения, свързани с физическите лица, когато е приложимо, да ги информират, че спрямо тях се използва високорискова система с ИИ. Тази информация следва да включва предназначението и вида на решенията, които се вземат. Внедрителят следва също така да информира физическите лица за правото им да получат обяснение, предвидено в настоящия регламент. По отношение на високорисковите системи с ИИ, използвани за правоохранителни цели, това задължение следва да се прилага в съответствие с член 13 от Директива (ЕС) 2016/680. |
(94) |
Всяко обработване на биометрични данни, свързано с използването на системи с ИИ за биометрична идентификация за правоохранителни цели, трябва да бъде в съответствие с член 10 от Директива (ЕС) 2016/680, който позволява такова обработване само когато това е строго необходимо, при спазване на подходящи гаранции за правата и свободите на субекта на данните, и когато това е разрешено от правото на Съюза или правото на държава членка. При такова разрешено използване трябва също така да се спазват принципите, установени в член 4, параграф 1 от Директива (ЕС) 2016/680, включително законосъобразност, добросъвестност и прозрачност, ограничаване в рамките на целта, точност и ограничаване на съхранението. |
(95) |
Без да се засяга приложимото право на Съюза, по-специално Регламент (ЕС) 2016/679 и Директива (ЕС) 2016/680, като се има предвид инвазивният характер на системите за последваща дистанционна биометрична идентификация, използването на тези системи следва да е придружено с гаранции. Системите за последваща дистанционна биометрична идентификация следва винаги да се използват по начин, който е пропорционален, законосъобразен и строго необходим, и следователно конкретизиран, по отношение на лицата, които трябва да бъдат идентифицирани, местоположението и времевия обхват, и въз основа на затворен набор от данни от законно придобити видеозаписи. Във всеки случай системите за последваща дистанционна биометрична идентификация не следва да се използват в правоохранителен контекст с цел неизбирателно наблюдение. Условията за последващата дистанционна биометрична идентификация не следва в никакъв случай да предоставят основание за заобикаляне на условията на забраната и строгите изключения по отношение на дистанционната биометрична идентификация в реално време. |
(96) |
За да се гарантира по ефективен начин защитата на основните права, внедрителите на високорискови системи с ИИ, които са публични органи, или частните субекти, предоставящи публични услуги, както и внедрителите на някои високорискови системи с ИИ, изброени в приложение към настоящия регламент, като например банкови институции или застрахователи, следва да извършват оценка на въздействието върху основните права преди пускането в действие. Услуги от обществен характер, които са от значение за физическите лица, могат да се предоставят и от частни субекти. Частните субекти, предоставящи такива публични услуги, са свързани с изпълнението на задачи от обществен интерес, например в областите на образованието, здравеопазването, социалните услуги, жилищното настаняване и правораздаването. Целта на оценката на въздействието върху основните права е внедрителят да установи конкретните рискове за правата на лицата или групите лица, които е вероятно да бъдат засегнати, и да набележи мерките, които да бъдат предприети при настъпване на тези рискове. Оценката на въздействието следва да се извърши преди внедряването на високорисковата система с ИИ и следва да се актуализира, когато внедрителят счете, че някой от съответните фактори се е променил. В оценката на въздействието следва да се определят съответните процеси на внедрителя, в рамките на които високорисковата система с ИИ ще бъде използвана в съответствие с нейното предназначение, и следва да се посочи срокът, в който системата е предназначена да се използва, и честотата, с която тя е предназначена да се използва, както и конкретните категории физически лица и групи, които е вероятно да бъдат засегнати в конкретния контекст на използване. Оценката следва да включва и установяването на конкретните рискове от настъпване на вреди, които е вероятно да окажат въздействие върху основните права на тези лица или групи. При извършването на тази оценка внедрителят следва да вземе предвид информацията, която е от значение за правилната оценка на въздействието, включително, но не само, информацията, предоставена от доставчика на високорисковата система с ИИ в инструкциите за употреба. С оглед на установените рискове внедрителите следва да определят мерките, които да бъдат предприети при настъпване на тези рискове, включително например правила за управление в този конкретен контекст на използване, като например механизми за човешки контрол в съответствие с инструкциите за употреба или процедури за разглеждане на жалби и правна защита, тъй като те биха могли да бъдат от основно значение за ограничаване на рисковете за основните права в конкретни случаи на използване. След извършването на тази оценка на въздействието внедрителят следва да уведоми съответния орган за надзор на пазара. Когато е целесъобразно, за да се събере съответната информация, необходима за извършване на оценката на въздействието, внедрителите на високорискова система с ИИ, по-специално когато системите с ИИ се използват в публичния сектор, биха могли да включат съответните заинтересовани страни, включително представители на групи лица, които е вероятно да бъдат засегнати от системата с ИИ, независими експерти и организации на гражданското общество, в извършването на такива оценки на въздействието и разработването на мерки, които да бъдат предприети в случай на настъпване на рисковете. Европейската служба по изкуствен интелект (наричана по-долу „Службата по ИИ“) следва да разработи образец на въпросник, за да се улесни спазването на изискванията и да се намали административната тежест за внедрителите. |
(97) |
Понятието „модели на ИИ с общо предназначение“ следва да бъде ясно определено и разграничено от понятието „системи с ИИ“, за да се гарантира правна сигурност. Определението следва да се основава на ключовите функционални характеристики на модел на ИИ с общо предназначение, по-специално общ характер и способност за компетентно изпълнение на широк набор от отделни задачи. Тези модели обикновено се обучават въз основа на голямо количество данни чрез различни методи, като например обучение (самообучение) със и без надзор и обучение с утвърждение. Моделите на ИИ с общо предназначение могат да бъдат пускани на пазара по различни начини, включително чрез библиотеки, приложно-програмни интерфейси (API), за директно изтегляне или с физическо копие. Тези модели могат да бъдат допълнително изменени или усъвършенствани в нови модели. Въпреки че моделите на ИИ са основни компоненти на системите с ИИ, сами по себе си те не представляват системи с ИИ. Моделите на ИИ изискват добавянето на допълнителни компоненти, като например потребителски интерфейс, за да се превърнат в системи с ИИ. Моделите на ИИ обикновено са интегрирани в системите с ИИ и са част от тях. В настоящия регламент се предвиждат специални правила за моделите на ИИ с общо предназначение и за моделите на ИИ с общо предназначение, пораждащи системни рискове, които следва да се прилагат и когато тези модели са интегрирани в система с ИИ или са част от нея. Приема се, че задълженията на доставчиците на модели на ИИ с общо предназначение следва да се прилагат след пускането на тези модели на пазара. Когато доставчикът на модел на ИИ с общо предназначение интегрира собствен модел в своя собствена система с ИИ, която се предоставя на пазара или се пуска в действие, този модел следва да се счита за пуснат на пазара и поради това задълженията, установени в настоящия регламент по отношение на моделите, следва да продължат да се прилагат в допълнение към задълженията за системите с ИИ. Задълженията, установени за моделите, във всички случаи не следва да се прилагат, когато собствен модел се използва за чисто вътрешни процеси, които не са от съществено значение за предоставянето на продукт или услуга на трети лица, и когато правата на физическите лица не са засегнати. Като се има предвид възможното им значително отрицателно въздействие, за моделите на ИИ с общо предназначение, пораждащи системен риск, следва винаги да се прилагат съответните задължения съгласно настоящия регламент. Определението не следва да обхваща модели на ИИ, използвани преди пускането им на пазара единствено с цел научноизследователска и развойна дейност и дейности по създаване на прототипи. Това не засяга задължението за спазване на настоящия регламент, когато след такива дейности на пазара се пуска модел. |
(98) |
Въпреки че общият характер на даден модел би могъл, наред с другото, да се определя и от редица параметри, следва да се счита, че модели с поне един милиард параметри, обучени с голямо количество данни и проявяващи в голяма степен самонадзор, се отличават със значителна степен на общ характер и компетентно изпълняват широк набор от отделни задачи. |
(99) |
Големите генеративни модели на ИИ са типичен пример за модел на ИИ с общо предназначение, като се има предвид, че те дават възможност за гъвкаво генериране на съдържание, например под формата на текст, аудиоматериали, изображения или видеоматериали, което лесно може да покрие широк спектър от отделни задачи. |
(100) |
Когато модел на ИИ с общо предназначение е интегриран в система с ИИ или е част от нея, тази система следва да се счита за система с ИИ с общо предназначение, когато поради тази интеграция системата е в състояние да обслужва най-различни цели. Системата с ИИ с общо предназначение може да бъде използвана пряко или може да бъде интегрирана в други системи с ИИ. |
(101) |
Доставчиците на модели на ИИ с общо предназначение имат особено значение и отговорност по веригата за създаване на стойност в областта на ИИ, тъй като моделите, които предоставят, могат да бъдат основа за набор от системи надолу по веригата, често предоставяни от доставчици надолу по веригата, които трябва добре да разбират моделите и техните способности, както за да могат да интегрират такива модели в своите продукти, така и за да изпълняват задълженията си съгласно настоящия или други регламенти. Поради това следва да се определят пропорционални мерки за прозрачност, включително изготвяне и актуализиране на документацията и предоставяне на информация относно модела на ИИ с общо предназначение за използването му от доставчиците надолу по веригата. Техническата документация следва да се изготвя и актуализира от доставчика на модели на ИИ с общо предназначение с цел предоставянето ѝ при поискване на Службата по ИИ и на националните компетентни органи. Минималният набор от елементи, които трябва да бъдат включени в тази документация, следва да бъде посочен в конкретни приложения към настоящия регламент. На Комисията следва да бъде предоставено правомощието да изменя тези приложения чрез делегирани актове с оглед на технологичното развитие. |
(102) |
Софтуер и данни, включително модели, предоставени с безплатен лиценз с отворен код, който им позволява да бъдат споделяни свободно и чрез който ползвателите могат свободно да ги достъпват, използват, променят и разпространяват в променен или непроменен вид, могат да допринесат за научните изследвания и иновациите на пазара и да осигурят значителни възможности за растеж на икономиката на Съюза. Следва да се обмисли използването на модели на ИИ с общо предназначение, представени с безплатни лицензи с отворен код, за да се гарантират високи равнища на прозрачност и отвореност, ако техните параметри, включително теглата, информацията за архитектурата на модела и информацията за използването на модела са публично достъпни. Лицензът следва да се счита за безплатен и с отворен код и когато дава възможност на ползвателите да използват, копират, разпространяват, изучават, променят и подобряват софтуер и данни, включително модели, при условие че се посочва първоначалният доставчик на модела и се спазват еднакви или сходни условия на разпространение. |
(103) |
Безплатните компоненти с ИИ с отворен код обхващат софтуера и данните, включително модели и модели, инструменти, услуги или процеси с ИИ с общо предназначение на дадена система с ИИ. Безплатните компоненти с ИИ с отворен код могат да бъдат предоставяни по различни начини, включително чрез разработването им в хранилища със свободен достъп. За целите на настоящия регламент компонентите с ИИ, които се предоставят срещу заплащане или се възмездяват по друг начин, включително чрез предоставянето на техническа поддръжка или други услуги, включително чрез софтуерна платформа, свързани с компонента с ИИ, или използването на лични данни по причини, различни от изключителната цел за подобряване на сигурността, съвместимостта или оперативната съвместимост на софтуера, с изключение на сделките между микропредприятия, не следва да се ползват от изключенията, предвидени за безплатните компоненти с ИИ с отворен код. Предоставянето на компоненти с ИИ чрез хранилища със свободен достъп не следва само по себе си да представлява възмездяване. |
(104) |
За доставчиците на модели на ИИ с общо предназначение, които са предоставени с безплатен лиценз с отворен код и чиито параметри, включително теглата, информацията за архитектурата на модела и информацията за използването на модела, са публично достъпни, следва да се прилагат изключения по отношение на свързаните с прозрачността изисквания, наложени на моделите на ИИ с общо предназначение, освен когато може да се счита, че те пораждат системен риск, като в този случай обстоятелството, че моделът е прозрачен и придружен от лиценз с отворен код, не следва да се счита за достатъчна причина за изключване на спазването на задълженията съгласно настоящия регламент. Във всеки случай, като се има предвид, че предоставянето на модели на ИИ с общо предназначение с безплатен лиценз с отворен код не разкрива непременно съществена информация относно набора от данни, използван за обучението или финото регулиране на модела, и относно това как по този начин се гарантира спазването на авторското право, предвиденото за моделите на ИИ с общо предназначение изключение от съответствието с изискванията, свързани с прозрачността, не следва да се отнася до задължението за изготвяне на обобщение на съдържанието, използвано за обучение на модели, и задължението за въвеждане на политика за спазване на правото на Съюза в областта на авторското право, по-специално за установяване и съблюдаване на запазването на права съгласно член 4, параграф 3 от Директива (ЕС) 2019/790 на Европейския парламент и на Съвета (40). |
(105) |
Моделите на ИИ с общо предназначение, по-специално големите генеративни модели на ИИ, способни да генерират текст, изображения и друго съдържание, представляват уникални възможности за иновации, но също така са свързани и с трудности за хората на изкуството, авторите и другите творци, както и за начина, по който тяхното творческо съдържание се създава, разпространява, използва и потребява. Разработването и обучението на такива модели изисква достъп до големи количества текст, изображения, видеоматериали и други данни. Техниките за извличане на информация от текст и данни могат да се използват широко в този контекст за извличане и анализ на такова съдържание, което може да бъде защитено с авторско право и сродните му права. Всяко използване на защитено с авторско право съдържание изисква разрешение от съответните носители на права, освен ако не се прилагат съответните изключения и ограничения, свързани с авторското право. С Директива (ЕС) 2019/790 бяха въведени изключения и ограничения, които позволяват възпроизвеждането и извличането на откъси от произведения или други обекти за целите на извличането на информация от текст и данни при определени условия. Съгласно тези правила носителите на права могат да изберат да запазят правата си върху своите произведения или други обекти, за да предотвратят извличането на информация от текст и данни, освен ако това не се извършва за целите на научни изследвания. Когато правото на отказ е изрично запазено по подходящ начин, доставчиците на модели на ИИ с общо предназначение трябва да получат разрешение от носителите на права, ако желаят да извършват извличане на информация от текст и данни за такива произведения. |
(106) |
Доставчиците, които пускат на пазара на Съюза модели на ИИ с общо предназначение, следва да гарантират спазването на съответните задължения, установени в настоящия регламент. За тази цел доставчиците на модели на ИИ с общо предназначение следва да въведат политика за спазване на правото на Съюза в областта на авторското право и сродните му права, по-специално за установяване и съблюдаване на запазването на права, изразено от носителите на права съгласно член 4, параграф 3 от Директива (ЕС) 2019/790. Всеки доставчик, който пуска на пазара на Съюза модел на ИИ с общо предназначение, следва да спазва това задължение, независимо от юрисдикцията, в която се извършват действията, свързани с авторското право, които са в основата на обучението на тези модели на ИИ с общо предназначение. Това е необходимо, за да се гарантира равнопоставеност на доставчиците на модели на ИИ с общо предназначение, при което нито един доставчик не следва да може да получи конкурентно предимство на пазара на Съюза чрез прилагане на по-ниски стандарти в областта на авторското право от предвидените в Съюза. |
(107) |
За да се повиши прозрачността по отношение на данните, които се използват при предварителното обучение и обучението на модели на ИИ с общо предназначение, включително текст и данни, защитени от правото в областта на авторското право, е целесъобразно доставчиците на такива модели да изготвят и оповестяват публично достатъчно подробно обобщение на съдържанието, използвано за обучение на модела на ИИ с общо предназначение. Като се отчита надлежно необходимостта от защита на търговските тайни и поверителната търговска информация, това обобщение следва като цяло да бъде изчерпателно по своя обхват, а не технически подробно, за да улесни лицата със законни интереси, включително носителите на авторски права, да упражняват и прилагат правата си съгласно правото на Съюза, например чрез изброяване на основните събрани данни или набори от данни, които са използвани при обучението по модела, като например големи частни или публични бази данни или архиви с данни, и чрез предоставяне на описателно разяснение за други използвани източници на данни. Целесъобразно е Службата по ИИ да осигури образец на обобщението, който следва да бъде опростен, ефективен и да позволява на доставчика да предостави изискваното обобщение в описателна форма. |
(108) |
По отношение на задълженията, наложени на доставчиците на модели на ИИ с общо предназначение, да въведат политика за спазване на правото на Съюза в областта на авторското право и да оповестят публично обобщение на съдържанието, използвано за обучението, Службата по ИИ следва да следи дали доставчикът е изпълнил тези задължения, без да проверява или да извършва оценка на обучителните данни за всяко отделно произведение от гледна точка на спазването на авторското право. Настоящият регламент не засяга прилагането на правилата в областта на авторското право, предвидени в правото на Съюза. |
(109) |
Спазването на задълженията, приложими за доставчиците на модели на ИИ с общо предназначение, следва да бъде съизмеримо и пропорционално на вида доставчик на модели, като се изключва необходимостта от спазването им за лицата, които разработват или използват модели за непрофесионални или научноизследователски цели, които въпреки това следва да бъдат насърчавани да спазват тези изисквания на доброволна основа. Без да се засяга правото на Съюза в областта на авторското право, спазването на тези задължения следва да е надлежно съобразено с размера на доставчика и да дава възможност за опростени начини за постигане на съответствие за МСП, включително новосъздадени предприятия, които не следва да представляват прекомерни разходи и да не възпират използването на такива модели. В случай на изменение или фино регулиране на даден модел задълженията на доставчиците на модели на ИИ с общо предназначение следва да бъдат ограничени до това изменение или фино регулиране, например чрез допълване на вече съществуващата техническа документация с информация за измененията, включително нови източници на обучителни данни, като начин да се гарантира спазването на задълженията по веригата за създаване на стойност, предвидени в настоящия регламент. |
(110) |
Моделите на ИИ с общо предназначение биха могли да породят системни рискове, които включват, но не се ограничават до действителни или разумно предвидими отрицателни последици във връзка с големи аварии, смущения в критични сектори и сериозни последици за общественото здраве и безопасност; действителни или разумно предвидими отрицателни последици за демократичните процеси, обществената и икономическата сигурност; разпространението на незаконно, невярно или дискриминационно съдържание. Следва да се приеме, че системните рискове нарастват заедно със способностите и обхвата на модела, могат да възникнат по време на целия жизнен цикъл на модела и се влияят от условията на неправилна експлоатация, надеждността, добросъвестността и сигурността на модела, степента на автономност на модела, неговия достъп до инструменти, новите или комбинираните условия, стратегиите за предоставяне и разпространение, възможността за премахване на предпазните механизми и други фактори. По-специално, досега международните подходи са установили необходимостта да се обърне внимание на рисковете, произтичащи от възможна умишлена неправилна експлоатация или непреднамерени проблеми с контрола, свързан с привеждането в съответствие с човешките намерения; химичните, биологичните, радиологичните и ядрените рискове, като например начините, по които могат да бъдат намалени пречките за достъп, включително за разработване, придобиване на дизайн или използване на оръжия; офанзивните киберспособности, като например средствата, позволяващи откриване, експлоатация или оперативно използване на уязвими места; последиците от взаимодействието и използването на инструменти, включително например капацитета за контрол на физическите системи и за намеса в критичната инфраструктура; рисковете, свързани с възможността моделите да изготвят свои собствени копия, да се самовъзпроизвеждат или да обучават други модели; начините, по които моделите могат да доведат до вредна предубеденост и дискриминация с рискове за физически лица, общности или общества; улесняването на дезинформацията или накърняването на неприкосновеността на личния живот чрез заплахи за демократичните ценности и правата на човека; риска дадено събитие да доведе до верижна реакция със значителни отрицателни последици, които биха могли да засегнат цял град, цяла област на дейност или цяла общност. |
(111) |
Целесъобразно е да се създаде методика за класифициране на моделите на ИИ с общо предназначение като модели на ИИ с общо предназначение, пораждащи системен риск. Тъй като системните рискове произтичат от особено големи способности, следва да се счита, че моделът на ИИ с общо предназначение поражда системни рискове, ако има способности с висока степен на въздействие, оценени въз основа на подходящи технически инструменти и методики, или значително въздействие върху вътрешния пазар поради своя обхват. Способностите с висока степен на въздействие при моделите на ИИ с общо предназначение означава способности, които съответстват на или надхвърлят способностите, регистрирани в най-напредналите модели на ИИ с общо предназначение. Пълният набор от способности на даден модел би могъл да бъде по-добре разбран след пускането му на пазара или при взаимодействието на внедрителите с модела. В зависимост от съвременните технически постижения към момента на влизане в сила на настоящия регламент общото количество изчисления, използвани за обучението на модела на ИИ с общо предназначение, измерено при операции с плаваща запетая, е една от значимите приблизителни стойности за способностите на модела. Общото количество изчисления, използвано за обучение, включва изчисленията, използвани за всички дейности и методи, които са предназначени да подобрят способностите на модела преди внедряването, като например предварително обучение, генериране на синтетични данни и фино регулиране. Поради това следва да се определи първоначален праг за операции с плаваща запетая, който, ако бъде достигнат от даден модел на ИИ с общо предназначение, води до презумпцията, че това е модел на ИИ с общо предназначение, пораждащ системен риск. Този праг следва да бъде коригиран с течение на времето, за да отразява технологичните и промишлените промени, като например подобрения в алгоритмите или повишена ефективност на хардуера, и следва да бъде допълван с референтни стойности и показатели за способностите на модела. За тази цел Службата по ИИ следва да работи с научната общност, стопанския сектор, гражданското общество и други експерти. Праговете, както и инструментите и референтните показатели за оценка на способностите с висока степен на въздействие следва да бъдат добри прогнозни фактори за общия характер, способностите и свързания системен риск на моделите на ИИ с общо предназначение и биха могли да вземат предвид начина, по който моделът ще бъде пуснат на пазара, или броя на ползвателите, които той може да засегне. За да се допълни тази система, Комисията следва да има възможност да взема индивидуални решения за определяне на модел на ИИ с общо предназначение като модел на ИИ с общо предназначение, пораждащ системен риск, ако се установи, че този модел има способности или въздействие, равностойни на тези, обхванати от определения праг. Това решение следва да се вземе въз основа на цялостна оценка на критериите за определяне на модели на ИИ с общо предназначение, пораждащи системен риск, посочени в приложение към настоящия регламент, като например качество или размер на набора от обучителни данни, брой на бизнес ползвателите и крайните ползватели, свързаните с него условия за входящи данни и резултати, степен на автономност и възможности за увеличаване на мащаба или инструментите, до които той има достъп. При обосновано искане от доставчик, чийто модел е определен като модел на ИИ с общо предназначение, пораждащ системен риск, Комисията следва да вземе предвид искането и може да реши да направи нова преценка дали все още може да се счита, че моделът на ИИ с общо предназначение поражда системни рискове. |
(112) |
Необходимо е също така да се изясни процедурата за класифициране на модел на ИИ с общо предназначение, пораждащ системен риск. Модел на ИИ с общо предназначение, който отговаря на приложимия праг за способности с висока степен на въздействие, следва да се счита за модел на ИИ с общо предназначение, пораждащ системен риск. Доставчикът следва да уведоми Службата по ИИ най-късно две седмици след като бъдат изпълнени изискванията или стане известно, че даден модел на ИИ с общо предназначение ще отговаря на изискванията, свързани с презумпцията. Това е от особено значение във връзка с прага на операции с плаваща запетая, тъй като обучението на модели на ИИ с общо предназначение преминава през значително планиране, което включва предварително разпределяне на изчислителните ресурси, и следователно доставчиците на модели на ИИ с общо предназначение са в състояние да знаят дали техният модел би достигнал прага преди завършване на обучението. В контекста на това уведомяване доставчикът следва да може да докаже, че поради конкретните си характеристики даден модел на ИИ с общо предназначение по изключение не поражда системни рискове и че поради това не следва да бъде класифициран като модел на ИИ с общо предназначение, пораждащ системен риск. Тази информация е ценна, за да даде възможност на Службата по ИИ да предвиди пускането на пазара на модели на ИИ с общо предназначение, пораждащи системен риск, а на доставчиците да могат да започнат работа със Службата по ИИ на ранен етап. Информацията е особено важна по отношение на модели на ИИ с общо предназначение, за които се планира да бъдат пуснати с отворен код, като се има предвид, че след пускането на модел с отворен код може да е по-трудно да се приложат необходимите мерки за гарантиране на спазването на задълженията съгласно настоящия регламент. |
(113) |
Ако на Комисията стане известен фактът, че даден модел на ИИ с общо предназначение отговаря на изискванията за класифициране като модел ИИ с общо предназначение, пораждащ системен риск, който преди това не е бил известен или за който съответният доставчик не е уведомил Комисията, на Комисията следва да бъде предоставено правомощието да го определи като такъв. Системата за приоритетни сигнали следва да гарантира, че Службата по ИИ е информирана от експертната група за модели на ИИ с общо предназначение, които евентуално следва да бъдат класифицирани като модели на ИИ с общо предназначение, пораждащи системен риск, в допълнение към дейностите по мониторинг на Службата по ИИ. |
(114) |
За доставчиците на модели на ИИ с общо предназначение, пораждащи системни рискове, следва да се прилагат, в допълнение към задълженията, предвидени за доставчиците на модели на ИИ с общо предназначение, задължения, насочени към установяване и ограничаване на тези рискове и осигуряване на подходящо равнище на защита на киберсигурността, независимо дали тези модели се предоставят като самостоятелни модели, или са вградени в система с ИИ или продукт. За постигането на тези цели настоящият регламент следва да изисква от доставчиците да извършват необходимите оценки на модела, по-специално преди първото му пускане на пазара, включително провеждане и документиране на конкурентно изпитване на модели, когато е целесъобразно и чрез вътрешни или независими външни изпитвания. Освен това доставчиците на модели на ИИ с общо предназначение, пораждащи системен риск, следва непрекъснато да оценяват и ограничават системните рискове, включително например чрез въвеждане на политики за управление на риска, като например процеси на отчетност и администриране, проследяване след пускането на пазара, предприемане на подходящи мерки през целия жизнен цикъл на модела и сътрудничество със съответните участници по веригата за създаване на стойност в областта на ИИ. |
(115) |
Доставчиците на модели на ИИ с общо предназначение, пораждащи системен риск, следва да оценяват и ограничават възможните системни рискове. Ако въпреки усилията за установяване и предотвратяване на рискове, свързани с модел на ИИ с общо предназначение, който може да поражда системни рискове, разработването или използването на модела причини сериозен инцидент, доставчикът на модел на ИИ с общо предназначение следва без ненужно забавяне да проследи инцидента и да докладва на Комисията и на националните компетентни органи за всяка съответна информация и възможни коригиращи действия. Освен това доставчиците следва да гарантират подходящо равнище на защита на киберсигурността на модела и неговата физическа инфраструктура, ако е целесъобразно, през целия жизнен цикъл на модела. Защитата на киберсигурността от системни рискове, свързани с недобросъвестно използване или атаки, следва надлежно да отчита случайни фактори като изтичане на модел, неразрешено предоставяне, заобикаляне на мерките за безопасност и защита срещу кибератаки, неразрешен достъп или кражба на модел. Тази защита може да бъде улеснена чрез осигуряване на тегла на моделите, алгоритми, сървъри и набори от данни, например чрез оперативни мерки за информационна сигурност, специфични политики за киберсигурност, подходящи технически и изпитани решения и контрол на кибердостъпа и физическия достъп, съобразени със съответните обстоятелства и рискове. |
(116) |
Службата по ИИ следва да насърчава и улеснява изготвянето, прегледа и адаптирането на кодекси за добри практики, като взема предвид международните подходи. Всички доставчици на модели на ИИ с общо предназначение биха могли да бъдат поканени да участват. За да се гарантира, че кодексите за добри практики отразяват съвременните технически постижения и са надлежно съобразени с набор от различни гледни точки, Службата по ИИ следва да си сътрудничи със съответните национални компетентни органи и би могла, когато е целесъобразно, да се консултира с организации на гражданското общество и други съответни заинтересовани страни и експерти, включително експертната група, за изготвянето на такива кодекси. Кодексите за добри практики следва да включват задълженията на доставчиците на модели на ИИ с общо предназначение и на модели на ИИ с общо предназначение, пораждащи системен риск. Освен това, по отношение на системните рискове, кодексите за добри практики следва да спомогнат за установяването на таксономия на вида и естеството на системните рискове на равнището на Съюза, включително техните източници. Кодексите за добри практики следва също така да бъдат съсредоточени върху конкретни мерки за оценка и ограничаване на риска. |
(117) |
Кодексите за добри практики следва да представляват основен инструмент за правилното спазване на задълженията, предвидени в настоящия регламент за доставчиците на модели на ИИ с общо предназначение. Доставчиците следва да могат да се основават на кодекси за добри практики, за да докажат спазването на задълженията. Комисията може да реши да одобри чрез акт за изпълнение кодекс за добри практики и да осигури общата му приложимост в рамките на Съюза или, като друга възможност, да предвиди общи правила за изпълнението на съответните задължения, ако до началото на прилагането на настоящия регламент даден кодекс за добри практики не може да бъде подготвен или не се счита за подходящ от Службата по ИИ. След като даден хармонизиран стандарт бъде публикуван и оценен като подходящ за покриване на съответните задължения от Службата по ИИ, съответствието с европейски хармонизиран стандарт следва да дава на доставчиците презумпция за съответствие. Освен това доставчиците на модели на ИИ с общо предназначение следва да могат да докажат съответствие, като използват други подходящи средства, ако няма кодекси за добри практики или хармонизирани стандарти или ако решат да не разчитат на тях. |
(118) |
С настоящия регламент се уреждат системите с ИИ и моделите на ИИ, като се налагат определени изисквания и задължения за съответните пазарни участници, които ги пускат на пазара, пускат в действие или използват в Съюза, като по този начин се допълват задълженията на доставчиците на посреднически услуги, които интегрират такива системи или модели в своите услуги, които се уреждат от Регламент (ЕС) 2022/2065. Доколкото тези системи или модели са вградени в определени много големи онлайн платформи или много големи онлайн търсачки, за тях се прилага рамката за управление на риска, предвидена в Регламент (ЕС) 2022/2065. Следователно съответните задължения съгласно настоящия регламент следва да се считат за изпълнени, освен ако в такива модели не възникнат и се установят значителни системни рискове, които не са обхванати от Регламент (ЕС) 2022/2065. В тази контекст от доставчиците на много големи онлайн платформи и много големи онлайн търсачки се изисква да оценяват потенциалните системни рискове, произтичащи от проектирането, функционирането и използването на техните услуги, включително начина, по който проектирането на алгоритмични системи, използвани в услугата, може да допринесе за появата на такива рискове, както и системните рискове, произтичащи от еветуална неправилна експлоатация. Тези доставчици са длъжни също така да предприемат подходящи мерки за ограничаване при спазване на основните права. |
(119) |
Предвид бързия темп на иновациите и технологичното развитие на цифровите услуги, попадащи в обхвата на различните инструменти на правото на Съюза, по-специално като се има предвид използването и възприемането им от страна на техните получатели, системите с ИИ, които са предмет на настоящия регламент, могат да бъдат предоставяни като посреднически услуги или части от тях по смисъла на Регламент (ЕС) 2022/2065, който следва да се тълкува по технологично неутрален начин. Например системите с ИИ могат да се използват за предоставяне на онлайн търсачки, по-специално доколкото дадена система с ИИ, като например онлайн чатбот, извършва търсене по принцип на всички уебсайтове, след това интегрира резултатите в съществуващите си знания и използва актуализираните знания, за да генерира единен резултат, който съчетава различни източници на информация. |
(120) |
Освен това задълженията, наложени с настоящия регламент на доставчиците и внедрителите на някои системи с ИИ с цел откриване и оповестяване, че резултатите от тези системи са изкуствено генерирани или обработени, са от особено значение с оглед на ефективното прилагане на Регламент (ЕС) 2022/2065. Това се отнася по-специално за задълженията на доставчиците на много големи онлайн платформи или много големи онлайн търсачки да установяват и ограничават системните рискове, които могат да възникнат поради разпространението на съдържание, което е било изкуствено генерирано или обработено, и по-специално риска от действителни или предвидими отрицателни последици за демократичните процеси, гражданския дебат и изборните процеси, включително чрез дезинформация. |
(121) |
Стандартизацията следва да заема ключово място за осигуряването на технически решения на доставчиците, за да се гарантира спазването на настоящия регламент, съобразно съвременните технически постижения, с цел да се насърчат иновациите, както и конкурентоспособността и растежът на единния пазар. Съответствието с хармонизираните стандарти по смисъла на определението в член 2, точка 1, буква в) от Регламент (ЕС) № 1025/2012 на Европейския парламент и на Съвета (41), които обикновено се очаква да отразяват съвременните технически постижения, следва да бъде средство за доказване на спазването на изискванията на настоящия регламент от доставчиците. Поради това следва да се насърчава балансирано представителство на интереси с участието в разработването на стандарти на всички съответни заинтересовани страни, по-специално МСП, организации на потребители и представляващите екологични и социални интереси заинтересовани страни в съответствие с членове 5 и 6 от Регламент (ЕС) № 1025/2012. За да се улесни съответствието, исканията за стандартизация следва да се отправят от Комисията без ненужно забавяне. При изготвянето на искането за стандартизация Комисията следва да се консултира с консултативния форум и със Съвета по ИИ, за да събере съответния експертен опит. При липсата на съответни позовавания на хармонизирани стандарти обаче Комисията следва да може да установява, чрез актове за изпълнение и след консултация с консултативния форум, общи спецификации за някои изисквания съгласно настоящия регламент. Общата спецификация следва да бъде извънредно алтернативно решение, за да се улесни изпълнението на задължението на доставчика да спазва изискванията на настоящия регламент, когато искането за стандартизация не е било прието от някоя от европейските организации за стандартизация или когато съответните хармонизирани стандарти не отразяват в достатъчна степен опасенията, свързани с основните права, или когато хармонизираните стандарти не отговарят на искането, или когато има забавяне в приемането на подходящ хармонизиран стандарт. Когато това забавяне в приемането на хармонизиран стандарт се дължи на техническата сложност на стандарта, това следва да се вземе предвид от Комисията, преди да се разгледа възможността за установяване на общи спецификации. При разработването на общи спецификации Комисията се насърчава да си сътрудничи с международни партньори и международни органи за стандартизация. |
(122) |
Без да се засяга използването на хармонизирани стандарти и общи спецификации, е целесъобразно да се счита, че доставчиците на високорискова система с ИИ, която е била обучена и изпитана въз основа на данни, отразяващи конкретната географска, контекстуална, поведенческа или функционална среда, в която системата с ИИ е предназначена да бъде използвана, съответстват на съответната мярка, предвидена съгласно изискването за администриране на данни, определено в настоящия регламент. Без да се засягат изискванията, свързани с надеждността и точността, установени в настоящия регламент, в съответствие с член 54, параграф 3 от Регламент (ЕС) 2019/881 високорисковите системи с ИИ, които са сертифицирани или за които е издадена декларация за съответствие по схема за киберсигурност съгласно посочения регламент и данните за които са били публикувани в Официален вестник на Европейския съюз, следва да се считат за съответстващи на изискването за киберсигурност съгласно настоящия регламент, доколкото сертификатът за киберсигурност или декларацията за съответствие, или части от тях включват изискването за киберсигурност съгласно настоящия регламент. Това не засяга доброволния характер на тази схема за киберсигурност. |
(123) |
За да се гарантира високо ниво на надеждност на високорисковите системи с ИИ, те следва да подлежат на оценяване на съответствието преди пускането им на пазара или пускането им в действие. |
(124) |
За да се сведе до минимум тежестта за операторите и да се избегне всякакво възможно дублиране, за високорисковите системи с ИИ, свързани с продукти, които са обхванати от съществуващото законодателство на Съюза за хармонизация въз основа на новата законодателна рамка, е целесъобразно съответствието на тези системи с ИИ с изискванията на настоящия регламент да се оценява като част от оценяването на съответствието, което вече е предвидено съгласно посоченото право. Следователно приложимостта на изискванията на настоящия регламент не следва да засяга специфичната логика, методика или обща структура за оценяване на съответствието съгласно съответното законодателство на Съюза за хармонизация. |
(125) |
С оглед на сложността на високорисковите системи с ИИ и свързаните с тях рискове, е важно да се разработи подходяща процедура за оценяване на съответствието за високорискови системи с ИИ, включваща нотифицирани органи, т.нар. оценяване на съответствието от трето лице. Като се има предвид обаче настоящият опит в областта на безопасността на продуктите на професионалните сертифициращи органи преди пускането на пазара, както и различното естество на свързаните с тези продукти рискове, е целесъобразно да се ограничи, поне в началната фаза на прилагане на настоящия регламент, приложното поле на оценяването на съответствието от трето лице за високорисковите системи с ИИ, различни от свързаните с продукти. Поради това оценяването на съответствието на такива системи следва като общо правило да се извършва от доставчика на негова отговорност, като единствено изключение са системите с ИИ, предназначени да се използват за биометрични цели. |
(126) |
С цел извършване на оценяване на съответствието от трето лице, когато това се изисква, националните компетентни органи следва да нотифицират съгласно настоящия регламент нотифицираните органи, при условие че последните отговарят на набор от изисквания, по-специално относно независимостта, компетентността и отсъствието на конфликти на интереси и на подходящи изисквания за киберсигурност. Националните компетентни органи следва да изпращат нотификацията за тези органи до Комисията и другите държави членки чрез средството за електронно нотифициране, разработено и управлявано от Комисията съгласно член R23 от приложение I към Решение № 768/2008/ЕО. |
(127) |
В съответствие с ангажиментите на Съюза съгласно Споразумението на Световната търговска организация за техническите пречки пред търговията е целесъобразно да се улесни взаимното признаване на резултатите от оценяването на съответствието, получени от компетентни органи за оценяване на съответствието, независимо от територията, на която са създадени, при условие че тези органи за оценяване на съответствието, създадени съгласно правото на трета държава, отговарят на приложимите изисквания на настоящия регламент и че Съюзът е сключил споразумение в това отношение. В този контекст Комисията следва активно да проучи възможните международни инструменти за тази цел и по-специално да се стреми към сключване на споразумения за взаимно признаване с трети държави. |
(128) |
В съответствие с общоприетото понятие за съществено изменение за продукти, регулирани от законодателството на Съюза за хармонизация, е целесъобразно дадена система с ИИ да се счита за нова система с ИИ, която следва да бъде подложена на ново оценяване на съответствието всеки път, когато настъпи промяна, която може да засегне съответствието на високорискова система с ИИ с настоящия регламент (например промяна на операционната система или на софтуерната архитектура), или когато предназначението на системата се промени. Въпреки това промените на алгоритъма или на действието на системи с ИИ, които продължават да се обучават след пускането им на пазара или пускането им в действие, а именно автоматично адаптират начина, по който се изпълняват функциите, не следва да се смятат за съществено изменение, при условие че тези промени са били предварително определени от доставчика и оценени към момента на оценяването на съответствието. |
(129) |
Високорисковите системи с ИИ следва да носят маркировката „СЕ“, указваща тяхното съответствие с настоящия регламент с цел свободно движение в рамките на вътрешния пазар. За високорисковите системи с ИИ, вградени в продукт, следва да се постави физическа маркировка „СЕ“, която може да бъде допълнена с цифрова маркировка „СЕ“. За високорисковите системи с ИИ, предоставяни само в цифров вид, следва да се използва цифрова маркировка „CE“. Държавите членки не следва да създават необосновани пречки пред пускането на пазара или пускането в действие на високорискови системи с ИИ, които съответстват на изискванията, предвидени в настоящия регламент, и носят маркировката „СЕ“. |
(130) |
При определени условия бързото осигуряване на иновативни технологии може да бъде от решаващо значение за здравето и безопасността на хората, опазването на околната среда и изменението на климата, както и за обществото като цяло. Поради това е целесъобразно по извънредни причини, свързани с обществената сигурност или защитата на живота и здравето на физическите лица, опазването на околната среда и защитата на ключови промишлени и инфраструктурни активи, органите за надзор на пазара да могат да разрешават пускането на пазара или пускането в действие на системи с ИИ, които не са преминали оценяване на съответствието. В надлежно обосновани случаи, предвидени в настоящия регламент, правоохранителните органи или органите за гражданска защита могат да пуснат в действие конкретна високорискова система с ИИ без разрешението на органа за надзор на пазара, при условие че такова разрешение е поискано без ненужно забавяне по време на използването или след него. |
(131) |
С цел да се улесни работата на Комисията и на държавите членки в областта на ИИ, както и за да се повиши прозрачността пред обществеността, от доставчиците на високорискови системи с ИИ, различни от свързаните с продукти, попадащи в обхвата на съответното действащо законодателство на Съюза за хармонизация, както и от доставчиците, които считат, че дадена система с ИИ, включена в случаите на високорискова употреба, посочени в приложение към настоящия регламент, не е високорискова въз основа на дерогация, следва да се изисква да се регистрират и да впишат информацията за своята система с ИИ в база данни на ЕС, която да бъде създадена и управлявана от Комисията. Преди да използват такава система с ИИ, включена в случаите на високорискова употреба в приложение към настоящия регламент, внедрителите на високорискови системи с ИИ, които са публични органи, агенции или структури, следва да се регистрират в тази база данни и да изберат системата, която възнамеряват да използват. Останалите внедрители следва да имат право да направят това на доброволна основа. Този раздел на базата данни на ЕС следва да бъде публично достъпен, безплатен, а информацията следва да бъде лесна за навигация, разбираема и машинночетима. Базата данни на ЕС следва също така да бъде лесна за ползване, например като осигурява функции за търсене, включително чрез ключови думи, за да се даде възможност на широката общественост да намери съответната информация, която трябва да бъде предоставена при регистрацията на високорискови системи с ИИ, както и информация за случаите на употреба на високорисковите системи с ИИ, посочени в приложение към настоящия регламент, на които отговарят високорисковите системи с ИИ. Всяко съществено изменение на високорискови системи с ИИ също следва да се регистрира в базата данни на ЕС. За високорисковите системи с ИИ в правоохранителната област и в областта на управлението на миграцията, убежището и граничния контрол задълженията за регистрация следва да се изпълняват в защитен непубличен раздел на базата данни на ЕС. Достъпът до защитения непубличен раздел следва да бъде строго ограничен до Комисията, както и до органите за надзор на пазара по отношение на техния национален раздел на тази база данни. Високорисковите системи с ИИ в областта на критичната инфраструктура следва да се регистрират само на национално равнище. Комисията следва да бъде администратор на базата данни на ЕС в съответствие с Регламент (ЕС) 2018/1725. За да се гарантира цялостна готовност на базата данни при нейното въвеждане, процедурата по създаване на базата данни на ЕС следва да включва разработването на функционални спецификации от Комисията и независим одитен доклад. Комисията следва да вземе предвид рисковете, свързани с киберсигурността, когато изпълнява задачите си като администратор на данни по отношение на базата данни на ЕС. За да се увеличи максимално достъпността и използването на базата данни на ЕС от обществеността, базата данни на ЕС, включително информацията, предоставяна чрез нея, следва да отговаря на изискванията на Директива (ЕС) 2019/882. |
(132) |
Някои системи с ИИ, предназначени да взаимодействат с физически лица или да генерират съдържание, могат да породят особени рискове от измама на основата на прилика или заблуда, независимо дали отговарят на критериите за високорискови системи, или не. Поради това при определени обстоятелства при използването на тези системи следва да се прилагат специални задължения за прозрачност, без да се засягат изискванията и задълженията за високорискови системи с ИИ и при прилагане на целеви изключения с цел да се вземат предвид особените правоохранителни нужди. По-специално, физическите лица следва да бъдат уведомявани, че взаимодействат със система с ИИ, освен ако това не е очевидно от гледна точка на физическо лице, което е в разумни граници осведомено, наблюдателно и съобразително предвид обстоятелствата и контекста на използване. При изпълнението на това задължение следва да се вземат предвид характеристиките на физическите лица, принадлежащи към уязвими групи поради своята възраст или увреждане, доколкото системата с ИИ е предназначена да взаимодейства и с тези групи. Наред с това, физическите лица следва да бъдат уведомявани, когато са изложени на системи с ИИ, които чрез обработване на биометричните им данни могат да определят или да направят изводи за емоциите или намеренията на тези лица или да ги отнесат към конкретни категории. Подобни конкретни категории може да са свързани с аспекти като пол, възраст, цвят на косата, цвят на очите, татуировки, личностни черти, етнически произход, лични предпочитания и интереси. Тази информация и уведомленията следва да се предоставят в достъпни формати за хората с увреждания. |
(133) |
Различни системи с ИИ могат да генерират големи количества синтетично съдържание, което хората все по-трудно могат да разграничават от генерирано от човека и автентично съдържание. Широката наличност и нарастващият капацитет на тези системи оказват значително влияние върху почтеността и доверието в информационната екосистема, което поражда нови рискове от масивно навлизане на невярна информация и манипулиране, измами на основата на прилика и заблуда на потребителите. С оглед на това въздействие, бързия темп на развитие на технологиите и необходимостта от нови методи и техники за проследяване на произхода на информацията е целесъобразно да се изисква от доставчиците на тези системи да вграждат технически решения, позволяващи маркиране в машинночетим формат и разпознаване, че резултатът е генериран или обработен от система с ИИ, а не от човек. Тези техники и методи следва да бъдат достатъчно надеждни, оперативно съвместими, ефективни и сигурни, доколкото това е технически осъществимо, и да се основават на наличните техники или на комбинация от такива техники, например водни знаци, идентифициране на метаданни, криптографски методи за доказване на произхода и автентичността на съдържанието, методи за регистриране, пръстови отпечатъци или други техники, в зависимост от случая. При изпълнението на това задължение доставчиците следва също така да отчитат особеностите и ограниченията на различните видове съдържание и технологичното и пазарното развитие в тази област, които намират отражение в общопризнатото най-съвременно равнище на технологиите. Тези техники и методи могат да бъдат приложени на равнището на системата с ИИ или на равнището на модела на ИИ, включително при модели на ИИ с общо предназначение, генериращи съдържание, като по този начин се улеснява изпълнението на това задължение от доставчика надолу по веригата на системата с ИИ. За да бъде пропорционално това задължение за маркиране, е целесъобразно да се предвиди то да няма приложение при системи с ИИ, изпълняващи предимно помощна функция при стандартно редактиране, или за системи с ИИ, които не променят съществено входящите данни, въведени от внедрителя, или тяхната семантика. |
(134) |
Освен техническите решения, приложени от доставчиците на системата с ИИ, и внедрителите, които използват система с ИИ за генериране или обработване на изображения, аудио или видео съдържание, наподобяващи до голяма степен съществуващи лица, предмети, места, субекти или събития, които е вероятно някой да приеме за истински или достоверни (т.нар. „убедителни фалшификати“), следва също по ясен и разпознаваем начин да оповестят обстоятелството, че съдържанието е било изкуствено генерирано или обработено, като обозначат по подходящ начин продукта от работата на ИИ и разкрият неговия изкуствен произход. Спазването на това задължение за прозрачност не следва да се тълкува в смисъл, че използването на системата с ИИ или резултатите от нея възпрепятства правото на свобода на изразяване на мнение и правото на свобода на изкуствата и науките, гарантирани от Хартата, по-специално когато съдържанието е част от произведение или програма, които имат очевиден творчески, сатиричен, артистичен, художествен или подобен характер, при прилагане на подходящи гаранции за правата и свободите на трети лица. В тези случаи задължението за прозрачност по отношение на убедителните фалшификати, предвидено в настоящия регламент, се ограничава до оповестяване на наличието на такова генерирано или обработено съдържание по подходящ начин, който не възпрепятства показването или използването на произведението, включително нормалната му експлоатация и употреба, като същевременно се запазват полезността и качеството на произведението. Освен това е целесъобразно да се предвиди подобно задължение за оповестяване във връзка с текст, който е генериран или обработен от ИИ, доколкото той е публикуван с цел информиране на обществеността по въпроси от обществен интерес, освен ако генерираното от ИИ съдържание не е преминало преглед от човек или подложено на редакторски контрол и редакционната отговорност за публикуването му се носи от физическо или юридическо лице. |
(135) |
Без да се засягат задължителният характер и пълната приложимост на задълженията за прозрачност, Комисията може също да насърчава и улеснява изготвянето на кодекси за добри практики на равнището на Съюза с цел да се допринесе за ефективното изпълнение на задълженията за откриване и обозначаване на изкуствено генерирано или обработено съдържание, включително да се съдейства във връзка с практически правила, които да осигурят при необходимост достъпност на механизмите за откриване и да подпомагат сътрудничеството с други участници по веригата за създаване на стойност, разпространение на съдържание или проверка на неговата автентичност и произход, за да се даде възможност на обществеността действително да разпознава генерираното от ИИ съдържание. |
(136) |
Задълженията, наложени в настоящия регламент на доставчиците и внедрителите на някои системи с ИИ с цел откриване и обозначаване, че резултатите от тези системи са изкуствено генерирани или обработени, са от особено значение с оглед на ефективното прилагане на Регламент (ЕС) 2022/2065. Това се отнася по-специално за задълженията на доставчиците на много големи онлайн платформи или много големи онлайн търсачки да установяват и ограничават системните рискове, които могат да възникнат поради разпространението на съдържание, което е било изкуствено генерирано или обработено, и по-специално риска от действителни или предвидими отрицателни последици за демократичните процеси, гражданския дебат и изборните процеси, включително чрез дезинформация. Изискването съгласно настоящия регламент за обозначаване на съдържание, генерирано от системи с ИИ, не засяга задължението по член 16, параграф 6 от Регламент (ЕС) 2022/2065 на доставчиците на хостинг услуги да обработват уведомления за незаконно съдържание, получени съгласно член 16, параграф 1 от посочения регламент, и не следва да влияе на оценката и решението относно незаконния характер на конкретното съдържание. Тази преценка следва да се извършва единствено с оглед на правилата, уреждащи законосъобразността на съдържанието. |
(137) |
Спазването на задълженията за прозрачност относно системите с ИИ, обхванати от настоящия регламент, не следва да се тълкува като знак, че използването на системата с ИИ или на резултатите от нея е законосъобразно съгласно настоящия регламент или друго законодателство на Съюза и на държава членка, и не следва да засяга други задължения за прозрачност за внедрители на системи с ИИ, предвидени в правото на Съюза или в националното право. |
(138) |
ИИ е бързо развиваща се съвкупност от технологии, която изисква регулаторен надзор и безопасно и контролирано пространство за експериментиране, като същевременно се гарантира отговорното новаторство и интегрирането на подходящи предпазни мерки и мерки за ограничаване на риска. За да се гарантира благоприятна за иновациите, ориентирана към бъдещето и устойчива на смущения правна рамка, държавите членки следва да гарантират, че националните им компетентни органи създават най-малко една регулаторна лаборатория в областта на ИИ на национално равнище, за да се улесни разработването и изпитването на иновативни системи с ИИ под строг регулаторен надзор, преди тези системи да бъдат пуснати на пазара или пуснати в действие по друг начин. Държавите членки биха могли да изпълнят това задължение и чрез участие във вече съществуващи регулаторни лаборатории или съвместно създаване на лаборатория с компетентните органи на една или повече държави членки, доколкото това участие осигурява равностойно национално покритие за участващите държави членки. Регулаторните лаборатории в областта на ИИ могат да бъдат създадени във физическа, цифрова или хибридна форма и да включват както физически, така и цифрови продукти. Създаващите ги органи следва също така да гарантират, че регулаторните лаборатории в областта на ИИ разполагат с подходящи ресурси за функционирането си, включително финансови и човешки ресурси. |
(139) |
Целите на регулаторните лаборатории в областта на ИИ следва да бъдат: насърчаване на иновациите в областта на ИИ чрез създаване на контролирана среда за експериментиране и изпитване във фазата на разработване и преди пускането на пазара с цел да се гарантира съответствието на иновативните системи с ИИ с настоящия регламент и друго съответно право на Съюза и национално право. В допълнение регулаторните лаборатории в областта на ИИ следва да имат за цел подобряване на правната сигурност за новаторите и надзора и разбирането от страна на компетентните органи на възможностите, нововъзникващите рискове и въздействието на използването на ИИ, улесняване на натрупването на регулаторен опит от страна на органите и предприятията, включително с оглед на бъдещи изменения на правната рамка, подкрепа за сътрудничеството и обмена на най-добри практики с органите, участващи в регулаторната лаборатория в областта на ИИ, както и ускоряване на достъпа до пазарите, включително чрез премахване на пречките пред МСП, включително новосъздадените предприятия. Следва да се предостави широк достъп до регулаторните лаборатории в областта на ИИ на територията на Съюза, като се обърне специално внимание на достъпността им за МСП, включително новосъздадените предприятия. Участието в регулаторните лаборатории в областта на ИИ следва да е насочено към въпроси, които пораждат правна несигурност за доставчиците и потенциалните доставчици при въвеждането на иновации и експериментирането с ИИ в Съюза и да допринася за основан на факти регулаторен опит. Поради това надзорът върху системите с ИИ в регулаторните лаборатории в областта на ИИ следва да обхваща тяхното разработване, обучение, изпитване и валидиране, преди системите да бъдат пуснати на пазара или пуснати в действие, както и концепцията за и настъпването на съществено изменение, което може да изисква провеждането на нова процедура за оценяване на съответствието. Всички значителни рискове, установени по време на разработването и изпитването на такива системи с ИИ, следва да водят до адекватни ограничителни мерки, а при липса на такива — до спиране на процеса на разработване и изпитване. Когато е целесъобразно, националните компетентни органи, които създават регулаторни лаборатории в областта на ИИ, следва да си сътрудничат с други съответни органи, включително упражняващите надзор върху защитата на основните права, и биха могли да позволят привличането на други участници в екосистемата на ИИ, като например национални или европейски организации за стандартизация, нотифицирани органи, структури за изпитване и експериментиране, лаборатории за научни изследвания и експерименти, европейски цифрови иновационни центрове и съответни заинтересовани страни и организации на гражданското общество. За да се гарантират еднакво прилагане в целия Съюз и икономии на мащаба, е целесъобразно да се установят общи правила за създаването на регулаторните лаборатории в областта на ИИ и рамка за сътрудничество между съответните органи, участващи в надзора на лабораториите. Регулаторните лаборатории в областта на ИИ, създадени съгласно настоящия регламент, не следва да засягат друго право, допускащо създаването на други лаборатории и чиято цел е да се гарантира спазването на правни норми извън настоящия регламент. Когато е целесъобразно, съответните компетентни органи, които отговарят за други регулаторни лаборатории, следва да преценят доколко би било полезно използването им и с цел осигуряване на съответствието на системите с ИИ с настоящия регламент. По споразумение между националните компетентни органи и участниците в регулаторната лаборатория в областта на ИИ в такава лаборатория също така може да се извършва изпитване в реални условия и върху него да се осъществява надзор. |
(140) |
В съответствие с член 6, параграф 4 и член 9, параграф 2, буква ж) от Регламент (ЕС) 2016/679 и членове 5, 6 и 10 от Регламент (ЕС) 2018/1725 и без да се засягат член 4, параграф 2 и член 10 от Директива (ЕС) 2016/680, настоящият регламент следва да предостави на доставчиците и потенциалните доставчици в регулаторните лаборатории в областта на ИИ правното основание за използването, само при определени условия, на лични данни, събирани за други цели, с оглед на разработването на определени системи с ИИ в обществен интерес в рамките на регулаторната лаборатория в областта на ИИ. Всички други задължения на администраторите на данни и правата на субектите на данни съгласно регламенти (ЕС) 2016/679 и (ЕС) 2018/1725 и Директива (ЕС) 2016/680 остават приложими. По-специално настоящият регламент не следва да предоставя правно основание по смисъла на член 22, параграф 2, буква б) от Регламент (ЕС) 2016/679 и член 24, параграф 2, буква б) от Регламент (ЕС) 2018/1725. Доставчиците и потенциалните доставчици в регулаторната лаборатория в областта на ИИ следва да осигурят подходящи гаранции и да си сътрудничат с компетентните органи, включително като следват техните насоки и действат бързо и добросъвестно, за да ограничат по подходящ начин всички установени значителни рискове за безопасността, здравето и основните права, които могат да се проявят по време на разработването, изпитването и експериментирането в лабораторията. |
(141) |
За да се ускори процесът на разработване и пускане на пазара на високорисковите системи с ИИ, чийто списък се съдържа в приложение към настоящия регламент, е важно доставчиците или потенциалните доставчици на такива системи да могат да ползват специален режим за изпитване на тези системи в реални условия и без да участват в регулаторна лаборатория в областта на ИИ. В такива случаи обаче, предвид евентуалните последици, които това изпитване може да има върху хората, следва да се гарантира, че настоящият регламент въвежда подходящи и достатъчни гаранции и условия по отношение на доставчиците или потенциалните доставчици. Тези гаранции следва да включват, наред с другото, искането на информирано съгласие от физическите лица за участие в изпитвания в реални условия, освен в правоохранителната област, когато искането на информирано съгласие би попречило на изпитването на системата с ИИ. Съгласието на субектите на данни да участват в такива изпитвания в съответствие с настоящия регламент е различно от съгласието на субектите на данни личните им данни да бъдат обработвани съгласно съответното законодателство за защита на данните и не засяга това съгласие. Важно е също така рисковете да бъдат сведени до минимум и компетентните органи да могат да упражняват надзор, във връзка с което да се въведат изисквания потенциалните доставчици да представят на компетентния орган за надзор на пазара план за изпитване в реални условия, да регистрират изпитването в специални раздели на базата данни на ЕС с ограничен брой изключения, да определят ограничения на срока, в който може да се извърши изпитването, както и да се изискват допълнителни гаранции за лица, принадлежащи към определени уязвими групи, и писмено споразумение, в което се установяват функциите и отговорностите на потенциалните доставчици и внедрителите и ефективен надзор от страна на компетентния персонал, участващ в изпитванията в реални условия. Освен това е целесъобразно да се предвидят допълнителни гаранции, за да се гарантира, че прогнозите, препоръките или решенията на дадена система с ИИ могат ефективно да се отменят и пренебрегнат, както и че личните данни са защитени и се заличават, след като субектите в изпитването са оттеглили съгласието си за участие в изпитването, без да се засягат правата им като субекти на данни съгласно правото на Съюза в областта на защитата на данните. По отношение на предаването на данни е целесъобразно също така да се предвиди, че данните, събирани и обработвани за целите на изпитването в реални условия, следва да се предават на трети държави само при прилагане на подходящи и приложими гаранции съгласно правото на Съюза, по-специално в съответствие с основанията за предаване на лични данни съгласно правото на Съюза относно защитата на данните, докато по отношение на неличните данни се прилагат подходящи гаранции в съответствие с правото на Съюза, като например регламенти (ЕС) 2022/868 (42) и (ЕС) 2023/2854 (43) на Европейския парламент и на Съвета. |
(142) |
За да се гарантира, че ИИ води до благоприятни за обществото и околната среда резултати, държавите членки се насърчават да подкрепят и поощряват научните изследвания и разработването на решения в областта на ИИ, способстващи за постигането на такива резултати — например основани на ИИ решения за увеличаване на достъпността за хората с увреждания, противодействие на социално-икономическите неравенства или постигане на екологичните цели, чрез разпределяне на достатъчно ресурси, включително публично финансиране и финансиране от Съюза, и когато е целесъобразно и при условие че са изпълнени критериите за допустимост и подбор, разглеждане на проекти, които преследват тези цели. Такива проекти следва да се основават на принципа на интердисциплинарното сътрудничество между разработчици на ИИ, експерти по въпросите на неравенството и недискриминацията, достъпността, правата на потребителите, правата, свързани с околната среда, и цифровите права, както и академичните среди. |
(143) |
С цел насърчаване и защита на иновациите е важно да се обърне специално внимание на интересите на МСП, включително новосъздадените предприятия, които са доставчици или внедрители на системи с ИИ. За тази цел държавите членки следва да разработят инициативи, насочени към тези оператори, включително за повишаване на осведомеността и съобщаването на информация. Държавите членки следва да осигуряват на МСП, включително новосъздадените предприятия, които имат седалище или клон в Съюза, приоритетен достъп до регулаторните лаборатории в областта на ИИ, при условие че те отговарят на условията за допустимост и на критериите за подбор, без да се възпрепятства достъпът на други доставчици и потенциални доставчици до лабораториите, при условие че са изпълнени същите условия и критерии. Държавите членки следва да използват наличните, а когато е целесъобразно - да създават нови, специални канали за комуникация с МСП, новосъздадени предприятия, внедрители, други новатори и - в зависимост от случая - органи на местна власт, с цел да подпомагат МСП по пътя им на развитие чрез даване на насоки и отговаряне на запитвания във връзка с прилагането на настоящия регламент. Когато е целесъобразно, тези канали следва да работят заедно, за да се създадат полезни взаимодействия и да се гарантира еднообразност на насоките за МСП, включително новосъздадените предприятия, и внедрителите. Наред с това държавите членки следва да улесняват участието на МСП и на други заинтересовани страни в процесите на разработване на стандарти. Освен това, при определянето на таксите за оценяване на съответствието нотифицираните органи следва да вземат предвид особените интереси и нужди на доставчиците, които са МСП, включително новосъздадени предприятия. Комисията следва да оценява редовно разходите на МСП, включително новосъздадените предприятия, за сертифициране и привеждане в съответствие чрез прозрачни консултации и следва да работи с държавите членки за понижаването на тези разходи. Така например разходите за превод, свързани със задължителната документация и комуникацията с органите, могат да представляват значителни разходи за доставчиците и другите оператори, по-специално за по-малките. Държавите членки следва по възможност да гарантират, че един от езиците, определени и приети от тях за съответната документация на доставчиците и за комуникация с операторите, е език, които в значителна степен се разбира от възможно най-голям брой трансгранични внедрители. За да се отговори на специфичните нужди на МСП, включително новосъздадените предприятия, Комисията следва да осигури стандартизирани образци за областите, обхванати от настоящия регламент, по искане на Съвета по ИИ. Освен това Комисията следва да допълни усилията на държавите членки, като осигури единна информационна платформа с лесна за ползване информация относно настоящия регламент, предназначена за всички доставчици и внедрители, като организира подходящи комуникационни кампании за повишаване на осведомеността относно задълженията, произтичащи от настоящия регламент, и като оценява и насърчава сближаването на най-добрите практики, прилагани в рамките на процедурите за възлагане на обществени поръчки във връзка със системите с ИИ. Средните предприятия, които доскоро са съответствали на критериите за малки предприятия по смисъла на приложението към Препоръка 2003/361/ЕО на Комисията (44), следва да имат достъп до тези мерки за подкрепа, тъй като е възможно тези нови средни предприятия да не разполагат с правните ресурси и обучението, необходими, за да се гарантира правилното разбиране и спазване на настоящия регламент. |
(144) |
С цел насърчаване и защита на иновациите платформата за ИИ по заявка, всички съответни програми и проекти на Съюза за финансиране, като например програмите „Цифрова Европа“ и „Хоризонт Европа“, изпълнявани от Комисията и държавите членки на национално равнище или на равнището на Съюза, следва, когато е целесъобразно, да допринасят за постигането на целите на настоящия регламент. |
(145) |
За да се сведат до минимум рисковете за правоприлагането, произтичащи от липсата на знания и експертен опит на пазара, както и за да се улесни спазването на задълженията по настоящия регламент от страна на доставчиците, по-специално МСП, включително новосъздадените предприятия, и нотифицираните органи, платформата за ИИ по заявка, европейските цифрови иновационни центрове и структурите за изпитване и експериментиране, създадени от Комисията и държавите членки на национално равнище или на равнището на Съюза, следва да допринасят за прилагането на настоящия регламент. В рамките на своята мисия и области на компетентност платформата за ИИ по заявка, европейските цифрови иновационни центрове и структурите за изпитване и експериментиране могат да предоставят по-специално техническа и научна подкрепа на доставчиците и нотифицираните органи. |
(146) |
Освен това, предвид твърде малкия размер на някои оператори и с цел да се гарантира пропорционалност по отношение на разходите за иновации, е целесъобразно да се даде възможност на микропредприятията да изпълнят едно от най-скъпо струващите задължения, а именно създаването на система за управление на качеството, по опростен начин, което би намалило административната тежест и разходите за тези предприятия, без да се засягат равнището на защита и необходимостта от съответствие с изискванията за високорисковите системи с ИИ. Комисията следва да разработи насоки с цел да се определят елементите на системата за управление на качеството, които трябва да бъдат изпълнени по този опростен начин от микропредприятията. |
(147) |
Целесъобразно е Комисията да улеснява, доколкото е възможно, достъпа до структури за изпитване и експериментиране на органи, групи или лаборатории, създадени или акредитирани съгласно съответното законодателство на Съюза за хармонизация, които изпълняват задачи в контекста на оценяването на съответствието на продукти или изделия, попадащи в обхвата на посоченото законодателство на Съюза за хармонизация. Такъв е по-специално случаят с експертните групи, специализираните лаборатории и референтните лаборатории в областта на медицинските изделия съгласно регламенти (ЕС) 2017/745 и (ЕС) 2017/746. |
(148) |
С настоящия регламент следва да се създаде рамка за управление, която да позволява координация и подкрепа при прилагането на настоящия регламент на национално равнище, както и изграждане на капацитет на равнището на Съюза и включване на заинтересованите страни в областта на изкуствения интелект. Ефективното изпълнение и прилагане на настоящия регламент изискват рамка за управление, която да дава възможност за координация и изграждане на експертен опит на централно ниво, на равнището на Съюза. Службата по ИИ беше създадена с решение на Комисията (45) с мисията да развива експертния опит и способностите на Съюза в областта на ИИ и да допринася за прилагането на правото на Съюза в областта на ИИ. Държавите членки следва да улесняват изпълнението на задачите на Службата по ИИ с цел да се подпомогне развитието на експертния опит на Съюза и на способностите на равнището на Съюза и да се укрепи функционирането на цифровия единен пазар. Наред с това следва да бъдат създадени Съвет по ИИ, съставен от представители на държавите членки, експертна група, с която да се привлече научната общност, и консултативен форум, чрез който заинтересованите страни да допринасят за прилагането на настоящия регламент както на национално равнище, така и на равнището на Съюза. Развитието на експертния опит и способностите на Съюза следва да включва също така използването на съществуващите ресурси и експертен опит, по-специално чрез полезни взаимодействия със структури, изградени в контекста на прилагането в рамките на Съюза на друго законодателство, както и полезни взаимодействия със свързани инициативи на равнището на Съюза, например Съвместното предприятие за европейски високопроизводителни изчисления (EuroHPC) и съоръженията за изпитване и експериментиране с ИИ в рамките на програмата „Цифрова Европа“. |
(149) |
С цел подпомагане на безпрепятственото, ефективно и хармонизирано прилагане на настоящия регламент следва да бъде създаден Съвет по ИИ. Той следва да отразява различните интереси в рамките на екосистемата на ИИ и да се състои от представители на държавите членки. Съветът по ИИ следва да отговаря за изпълнението на редица консултативни задачи, включително да приема становища, препоръки, съвети или да допринася за приемането на насоки по въпроси, свързани с изпълнението на настоящия регламент, включително по въпроси на прилагането, техническите спецификации или съществуващите стандарти във връзка с изискванията, установени в настоящия регламент, и да консултира Комисията и държавите членки и техните национални компетентни органи по конкретни въпроси, свързани с ИИ. За да се осигури известна гъвкавост за държавите членки при определянето на техните представители в Съвета по ИИ, представители могат да бъдат всички лица, принадлежащи към публични субекти, които следва да разполагат със съответните компетентност и правомощия да улесняват координацията на национално равнище и да допринасят за изпълнението на задачите на Съвета по ИИ. Съветът по ИИ следва да създаде две постоянни подгрупи, които да осигуряват платформа за сътрудничество и обмен между органите за надзор на пазара и нотифициращите органи по въпроси, свързани съответно с надзора на пазара и нотифицираните органи. Постоянната подгрупа за надзор на пазара следва да действа като група за административно сътрудничество (ADCO група) за настоящия регламент по смисъла на член 30 от Регламент (ЕС) 2019/1020. В съответствие с член 33 от същия регламент Комисията следва да подпомага дейностите на постоянната подгрупа за надзор на пазара чрез извършване на оценки или проучвания на пазара, по-специално с цел да се установят аспекти на настоящия регламент, изискващи специфична и спешна координация между органите за надзор на пазара. Съветът по ИИ може да създаде други постоянни или временни подгрупи, когато това е целесъобразно за разглеждането на конкретни въпроси. Съветът по ИИ следва също така да си сътрудничи, когато е целесъобразно, със съответните органи, експертни групи и мрежи на Съюза, извършващи дейност в контекста на съответното право на Съюза, включително по-специално извършващите дейност съгласно правото на Съюза в областта на данните и цифровите продукти и услуги. |
(150) |
За да се гарантира участието на заинтересованите страни в изпълнението и прилагането на настоящия регламент, следва да се създаде консултативен форум, който да консултира и да предоставя технически експертни становища на Съвета по ИИ и на Комисията. За да се гарантира разнообразно и балансирано представителство на заинтересованите страни, свързани с търговски и нетърговски интереси и, в рамките на категорията на търговските интереси, на МСП и други предприятия, консултативният форум следва да включва, наред с другото, стопанския сектор, новосъздадените предприятия, МСП, академичните среди, гражданското общество, включително социалните партньори, както и Агенцията за основните права, ENISA, Европейския комитет по стандартизация (CEN), Европейския комитет за стандартизация в електротехниката (CENELEC) и Европейския институт за стандарти в далекосъобщенията (ETSI). |
(151) |
За да се подпомогне изпълнението и прилагането на настоящия регламент, и по-специално дейностите по мониторинг на Службата по ИИ по отношение на моделите на ИИ с общо предназначение, следва да се създаде експертна група, съставена от независими експерти. Независимите експерти, които влизат в състава на експертната група, следва да бъдат подбрани въз основа на актуални научни или технически експертни познания в областта на ИИ, да изпълняват задачите си безпристрастно и обективно и да гарантират поверителността на информацията и данните, получени при изпълнението на задачите и дейностите си. За да се даде възможност за укрепване на националния капацитет, необходим за ефективното прилагане на настоящия регламент, държавите членки следва да могат да искат съдействие от експертите, влизащи в състава на експертната група, във връзка с дейностите си по прилагане на регламента. |
(152) |
С цел да се допринесе за адекватното правоприлагане по отношение на системите с ИИ и да се укрепи капацитетът на държавите членки, следва да се създадат структури на Съюза за подкрепа на изпитванията в областта на ИИ, които да бъдат на разположение на държавите членки. |
(153) |
Държавите членки заемат ключово място в прилагането и изпълнението на настоящия регламент. Във връзка с това всяка държава членка следва да определи най-малко един нотифициращ орган и най-малко един орган за надзор на пазара в качеството им на национални компетентни органи за целите на надзора върху прилагането и изпълнението на настоящия регламент. Държавите членки могат да решат да определят всякакъв вид публичен субект да изпълнява задачите на националните компетентни органи по смисъла на настоящия регламент, в съответствие със своите конкретни национални организационни характеристики и нужди. С цел да се повиши ефективността на организацията от страна на държавите членки и да се създаде единно звено за контакт с обществеността и други партньори на равнището на държавите членки и на Съюза, всяка държава членка следва да определи орган за надзор на пазара, който да изпълнява функциите на единно звено за контакт. |
(154) |
Националните компетентни органи следва да упражняват правомощията си независимо, безпристрастно и непредубедено, за да бъдат спазени принципите за обективност в дейностите и задачите им и да се гарантира прилагането и изпълнението на настоящия регламент. Членовете на тези органи следва да се въздържат от всякакви действия, несъвместими с техните задължения, и да спазват правилата за поверителност съгласно настоящия регламент. |
(155) |
За да се гарантира, че доставчиците на високорискови системи с ИИ могат да вземат предвид опита от използването на високорискови системи с ИИ с цел да подобряват своите системи и процеса на проектиране и разработване, или че могат своевременно да предприемат евентуални коригиращи действия, всички доставчици следва да разполагат със система за мониторинг след пускането на пазара. Когато е целесъобразно, мониторингът след пускането на пазара следва да включва анализ на взаимодействието с други системи с ИИ, включително други устройства и софтуер. Мониторингът след пускането на пазара не следва да обхваща чувствителни оперативни данни на внедрители, които са правоохранителни органи. Тази система е от ключово значение и с оглед на това да се гарантира, че възможните рискове, произтичащи от системите с ИИ, които продължават да се обучават след пускането им на пазара или пускането им в действие, могат да бъдат преодолени по-ефикасно и своевременно. В този контекст от доставчиците следва също да се изисква да разполагат със система за докладване до съответните органи за всякакви сериозни инциденти, които произтичат от използването на техните системи с ИИ и представляват инцидент или неизправност, водещ(а) до смърт или сериозно увреждане на здравето, сериозно и необратимо нарушаване на управлението и експлоатацията на критична инфраструктура, нарушения на задължения съгласно правото на Съюза, имащо за цел да защитава основните права, или сериозно увреждане на имущество или на околната среда. |
(156) |
С оглед да се гарантира подходящо и ефективно прилагане на изискванията и задълженията, установени с настоящия регламент, който е част от законодателството на Съюза за хармонизация, системата за надзор на пазара и съответствие на продуктите, установена с Регламент (ЕС) 2019/1020, следва да се прилага в своята цялост. Органите за надзор на пазара, определени съгласно настоящия регламент, следва да разполагат с всички правомощия за осигуряване на спазването, установени съгласно настоящия регламент и Регламент (ЕС) 2019/1020, и следва да упражняват своите правомощия и да изпълняват своите задължения независимо, безпристрастно и непредубедено. Въпреки че за по-голямата част от системите с ИИ не се прилагат специални изисквания и задължения съгласно настоящия регламент, органите за надзор на пазара могат да предприемат мерки по отношение на всички системи с ИИ, когато те представляват риск в съответствие с настоящия регламент. Поради особеното естество на институциите, агенциите и органите на Съюза, попадащи в обхвата на настоящия регламент, е целесъобразно Европейският надзорен орган по защита на данните да бъде определен за компетентен орган за надзор на пазара по отношение на тях. Това не следва да засяга определянето на национални компетентни органи от държавите членки. Дейностите по надзор на пазара не следва да засягат способността на поднадзорните субекти да изпълняват задачите си по независим начин, когато тази независимост се изисква от правото на Съюза. |
(157) |
Настоящият регламент не засяга компетентността, задачите, правомощията и независимостта на съответните национални публични органи или структури, които упражняват надзор върху прилагането на правото на Съюза за защита на основните права, включително органите по въпросите на равенството и органите за защита на данните. Когато това е необходимо за упражняването на техните правомощия, тези национални публични органи или структури следва също така да имат достъп до всяка документация, изготвена съгласно настоящия регламент. Следва да се установи специална предпазна процедура, за да се гарантира адекватното и навременно осигуряване на спазването по отношение на системите с ИИ, които представляват риск за здравето, безопасността и основните права. Процедурата за такива системи с ИИ, представляващи риск, следва да се прилага за високорисковите системи с ИИ, представляващи риск, забранените системи, които са били пуснати на пазара, пуснати в действие или използвани в нарушение на определените в настоящия регламент забранени практики, и системите с ИИ, които са били предоставени в нарушение на установените в настоящия регламент изисквания за прозрачност и представляващи риск. |
(158) |
Правото на Съюза в областта на финансовите услуги включва правила и изисквания за вътрешно управление и управление на риска, които са приложими за регулираните финансови институции в процеса на предоставяне на тези услуги, включително когато те използват системи с ИИ. За да се гарантира съгласувано изпълнение и прилагане на задълженията по настоящия регламент и на съответните правила и изисквания съгласно правните актове на Съюза в областта на финансовите услуги, органите, компетентни за надзора и прилагането съгласно тези правни актове, и по-специално компетентните органи по смисъла на Регламент (ЕС) 575/2013 на Европейския парламент и на Съвета (46) и директиви 2008/48/ЕО (47), 2009/138/ЕО (48), 2013/36/ЕС (49), 2014/17/ЕС (50) и (ЕС) 2016/97 (51) на Европейския парламент и на Съвета, следва да бъдат определени, в рамките на съответната им компетентност, за компетентни органи за целите на надзора на прилагането на настоящия регламент, включително за дейностите по надзор на пазара по отношение на системите с ИИ, предоставяни или използвани от регулирани и поднадзорни финансови институции, освен ако държавите членки не решат да определят друг орган, който да изпълнява тези задачи по надзор на пазара. Тези компетентни органи следва да разполагат с всички правомощия съгласно настоящия регламент и Регламент (ЕС) 2019/1020 за налагане на изпълнението на изискванията и задълженията по настоящия регламент, включително правомощия за извършване на дейности по надзор след пускане на пазара, които могат да бъдат включени, когато е целесъобразно, в техните налични надзорни механизми и процедури съгласно съответното право на Съюза в областта на финансовите услуги. Целесъобразно е да се предвиди, че когато действат като органи за надзор на пазара съгласно настоящия регламент, националните органи, отговорни за надзора над кредитните институции, регулирани съгласно Директива 2013/36/ЕС, които участват в единния надзорен механизъм, създаден с Регламент (ЕС) № 1024/2013 на Съвета (52), следва незабавно да докладват на Европейската централна банка всяка информация, установена в хода на дейностите им по надзор на пазара, която може да представлява потенциален интерес във връзка със задачите на Европейската централна банка по упражняване на пруденциален надзор, определени в посочения регламент. За да се подобри още повече съгласуваността между настоящия регламент и правилата, приложими за кредитните институции, регулирани съгласно Директива 2013/36/ЕС, е целесъобразно също така някои от процедурните задължения на доставчиците във връзка с управлението на риска, мониторинга след пускането на пазара и документирането да бъдат включени в съществуващите задължения и процедури съгласно Директива 2013/36/ЕС. За да се избегне припокриване, следва да се предвидят и ограничени дерогации във връзка със системата за управление на качеството на доставчиците и задължението за мониторинг, наложено на внедрителите на високорискови системи с ИИ, доколкото те се прилагат за кредитни институции, регулирани с Директива 2013/36/ЕС. Същият режим следва да се прилага за застрахователните и презастрахователните предприятия и застрахователните холдинги съгласно Директива 2009/138/ЕО и за застрахователните посредници съгласно Директива (ЕС) 2016/97, както и за други видове финансови институции, за които се прилагат изискванията по отношение на вътрешното управление, механизмите или процесите, установени съгласно съответното право на Съюза в областта на финансовите услуги, с цел да се гарантира последователност и равно третиране във финансовия сектор. |
(159) |
Всеки орган за надзор на пазара на високорисковите системи с ИИ в областта на биометричните данни, чийто списък се съдържа в приложение към настоящия регламент — доколкото системите се използват за правоохранителни цели или за целите на миграцията, убежището, управлението на граничния контрол или правораздаването и демократичните процеси — следва да разполага с ефективни правомощия за разследване и с коригиращи правомощия, включително най-малко правомощието да получава достъп до всички лични данни, които се обработват, и до цялата информация, необходима за изпълнението на неговите задачи. Органите за надзор на пазара следва да могат да упражняват правомощията си, като действат напълно независимо. Ограниченията на достъпа им до чувствителни оперативни данни съгласно настоящия регламент не следва да засягат правомощията, предоставени им с Директива (ЕС) 2016/680. Случаите, в които се изключва разкриването на данни пред националните органи за защита на данните съгласно настоящия регламент, не следва да засягат настоящите или бъдещите правомощия на тези органи извън обхвата на настоящия регламент. |
(160) |
Органите за надзор на пазара и Комисията следва да могат да предлагат съвместни дейности, включително съвместни разследвания, които да се провеждат от органите за надзор на пазара или от органите за надзор на пазара съвместно с Комисията, и да имат за цел насърчаване на постигането на съответствие, установяване на несъответствие, повишаване на осведомеността и осигуряване на насоки във връзка с настоящия регламент по отношение на конкретни категории високорискови системи с ИИ, за които е установено, че представляват сериозен риск в две или повече държави членки. Съвместни дейности за насърчаване на постигането на съответствие следва да се извършват съгласно член 9 от Регламент (ЕС) 2019/1020. Службата по ИИ следва да предоставя координационна подкрепа за съвместни разследвания. |
(161) |
Необходимо е да се изяснят отговорностите и компетентността на равнището на Съюза и на национално равнище по отношение на системите с ИИ, изградени въз основа на модели на ИИ с общо предназначение. За да се избегне припокриването на компетентност, когато дадена система с ИИ се основава на модел на ИИ с общо предназначение и моделът и системата се предоставят от един и същи доставчик, надзорът следва да се извършва на равнището на Съюза чрез Службата по ИИ, която следва да разполага с правомощията на орган за надзор на пазара по смисъла на Регламент (ЕС) 2019/1020 за тази цел. Във всички останали случаи националните органи за надзор на пазара продължават да носят отговорност за надзора на системите с ИИ. За системите с ИИ с общо предназначение обаче, които могат да се използват пряко от внедрителите с най-малко едно предназначение, класифицирано като високорисково, органите за надзор на пазара следва да си сътрудничат със Службата по ИИ, за да извършат оценки на съответствието, и да информират съответно Съвета по ИИ и другите органи за надзор на пазара. Освен това органите за надзор на пазара следва да могат да искат съдействие от Службата по ИИ, когато органът за надзор на пазара не е в състояние да приключи дадено разследване на високорискова система с ИИ поради невъзможност да получи достъп до определена информация, свързана с модела на ИИ с общо предназначение, въз основа на който е изградена високорисковата система с ИИ. В такива случаи следва да се прилага mutatis mutandis процедурата за трансгранична взаимопомощ, предвидена в глава VI от Регламент (ЕС) 2019/1020. |
(162) |
За да се използват по най-добрия начин централизираният експертен опит на Съюза и полезните взаимодействия на равнището на Съюза, правомощията за надзор и осигуряване на спазване по отношение на задълженията на доставчиците на модели на ИИ с общо предназначение следва да бъдат от компетентността на Комисията. Службата по ИИ следва да може да извършва всички необходими действия за мониторинг на ефективното прилагане на настоящия регламент по отношение на моделите на ИИ с общо предназначение. Тя следва да може да разследва евентуални нарушения на правилата относно доставчиците на модели на ИИ с общо предназначение както по собствена инициатива, на основание на резултатите от своите дейности по мониторинг, така и по искане на органите за надзор на пазара, в съответствие с условията, установени в настоящия регламент. За да се допринесе за извършването на ефективен мониторинг от страна на Службата по ИИ, следва да се предвиди възможността доставчиците надолу по веригата да подават жалби във връзка с евентуални нарушения на правилата относно доставчиците на модели на ИИ с общо предназначение и системи с ИИ с общо предназначение. |
(163) |
С цел допълване на системите за управление на моделите на ИИ с общо предназначение, експертната група следва да подпомага дейностите по мониторинг на Службата по ИИ и да може в определени случаи да отправя приоритетни сигнали до Службата по ИИ, които да водят до последващи действия, например разследвания. Такъв следва да бъде случаят, когато експертната група има основания да предполага, че даден модел на ИИ с общо предназначение представлява конкретен и установим риск на равнището на Съюза. Освен това такъв следва да бъде случаят, когато експертната група има основания да предполага, че даден модел на ИИ с общо предназначение отговаря на критериите, които биха довели до класифицирането му като модел на ИИ с общо предназначение, пораждащ системен риск. За да може експертната група да разполага с информацията, необходима за изпълнението на тези задачи, следва да има механизъм, чрез който експертната група да може да отправи искане към Комисията с цел да бъде изискана документация или информация от даден доставчик. |
(164) |
Службата по ИИ следва да може да предприема необходимите действия за мониторинг на ефективното изпълнение и спазване на установените в настоящия регламент задължения на доставчиците на модели на ИИ с общо предназначение. Службата за ИИ следва да може да разследва евентуални нарушения в съответствие с правомощията, предвидени в настоящия регламент, включително като изисква документация и информация, като извършва оценки, както и като изисква предприемането на мерки от доставчиците на модели на ИИ с общо предназначение. При извършването на оценките, с цел да използва независим експертен опит, Службата по ИИ следва да може да привлича независими експерти, които да извършват оценките от нейно име. Спазването на задълженията следва да бъде осигурено, наред с другото, чрез искания за предприемане на подходящи мерки, включително мерки за ограничаване на риска в случай на установени системни рискове, както и чрез ограничаване на предоставянето на пазара на даден модел, неговото изтегляне или изземване. Като гаранция в случай на необходимост, освен процесуалните права, предвидени в настоящия регламент, доставчиците на модели на ИИ с общо предназначение следва да разполагат с процесуалните права съгласно член 18 от Регламент (ЕС) 2019/1020, които следва да се прилагат, mutatis mutandis, без да се засягат специалните процесуални права, предвидени в настоящия регламент. |
(165) |
Разработването на системи с ИИ, различни от високорискови системи с ИИ, в съответствие с изискванията на настоящия регламент може да доведе до по-широко внедряване на етичен и надежден ИИ в Съюза. Доставчиците на системи с ИИ, които не са високорискови, следва да бъдат насърчавани да изготвят кодекси за поведение, включително свързани с тях управленски механизми, предназначени да поощряват прилагането на доброволна основа на някои или на всички задължителни изисквания, приложими за високорисковите системи с ИИ и адаптирани с оглед на предназначението на системите и по-ниския риск, като вземат предвид наличните технически решения и най-добрите практики в сектора, например карти за модели и данни. Доставчиците и, когато е целесъобразно, внедрителите на всички системи с ИИ — високорискови или не, както и на всички модели с ИИ, следва също да бъдат насърчавани да прилагат на доброволна основа допълнителни изисквания, свързани например с елементи на Насоките на Съюза относно етичните аспекти за надежден ИИ, екологичната устойчивост, мерките относно грамотността в областта на ИИ, приобщаващия характер и многообразието при проектирането и разработването на системи с ИИ, включително повишеното внимание към уязвимите лица и достъпността за хора с увреждания, участието на заинтересованите страни чрез привличане, когато е целесъобразно, на заинтересовани страни като професионални организации и организации на гражданското общество, академични среди, научноизследователски организации, синдикати и организации за защита на потребителите, в проектирането и разработването на системи с ИИ, както и многообразието на екипите от разработчици, включително баланса между половете. За да се гарантира, че незадължителните кодекси за поведение са ефективни, те следва да се основават на ясни цели и ключови показатели за ефективност, за да може да бъде оценено постигането на тези цели. Те следва също така да бъдат разработени по приобщаващ начин, когато е целесъобразно - с участието на съответните заинтересовани страни, като професионални организации и организации на гражданското общество, академични среди, научноизследователски организации, синдикати и организации за защита на потребителите. Комисията може да разработва инициативи, включително от секторен характер, за да улесни преодоляването на техническите пречки пред трансграничния обмен на данни за разработването на ИИ, включително свързаните с инфраструктурата за достъп до данни и семантичната и техническата оперативна съвместимост на различните видове данни. |
(166) |
Важно е системите с ИИ, свързани с продукти, които не са високорискови в съответствие с настоящия регламент и поради това не е задължително да отговарят на изискванията, установени за високорисковите системи с ИИ, да бъдат въпреки това безопасни при пускането им на пазара или пускането им в действие. За да се допринесе за постигането на тази цел, допълнителна гаранция ще представлява възможността за прилагане на Регламент (ЕС) 2023/988 на Европейския парламент и на Съвета (53). |
(167) |
За да се гарантира надеждно и конструктивно сътрудничество между компетентните органи на равнището на Съюза и на национално равнище, всички страни, участващи в прилагането на настоящия регламент, следва да зачитат поверителността на информацията и данните, получавани при изпълнението на техните задачи, в съответствие с правото на Съюза и националното право. Те следва да изпълняват задачите и дейностите си по такъв начин, че да закрилят по-специално правата върху интелектуалната собственост, поверителната търговска информация и търговските тайни, ефективното прилагане на настоящия регламент, обществените интереси и националната сигурност, независимостта на наказателните или административните производства и неприкосновеността на класифицираната информация. |
(168) |
Спазването на настоящия регламент следва да може да се гарантира чрез налагането на санкции и други мерки за изпълнение. Държавите членки следва да предприемат всички необходими мерки, за да гарантират прилагането на разпоредбите на настоящия регламент, включително чрез установяването на ефективни, пропорционални и възпиращи санкции за тяхното нарушаване, за да осигурят зачитането на принципа non bis in idem. С цел подсилване и хармонизиране на административните санкции за нарушения на настоящия регламент, следва да се установят горните граници за определяне на административните глоби и имуществени санкции за някои конкретни нарушения. При определянето на размера на глобите и имуществените санкции държавите членки следва във всеки отделен случай да вземат предвид всички обстоятелства на конкретния случай, като надлежно отчитат по-специално естеството, тежестта и продължителността на нарушението и неговите последици, както и размера на доставчика, по-специално ако доставчикът е МСП, включително новосъздадено предприятие. Европейският надзорен орган по защита на данните следва да има правомощията да налага глоби на институциите, агенциите и органите на Съюза, попадащи в обхвата на настоящия регламент. |
(169) |
Спазването на задълженията на доставчиците на модели на ИИ с общо предназначение, наложени с настоящия регламент, следва да може да се гарантира, наред с другото, чрез глоби. За тази цел следва да се определят и подходящи размери на глобите за нарушение на тези задължения, включително неизпълнението на мерките, изисквани от Комисията в съответствие с настоящия регламент, при прилагане на подходящи давностни срокове в съответствие с принципа на пропорционалност. Всички решения, приемани от Комисията съгласно настоящия регламент, подлежат на контрол от Съда на Европейския съюз в съответствие с ДФЕС, включително на пълната юрисдикция на Съда във връзка със санкциите съгласно член 261 ДФЕС. |
(170) |
В правото на Съюза и националното право вече са предвидени ефективни правни средства за защита на физическите и юридическите лица, чиито права и свободи са неблагоприятно засегнати от използването на системи с ИИ. Без да се засягат тези правни средства за защита, всяко физическо или юридическо лице, което има основания да счита, че е налице нарушение на настоящия регламент, следва да има правото да подаде жалба до съответния орган за надзор на пазара. |
(171) |
Засегнатите лица следва да имат правото да получат обяснение, в случай че дадено решение, взето от внедрител преди всичко въз основа на резултата от работата на определени високорискови системи с ИИ, попадащи в обхвата на настоящия регламент, поражда правни последици за тях или по сходен начин ги засяга в значителна степен по начин, който според тях оказва неблагоприятно въздействие върху тяхното здраве, безопасност или основни права. Това обяснение следва да бъде ясно и изчерпателно и да дава основание на засегнатите лица да упражнят правата си. Правото на получаване на обяснение не следва да се прилага относно използването на системи с ИИ, по отношение на които от правото на Съюза или от националното право произтичат изключения или ограничения, и следва да се прилага само доколкото това право все още не е предвидено в законодателството на Съюза. |
(172) |
Лица, сигнализиращи за нередности във връзка с нарушения на настоящия регламент, следва да бъдат защитени в съответствие с правото на Съюза. Поради това по отношение на подаването на сигнали за нарушения на настоящия регламент и защитата на лицата, които подават сигнали за такива нарушения, следва да се прилага Директива (ЕС) 2019/1937 на Европейския парламент и на Съвета (54). |
(173) |
С цел да се гарантира, че регулаторната рамка може да бъде адаптирана при необходимост, на Комисията следва да бъде делегирано правомощието да приема актове в съответствие с член 290 ДФЕС за изменение на условията, при които дадена система с ИИ не се смята за високорискова, списъка на високорисковите системи с ИИ, разпоредбите относно техническата документация, съдържанието на ЕС декларацията за съответствие, разпоредбите относно процедурите за оценяване на съответствието, разпоредбите за определяне на високорисковите системи с ИИ, за които се прилага процедурата за оценяване на съответствието въз основа на оценката на системата за управление на качеството и оценката на техническата документация, праговете, референтните стойности и показателите, включително чрез допълване на тези референтни стойности и показатели, в правилата за класифициране на моделите на ИИ с общо предназначение, пораждащи системен риск, критериите за определяне на моделите на ИИ с общо предназначение, пораждащи системен риск, техническата документация за доставчиците на модели на ИИ с общо предназначение и информацията с цел прозрачност за доставчиците на модели на ИИ с общо предназначение. От особена важност е по време на подготвителната си работа Комисията да проведе подходящи консултации, включително на експертно равнище, и тези консултации да бъдат проведени в съответствие с принципите, заложени в Междуинституционалното споразумение от 13 април 2016 г. за по-добро законотворчество (55). По-специално, с цел осигуряване на равно участие при подготовката на делегираните актове, Европейският парламент и Съветът получават всички документи едновременно с експертите от държавите членки, като техните експерти получават систематично достъп до заседанията на експертните групи на Комисията, занимаващи се с подготовката на делегираните актове. |
(174) |
Предвид бързото технологично развитие и техническия експертен опит, необходим за ефективното прилагане на настоящия регламент, Комисията следва да направи оценка и преглед на настоящия регламент до 2 август 2029 г. и на всеки четири години след това, и да докладва на Европейския парламент и на Съвета. Освен това, с оглед на последиците за обхвата на настоящия регламент, Комисията следва веднъж годишно да прави оценка на необходимостта от изменение на списъка на високорисковите системи с ИИ и на списъка на забранените практики. Наред с това, до 2 август 2028 г. и на всеки четири години след това Комисията следва да оценява и да докладва на Европейския парламент и на Съвета за необходимостта от изменение на наименованията на високорисковите области в приложението към настоящия регламент, системите с ИИ, попадащи в обхвата на задълженията за прозрачност, ефективността на системата за надзор и управление и напредъка по разработването на стандартизационни документи за енергийно ефективно разработване на модели на ИИ с общо предназначение, включително за необходимостта от допълнителни мерки или действия. И на последно място, до 2 август 2028 г. и на всеки три години след това Комисията следва да оценява въздействието и ефективността на незадължителните кодекси за поведение с цел да се насърчи прилагането на изискванията, предвидени за високорисковите системи с ИИ, по отношение на системи, различни от високорискови системи с ИИ, и евентуално на други допълнителни изисквания за такива системи с ИИ. |
(175) |
За да се гарантират еднакви условия за изпълнение на настоящия регламент, на Комисията следва да бъдат предоставени изпълнителни правомощия. Тези правомощия следва да бъдат упражнявани в съответствие с Регламент (ЕС) № 182/2011 на Европейския парламент и на Съвета (56). |
(176) |
Доколкото целта на настоящия регламент, а именно да се подобри функционирането на вътрешния пазар и да се насърчи навлизането на ориентиран към човека и надежден ИИ, като същевременно се гарантира високо равнище на защита на здравето, безопасността, основните права, залегнали в Хартата, включително демокрацията, принципите на правовата държава и опазването на околната среда, срещу вредното въздействие на системите с ИИ в Съюза и да се подкрепят иновациите, не може да бъде постигната в достатъчна степен от държавите членки, а поради мащаба или последиците на действието може да бъде по-добре постигната на равнището на Съюза, Съюзът може да приеме мерки в съответствие с принципа на субсидиарност, уреден в член 5 от Договора за Европейския съюз. В съответствие с принципа на пропорционалност, уреден в същия член, настоящият регламент не надхвърля необходимото за постигането на тази цел. |
(177) |
С цел да се гарантира правна сигурност, да се осигури подходящ срок за адаптация за операторите и да се избегнат смущения на пазара, включително чрез осигуряване на непрекъснатост в използването на системите с ИИ, е целесъобразно настоящият регламент да се прилага за високорисковите системи с ИИ, които са били пуснати на пазара или пуснати в действие преди общата начална дата на прилагането му, само в случай че след тази дата бъдат извършени значителни промени в проекта или предназначението на тези системи. Следва да се поясни, че в този контекст понятието „значителна промяна“ следва да се разбира като равностойно по същество на понятието „съществено изменение“, което се използва само по отношение на високорисковите системи с ИИ съгласно определението в настоящия регламент. По изключение и с оглед на публичната отчетност операторите на системи с ИИ, които са компоненти на широкомащабните информационни системи, създадени с правните актове, чийто списък е приложен към настоящия регламент, и операторите на високорискови системи с ИИ, предназначени да бъдат използвани от публични органи, следва да предприемат мерките, необходими, за да се съобразят с изискванията на настоящия регламент, съответно до края на 2030 г. и в срок до 2 август 2030 г. |
(178) |
Доставчиците на високорискови системи с ИИ се насърчават да започнат да спазват на доброволна основа съответните задължения, предвидени съгласно настоящия регламент, още по време на преходния период. |
(179) |
Настоящият регламент следва да се прилага от 2 август 2026 г. Същевременно, като се има предвид неприемливият риск, свързан с използването на ИИ по определени начини, забраните, както и общите разпоредби на настоящия регламент следва да се прилагат още от 2 февруари 2025 г. Въпреки че тези забрани ще влязат напълно в действие, след като бъде установено управлението и прилагането на настоящия регламент, предварителното им прилагане е важно с оглед да се вземе предвид неприемливият риск и да се въздейства върху други процедури, например в гражданското право. Наред с това, инфраструктурата, свързана с управлението и системата за оценяване на съответствието, следва да започне да функционира преди 2 август 2026 г., поради което разпоредбите относно нотифицираните органи и структурата на управление следва да се прилагат от 2 август 2025 г. Като се има предвид бързият темп на технологичния напредък и възприемането на модели на ИИ с общо предназначение, задълженията на доставчиците на модели на ИИ с общо предназначение следва да се прилагат от 2 август 2025 г. Кодексите за добри практики следва да бъдат готови в срок до 2 май 2025 г., за да се даде възможност на доставчиците своевременно да докажат спазването им. Службата по ИИ следва да гарантира, че правилата и процедурите за класифициране са актуални с оглед на технологичното развитие. Освен това държавите членки следва да установят и изпратят до Комисията правилата относно санкциите, включително административните глоби и имуществени санкции, и да гарантират, че те се прилагат правилно и ефективно към началната дата на прилагане на настоящия регламент. Поради това разпоредбите относно санкциите следва да се прилагат от 2 август 2025 г. |
(180) |
В съответствие с член 42, параграфи 1 и 2 от Регламент (ЕС) 2018/1725 беше проведена консултация с Европейския надзорен орган по защита на данните и Европейския комитет по защита на данните, които представиха съвместното си становище на 18 юни 2021 г., |
ПРИЕХА НАСТОЯЩИЯ РЕГЛАМЕНТ:
ГЛАВА I
ОБЩИ РАЗПОРЕДБИ
Член 1
Предмет
1. Целта на настоящия регламент е да се подобри функционирането на вътрешния пазар и да се насърчи навлизането на ориентиран към човека и надежден изкуствен интелект (ИИ), като същевременно се осигурява високо равнище на защита на здравето, безопасността, основните права, залегнали в Хартата, включително демокрацията, принципите на правовата държава и опазването на околната среда, от вредните въздействия на системите с ИИ в Съюза, както и да се подкрепят иновациите.
2. С настоящия регламент се установяват:
a) |
хармонизирани правила за пускането на пазара, пускането в действие и използването на системи с ИИ в Съюза; |
б) |
забрани на определени практики в областта на ИИ; |
в) |
особени изисквания за високорисковите системи с ИИ и задължения за операторите на такива системи; |
г) |
хармонизирани правила за прозрачност за определени системи с ИИ; |
д) |
хармонизирани правила за пускането на пазара на модели на ИИ с общо предназначение; |
е) |
правила за мониторинг на пазара, надзор на пазара, управление и осигуряване на спазването; |
ж) |
мерки в подкрепа на иновациите с особено внимание към МСП, включително новосъздадените предприятия. |
Член 2
Обхват
1. Настоящият регламент се прилага по отношение на:
a) |
доставчици, които пускат на пазара или пускат в действие системи с ИИ или пускат на пазара модели на ИИ с общо предназначение в Съюза, независимо дали тези доставчици са установени или се намират на територията на Съюза или в трета държава; |
б) |
внедрители на системи с ИИ, чието място на установяване е на територията на Съюза или които се намират на територията на Съюза; |
в) |
доставчици и внедрители на системи с ИИ, чието място на установяване е в трета държава или които се намират в трета държава, когато резултатът, получен от системата с ИИ, се използва в Съюза; |
г) |
вносители и дистрибутори на системи с ИИ; |
д) |
производители на продукти, които пускат на пазара или пускат в действие система с ИИ заедно със своя продукт и със своето име или търговска марка; |
е) |
упълномощени представители на доставчици, които не са установени в Съюза; |
ж) |
засегнати лица, които се намират в Съюза. |
2. За системи с ИИ, които са класифицирани като високорискови системи с ИИ в съответствие с член 6, параграф 1, които са свързани с продукти, обхванати от законодателството на Съюза за хармонизация, посочено в раздел Б от приложение I, се прилагат само член 6, параграф 1 и членове 102 – 109 и 112. Член 57 се прилага само доколкото изискванията за високорисковите системи с ИИ съгласно настоящия регламент са били включени в това законодателство на Съюза за хармонизация.
3. Настоящият регламент не се прилага в области извън обхвата на правото на Съюза и не засяга компетентността на държавите членки по отношение на националната сигурност, независимо от вида на субекта, на който държавите членки са възложили изпълнението на задачите във връзка с тази компетентност.
Настоящият регламент не се прилага за системи с ИИ, ако и доколкото те са пуснати на пазара, пуснати в действие или използвани със или без изменение на тези системи изключително за военни цели и цели, свързани с отбраната или националната сигурност, независимо от вида на субекта, който извършва тези дейности.
Настоящият регламент не се прилага за системи с ИИ, които не са пуснати на пазара или пуснати в действие в Съюза, когато резултатите се използват в Съюза изключително за военни цели и цели, свързани с отбраната или националната сигурност, независимо от вида на субекта, който извършва тези дейности.
4. Настоящият регламент не се прилага за публични органи в трета държава, нито за международни организации, попадащи в обхвата на настоящия регламент съгласно параграф 1, когато тези органи или организации използват системи с ИИ в рамките на международно сътрудничество или споразумения за правоприлагане и съдебно сътрудничество със Съюза или с една или повече държави членки, при условие че тази трета държава или международна организация осигурява подходящи гаранции по отношение на защитата на основните права и свободи на физическите лица.
5. Настоящият регламент не засяга прилагането на разпоредбите относно отговорността на доставчиците на посреднически услуги, установени в глава II от Регламент (ЕС) 2022/2065.
6. Настоящият регламент не се прилага за системите с ИИ или моделите на ИИ, които са специално разработени и пуснати в действие единствено с цел научноизследователска и развойна дейност, включително за техните резултати.
7. Правото на Съюза относно защитата на личните данни, неприкосновеността на личния живот и поверителността на съобщенията се прилага за личните данни, обработвани във връзка с правата и задълженията, предвидени в настоящия регламент. Настоящият регламент не засяга регламенти (ЕС) 2016/679 и (ЕС) 2018/1725, нито директиви 2002/58/ЕО и (ЕС) 2016/680, без да се засягат член 10, параграф 5 и член 59 от настоящия регламент.
8. Настоящият регламент не се прилага за научноизследователски дейности, изпитвания или развойни дейности по отношение на системи с ИИ или модели на ИИ преди пускането на пазара или пускането в действие на тези системи или модели. Тези дейности се извършват в съответствие с приложимото право на Съюза. Изпитването в реални условия не попада в обхвата на това изключение.
9. Настоящият регламент не засяга правилата, установени в други правни актове на Съюза, свързани със защитата на потребителите и безопасността на продуктите.
10. Настоящият регламент не се прилага за задълженията на внедрители, които са физически лица, използващи системи с ИИ в рамките на изцяло лична непрофесионална дейност.
11. Настоящият регламент не e пречка Съюзът или държавите членки да запазят или въведат законови, подзаконови или административни разпоредби, които са по-благоприятни за работниците по отношение на защитата на правата им във връзка с използването от работодателите на системи с ИИ, нито да насърчават или разрешават прилагането на колективни трудови договори, които са по-благоприятни за работниците.
12. Настоящият регламент не се прилага за системи с ИИ, предоставени с безплатен лиценз с отворен код, освен ако не са пуснати на пазара или пуснати в действие като високорискови системи с ИИ или като система с ИИ, попадаща в обхвата на член 5 или 50.
Член 3
Определения
За целите на настоящия регламент се прилагат следните определения:
1) |
„система с ИИ“ означава машинно базирана система, която е проектирана да работи с различни нива на автономност и която може да прояви адаптивност след внедряването си, и която, с явна или подразбираща се цел, въз основа на въведените в нея входящи данни, извежда начина на генериране на резултати като прогнози, съдържание, препоръки или решения, които могат да окажат влияние върху физическа или виртуална среда; |
2) |
„риск“ означава съчетанието от вероятността за възникване на дадена вреда и тежестта на тази вреда; |
3) |
„доставчик“ означава физическо или юридическо лице, публичен орган, агенция или друга организация, които разработват система с ИИ или модел на ИИ с общо предназначение или възлагат разработването на система с ИИ или на модел на ИИ с общо предназначение и ги пускат на пазара, или пускат в действие системата с ИИ със своето име или търговска марка, срещу заплащане или безплатно; |
4) |
„внедрител“ означава физическо или юридическо лице, публичен орган, агенция или друга организация, които използват система с ИИ, по отношение на която упражняват контрол, с изключение на случаите, когато системата с ИИ се използва в процеса на лична непрофесионална дейност; |
5) |
„упълномощен представител“ означава физическо или юридическо лице, намиращо се или установено в Съюза, което е получило и приело писмено пълномощно от доставчик на система с ИИ или на модел на ИИ с общо предназначение съответно да изпълнява и извършва от негово име задълженията и процедурите, установени в настоящия регламент; |
6) |
„вносител“ означава физическо или юридическо лице, намиращо се или установено в Съюза, което пуска на пазара система с ИИ, носеща името или търговската марка на физическо или юридическо лице, установено в трета държава; |
7) |
„дистрибутор“ означава физическо или юридическо лице във веригата на доставки, различно от доставчика или вносителя, което предоставя система с ИИ на пазара на Съюза; |
8) |
„оператор“ означава доставчик, производител на продукти, внедрител, упълномощен представител, вносител или дистрибутор; |
9) |
„пускане на пазара“ означава предоставянето на система с ИИ или на модел на ИИ с общо предназначение на пазара на Съюза за първи път; |
10) |
„предоставяне на пазара“ означава всяка доставка на система с ИИ или на модел на ИИ с общо предназначение за дистрибуция или използване на пазара на Съюза в процеса на търговска дейност, срещу заплащане или безплатно; |
11) |
„пускане в действие“ означава доставката на система с ИИ за първо използване пряко на внедрителя или за собствено ползване в Съюза в съответствие с нейното предназначение; |
12) |
„предназначение“ означава използването, за което е предназначена една система с ИИ от доставчика, включително конкретният контекст и условия на използване, посочени в информацията, предоставена от доставчика в инструкциите за употреба, рекламните или търговските материали и твърдения, както и в техническата документация; |
13) |
„разумно предвидима неправилна експлоатация“ означава използването на система с ИИ по начин, който не е в съответствие с нейното предназначение, но е възможно да бъде резултат от разумно предвидимо човешко поведение или от взаимодействие с други системи, включително други системи с ИИ; |
14) |
„защѝтен елемент“ означава компонент на продукт или система с ИИ, който осигурява функция, свързана с безопасността, за този продукт или тази система с ИИ или чиято неизправност или лошо функциониране поставя в опасност здравето и безопасността на хора или имущество; |
15) |
„инструкции за употреба“ означава информацията, която доставчикът предоставя с цел да информира внедрителя по-специално за предназначението и правилното използване на дадена система с ИИ; |
16) |
„изземване на система с ИИ“ означава всяка мярка, целяща да постигне връщане на доставчика, извеждане от действие или блокиране на използването на система с ИИ, която е предоставена на внедрителите; |
17) |
„изтегляне на система с ИИ“ означава всяка мярка, целяща да предотврати предоставянето на пазара на система с ИИ, която е във веригата на доставки; |
18) |
„действие на система с ИИ“ означава способността на дадена система с ИИ да изпълнява предназначението си; |
19) |
„нотифициращ орган“ означава националният орган, отговорен за въвеждането и извършването на процедурите, необходими за оценката, определянето и нотифицирането на органи за оценяване на съответствието и за провеждането на мониторинг по отношение на тях; |
20) |
„оценяване на съответствието“ означава процесът на доказване дали са изпълнени изискванията, установени в глава III, раздел 2 по отношение на дадена високорискова система с ИИ; |
21) |
„орган за оценяване на съответствието“ означава орган, който осъществява дейности по оценяване на съответствието от трето лице, включително изпитване, сертификация и контрол; |
22) |
„нотифициран орган“ означава орган за оценяване на съответствието, нотифициран съгласно настоящия регламент и друго приложимо законодателство на Съюза за хармонизация; |
23) |
„съществено изменение“ означава промяна в дадена система с ИИ след пускането ѝ на пазара или пускането ѝ в действие, която не е предвидена или планирана в първоначалното оценяване на съответствието от доставчика и в резултат на която се засяга съответствието на системата с ИИ с изискванията, установени в глава III, раздел 2, или която води до изменение на предназначението, за което е била оценена системата с ИИ; |
24) |
„маркировка „СЕ““ означава маркировка, чрез която доставчикът указва, че дадена система с ИИ е в съответствие с изискванията, установени в глава III, раздел 2 от настоящия регламент и в друго приложимо законодателство на Съюза за хармонизация, предвиждащо нанасянето на тази маркировка; |
25) |
„система за мониторинг след пускането на пазара“ означава всички дейности, извършвани от доставчиците на системи с ИИ с цел събиране и преглед на опита, натрупан при използването на системите с ИИ, които са пуснали на пазара или пуснали в действие, с оглед на установяване на евентуална необходимост от незабавно прилагане на всякакви необходими коригиращи или превантивни действия; |
26) |
„орган за надзор на пазара“ означава националният орган, който извършва дейностите и предприема мерките съгласно Регламент (ЕС) 2019/1020; |
27) |
„хармонизиран стандарт“ означава хармонизиран стандарт съгласно определението в член 2, параграф 1, буква в) от Регламент (ЕС) № 1025/2012; |
28) |
„обща спецификация“ означава набор от технически спецификации съгласно определението в член 2, точка 4 от Регламент (ЕС) № 1025/2012, даващи възможност да се постигне съответствие с определени изисквания, установени съгласно настоящия регламент; |
29) |
„обучителни данни“ означава данни, използвани за обучение на система с ИИ чрез настройка на нейните обучавани параметри; |
30) |
„валидационни данни“ означава данни, използвани за осигуряване на оценка на обучената система с ИИ и за настройка на нейните необучавани параметри и на обучителния ѝ процес с цел, наред с другото, да се предотврати недостатъчно или прекомерно настройване; |
31) |
„набор от валидационни данни“ означава отделен набор от данни или част от набора обучителни данни под формата на фиксирано или променливо разделяне на данните; |
32) |
„изпитвателни данни“ означава данни, използвани за извършване на независима оценка на системата с ИИ с цел потвърждаване на очакваното действие на тази система преди пускането ѝ на пазара или пускането й в действие; |
33) |
„входящи данни“ означава данни, предоставяни на система с ИИ или пряко придобивани от нея, въз основа на които системата произвежда резултат; |
34) |
„биометрични данни“ означава лични данни, получени в резултат на специфично техническо обработване, които са свързани с физическите, физиологичните или поведенческите характеристики на дадено физическо лице, например лицеви изображения или дактилоскопични данни; |
35) |
„биометрична идентификация“ означава автоматизирано разпознаване на физически, физиологични, поведенчески и психологически човешки характеристики с цел установяване на самоличността на дадено физическо лице чрез съпоставяне на биометрични данни на това лице с биометрични данни на лица, съхранявани в база данни; |
36) |
„биометрична проверка“ означава автоматизирана проверка „едно към едно“, включително удостоверяване, на самоличността на физически лица чрез съпоставяне на техните биометрични данни с предварително предоставени биометрични данни; |
37) |
„специални категории лични данни“ означава категориите лични данни, посочени в член 9, параграф 1 от Регламент (ЕС) 2016/679, член 10 от Директива (ЕС) 2016/680 и член 10, параграф 1 от Регламент (ЕС) 2018/1725; |
38) |
„чувствителни оперативни данни“ означава оперативни данни, свързани с дейности по предотвратяване, откриване, разследване и наказателно преследване на престъпления, разкриването на които може да застраши независимостта на наказателните производства; |
39) |
„система за разпознаване на емоции“ означава система с ИИ, чието предназначение е да определя или да прави заключения за емоциите или намеренията на физически лица на базата на техните биометрични данни; |
40) |
„система за биометрично категоризиране“ означава система с ИИ, предназначена да отнася физически лица към конкретни категории въз основа на техните биометрични данни, освен когато тази система е чисто спомагателна по отношение на друга търговска услуга и е строго необходима по обективни технически причини; |
41) |
„система за дистанционна биометрична идентификация“ означава система с ИИ, предназначена да идентифицира физически лица обикновено от разстояние, без тяхното активно участие, чрез съпоставяне на биометричните данни на дадено лице с биометричните данни, съдържащи се в референтно хранилище на данни; |
42) |
„система за дистанционна биометрична идентификация в реално време“ означава система за дистанционна биометрична идентификация, при която снемането на биометрични данни, съпоставянето и идентификацията се осъществяват без значително забавяне, включваща не само незабавното идентифициране, но и ограничени кратки забавяния с цел предотвратяване на заобикаляне на системата; |
43) |
„система за последваща дистанционна биометрична идентификация“ означава система за дистанционна биометрична идентификация, различна от система за дистанционна биометрична идентификация в реално време; |
44) |
„обществено достъпно място“ означава всяко физическо място, което е публична или частна собственост и е достъпно за неопределен брой физически лица, независимо от прилагането на определени условия за достъп и независимо от евентуални ограничения на капацитета; |
45) |
„правоохранителен орган“ означава:
|
46) |
„правоохранителна дейност“ означава действия, извършвани от правоохранителните органи или от тяхно име за предотвратяване, разследване, откриване или наказателно преследване на престъпления или за изпълнение на наказателноправни санкции, включително за предпазване от заплахи за обществената сигурност и тяхното предотвратяване; |
47) |
„Служба по ИИ“ означава функцията на Комисията да допринася за прилагането, мониторинга и надзора на системите с ИИ и моделите на ИИ с общо предназначение и управлението на ИИ, предвидена в Решение на Комисията от 24 януари 2024 г.; позоваванията на Службата по ИИ в настоящия регламент се разбират като позовавания на Комисията; |
48) |
„национален компетентен орган“ означава нотифициращ орган или орган за надзор на пазара; по отношение на системите с ИИ, пуснати в действие или използвани от институциите, агенциите, службите и органите на Съюза, всяко позоваване на националните компетентни органи или органите за надзор на пазара в настоящия регламент се тълкува като позоваване на Европейския надзорен орган по защита на данните; |
49) |
„сериозен инцидент“ означава всеки инцидент или неизправност на система с ИИ, който или която пряко или косвено води до някоя от следните последици:
|
50) |
„лични данни“ означава лични данни съгласно определението в член 4, точка 1 от Регламент (EС) 2016/679; |
51) |
„нелични данни“ означава данни, различни от личните данни съгласно определението в член 4, точка 1 от Регламент (ЕС) 2016/679; |
52) |
„профилиране“ означава профилиране съгласно определението в член 4, точка 4 от Регламент (ЕС) 2016/679; |
53) |
„план за изпитване в реални условия“ означава документ, в който се описват целите, методиката, териториалният, демографският и времевият обхват, мониторингът, организацията и провеждането на изпитвания в реални условия; |
54) |
„план за лабораторията“ означава документ, договорен между участващия доставчик и компетентния орган, в който се описват целите, условията, графикът, методиката и изискванията по отношение на дейностите, извършвани в рамките на лабораторията; |
55) |
„регулаторна лаборатория в областта на ИИ“ означава контролирана рамка, създадена от компетентен орган, която осигурява на доставчиците или потенциалните доставчици на системи с ИИ възможност да разработват, обучават, валидират и изпитват, когато е целесъобразно в реални условия, иновативна система с ИИ, съгласно плана за лабораторията и в рамките на ограничен срок под регулаторен надзор; |
56) |
„грамотност в областта на ИИ“ означава уменията, знанията и разбирането, благодарение на които доставчиците, внедрителите и засегнатите лица — като се отчитат съответните им права и задължения в контекста на настоящия регламент — могат да внедряват системи с ИИ по информиран начин, както и да се осведомяват за възможностите и рисковете, свързани с ИИ, и за евентуалните вреди, които той може да причини; |
57) |
„изпитване в реални условия“ означава временното изпитване на система с ИИ в съответствие с нейното предназначение в реални условия извън лаборатория или симулирана по друг начин среда с цел събиране на надеждни и солидни данни и оценяване и проверка на съответствието на системата с ИИ с изискванията на настоящия регламент, като това не се счита за пускане на системата с ИИ на пазара или за пускането ѝ в действие по смисъла на настоящия регламент, при условие че са изпълнени всички условия, посочени в член 57 или 60; |
58) |
„субект в изпитване“ за целите на изпитването в реални условия означава физическо лице, което участва в изпитване в реални условия; |
59) |
„информирано съгласие“ означава свободно, конкретно, недвусмислено и доброволно изразяване от страна на даден субект в изпитване на готовността му да участва в определено изпитване в реални условия, след като е бил информиран за всички аспекти на изпитването, които са от значение за решението за участие на субекта в изпитването; |
60) |
„убедителен фалшификат“ означава генерирано или обработено изображение, аудио- или видео съдържание, което наподобява съществуващи лица, предмети, места, субекти или събития и създава погрешно впечатление у дадено лице, че е автентично или достоверно; |
61) |
„широко разпространено нарушение“ означава всяко действие или бездействие, което е в разрез с правото на Съюза за защита на интересите на физическите лица и което:
|
62) |
„критична инфраструктура“ означава критична инфраструктура съгласно определението в член 2, точка 4 от Директива (ЕС) 2022/2557; |
63) |
„модел на ИИ с общо предназначение“ означава модел на ИИ, включително когато такъв модел е обучен с голямо количество данни, като се използва самонадзор в голям мащаб, който има до голяма степен общ характер и е в състояние компетентно да изпълнява широк набор от отделни задачи, независимо от начина на пускане на модела на пазара, и който може да бъде интегриран в различни системи или приложения надолу по веригата, с изключение на моделите на ИИ, използвани за научноизследователски и развойни дейности и като прототипи преди пускането им на пазара; |
64) |
„способности с висока степен на въздействие“ означава способности, които съответстват на или надхвърлят способностите, регистрирани в най-напредналите модели на ИИ с общо предназначение; |
65) |
„системен риск“ означава риск, присъщ за способностите с висока степен на въздействие на моделите на ИИ с общо предназначение, които оказват значително въздействие върху пазара на Съюза поради своя обхват или поради реалните си или разумно предвидими отрицателни последици върху общественото здраве, безопасността, обществената сигурност, основните права или обществото като цяло, който може да се разпространи в голям мащаб по цялата верига за създаване на стойност; |
66) |
„система с ИИ с общо предназначение“ означава система с ИИ, основана на модел на ИИ с общо предназначение, която може да служи за различни цели и може да се използва пряко, както и да се интегрира в други системи с ИИ; |
67) |
„операция с плаваща запетая“ означава всяка математическа операция или присвояване, включващи числа с плаваща запетая, които са подмножество на реалните числа и при компютрите обикновено се представят чрез цяло число с фиксирана точност, мащабирано с цял експонент с фиксирана основа; |
68) |
„доставчик надолу по веригата“ означава доставчик на система с ИИ, включително на система с ИИ с общо предназначение, която включва модел на ИИ, независимо дали моделът на ИИ се предоставя от самия него и е вертикално интегриран, или се предоставя от друг субект въз основа на договорни отношения. |
Член 4
Грамотност в областта на ИИ
Доставчиците и внедрителите на системи с ИИ предприемат всички възможни мерки, за да гарантират достатъчно ниво на грамотност в областта на ИИ на техния персонал и другите лица, занимаващи се с функционирането и използването на системите с ИИ от тяхно име, като отчитат техните технически познания, опит, образование и обучение, както и контекста, в който ще се използват системите с ИИ, и вземат предвид лицата или групите лица, по отношение на които ще се използват системите с ИИ.
ГЛАВА II
ЗАБРАНЕНИ ПРАКТИКИ
Член 5
Забранени практики в областта на ИИ
1. Забраняват се следните практики в областта на ИИ:
a) |
пускането на пазара, пускането в действие или използването на система с ИИ, която си служи със техники, действащи на подсъзнанието и отвъд рамките на съзнаваното от човека, или с умишлено манипулативни или измамни техники, с цел или последици, изразяващи се в съществено изменение на поведението на дадено лице или група лица чрез значително нарушаване на способността за вземане на информирано решение, като по този начин се подтиква да вземе решение, което в противен случай не би взело, по начин, който причинява или има разумна вероятност да причини значителни вреди на същото или на друго лице, или на група лица; |
б) |
пускането на пазара, пускането в действие или използването на система с ИИ, която използва някое от уязвимите места на дадено физическо лице или на конкретна група лица, дължащи се на възраст, увреждане или конкретно социално или икономическо положение, с цел или последици, изразяващи се в съществено изменение на поведението на това лице или на лице, спадащо към тази група, по начин, който причинява или има разумна вероятност да причини значителни вреди на същото или на друго лице; |
в) |
пускането на пазара, пускането в действие или използването на системи с ИИ с цел оценка или класифициране на физически лица или групи от лица през определен период от време въз основа на тяхното социално поведение или известни, изведени или предполагаеми лични или личностни характеристики, като социалната класация води до едната или и до двете посочени по-долу последици:
|
г) |
пускането на пазара, пускането в действие с това конкретно предназначение или използването на система с ИИ за извършване на оценки на риска по отношение на физически лица с цел да се прецени или предвиди вероятността дадено физическо лице да извърши престъпление, въз основа единствено на профилирането на дадено физическо лице или на оценката на личностните му черти и характеристики; тази забрана не се прилага за системи с ИИ, използвани за подпомагане на извършването от човек на оценка на участието на дадено лице в престъпна дейност, която вече е изградена на основата на обективни и проверими факти, пряко свързани с престъпна дейност; |
д) |
пускането на пазара, пускането в действие с това конкретно предназначение или използването на системи с ИИ, които създават или разширяват бази данни за разпознаване на лица чрез нецеленасочено извличане на лицеви изображения от интернет или записи от видеонаблюдение; |
е) |
пускането на пазара, пускането в действие с това конкретно предназначение или използването на системи с ИИ с цел да се направят заключения за емоциите на дадено физическо лице на работното място или в образователните институции, освен в случаите, когато системата с ИИ е предназначена да бъде внедрена или пусната на пазара по медицински съображения или съображения, свързани с безопасността; |
ж) |
пускането на пазара, пускането в действие с това конкретно предназначение или използването на системи за биометрично категоризиране, които категоризират по индивидуализиран начин физическите лица въз основа на техните биометрични данни с цел да се направят заключения или логически изводи за тяхната раса, политически възгледи, членство в синдикални организации, религиозни или философски убеждения, сексуален живот или сексуална ориентация; тази забрана не обхваща обозначаването или филтрирането на законно придобити набори от биометрични данни, например основани на биометрични данни изображения, или категоризиране на биометрични данни в правоохранителната област; |
з) |
използването на системи за дистанционна биометрична идентификация в реално време на обществено достъпни места за правоохранителни цели, освен ако и доколкото такова използване е строго необходимо за една от следните цели:
|
Първа алинея, буква з) не засяга член 9 от Регламент (ЕС) 2016/679 за обработването на биометрични данни за цели, различни от правоохранителни цели.
2. Използването на системи за дистанционна биометрична идентификация в реално време на обществено достъпни места за правоохранителни цели за която и да е от целите, посочени в параграф 1, първа алинея, буква з), се извършва за целите, посочени в същата буква, само с оглед на потвърждаването на самоличността на конкретно лице и при отчитане на следните елементи:
a) |
естеството на ситуацията, която води до евентуалното използване, и по-специално тежестта, вероятността от настъпването и мащабът на вредата, която би била причинена, ако системата не се използва; |
б) |
последиците от използването на системата за правата и свободите на всички засегнати лица, и по-специално тежестта, вероятността от настъпването и мащабът на тези последици. |
Освен това използването на системи за дистанционна биометрична идентификация в реално време на обществено достъпни места за правоохранителни цели за някоя от целите, посочени в параграф 1, първа алинея, буква з) от настоящия член, трябва да съответства на необходимите и пропорционални гаранции и условия за използване в съответствие с националното право, което допуска такова използване, и по-специално по отношение на времевите, териториалните ограничения и ограниченията по отношение на лицата. Използването на системи за дистанционна биометрична идентификация в реално време на обществено достъпни места се разрешава само ако правоохранителният орган е извършил оценката на въздействието върху основните права, посочена в член 27, и е регистрирал системата в базата данни на ЕС в съответствие с член 49. В надлежно обосновани спешни случаи обаче използването на тези системи може да започне без регистрация в базата данни на ЕС, при условие че регистрацията бъде извършена без ненужно забавяне.
3. За целите на параграф 1, първа алинея, буква з) и параграф 2, за всяко използване за правоохранителни цели на система за дистанционна биометрична идентификация в реално време на обществено достъпни места се изисква предварително разрешение, което се издава от съдебен орган или от независим административен орган, чието решение е задължително, на държавата членка, в която ще се осъществи използването, след получаване на мотивирано искане и в съответствие с подробните правила на националното право, посочени в параграф 5. В надлежно обосновани спешни случаи обаче използването на системата може да започне без разрешение, при условие че такова разрешение се поиска без ненужно забавяне, най-късно в рамките на 24 часа. Ако искането за разрешение бъде отхвърлено, използването се прекратява незабавно и всички данни, както и резултатите от това използване, незабавно се премахват и заличават.
Компетентният съдебен орган или независим административен орган, чието решение е задължително, издава разрешението само ако въз основа на обективни доказателства или данни за ясни признаци, които са му представени, се убеди, че използването на въпросната система за дистанционна биометрична идентификация в реално време е необходимо и пропорционално за постигането на една от целите, посочени в параграф 1, първа алинея, буква з), която се посочва в искането, и по-специално се ограничава до строго необходимото по отношение на времевия и териториалния обхват и обхвата по отношение на лицата. Когато взема решение по искането, този орган взема предвид елементите, посочени в параграф 2. Не може да бъде взето решение, пораждащо неблагоприятни правни последици за дадено лице, единствено въз основа на резултата от системата за дистанционна биометрична идентификация в реално време.
4. Без да се засяга параграф 3, за всяко използване на система за дистанционна биометрична идентификация в реално време на обществено достъпни места за правоохранителни цели се уведомяват съответният орган за надзор на пазара и националният орган за защита на данните в съответствие с националните правила, посочени в параграф 5. Уведомлението съдържа най-малко информацията, посочена в параграф 6, и не включва чувствителни оперативни данни.
5. Държава членка може да реши да предвиди възможността за пълно или частично разрешаване на използването на системи за дистанционна биометрична идентификация в реално време на обществено достъпни места за правоохранителни цели в рамките на ограниченията и при условията, изброени в параграф 1, първа алинея, буква з) и в параграфи 2 и 3. Съответните държави членки установяват в националното си право необходимите подробни правила за подаване на искания за разрешенията, посочени в параграф 3, за тяхното издаване и изпълнение, както и за надзора и докладването по отношение на тях. В тези правила се конкретизира също така по отношение на кои от целите, посочени в параграф 1, първа алинея, буква з), включително по отношение на кои престъпления, посочени в буква з), точка iii) от същата разпоредба, на компетентните органи може да бъде разрешено да използват тези системи за правоохранителни цели. Държавите членки съобщават на Комисията тези правила най-късно 30 дни след приемането им. Държавите членки могат да въведат, в съответствие с правото на Съюза, по-ограничителни законови разпоредби относно използването на системи за дистанционна биометрична идентификация.
6. Националните органи за надзор на пазара и националните органи за защита на данните на държавите членки, които са били уведомени за използването на системи за дистанционна биометрична идентификация в реално време на обществено достъпни места за правоохранителни цели съгласно параграф 4, представят на Комисията годишни доклади относно това използване. За тази цел Комисията осигурява на държавите членки и на националните органи за надзор на пазара и за защита на данните образец, включващ информация за броя на решенията, взети от компетентните съдебни органи или от независим административен орган, чието решение е задължително, по отношение на искания за разрешения в съответствие с параграф 3 и за резултатите от тях.
7. Комисията публикува годишни доклади относно използването на системи за дистанционна биометрична идентификация в реално време на обществено достъпни места за правоохранителни цели на базата на обобщени данни в държавите членки, основани на посочените в параграф 6 годишни доклади. Тези годишни доклади не съдържат чувствителни оперативни данни от съответните правоохранителни дейности.
8. Настоящият член не засяга забраните, които се прилагат, когато дадена практика в областта на ИИ нарушава друго право на Съюза.
ГЛАВА III
ВИСОКОРИСКОВИ СИСТЕМИ С ИИ
РАЗДЕЛ 1
Класифициране на системи с ИИ като високорискови
Член 6
Правила за класифициране на системи с ИИ като високорискови
1. Без оглед на това дали дадена система с ИИ се пуска на пазара или се пуска в действие независимо от продуктите, посочени в букви а) и б), тази система с ИИ се счита за високорискова, когато са изпълнени следните две условия:
a) |
системата с ИИ е предназначена да се използва като защѝтен елемент на продукт или самата система с ИИ е продукт, попадащ в обхвата на законодателството на Съюза за хармонизация, посочено в приложение I; |
б) |
продуктът, чийто защѝтен елемент съгласно буква а) е системата с ИИ, или самата система с ИИ като продукт трябва да премине оценяване на съответствието от трето лице с оглед на пускането на пазара или пускането в действие на посочения продукт в съответствие със законодателството на Съюза за хармонизация, посочено в приложение I. |
2. В допълнение към високорисковите системи с ИИ, посочени в параграф 1, за високорискови се считат и системите с ИИ, посочени в приложение III.
3. Чрез дерогация от параграф 2, система с ИИ, посочена в приложение III, не се счита за високорискова, ако не представлява значителен риск от увреждане на здравето, безопасността или основните права на физическите лица, включително като не оказва съществено влияние върху резултата от вземането на решения.
Първа алинея се прилага, когато е изпълнено някое от следните условия:
a) |
системата с ИИ е предназначена да изпълнява точно формулирана процедурна задача; |
б) |
системата с ИИ е предназначена да подобри резултата от извършена преди това човешка дейност; |
в) |
системата с ИИ е предназначена да открива модели за вземане на решения или отклонения от предходни модели за вземане на решения и не е предназначена да замени или повлияе на направената преди това човешка оценка, без да бъде извършен подходящ преглед от човек; или |
г) |
системата с ИИ е предназначена да изпълнява подготвителна задача с оглед на извършването на оценка, която е от значение за целите на случаите на използване, посочени в приложение III. |
Независимо от първа алинея, система с ИИ, посочена в приложение III, винаги се счита за високорискова, когато извършва профилиране на физически лица.
4. Доставчик, който счита, че дадена система с ИИ, посочена в приложение III, не е високорискова, документира своята оценка, преди тази система да бъде пусната на пазара или пусната в действие. За такъм доставчик се прилага задължението за регистрация, установено в член 49, параграф 2. При поискване от националните компетентни органи доставчикът предоставя документацията за оценката.
5. Комисията, след консултация с Европейския съвет по изкуствен интелект (наричан по-долу „Съветът по ИИ“) и не по-късно от 2 февруари 2026 г., дава насоки, с които конкретизира практическото прилагане на настоящия член в съответствие с член 96, заедно с изчерпателен списък с практически примери за случаи на употреба на системи с ИИ, които са високорискови, и такива, които не са високорискови.
6. На Комисията се предоставя правомощието да приема делегирани актове в съответствие с член 97 за изменение на параграф 3, втора алинея от настоящия член чрез добавяне на нови условия към установените в посочената разпоредба или за изменението им, когато има конкретни и достоверни доказателства за наличието на системи с ИИ, които попадат в обхвата на приложение III, но не пораждат значителен риск от увреждане на здравето, безопасността или основните права на физическите лица.
7. Комисията приема делегирани актове в съответствие с член 97 за изменение на параграф 3, втора алинея от настоящия член чрез заличаване на някое от условията, установени в посочената разпоредба, когато има конкретни и достоверни доказателства, че това е необходимо за поддържането на равнището на защита на здравето, безопасността и основните права, предвидено в настоящия регламент.
8. Приетите в съответствие с параграфи 6 и 7 от настоящия член изменения на условията, установени в параграф 3, втора алинея, не може да намаляват общото равнище на защита на здравето, безопасността и основните права, предвидено в настоящия регламент, трябва да осигуряват съгласуваност с делегираните актове, приети съгласно член 7, параграф 1, и да са съобразени с пазарното и технологичното развитие.
Член 7
Изменения на приложение III
1. На Комисията се предоставя правомощието да приема делегирани актове в съответствие с член 97 за изменение на приложение III чрез добавяне на нови или изменение на случаите на употреба на високорискови системи с ИИ, когато са изпълнени следните две условия:
a) |
системите с ИИ са предназначени за използване в някоя от областите, посочени в приложение III; |
б) |
системите с ИИ пораждат риск от увреждане на здравето и безопасността или риск от неблагоприятно въздействие върху основните права и този риск е равностоен или по-голям от риска от увреждане или неблагоприятно въздействие, породен от високорисковите системи с ИИ, които вече са посочени в приложение III. |
2. При оценката във връзка с условието по параграф 1, буква б), Комисията взема предвид следните критерии:
a) |
предназначението на системата с ИИ; |
б) |
степента, в която дадена система с ИИ е била използвана или е вероятно да бъде използвана; |
в) |
естеството и количеството на данните, обработвани и използвани от системата с ИИ, и по-специално дали се обработват специални категории лични данни; |
г) |
степента, в която системата с ИИ действа автономно, и възможността човек да отхвърли решение или препоръки, които могат да доведат до евентуална вреда; |
д) |
степента, в която използването на система с ИИ вече е причинило увреждане на здравето и безопасността или е оказало неблагоприятно въздействие върху основните права, или е породило значителни опасения във връзка с вероятността от такова увреждане или неблагоприятно въздействие, като за това свидетелстват например доклади или документирани твърдения, представени на националните компетентни органи, или други доклади, когато е приложимо; |
е) |
потенциалната степен на такова увреждане или неблагоприятно въздействие, по-специално по отношение на неговия интензитет и способността му да засегне множество лица или да засегне несъразмерно конкретна група лица; |
ж) |
степента, в която лицата, които може да бъдат засегнати от увреждане или неблагоприятно въздействие, зависят от резултата, получен от дадена система с ИИ, по-специално тъй като поради практически или правни причини не е възможно в разумна степен да не използват този резултат; |
з) |
степента, в която съществува властово неравновесие или в която лицата, които може да бъдат засегнати от увреждане или неблагоприятно въздействие, се намират в уязвимо положение по отношение на внедрителя на система с ИИ, по-специално поради статус, авторитет, познания, икономическо или социално положение или възраст; |
и) |
степента, в която резултатът, получен с използването на система с ИИ, е лесно поправим или обратим, предвид наличните технически решения за неговата поправка или отхвърляне, при които резултатите, оказващи неблагоприятно въздействие върху здравето, безопасността или основните права, не се считат за лесно поправими или обратими; |
й) |
мащаба и вероятната полза от внедряването на системата с ИИ за отделни лица, групи или обществото като цяло, включително възможни подобрения на безопасността на продуктите; |
к) |
степента, в която в действащото право на Съюза са предвидени:
|
3. На Комисията се предоставя правомощието да приема делегирани актове в съответствие с член 97 за изменение на списъка в приложение III чрез заличаване на високорискови системи с ИИ, когато са изпълнени следните две условия:
a) |
съответната високорискова система с ИИ или системи с ИИ вече не поражда(т) значителен риск за основните права, здравето или безопасността предвид критериите, изброени в параграф 2; |
б) |
заличаването не намалява общото равнище на защитата на здравето, безопасността и основните права съгласно правото на Съюза. |
РАЗДЕЛ 2
Изисквания по отношение на високорисковите системи с ИИ
Член 8
Съответствие с изискванията
1. Високорисковите системи с ИИ трябва да съответстват на изискванията, установени в настоящия раздел, като се взема предвид тяхното предназначение, както и общоприетите съвременни технически постижения в областта на ИИ и свързаните с ИИ технологии. При осигуряването на съответствие с тези изисквания се взема предвид системата за управление на риска, посочена в член 9.
2. Когато даден продукт съдържа система с ИИ, за която се прилагат изискванията на настоящия регламент, както и изискванията на законодателството на Съюза за хармонизация, посочено в раздел А от приложение I, доставчиците носят отговорност за осигуряване на пълното съответствие на продукта с всички приложими изисквания съгласно приложимото законодателство на Съюза за хармонизация. С оглед на осигуряване на съответствието на високорисковите системи с ИИ, посочени в параграф 1, с изискванията, установени в настоящия раздел, и с цел да се осигури съгласуваност, да се избегне дублиране и да се сведе до минимум допълнителната тежест, доставчиците могат да изберат да включат, когато е целесъобразно, необходимите процеси на изпитване и докладване, информация и документация, които предоставят за своя продукт, във вече съществуваща документация и процедури, изисквани съгласно законодателството на Съюза за хармонизация, посочено в раздел А от приложение I.
Член 9
Система за управление на риска
1. Във връзка с високорисковите системи с ИИ се създава, прилага, документира и поддържа система за управление на риска.
2. Системата за управление на риска се разбира като непрекъснат цикличен процес, планиран и протичащ през целия жизнен цикъл на високорисковата система с ИИ и изискващ редовен и систематичен преглед и актуализиране. Тя включва следните стъпки:
a) |
установяване и анализ на известните и разумно предвидимите рискове, които високорисковата система с ИИ може да породи по отношение на здравето, безопасността и основните права, когато високорисковата система с ИИ се използва в съответствие с предназначението си; |
б) |
прогноза и оценка на рисковете, които могат да възникнат, когато високорисковата система с ИИ се използва в съответствие с предназначението си и в условия на разумно предвидима неправилна експлоатация; |
в) |
оценка на други евентуално възникващи рискове въз основа на анализ на данните, събрани от системата за мониторинг след пускането на пазара, посочена в член 72; |
г) |
приемане на подходящи и целенасочени мерки за управление на риска, разработени с цел преодоляване на рисковете, установени съгласно буква а). |
3. Рисковете, посочени в настоящия член, се отнасят само до тези, които могат да бъдат разумно ограничени или отстранени при разработването или проектирането на високорисковата система с ИИ или чрез предоставянето на подходяща техническа информация.
4. Мерките за управление на риска, посочени в параграф 2, буква г), трябва да са надлежно съобразени с последиците и възможното взаимодействие в резултат на съчетаното прилагане на изискванията, установени в настоящия раздел, с цел по-ефективното свеждане до минимум на рисковете, като същевременно се постигне подходящ баланс при прилагането на мерките за изпълнение на тези изисквания.
5. Мерките за управление на риска, посочени в параграф 2, буква г), трябва да са такива, че съответният остатъчен риск, свързан с всяка опасност, както и общият остатъчен риск на високорисковите системи с ИИ, да се считат за приемливи.
При определянето на най-подходящите мерки за управление на риска се гарантира следното:
a) |
отстраняване или намаляване на рисковете, установени и оценени съгласно параграф 2, доколкото е технически осъществимо, чрез адекватно проектиране и разработване на високорисковата система с ИИ; |
б) |
когато е целесъобразно, прилагане на адекватни мерки за ограничаване и контрол по отношение на рисковете, които не могат да бъдат отстранени; |
в) |
предоставяне на необходимата информация съгласно член 13 и, където е целесъобразно, обучение на внедрителите. |
С оглед на отстраняването или намаляването на рисковете, свързани с използването на високорисковата система с ИИ, се отчитат надлежно техническите познания, опитът, образованието и обучението, които се очакват от внедрителя, и предполагаемият контекст, в който системата е предназначена да се използва.
6. Високорисковите системи с ИИ се изпитват с цел набелязване на най-подходящите и целенасочени мерки за управление на риска. Изпитванията трябва да гарантират, че високорисковите системи с ИИ функционират стабилно с оглед на предназначението си и че са в съответствие с изискванията, установени в настоящия раздел.
7. Процедурите за изпитване може да включват изпитване в реални условия в съответствие с член 60.
8. Изпитването на високорисковите системи с ИИ се извършва, когато е целесъобразно, във всеки момент от процеса на разработване и — при всички случаи — преди пускането им на пазара или пускането им в действие. Изпитването се извършва спрямо предварително определени показатели и вероятностни прагове, които са подходящи с оглед на предназначението на високорисковата система с ИИ.
9. При прилагането на системата за управление на риска, предвидена в параграфи 1—7, доставчиците разглеждат въпроса дали, с оглед на предназначението на високорисковата система с ИИ, е вероятно тя да окаже неблагоприятно въздействие върху ненавършили 18 години лица и, в зависимост от случая, върху други уязвими групи.
10. За доставчиците на високорискови системи с ИИ, спрямо които се прилагат изисквания по отношение на вътрешните процеси за управление на риска съгласно други относими разпоредби на правото на Съюза, аспектите, предвидени в параграфи 1—9, могат да бъдат част от процедурите за управление на риска, установени съгласно това право, или да се съчетават с тях.
Член 10
Данни и администриране на данните
1. Високорисковите системи с ИИ, при които се използват техники, свързани с обучение с данни на модели с ИИ, се разработват въз основа на набори от обучителни, валидационни и изпитвателни данни, които отговарят на критериите за качество, посочени в параграфи 2—5, когато се използват такива набори от данни.
2. По отношение на наборите от обучителни, валидационни и изпитвателни данни се прилагат практики за администриране и управление на данните, подходящи с оглед на предназначението на системата с ИИ. Тези практики се отнасят по-специално до:
a) |
съответните проектантски решения; |
б) |
процесите на събиране на данни и произхода на данните и в случай на лични данни — първоначалната цел на събирането на данните; |
в) |
съответните операции по подготовка на данните, като анотиране, обозначаване, изчистване, актуализиране, обогатяване и агрегиране; |
г) |
формулирането на допускания, по-специално по отношение на информацията, която данните следва да измерват и представят; |
д) |
оценка на наличието, количеството и годността на необходимите набори от данни; |
е) |
преглед с оглед на евентуална предубеденост, която има вероятност да засегне здравето и безопасността на хората, да окаже отрицателно въздействие върху основните права или да доведе до дискриминация, забранена съгласно правото на Съюза, по-специално когато резултатите от данните оказват влияние върху входящите данни за бъдещи операции; |
ж) |
подходящи мерки за откриване, предотвратяване и смекчаване на евентуална предубеденост, установена съгласно буква е); |
з) |
откриване на съответни пропуски или недостатъци в данните, които възпрепятстват съответствието с настоящия регламент, и на начините за отстраняване на тези пропуски и недостатъци. |
3. Наборите от обучителни, валидационни и изпитвателни данни трябва да са подходящи, достатъчно представителни и във възможно най-голяма степен без грешки и пълни с оглед на предназначението на системата. Те трябва да притежават подходящите статистически свойства, включително, когато е приложимо, по отношение на лицата или групите лица, по отношение на които високорисковата система с ИИ е предназначена да се използва. Тези характеристики на наборите от данни могат да са налични на равнището на отделните набори от данни или по отношение на комбинация от тях.
4. Наборите от данни трябва да са съобразени — доколкото това е необходимо с оглед на предназначението — с характеристиките или елементите, характерни за конкретната географска, контекстуална, поведенческа или функционална среда, в която високорисковата система с ИИ е предназначена да бъде използвана.
5. Доколкото това е строго необходимо, за да се гарантира откриване и коригиране на предубеденост във високорисковите системи с ИИ в съответствие с параграф 2, букви е) и ж) от настоящия член, доставчиците на такива системи могат по изключение да обработват специални категории лични данни при спазването на подходящи гаранции за основните права и свободи на физическите лица. Освен разпоредбите, предвидени в регламенти (ЕС) 2016/679 и (ЕС) 2018/1725 и Директива (ЕС) 2016/680, за да може да се извърши такова обработване, трябва да бъдат изпълнени всички посочени по-долу условия:
a) |
откриването и коригирането на предубедеността не могат да се осъществят ефективно чрез обработването на други данни, включително синтетични или анонимизирани данни; |
б) |
по отношение на специалните категории лични данни се прилагат технически ограничения, свързани с повторното използване на личните данни, както и най-съвременни мерки за сигурност и опазване на неприкосновеността на личния живот, включително псевдонимизация; |
в) |
по отношение на специалните категории лични данни се прилагат мерки, с които се гарантира, че обработваните лични данни са обезопасени, защитени, спрямо тях се прилагат подходящи гаранции, включително строг контрол и документиране на достъпа, с цел да се избегне злоупотреба и да се гарантира, че само оправомощени лица имат достъп до тези лични данни със съответните задължения за спазване на поверителност; |
г) |
специалните категории лични данни не се предоставят, не се предават, нито достъпват по друг начин от други лица; |
д) |
специалните категории лични данни се заличават, след като предубедеността бъде коригирана или личните данни достигнат края на срока си на съхранение, като се взема предвид по-рано настъпилото от двете събития; |
е) |
записите за дейностите по обработване съгласно регламенти (ЕС) 2016/679 и (ЕС) 2018/1725 и Директива (ЕС) 2016/680 включват причините, поради които обработването на специални категории лични данни е било строго необходимо за откриване и коригиране на предубедеността и не било възможно тази цел да се постигне чрез обработване на други данни. |
6. При разработването на високорискови системи с ИИ, които не използват техники, включващи обучение на модели с ИИ, параграфи 2—5 се прилагат само за наборите от изпитвателни данни.
Член 11
Техническа документация
1. Техническата документация на дадена високорискова система с ИИ се изготвя, преди тя да бъде пусната на пазара или пусната в действие, и се поддържа актуална.
Техническата документация се изготвя по такъв начин, че да показва, че високорисковата система с ИИ съответства на изискванията, установени в настоящия раздел, и да предоставя на националните компетентни органи и нотифицираните органи цялата необходима информация в ясна и разбираема форма с цел оценяване на съответствието на системата с ИИ с посочените изисквания. Тя съдържа най-малко елементите, установени в приложение IV. МСП, включително новосъздадените предприятия, могат да предоставят по опростен начин елементите на техническата документация, посочени в приложение IV. За тази цел Комисията създава опростен формуляр за техническа документация, съобразен с нуждите на малките предприятия и микропредприятията. Когато МСП, включително новосъздадените предприятия, изберат да предоставят по опростен начин информацията, изисквана съгласно приложение IV, те използват формуляра, посочен в настоящия параграф. Нотифицираните органи приемат формуляра за целите на оценяването на съответствието.
2. Когато се пуска на пазара или пуска в действие високорискова система с ИИ, свързана с продукт, обхванат от законодателството на Съюза за хармонизация, посочено в раздел А от приложение I, се изготвя един набор от техническа документация, съдържаща цялата посочена в параграф 1 информация, както и информацията, изисквана съгласно тези правни актове.
3. На Комисията се предоставя правомощието да приема делегирани актове в съответствие с член 97 за изменение на приложение IV, когато това е необходимо, за да се гарантира, че предвид техническия напредък техническата документация предоставя цялата информация, необходима за оценяване на съответствието на системата с установените в настоящия раздел изисквания.
Член 12
Поддържане на регистри
1. Високорисковите системи с ИИ технически позволяват автоматичното записване на събития (наричано по-долу „записи“) по време на срока на действие на системата.
2. С цел да се гарантира равнище на проследимост на функционирането на високорисковата система с ИИ, което е подходящо с оглед на нейното предназначение, възможностите за създаване на записи позволяват записване на събития, които са от значение за:
a) |
идентифицирането на ситуации, които могат да доведат до това високорисковата система с ИИ да представлява риск по смисъла на член 79, параграф 1 или до съществено изменение; |
б) |
улесняването на мониторинга след пускането на пазара, посочен в член 72; и |
в) |
мониторинга на функционирането на високорисковите системи с ИИ, посочен в член 26, параграф 5. |
3. За високорисковите системи с ИИ, посочени в точка 1, буква а) от приложение III, възможностите за създаване на записи осигуряват най-малко следното:
a) |
записване на времето на всяко използване на системата (начална дата и час и крайна дата и час на всяко използване); |
б) |