(1)

Понятието „отговорност“ играе важна двойна роля в нашето ежедневие: от една страна, то гарантира, че лице, което е претърпяло вреда, има право да търси обезщетение от страната, която носи отговорност за тази вреда, а от друга страна, предоставя икономически стимули за лицата да избягват преди всичко да причиняват вреди. Целта на всяка уредба относно отговорността следва да бъде да вдъхва доверие в безопасността, надеждността и съгласуваността на продуктите и услугите, включително нововъзникващите цифрови технологии, като например изкуствения интелект (ИИ), интернет на нещата (ИН) или роботиката, за да се постигне баланс между ефективната защита на потенциалните увредени лица и същевременно осигуряването на достатъчно свобода на действие, за да се даде възможност за разработване на нови технологии, продукти или услуги.

(2)

Особено в началото на жизнения цикъл на новите продукти и услуги, след като те са били предварително изпитани, съществува известен риск за ползвателя, както и за трети лица, че нещо няма да функционира правилно. Този процес на „проба и грешка“ е в същото време и ключов фактор на техническия прогрес, без който повечето от нашите технологии не биха съществували. До този момент рисковете, свързани с новите продукти и услуги, са били подходящо ограничени от строгите разпоредби относно безопасността на продуктите и правилата за отговорност.

(3)

Засиленото използване на ИИ обаче представлява значително предизвикателство за съществуващите уредби относно отговорността. Използването на системи с ИИ в нашето ежедневие ще доведе до ситуации, при които тяхната непрозрачност (елементът „черна кутия“) и множеството лица, които се намесват в техния жизнен цикъл, ще направят изключително скъпо или дори невъзможно да се установи кой е упражнявал контрол върху риска, свързан със системата с ИИ, или кой код или информация в крайна сметка е обусловил вредоносната експлоатация. Тази трудност е още по-голяма поради свързаността между дадена система с ИИ и други системи със или без ИИ, поради нейната зависимост от външни данни, поради нейната уязвимост спрямо нарушения в сферата на киберсигурността, както и поради нарастващата автономност на системите с ИИ благодарение на възможностите за машинно самообучение и задълбочено учене. Освен тези сложни характеристики и потенциални уязвимости, системите с ИИ също така биха могли да бъдат използвани за причиняване на сериозни вреди, като например компрометиране на човешкото достойнство и европейските ценности и свободи чрез проследяване на физическите лица против тяхната воля, чрез въвеждане на системи за социален кредит, чрез вземане на субективни решения по въпроси на здравното осигуряване, предоставянето на кредити, съдебни разпореждания или решения за назначаване на работа или във връзка със заетостта или чрез изграждане на смъртоносни автономни оръжейни системи.

(4)

Важно е да се отбележи, че предимствата от внедряването на системи с ИИ далеч ще надхвърлят недостатъците. Те ще помогнат за по-ефективна борба с изменението на климата, за подобряване на медицинските прегледи и условията на труд, за по-добро интегриране на хората с увреждания и възрастните хора в обществото и за предоставяне на съобразени с конкретните нужди учебни курсове за всички видове студенти. За да се използват различните технологични възможности и да се засили доверието на хората в използването на системите с ИИ, като същевременно се предотвратят вредоносните сценарии, най-доброто решение е наличието на стабилни етични стандарти в съчетание със солидни и справедливи процедури за обезщетение.

(5)

Необходим е подходящ режим на отговорност, за да се противодейства на нарушаването на правилата за безопасност. Определеният в настоящия регламент режим на отговорност обаче трябва да отчита всички засегнати интереси. Внимателното разглеждане на последствията от всяка нова регулаторна рамка за малките и средните предприятия (МСП) и стартиращите предприятия представлява предварително условие за предприемането на по-нататъшни законодателни действия. Ключовата роля на тези предприятия в европейската икономика оправдава използването на строго пропорционален подход с цел да им се позволи да се развиват и да извършват иновации. От друга страна, лицата, претърпели вреди, причинени от системи с ИИ, трябва да имат право на правни средства за защита и пълно обезщетение за понесените вреди.

(6)

Всички необходими промени в съществуващата правна уредба следва да започнат с уточнението, че системите с ИИ нямат нито статут на юридическо лице, нито човешко съзнание, и че единствената им задача е да служат на хората. Много системи с ИИ също така не се различават твърде от други технологии, които понякога се базират на още по-сложен софтуер. В крайна сметка по-голямата част от системите с ИИ се използват за обработка на обикновени задачи без никакви рискове или с минимални рискове за обществото. С използването на термина „автоматизирано вземане на решения“ би могло да се избегне евентуалното двусмислие на термина ИИ. Този термин описва ситуация, при която ползвател първоначално делегира решение, частично или изцяло, на друго лице посредством софтуер или услуга. Това лице на свой ред използва автоматично изпълнявани модели за вземане на решение, за да извърши действие от името на ползвателя или за да осигури информация за решението на ползвателя при извършването на дадено действие.

(7)

Съществуват обаче и системи с ИИ, които биват разработвани и внедрявани по критичен начин и се базират на такива технологии като невронни мрежи и процеси на задълбочено учене. Непрозрачността и автономността на тези системи биха могли да направят много трудно проследяването на конкретни действия във връзка с конкретни решения, взети от хора при тяхното проектиране или експлоатация. Оператор на такава система с ИИ може например да твърди, че физическата или виртуалната дейност, устройството или процесът, причинил вреда, са били извън неговия контрол, тъй като тя е била причинена от автономно функциониране на неговата система с ИИ. Освен това функционирането на автономна система с ИИ само по себе си не би трябвало да е достатъчно основание за приемане на претенцията за отговорност. В резултат на това е възможно да има случаи на отговорност, при които определението на отговорността би могло да бъде несправедливо или неефективно или при които лице, което претърпява вреди, причинени от система с ИИ, не може да докаже вината на производителя, на трето лице, което е манипулирало системата, или на оператора и в крайна сметка не получава обезщетение.

(8)

Въпреки това следва винаги да бъде ясно, че който създава, поддържа, контролира или манипулира системата с ИИ, следва да носи отговорност за вредите, причинени от дейността, устройството или процеса. Това следва от общи и широко приети в правосъдието концепции за отговорност, съгласно които лицето, което създава или поддържа риск за обществеността, носи отговорност, ако този риск причини вреда, и поради това следва предварително да сведе риска до минимум или впоследствие да предостави обезщетение за този риск. Следователно засиленото използване на системите с ИИ не налага необходимост от цялостно преразглеждане на правилата за отговорност в целия Съюз. Конкретни корекции на съществуващото законодателство и въвеждането на подложени на внимателна оценка и целенасочени нови разпоредби биха били достатъчни, за да се отговори на предизвикателствата, свързани с ИИ, с цел да се предотврати регулаторната разпокъсаност и да се гарантира хармонизирането на законодателството в областта на гражданската отговорност в целия Съюз във връзка с изкуствения интелект.

(9)

През последните над 30 години Директива 85/374/ЕИО на Съвета (3) („Директивата за отговорността за вредите, причинени от дефект на стокa“) се доказа като ефективно средство за получаване на обезщетение за вреди, причинени от дефектен продукт. Поради това тя следва да се използва и по отношение на претенциите за гражданска отговорност на страна, която претърпява вреди, срещу производителя на дефектна система с ИИ. В съответствие с принципите на Съюза за по-добро регулиране всички необходими законодателни корекции следва да бъдат обсъдени по време на необходимото преразглеждане на посочената директива. Съществуващото деликтно право на държавите членки, основано на виновна отговорност, също предлага в повечето случаи достатъчно ниво на защита за лицата, които претърпяват вреди, причинени от трето лице, което манипулира системата, тъй като манипулирането обикновено представлява действие, за което се носи виновна отговорност, когато третото лице използва системата с ИИ с цел причиняване на вреда. Поради тази причина настоящият регламент следва да се съсредоточи върху претенциите срещу оператора на система с ИИ.

(10)

Отговорността на оператора съгласно настоящия регламент се основава на факта, че той упражнява известен контрол върху риск, свързан с експлоатацията и функционирането на система с ИИ, който е сравним с този на собственика на автомобил. Колкото по-сложна и по-автономна е една система, толкова по-голямо въздействие може да има определянето и промяната на алгоритмите, например чрез непрекъснато актуализиране. Тъй като често има повече от едно лице, което по същество може да се счита за „опериращо“ със системата с ИИ, то съгласно настоящия регламент както бекенд операторът, така и фронтенд операторът могат да бъдат квалифицирани като „оператор“. Въпреки че по принцип фронтенд операторът се счита за лицето, което „основно“ взема решение относно използването на системата с ИИ, бекенд операторът всъщност може да има по-висока степен на контрол върху операционните рискове. Ако бекенд операторът отговаря и на определението за „производител“ съгласно член 3 от Директивата за отговорността за вредите, причинени от дефект на стокa, тази директива следва да се прилага за него. Ако има само един оператор и той е също така производителят на системата с ИИ, настоящият регламент има предимство пред Директивата за отговорността за вредите, причинени от дефект на стокa.

(11)

Ако ползвател, а именно лицето, използващо системата с ИИ, участва във вредоносното събитие, той следва да носи отговорност съгласно настоящия регламент само ако отговаря и на определението за оператор. Ако това не е така, степента на груба небрежност или умишлен принос на ползвателя към риска може да доведе до виновна отговорност на ползвателя към ищеца. Приложимите потребителски права на ползвателя следва да останат незасегнати.

(12)

Настоящият регламент следва да даде възможност на засегнатото лице да предявява претенции за отговорност по цялата верига на отговорност и през целия жизнен цикъл на системата с ИИ. Той следва също така да обхваща по принцип всички системи с ИИ, без значение къде се осъществява експлоатацията и дали операциите се извършват физически или виртуално. По-голямата част от претенциите за отговорност съгласно настоящия регламент следва обаче да касаят случаи на гражданска отговорност, когато дадена система с ИИ се експлоатира на обществено място и излага много лица на риск. В такъв случай засегнатите лица често няма да са информирани за функционирането на системата с ИИ и няма да имат договорно или правно отношение с оператора. Следователно функционирането на системата с ИИ ги поставя в положение, при което в случай на претърпяна вреда те могат да предявят единствено претенции за виновна отговорност срещу оператора на системата с ИИ, като същевременно срещат сериозни затруднения да докажат наличието на вина при този оператор.

(13)

Видът на системата с ИИ, върху която операторът упражнява контрол, е определящ фактор. Система с ИИ, която носи висок риск, потенциално застрашава ползвателя или обществеността в много по-висока степен и по начин, който е произволен и надвишава това, което може логично да се очаква. Това означава, че в началото на автономното функциониране на системата с ИИ по-голямата част от потенциално засегнатите лица са неизвестни и не могат да бъдат идентифицирани — например лица на площад на публично място или лица в съседна къща, за разлика от функционирането на система с ИИ с участието на конкретни лица, които обикновено са дали съгласието си за нейното внедряване предварително, например операция в болница или демонстрация с цел продажби в малък магазин. Да се определи доколко е значим потенциалът на дадена високорискова система с ИИ да причини вреди зависи от взаимодействието между целта на използване, за която системата с ИИ е пусната на пазара, начина на използване на системата с ИИ, сериозността на потенциалната вреда, степента на самостоятелност при вземането на решения, която може да доведе до вреди, и вероятността за осъществяване на риска. Степента на сериозност следва да се определя въз основа на относими фактори, като например обхвата на евентуалната вреда, причинена на засегнатите лица в резултат на експлоатацията (в това число по-специално последиците за основните права), броя на засегнатите лица, общата стойност на евентуалните вреди, както и вредата за обществото като цяло. Вероятността за причиняване на вреда следва да бъде определена въз основа на относими фактори като например ролята на алгоритмичните изчисления в процеса на вземане на решения, сложността на решението и обратимостта на последиците. В крайна сметка начинът на използване следва да зависи от относими фактори, като например контекста и сектора, в който функционира системата с ИИ, дали тя би могла да има правни или фактически последици за важни защитени от закона права на засегнатото лице, както и дали последиците могат да бъдат предотвратени в разумни граници.

(14)

Всички системи с ИИ, които носят висок риск, следва да бъдат изчерпателно изброени в приложение към настоящия регламент. Като се имат предвид бързите технически и пазарни промени в целия свят, както и техническият експертен опит, необходим за адекватен преглед на системите с ИИ, на Комисията следва да бъде делегирано правомощието да приема делегирани актове в съответствие с член 290 от Договора за функционирането на Европейския съюз за изменение на настоящия регламент по отношение на видовете системи с ИИ, които представляват висок риск, и критичните сектори, в които се използват. Въз основа на определенията и разпоредбите, предвидени в настоящия регламент, Комисията следва да извършва преглед на приложението без ненужно забавяне, но най-малко на всеки шест месеца и, ако е необходимо, да го изменя чрез делегирани актове. Оценката на Комисията дали дадена система с ИИ представлява висок риск следва да започне едновременно с оценката на безопасността на продукта, за да се предотврати ситуация, при която високорискова система с ИИ вече е одобрена за пазара, но все още не е класифицирана като високорискова и следователно функционира без задължително застрахователно покритие. За да се осигури на предприятията и научноизследователските организации достатъчно сигурност на планирането и на инвестициите, промените в критичните сектори следва да се правят само веднъж на всеки дванадесет месеца. Операторите следва да бъдат призовани да уведомят Комисията, ако работят върху нова технология, продукти или услуги, които попадат в някой от съществуващите критични сектори, предвидени в приложението, и които по-късно може да бъдат квалифицирани като „високорискова система с ИИ“.

(15)

От особено значение е по време на подготвителната си работа Комисията да провежда целесъобразни консултации със заинтересованите лица, включително на експертно равнище, като те бъдат съобразени с принципите, заложени в Междуинституционалното споразумение от 13 април 2016 г. за по-добро законотворчество (4). При извършването на редовния преглед съгласно настоящия регламент Комисията следва да бъде подпомагана от постоянен комитет, наречен „Технически комитет за високорискови системи с ИИ“ (TCRAI). Този постоянен комитет следва да включва представители на държавите членки, както и балансирана извадка на заинтересовани лица, включително организации на потребителите, асоциации, представляващи засегнатите лица, представители на предприятията от различни сектори и с различни размери, както и изследователи и учени. По-специално, с цел осигуряване на равно участие при подготовката на делегираните актове, Европейският парламент и Съветът получават всички документи едновременно с експертите от държавите членки, като експертите на Европейския парламент и Съвета получават систематично достъп до заседанията на експертните групи на Комисията, както и на постоянния комитет TCRAI, когато се занимават с подготовката на делегирани актове.

(16)

Настоящият регламент следва да обхваща вредите за живота, здравето, физическата неприкосновеност, имуществото и значителна неимуществена вреда, която води до проверима икономическа загуба над определен праг, хармонизиран в правото на Съюза, основано на виновна отговорност, с което се постига баланс между достъпа до правосъдие на засегнатите лица и интересите на други участващи лица. Комисията следва да направи преоценка и да приведе в съответствие праговете за вреди в правото на Съюза. Под „значителна неимуществена вреда“ следва да се разбира вреда, в резултат на която засегнатото лице претърпява значително увреждане, обективно и доказуемо накърняване на неговите лични интереси и икономическа загуба, изчислена, като се вземат предвид например средните годишни стойности на приходите от минали периоди и други относими обстоятелства. В настоящия регламент следва също да се определят размерът и обхватът на обезщетението, както и давностният срок за предявяване на претенции за отговорност. За разлика от Директивата за отговорността за вредите, причинени от дефект на стокa, в настоящия регламент следва да бъде определен значително по-нисък таван за обезщетението, тъй като регламентът се отнася само за вредата, претърпяна от едно лице в резултат от една-единствена операция на дадена система с ИИ, докато директивата се отнася за определен брой продукти или дори за продуктова линия с еднакъв дефект.

(17)

Всички физически или виртуални дейности, устройства или процеси, задвижвани от системи с ИИ, които не са изброени в приложението към предложения регламент като високорискова система с ИИ, следва да продължат да подлежат на виновна отговорност, освен ако не са в сила по-строги национални закони и законодателство в областта на защитата на потребителите; По отношение на размера и обхвата на обезщетението, както и на давностния срок следва да продължат да се прилагат националните законодателства на държавите членки, включително съответната съдебна практика. Лице, което претърпява вреди, причинени от дадена система с ИИ, която не е посочена в приложението като високорискова система с ИИ, следва да се ползва от презумпцията за вина на оператора.

(18)

Комплексната проверка, която може да се очаква от оператора, следва да бъде съизмерима с: i) естеството на системата с ИИ; ii) защитеното от закона право, което може да бъде засегнато; iii) потенциалните вреди, които системата с ИИ би могла да причини; и iv) вероятността от такива вреди. При това следва да се има предвид, че операторът може да има ограничени познания за алгоритмите и данните, използвани в системата с ИИ. Следва да се приеме, че операторът е положил дължимата грижа, която разумно може да се очаква от него при избора на подходяща система с ИИ, ако той е избрал система с ИИ, сертифицирана съгласно схема, подобна на доброволната схема за сертифициране, предвидена от Комисията (5). Следва да се приеме, че при експлоатацията на системата с ИИ операторът е положил дължимата грижа, която разумно може да се очаква от него, ако операторът може да докаже, че действително и редовно е контролирал системата с ИИ по време на нейната експлоатация и е уведомил производителя за потенциални нередности по време на експлоатацията. Следва да се приеме, че операторът е положил дължимата грижа, която разумно може да се очаква от него по отношение на поддържането на оперативната надеждност, ако операторът е инсталирал всички налични актуализации, предоставени от производителя на системата с ИИ. Тъй като нивото на познания на операторите може да варира в зависимост от това дали те са само потребители или са професионалисти, задълженията за полагане на грижи следва да бъдат съответно адаптирани.

(19)

За да може операторът да докаже, че няма вина, или за да може засегнатото лице да докаже наличието на вина, производителите следва да са задължени да сътрудничат с двете засегнати страни, включително и като предоставят добре документирана информация. Освен това както производителите със седалище в Съюза, така и производителите, чието седалище не се намира в Съюза, следва да са задължени да определят представител по въпросите на отговорността, свързана с ИИ, в рамките на Съюза като звено за контакт, което да отговаря на всички запитвания от страна на операторите, по подобен начин на предвиденото за длъжностните лица по защита на данните съгласно член 37 от Регламент (ЕС) 2016/679 на Европейския парламент и на Съвета (6), за представителя на производителя съгласно член 3, параграф 41 и член 13, параграф 4 от Регламент (ЕС) 2018/858 на Европейския парламент и на Съвета (7), както и за упълномощения представител съгласно член 4, параграф 2 и член 5 от Регламент (ЕС) 2019/1020 на Европейския парламент и на Съвета (8).

(20)

Законодателят трябва да отчита рисковете от възникване на отговорност във връзка със системите с ИИ по време на целия им жизнен цикъл — от разработването до използването и края на експлоатационния им период, включително управлението на отпадъците и рециклирането. Включването на системи с ИИ в даден продукт или услуга представлява финансов риск за предприятията и следователно ще окаже сериозно въздействие върху капацитета и възможностите и вариантите, с които МСП, както и стартиращите предприятия разполагат по отношение на застраховането и финансирането на базираните си на нови технологии научноизследователски и развойни проекти. Следователно целта на отговорността е не само да се гарантират важни защитени от закона права на физическите лица, но и да се определи дали предприятията, и особено МСП и стартиращите предприятия, са в състояние да набират капитал, да правят иновации, научни изследвания и в крайна сметка да предлагат нови продукти и услуги, както и дали клиентите имат доверие в такива продукти и услуги и са склонни да ги използват въпреки потенциалните рискове и съдебни искове, свързани с такива продукти и услуги.

(21)

Застраховката може да помогне да се гарантира, че увредените лица получават ефективно обезщетение, както и да се обединят рисковете на всички застраховани лица. Един от факторите, на който застрахователните дружества базират своето предлагане на застрахователни продукти и услуги, е оценката на риска въз основа на достъпа до достатъчно данни за минали периоди относно предявените претенции. Липсата на достъп до висококачествени данни или недостатъчното им количество би могло да е една от причините, поради която създаването на застрахователни продукти за нови и нововъзникващи технологии е трудно в началото. При все това, по-големият достъп до генерираните от новите технологии данни и оптимизирането на тяхното използване, в съчетание със задължение за предоставяне на добре документирана информация, ще повишат способността на застрахователите да моделират нововъзникващия риск и да насърчат разработването на по-иновативно покритие.

(22)

Като се има предвид, че липсват исторически данни за претенциите, следва да се проучи как и при какви условия отговорността може да се застрахова, за да се обвърже застраховката с продукта, а не с отговорното лице. Вече съществуват застрахователни продукти, които са разработени по области и покрития, успоредно с развитието на технологиите. Много застрахователи се специализират в определени пазарни сегменти (например МСП) или в осигуряването на покритие за определени видове продукти (например електрически изделия), което означава, че обикновено ще има наличен застрахователен продукт за застрахованото лице. Трудно е обаче да се предвиди универсално решение, а застрахователният пазар ще има нужда от време, за да се приспособи. Комисията следва да работи в тясно сътрудничество със застрахователния пазар, за да се разработят иновативни застрахователни продукти, които биха могли да запълнят липсата на адекватни застраховки. В изключителни случаи, например при събитие, водещо до колективни вреди, при които обезщетението значително надвишава максималните размери, определени в настоящия регламент, държавите членки следва да бъдат насърчени да създадат за ограничен период от време специален фонд за обезщетения, с който да се посрещнат специфичните нужди в тези случаи. Могат да бъдат създадени и специални фондове за обезщетение, които да покриват изключителните случаи, в които система с ИИ, която все още не е класифицирана като високорискова система с ИИ и следователно все още не е застрахована, причинява вреди. За да се гарантира правна сигурност и да се изпълни задължението за информиране на всички потенциално засегнати лица, съществуването на специалния фонд за обезщетение, както и условията за неговото използване, следва да бъдат оповестени по ясен и изчерпателен начин.

(23)

Изключително важно е всички бъдещи промени в настоящия регламент да бъдат съпроводени от необходимото преразглеждане на Директивата за отговорността за вреди, причинени от дефект на стокa, за да се направи всеобхватен и последователен преглед и да се гарантират правата и задълженията на всички заинтересовани лица по цялата верига на отговорност. Въвеждането на нов режим на отговорност за оператора на системи с ИИ изисква разпоредбите на настоящия регламент и преразглеждането на Директивата за отговорността за вреди, причинени от дефект на стокa, да бъдат тясно координирани от гледна точка на съдържанието и подхода, така че заедно да представляват съгласувана уредба относно отговорността за системите с ИИ, която постига баланс между интересите на производителя, оператора, потребителя и засегнатото лице по отношение на риска от възникване на отговорност и съответните условия за обезщетение. Поради това е необходимо да се адаптират и рационализират определенията за система с ИИ, фронтенд оператор, бекенд оператор, производител, дефект, продукт и услуга във всички законодателни актове и те следва да бъдат предвидени паралелно.

(24)

Целите на настоящия регламент, а именно създаване на ориентиран към бъдещето единен подход на равнището на Съюза, който установява общи европейски стандарти за европейските граждани и предприятия, за да се гарантира съгласуваност на правата и правна сигурност в целия Съюз и да се избегне фрагментирането на цифровия единен пазар, което би възпрепятствало постигането на целта за запазване на цифровия суверенитет, за насърчаване на цифровите иновации в Европа и за постигане на високо равнище на защита на гражданите и на правата на потребителите, изискват пълно хармонизиране на режимите на отговорност за системите с ИИ. Доколкото това не може да бъде постигнато в достатъчна степен от държавите членки поради бързите технологични промени, трансграничното развитие, използването на системите с ИИ и в крайна сметка — противоречащите си законодателни подходи в Съюза, но поради обхвата или последиците от действието може по-скоро да бъде постигнато на равнището на Съюза, Съюзът може да приеме мерки в съответствие с принципа на субсидиарност, уреден в член 5 от Договора за Европейския съюз. В съответствие с принципа на пропорционалност, уреден в същия член, настоящият регламент не надхвърля необходимото за постигането на тези цели,