18.7.2018   

SL

Uradni list Evropske unije

C 252/239

P8_TA(2017)0051

Pravila civilnega prava o robotiki

Resolucija Evropskega parlamenta z dne 16. februarja 2017 s priporočili Komisiji o pravilih civilnega prava o robotiki (2015/2103(INL))

(2018/C 252/25)

Evropski parlament,

—

ob upoštevanju člena 225 Pogodbe o delovanju Evropske unije,

—

ob upoštevanju Direktive Sveta 85/374/EGS (1),

—

ob upoštevanju študije Ethical Aspects of Cyber-Physical Systems (Etični vidiki kibernetsko-fizičnih sistemov), izvedene za strokovno skupino Parlamenta za ocenjevanje znanstvenih in tehnoloških izbir (STOA) pod vodstvom Oddelka za znanstvene napovedi (STOA), Generalni direktorat Služba Evropskega parlamenta za raziskave;

—

ob upoštevanju členov 46 in 52 Poslovnika,

—

ob upoštevanju poročila Odbora za pravne zadeve ter mnenj Odbora za promet in turizem, Odbora za državljanske svoboščine, pravosodje in notranje zadeve, Odbora za zaposlovanje in socialne zadeve, Odbora za okolje, javno zdravje in varnost hrane, Odbora za industrijo, raziskave in energetiko ter Odbora za notranji trg in varstvo potrošnikov (A8-0005/2017),

Uvod

A.

ker so ljudje od romana Mary Shelley o Frankensteinovi pošasti do klasičnega mita o Pigmalionu, prek zgodbe o praškem Golemu in robotu Karla Čapka, ki je besedo robot tudi skoval, sanjarili o možnosti izdelave inteligentnih strojev, ki so bili pogosto kar androidi s človeškimi značilnostmi;

B.

ker je človeštvo zdaj na pragu obdobja, ko se vedno bolj napredni roboti, boti, androidi in druge oblike umetne inteligence zdijo pripravljeni, da povzročijo novo industrijsko revolucijo, ki bo verjetno vplivala na celotno družbo, in je zelo pomembno, da zakonodajalec obravnava vse njene morebitne pravne in etične posledice in vplive, ne da bi dušili inovacijo;

C.

ker je treba oblikovati splošno sprejemljivo opredelitev za robote in umetno inteligenco, ki bo prožna in ne bo preprečevala inovacij;

D.

ker se je med letoma 2010 in 2014 prodaja robotov v povprečju povečala za 17 % na leto, leta 2014 pa je prodaja zrasla za 29 %, kar je najvišje povečanje na letni ravni do zdaj, pri čemer so glavni nosilci rasti dobavitelji avtomobilskih delov in električna/elektronska industrija; ker se je v zadnjem desetletju število letnih prijav patentov za robotsko tehnologijo povečalo za trikrat;

E.

ker je v zadnjih 200 letih število zaposlenih zaradi tehnološkega napredka neprestano naraščalo; ker ima razvoj robotike in umetne inteligence potencial, da spremeni življenja in delovno prakso, poveča učinkovitost, prihranke in raven varnosti ter okrepi raven storitev; ker naj bi v kratkoročnem do srednjeročnem obdobju robotika in umetna inteligenca zagotovili prednosti in prihranke ne le v proizvodnji in trgovini, ampak tudi na področjih, kot so prevoz, medicinska oskrba, reševanje, izobraževanje in kmetovanje, hkrati pa bo mogoče preprečiti izpostavljenost ljudi nevarnim razmeram, kot so na primer pri čiščenju območij, onesnaženih s strupenimi snovmi;

F.

ker postaja zaradi napredka življenjskih pogojev in sodobne medicine pričakovana življenjska doba vse daljša, kar vodi v staranje družbe, ki pomeni za evropske družbe enega od največjih političnih, družbenih in gospodarskih izzivov 21. stoletja; ker bo do leta 2025 več kot 20 % Evropejcev starih 65 let ali več, zlasti pa se bo hitro povečalo število starejših od 80 let, kar bo bistveno spremenilo medgeneracijsko ravnovesje v naših družbah, in ker je v interesu družbe, da ostanejo starejši ljudje čim dlje zdravi in aktivni;

G.

ker bo sedanji trend, ki se nagiba k razvoju pametnih in avtonomnih strojev s sposobnostjo učenja in neodvisnega sprejemanja odločitev, dolgoročno prinesel gospodarske koristi, pa tudi pomisleke glede neposrednih in posrednih vplivov na družbo kot celoto;

H.

ker strojno učenje ponuja ogromne gospodarske in inovativne koristi za družbo, saj izjemno izboljša zmožnost analize podatkov, vendar se bodo zaradi tega pojavili tudi izzivi, in sicer kako zagotoviti nediskriminacijo, dolžno pravno postopanje, preglednost in razumljivost pri sprejemanju odločitev;

I.

ker je, podobno, treba oceniti, kako robotika in strojno učenje vplivata na gospodarske spremembe in na zaposlovanje; ker lahko uporaba robotike kljub neizpodbitnim prednostim vendarle vpliva tudi na spremembe na trgu dela, zato bo treba razmisliti o prihodnosti izobraževanja, zaposlovanja in socialne politike;

J.

ker splošna uporaba robotov morda ne bo samodejno vodila do nadomestitve delovnih mest, temveč bodo za avtomatizacijo bolj občutljiva nizkokvalificirana delovna mesta v delovno intenzivnih sektorjih; ker bi se lahko zaradi tega trenda proizvodni procesi vrnili v EU; ker so raziskave dokazale, da zaposlovanje raste občutno hitreje v poklicih, v katerih se bolj uporabljajo računalniki; ker ima avtomatizacija delovnih mest potencial, da ljudi odreši monotonega fizičnega dela in jim omogoči, da se usmerijo v ustvarjalnejše in pomembne naloge; ker bodo morale vlade zaradi avtomatizacije vlagati v izobraževanje in druge reforme, da bi izboljšale preusmeritev v vrste znanj in spretnosti, ki jih bodo potrebovali delavci v prihodnosti;

K.

ker se je treba ob čedalje večjih družbenih razlikah in krčenju srednjega sloja zavedati, da lahko razvoj robotike privede do visoke zgoščenosti bogastva in vpliva v rokah manjšine;

L.

ker bo razvoj robotike in umetne inteligence dokončno spremenil delovno okolje, zaradi česar se lahko pojavijo nova vprašanja glede odgovornosti in odpravijo druga; ker je treba razjasniti pravno odgovornost v poslovnem modelu ter pri opredelitvi dela za nujne primere in primere, kadar pride do težav;

M.

ker trend vse večje avtomatizacije od tistih, ki se ukvarjajo z razvojem in trženjem aplikacij umetne inteligence, zahteva, da že od začetka vgrajujejo varnost in etiko, s tem pa se priznava, da morajo biti pripravljeni nositi pravno odgovornost za kakovost tehnologije, ki jo proizvajajo;

N.

ker Uredba (EU) 2016/679 Evropskega parlamenta in Sveta (2) (Splošna uredba o varstvu podatkov) določa pravni okvir za varstvo podatkov; ker bo morda treba obravnavati dodatne vidike dostopa do podatkov ter varstva osebnih podatkov in zasebnosti, glede na to, da se lahko pojavijo vprašanja v zvezi z zasebnostjo, ker bodo aplikacije in naprave komunicirale druga z drugo ter z zbirkami podatkov brez posredovanja ljudi;

O.

ker se razvoj robotike in umetne inteligence lahko načrtuje in mora načrtovati tako, da bo ohranil dostojanstvo, samostojnost in samoodločanje posameznikov, zlasti na področju nege ljudi in druženja ter pri zdravstvenih napravah, ki „popravljajo“ ali izboljšujejo ljudi;

P.

ker bi lahko končno umetna inteligenca dolgoročno presegla človeško intelektualno zmožnost;

Q.

ker imata nadaljnji razvoj in pogostejša uporaba avtomatiziranega in algoritemskega sprejemanja odločitev nedvomno vpliv na odločitve zasebnih subjektov (na primer podjetij ali internetnih uporabnikov) in izbiro upravnih, sodnih ali drugih javnih organov pri izdajanju končnih odločitev potrošniške, poslovne ali uradne narave; ker morajo biti zaščitni mehanizmi ter možnost človeškega nadzora in preverjanja vgrajeni v postopek avtomatiziranega in algoritemskega sprejemanja odločitev;

R.

ker več tretjih držav, kot so ZDA, Japonska, Kitajska in Južna Koreja, razmišlja o uvedbi regulativnih ukrepov v zvezi z robotiko in umetno inteligenco in so jih deloma že sprejele ter ker so nekatere države članice že začele proučevati pripravo pravnih standardov ali izvajati zakonodajne spremembe, da bi upoštevale vse večjo uporabo takšnih tehnologij;

S.

ker bi lahko evropska industrija imela koristi od učinkovitega, usklajenega in preglednega pristopa k ureditvi na ravni Unije, ki bi zagotovila predvidljive in dovolj jasne pogoje, pod katerimi bi lahko podjetja razvijala aplikacije in načrtovala svoje poslovne modele na evropski ravni, ter hkrati zagotovila, da bi Unija in njene države članice ohranile nadzor nad regulativnimi standardi, ki jih je treba določiti, ter tako ne bi bile prisiljene sprejeti standardov, ki bi jih določili drugi, tj. tretje države, ki imajo prav tako vodilno vlogo pri razvoju robotike in umetne inteligence, in živeti v skladu z njimi;

Splošna načela

T.

ker je treba Asimove zakone (3) obravnavati, kot da so namenjeni načrtovalcem, proizvajalcem in upravljavcem robotov, tudi robotov, ki imajo vgrajeno avtonomijo in samoučenje, saj teh zakonov ni mogoče pretvoriti v strojno kodo;

U.

ker je koristen in nujen sklop pravil, ki bodo urejala zlasti krivdno odgovornost, preglednost in odgovornost ter izražala prave evropske in humanistične vrednote, ki so značilne za prispevek Evrope k družbi; ker ta pravila ne smejo vplivati na proces raziskav, inovacij in razvoja robotike;

V.

ker bi Unija lahko imela pomembno vlogo pri uveljavljanju osnovnih etičnih načel, ki bi jih bilo treba spoštovati pri razvoju, programiranju in uporabi robotov in umetne inteligence ter pri vključitvi takih načel v predpise in kodekse ravnanja Unije, pri čemer bi bil njen cilj zasnovati tehnološko revolucijo, ki bo uporabna za človeštvo ter bo zagotavljala široko dostopnost koristi napredne robotike in umetne inteligence, hkrati pa bi se čim bolj preprečevale morebitne nevarnosti takega razvoja;

W.

ker je tej resoluciji priložena Listina o robotiki, pripravljena s pomočjo Oddelka za znanstvene napovedi (STOA), Generalni direktorat Služba Evropskega parlamenta za raziskave, v kateri so predlogi za kodeks etičnega ravnanja za inženirje robotike, kodeks za odbore za raziskovalno etiko, dovoljenje za načrtovalce in dovoljenje za uporabnike;

X.

ker bi bilo treba za Unijo na področju prihodnjih pobud s področja robotike in umetne inteligence, da ne bi zavirali inovativnosti, sprejeti postopen, pragmatičen in previden pristop v takšnem smislu, kot ga je zagovarjal Jean Monnet (4);

Y.

ker je glede na doseženo stopnjo razvoja robotike in umetne inteligence primerno, da se začnejo obravnavati vprašanja civilne odgovornosti;

Odgovornost

Z.

ker današnji roboti zaradi izrednega tehnološkega napredka v zadnjem desetletju ne le, da lahko izvajajo dejavnosti, ki so bile značilno in izključno človeške, ampak so z razvojem določenih avtonomnih in kognitivnih značilnosti, npr. sposobnosti učenja na podlagi izkušenj in sprejemanja skoraj neodvisnih odločitev, postali tudi vse bolj podobni agentom, ki vzajemno delujejo s svojim okoljem in ga lahko močno spreminjajo; ker v takih okoliščinah pravna odgovornost, ki izhaja iz robotovega škodljivega delovanja, postane ključno vprašanje;

AA.

ker je avtonomnost robotov mogoče opredeliti kot sposobnost sprejemati odločitve in jih izvajati v zunanjem svetu neodvisno od zunanjega nadzora ali vpliva; ker je ta avtonomnost povsem tehnološka, njena stopnja pa je odvisna od tega, kako dovršena interakcija robota z okoljem je bila predvidena pri njegovem načrtovanju;

AB.

ker bolj kot so roboti avtonomni, tem manj jih je mogoče obravnavati kot preprosta orodja v rokah drugih akterjev (kot so proizvajalci, upravljavci, lastniki, uporabniki itd.); ker se zato postavlja vprašanje, ali zadostujejo običajni predpisi o odgovornosti ali bo treba z novimi načeli in predpisi pojasniti pravno odgovornost različnih akterjev na področju odgovornosti za dejanja in opustitve dejanj robotov, kadar zanje ni mogoče izslediti človeškega faktorja, in določiti, ali bi se dejanjem ali opustitvam dejanj robotov, ki so povzročili škodo, lahko izognili;

AC.

ker se v zvezi z avtonomnostjo robotov nenazadnje pojavlja vprašanje o njihovi naravi glede na zdajšnje pravne kategorije, oziroma ali bi bilo treba uvesti novo kategorijo, ki bi imela svoje posebne značilnosti in posledice;

AD.

ker se po veljavnem pravnem okviru sami roboti ne morejo šteti za odgovorne za dejanja ali opustitve dejanj, ki povzročijo škodo tretjim osebam; ker veljavna pravila o odgovornosti zajemajo primere, ko se lahko vzrok za robotovo dejanje ali opustitev dejanja poveže z določenim človeškim agentom, kot je na primer proizvajalec, upravljavec, lastnik ali uporabnik, pri čemer bi ta agent lahko predvidel in preprečil robotovo škodljivo vedenje; ker bi se poleg tega lahko proizvajalci, upravljavci, lastniki ali uporabniki šteli za objektivno odgovorne za robotova dejanja ali opustitve dejanj;

AE.

ker v skladu z veljavnim pravnim okvirom za škodo, ki jo povzročijo roboti ali umetna inteligenca, veljajo odgovornost za proizvode (v skladu s katero je proizvajalec odgovoren za slabo delovanje proizvoda) in pravila glede odgovornosti pri škodljivih dejanjih (v skladu s katerimi je uporabnik proizvoda odgovoren za vedenje, zaradi katerega pride do škode);

AF.

ker v primeru, v katerem bi robot lahko sprejemal avtonomne odločitve, običajna pravila ne bodo zadostna za uveljavitev pravne odgovornosti za škodo, ki jo povzroči robot, ker na podlagi teh pravil ne bi bilo mogoče opredeliti stranke, ki je odgovorna za zagotovitev odškodnine, in od te stranke zahtevati, da nadomesti škodo, ki jo je robot povzročil;

AG.

ker ima veljavni pravni okvir očitne pomanjkljivosti tudi v zvezi s pogodbeno odgovornostjo, saj običajnih pravil ni mogoče uporabiti za stroje, ki so zasnovani tako, da si izbirajo svoje nasprotne stranke, se pogajajo o pogodbenih pogojih, sklepajo pogodbe ter se odločajo, ali in kako jih bodo izvajali; ker to kaže na potrebo po novih, sodobnejših pravilih, ki bi morala biti skladna s tehnološkim razvojem in nedavnimi inovacijami, ki se uporabljajo na trgu;

AH.

ker se lahko v zvezi z nepogodbeno odgovornostjo Direktiva 85/374/EGS uporablja le za škodo, nastalo zaradi tovarniške napake robota, in pod pogojem, da lahko oškodovanec dokaže dejansko škodo, napako na izdelku ter vzročno zvezo med škodo in napako, zato okvir objektivne odgovornosti morda ne bo zadostoval;

AI.

ker ne glede na področje uporabe Direktive 85/374/EGS veljavni pravni okvir ne bi zadoščal za pokrivanje škode, ki bi jo povzročili roboti nove generacije, če bi lahko imeli sposobnosti prilagajanja in učenja, ki bi pri njihovem vedenju vključevale nekaj nepredvidljivosti, ker bi se takšni roboti samostojno učili na podlagi lastnih raznovrstnih izkušenj ter vzajemno delovali s svojim okoljem na edinstven in nepredvidljiv način;

Splošna načela v zvezi z razvojem robotike in umetne inteligence za civilno uporabo

1.

 poziva Komisijo, naj predlaga skupno opredelitev kibernetsko-fizičnih sistemov, avtonomnih sistemov, pametnih avtonomnih robotov in njihovih podkategorij na ravni Unije, pri čemer naj upošteva naslednje značilnosti pametnega robota:

—

pridobitev avtonomnosti prek senzorjev in/ali z izmenjavo podatkov z lastnim okoljem (medsebojna povezanost) ter trženje in analiza teh podatkov,

—

samoučenje na podlagi izkušenj in interakcije (izbirno merilo),

—

vsaj manjša fizična podpora,

—

prilagoditev vedenja in dejanj okolju,

—

neobstoj življenja v biološkem pomenu;

2.

 meni, da bi bilo treba uvesti celovit sistem za registracijo naprednih robotov na notranjem trgu Unije, kjer je to ustrezno in nujno za posebne kategorije robotov, in poziva Komisijo, naj določi merila za razvrstitev robotov, ki bi jih bilo treba registrirati; v zvezi s tem poziva Komisijo, naj razišče, ali bi bilo za sistem registracije in evidenco zaželeno, da ju upravlja za to določena agencija EU za robotiko in umetno inteligenco;

3.

 poudarja, da bi bilo treba razvoj robotske tehnologije usmeriti v dopolnjevanje človeških zmožnosti, ne pa njihovo nadomestitev; meni, da je pri razvoju robotike in umetne inteligence bistveno zagotoviti, da bodo imeli ljudje vedno nadzor nad inteligentnimi stroji; meni, da je treba posebno pozornost posvetiti mogočemu razvoju čustvene vezi med človekom in robotom, zlasti pri ranljivih skupinah, kot so otroci, starejši in invalidi, ter poudarja vprašanja, ki jih zbuja resen čustveni in fizični vpliv, ki bi ga lahko imela ta čustvena vez na človeškega uporabnika;

4.

 poudarja, da lahko pristop na ravni Unije olajša razvoj, saj bi preprečil razdrobljenost notranjega trga, in hkrati opozarja, da je pri čezmejni uporabi robotov in robotskih sistemov pomembno načelo vzajemnega priznavanja; želi spomniti, da bi morali biti testiranje, certifikacija in pridobitev tržnega dovoljenja potrebni le v eni državi članici; poudarja, da bi moral ta pristop spremljati učinkovit tržni nadzor;

5.

 poudarja, kako pomembni so ukrepi za pomoč malim in srednjim ter zagonskim podjetjem v sektorju robotike, saj ustvarjajo nove tržne segmente v tem sektorju ali uporabljajo robote;

Raziskave in inovacije

6.

 poudarja, da so številne robotske uporabe šele v poskusni fazi; pozdravlja, da se s sredstvi držav članic ali Unije financira vse več raziskovalnih projektov; meni, da je za Unijo nujno, da skupaj z državami članicami s pomočjo javnih sredstev ostane vodilna pri raziskavah s področja robotike in umetne inteligence; poziva Komisijo in države članice, naj povečajo obseg finančnih instrumentov za raziskovalne projekte na področju robotike in IKT, vključno z javno-zasebnimi partnerstvi, in naj v svoji raziskovalni politiki izvajajo načeli odprte znanosti in odgovornih etičnih inovacij; poudarja, da je treba iskanju rešitev za družbene, etične, pravne in gospodarske izzive, ki se lahko pojavijo zaradi tehnološkega razvoja in njegovih uporab, nameniti zadostna sredstva;

7.

 poziva Komisijo in države članice, naj spodbujajo raziskovalne programe, s katerimi bodo stimulirale raziskovanje možnih dolgoročnih tveganj in priložnosti, ki jih prinašajo tehnologije s področja robotike in umetne inteligence, ter naj spodbujajo čimprejšnjo vzpostavitev strukturiranega javnega dialoga o posledicah razvoja teh tehnologij; poziva Komisijo, naj v okviru vmesnega pregleda večletnega finančnega okvira poveča podporo za program SPARC, ki se financira iz Obzorja 2020; poziva Komisijo in države članice, naj s skupnimi prizadevanji te tehnologije pozorno spremljajo in jim zagotovijo preprostejši prehod iz raziskovalne faze v komercializacijo ter uporabo na trgu po ustreznih ocenah varnosti v skladu s previdnostnim načelom;

8.

 poudarja, da je za inovacije na področju robotike in umetne inteligence ter vključitev tehnologij robotike in umetne inteligence v gospodarstvo in družbo potrebna digitalna infrastruktura, ki bo zagotavljala vseprisotno povezljivost; poziva Komisijo, naj vzpostavi okvir, ki bo izpolnjeval zahteve glede povezljivosti za digitalno prihodnost Unije, in zagotovi, da bo dostop do širokopasovnih povezav in omrežij 5G povsem skladen z načelom internetne nevtralnosti;

9.

 je trdno prepričan, da je interoperabilnost med sistemi, napravami in storitvami v oblaku, temelječa na vgrajeni varnosti in zasebnosti, nujno potrebna za pretok podatkov v realnem času, ki robotom in umetni inteligenci omogoča večjo prilagodljivost in avtonomnost; poziva Komisijo, naj spodbuja odprto okolje (od odprtih standardov in inovativnih modelov izdajanja dovoljenj do odprtih platform in preglednosti), da bi preprečili odvisnost od lastniških sistemov, ki omejujejo interoperabilnost;

Etična načela

10.

 ugotavlja, da potencial za krepitev moči z uporabo robotike spremljajo razni pomisleki ali tveganja, ki bi jih bilo treba resno preučiti s stališča varnosti, zdravja in varstva ljudi; svobode, zasebnosti, integritete in dostojanstva; samoodločanja in nediskriminacije ter varstva osebnih podatkov;

11.

 meni, da bi morali veljavni pravni okvir Unije, kjer je ustrezno, posodobiti in dopolniti s splošnimi etičnimi načeli, ki naj odražajo zapletenost področja robotike in številne posledice, ki jih lahko ima na družbenem, zdravstvenem in bioetičnem področju; meni, da je potreben jasen, strog in učinkovit etični okvir, ki bo usmerjal razvoj, načrtovanje, proizvodnjo, uporabo in spreminjanje robotov, ki bo dopolnjeval pravna priporočila iz poročila ter veljavni nacionalni pravni red in pravni red Unije; v prilogi k resoluciji predlaga okvir v obliki listine, ki jo sestavljajo kodeks ravnanja za inženirje robotike, kodeks za odbore za raziskovalno etiko, ki bi se uporabljal pri pregledovanju robotskih protokolov, ter vzorci dovoljenj za načrtovalce in uporabnike;

12.

 poudarja načelo preglednosti, in sicer da mora biti možno utemeljiti vsako odločitev, ki se sprejme s pomočjo umetne inteligence in ki lahko občutno vpliva na življenje ene ali več oseb; meni, da mora biti vedno možno, da se izračuni sistema umetne inteligence omejijo na ljudem razumljivo obliko; meni, da bi morali imeti napredni roboti „črno skrinjico“, ki bi beležila podatke o vsaki transakciji, ki jo izvede stroj, vključno z logiko, ki je prispevala k njegovim odločitvam;

13.

 poudarja, da bi moral etični okvir za usmerjanje temeljiti na načelih dobronamernosti, neškodovanja, avtonomnosti in pravičnosti ter na načelih in vrednotah iz člena 2 Pogodbe o delovanju Evropske unije in Listine EU o temeljnih pravicah, kot so človekovo dostojanstvo, enakost, sodno varstvo in pravičnost, nediskriminacija, informirana privolitev, zasebno in družinsko življenje ter varstvo podatkov, pa tudi drugih temeljnih načelih in vrednotah iz prava Unije, kot so nestigmatizacija, preglednost, samostojnost, osebna in družbena odgovornost, ter na zdajšnjih etičnih praksah in veljavnih kodeksih;

14.

 meni, da bi bilo treba posebno pozornost nameniti robotom, ki lahko zelo ogrozijo zaupnost, ker so nameščeni na tradicionalno zaščitenih in zasebnih območjih in ker lahko pridobivajo in posredujejo osebne in občutljive podatke;

Evropska agencija

15.

 meni, da je nujno okrepljeno sodelovanje med državami članicami in Komisijo, da se v Uniji zagotovijo skladna čezmejna pravila, ki bodo spodbujala sodelovanje znotraj evropske industrije in po vsej Uniji omogočala uporabo robotov, ki bodo ustrezali zahtevanim stopnjam varnosti in varovanja ter etičnim načelom, vsebovanim v pravu Unije;

16.

 poziva Komisijo, naj preuči možnost za ustanovitev evropske agencije za robotiko in umetno inteligenco, ki bi zagotovila tehnično, etično in regulativno znanje, potrebno za podporo ustreznim javnim akterjem na ravni Unije in držav članic pri njihovih prizadevanjih za zagotovitev pravočasnega, etičnega in dobro obveščenega odziva na nove priložnosti in izzive, zlasti čezmejne, ki se bodo pojavili s tehnološkim razvojem robotike, na primer v prometnem sektorju;

17.

 meni, da potencial za uporabo robotike in težave, povezane z njo, ter sedanja naložbena dinamika upravičujejo, da se evropski agenciji nameni ustrezen proračun ter da zanjo delajo regulativno osebje in zunanji strokovnjaki za tehnična in etična področja, ki se bodo ukvarjali z medsektorskim in večdisciplinarnim spremljanjem robotskih aplikacij, pri čemer bodo določali standarde za najboljšo prakso ter po potrebi priporočali regulativne ukrepe, opredelili nova načela ter obravnavali morebitna vprašanja v zvezi z varstvom potrošnikov in sistemske izzive; poziva Komisijo (in evropsko agencijo, če bo ustanovljena), naj Evropskemu parlamentu letno poroča o najnovejšem razvoju v robotiki in ukrepih, ki bi jih bilo treba izvesti;

Pravice intelektualne lastnine in podatkovni tok

18.

 ugotavlja, da ni predpisov, ki bi se uporabljali izrecno za robotiko, se pa lahko veljavne pravne ureditve in doktrine uporabijo tudi za robotiko, čeprav bi bilo verjetno treba nekatere vidike posebej obravnavati; poziva Komisijo, naj podpira horizontalen in tehnološko nevtralen pristop do intelektualne lastnine, veljavne v sektorjih, v katerih bi se lahko uporabljala robotika;

19.

 poziva Komisijo in države članice, naj zagotovijo, da bodo predpisi civilnega prava v sektorju robotike v skladu s splošno uredbo o varstvu podatkov ter načeloma nujnosti in sorazmernosti; poziva Komisijo in države članice, naj upoštevajo hiter tehnološki razvoj na področju robotike, vključno z razvojem kibernetsko-fizičnih sistemov, in zagotovijo, da zakonodaja Unije ne bo zaostajala za tehnološkim razvojem in uporabo tehnologije;

20.

 poudarja, da pravici do spoštovanja zasebnega življenja in varstva osebnih podatkov, zapisani v členih 7 in 8 Listine EU o temeljnih pravicah ter členu 16 Pogodbe o delovanju Evropske unije, veljata za vsa področja robotike ter da je treba v celoti spoštovati pravni okvir Unije za varstvo podatkov; v zvezi s tem poziva, naj se v izvedbenem okviru splošne uredbe o varstvu podatkov natančneje opredelijo pravila in merila za uporabo kamer in senzorjev v robotih; poziva Komisijo, naj zagotovi, da se bodo spoštovala načela za varstvo podatkov, kot so vgrajena in privzeta zasebnost, zmanjšanje količine podatkov, omejitev namena, ter pregledni nadzorni mehanizmi za posameznike in ustrezna pravna sredstva v skladu z zakonodajo Unije s področja varstva podatkov; zagotovi naj tudi spodbujanje in vključevanje ustreznih priporočil in standardov v politike Unije;

21.

 poudarja, da je prost pretok podatkov bistven za digitalno gospodarstvo ter razvoj sektorja robotike in umetne inteligence; poudarja, da je visoka raven varnosti v robotskih sistemih, vključno z notranjimi podatkovnimi sistemi in podatkovnimi tokovi, ključna za ustrezno uporabo robotov in umetne inteligence; poudarja, da je treba zagotoviti varnost omrežij povezanih robotov in umetne inteligence, da bi preprečili morebitne kršitve varnosti; poudarja, da sta temeljnega pomena visoka stopnja varnosti in varstva osebnih podatkov skupaj z ustreznim spoštovanjem zasebnosti v komunikaciji med ljudmi, roboti in umetno inteligenco; poudarja, da imajo načrtovalci na področju robotike in umetne inteligence odgovornost, da razvijajo varne, zaščitene in namenu prilagojene izdelke; poziva Komisijo in države članice, naj podprejo in spodbudijo razvoj potrebne tehnologije, tudi vgrajene varnosti;

Standardizacija in varnost

22.

 poudarja, da je vprašanje določanja standardov in zagotavljanja interoperabilnosti bistveno za prihodnjo konkurenčnost na področju tehnologij umetne inteligence in robotike; poziva Komisijo, naj si še naprej prizadeva za mednarodno uskladitev tehničnih standardov, zlasti skupaj z evropskimi organizacijami za standardizacijo in Mednarodno organizacijo za standardizacijo, da bi se spodbujale inovacije, preprečila razdrobljenost notranjega trga in zagotovila visoka stopnja varnosti proizvodov in varstva potrošnikov, vključno z minimalnimi varnostnimi standardi v delovnem okolju, če so potrebni; poudarja pomen zakonitega obratnega inženiringa in odprtih standardov, da bi kar najbolje izkoristili vrednost inovacij in zagotovili komunikacijo med roboti; v zvezi s tem pozdravlja ustanovitev posebnih tehničnih odborov, kot je ISO/TC 299 za robotiko, ki so namenjeni izključno razvijanju standardov za robotiko;

23.

 poudarja, da je preizkušanje robotov v scenarijih resničnega življenja poglavitno za opredelitev in oceno tveganj, ki se lahko pojavijo, in njihovega tehnološkega razvoja zunaj izključno laboratorijskega preizkušanja; v zvezi s tem poudarja, da je preizkušanje robotov v scenarijih resničnega življenja, zlasti v mestih in na cestah, povezano s številnimi vprašanji, tudi ovirami, ki upočasnjujejo razvoj teh faz preizkušanja, in bi bil zanj potreben učinkovit mehanizem za strategijo in spremljanje; poziva Komisijo, naj oblikuje enotna merila za vse države članice, ki bi jih morale posamezne države članice uporabljati, da bi opredelile območja, na katerih so poskusi z roboti dovoljeni, v skladu s previdnostnim načelom;

Avtonomna prevozna sredstva

a)   Avtonomna vozila

24.

 poudarja, da avtonomni promet zajema vse oblike daljinsko vodenih, avtomatiziranih, povezanih in avtonomnih oblik cestnega, železniškega, vodnega in zračnega prometa, vključno z vozili, vlaki, plovili, trajekti, letali in brezpilotnimi zrakoplovi, ter vse prihodnje oblike razvoja in inovacij v tem sektorju;

25.

 meni, da avtomobilski sektor najbolj nujno potrebuje pravila na ravni Unije in svetovna pravila, ki bodo zagotovila, da bo čezmejni razvoj avtomatiziranih in avtonomnih vozil v celoti izkoristil svoj gospodarski potencial in pozitivne učinke tehnoloških trendov; poudarja, da bi razdrobljeni regulativni pristopi ovirali izvajanje avtonomnih prometnih sistemov in ogrožali evropsko konkurenčnost;

26.

 opozarja, da je pri nenačrtovanem prevzemu nadzora nad vozilom bistven reakcijski čas voznika, zato deležnike poziva, naj predvidijo realistične vrednosti pri odločanju o vprašanjih varnosti in odgovornosti;

27.

 meni, da bo prehod na avtonomna vozila vplival na naslednja področja: civilno odgovornost (odgovornost in zavarovanje), prometno varnost, vse teme, povezane z okoljem (npr. energetska učinkovitost, uporaba obnovljive tehnologije in obnovljivih virov energije), vprašanja, povezana s podatki (tj. dostop do podatkov, varstvo podatkov, zasebnost in izmenjava podatkov), vprašanja, povezana z infrastrukturo IKT (npr. učinkovite in zanesljive komunikacijske zmogljivosti) ter zaposlovanje (npr. ustvarjanje in izguba delovnih mest, usposabljanje voznikov težkih tovornih vozil za uporabo avtomatiziranih vozil); poudarja, da bodo potrebne precejšnje naložbe v cestno, energetsko in telekomunikacijsko infrastrukturo; poziva Komisijo, naj pri svojem delu glede avtonomnih vozil preuči naštete vidike;

28.

 poudarja, da so za uveljavitev avtonomnih vozil izjemno pomembne zanesljive informacije o položaju in času, ki jih zagotavljata evropska programa za satelitsko navigacijo Galileo in EGNOS; v zvezi s tem poziva, naj se čim prej dokončajo in izstrelijo sateliti, ki so potrebni za dokončanje evropskega navigacijskega sistema Galileo;

29.

 želi poudariti visoko dodano vrednost, ki jo imajo avtonomna vozila za osebe z omejeno mobilnostjo, saj jim omogočajo boljšo udeležbo v individualnem cestnem prometu in jim s tem olajšajo vsakdan;

b)   Brezpilotni zrakoplovi (daljinsko vodeni zrakoplovni sistemi – RPAS)

30.

 priznava pozitiven napredek na področju tehnologije brezpilotnih zrakoplovov, zlasti na področju iskanja in reševanja; poudarja, da je treba z okvirom Unije za brezpilotne zrakoplove zagotoviti varnost, varovanje in zasebnost državljanov Unije, ter poziva Komisijo k nadaljnjemu ukrepanju v zvezi s priporočili iz resolucije Evropskega parlamenta z dne 29. oktobra 2015 o varni uporabi daljinsko vodenih zrakoplovnih sistemov (RPAS), splošno znanih kot brezpilotna zračna plovila, na področju civilnega letalstva (5); poziva Komisijo, naj pripravi oceno varnosti v zvezi z množično uporabo brezpilotnih zrakoplovov; poziva jo tudi, naj prouči možnost obvezne opremljenosti RPAS s sistemom za sledljivost in identifikacijo, ki bo v realnem času omogočal ugotavljanje položaja delujočih RPAS; opozarja, da bi morali poenotenost in varnost brezpilotnih zrakoplovov zagotoviti ukrepi iz Uredbe (ES) št. 216/2008 Evropskega parlamenta in Sveta (6);

Roboti za nego

31.

 poudarja, da so sčasoma postale raziskave in razvoj na področju robotov za nego in oskrbo starejših pogostejše in cenejše, izdelki pa vse bolj funkcionalni in širše sprejeti med potrošniki; ugotavlja, da imajo take tehnologije, ki zagotavljajo preprečevanje, pomoč, spremljanje, spodbujanje in družbo starejšim ljudem, invalidom in ljudem z demenco, kognitivnimi motnjami ali izgubo spomina, široko področje uporabe;

32.

 poudarja, da je človeški stik eden od temeljnih vidikov nege ljudi; meni, da bi prakse nege ob nadomestitvi človeškega dejavnika z roboti izgubile človeško toplino, vendar na drugi strani priznava, da bi lahko roboti opravljali avtomatizirane naloge nege in olajšali delo negovalnih pomočnikov, hkrati pa okrepili človeško nego in bolj ciljno usmerili proces rehabilitacije, s čimer bi zdravstvenemu osebju in negovalcem omogočili, da bi več časa posvetili diagnozi in bolje načrtovanim možnostim zdravljenja; poudarja, da bodo kljub potencialu robotike, da izboljša mobilnost in vključevanje invalidov in starejših, človeški negovalci še vedno potrebni ter bodo še naprej pomemben in ne popolnoma nadomestljiv vir družbene interakcije;

Medicinski roboti

33.

 poudarja pomen ustreznega izobraževanja, usposabljanja in priprav za zdravstvene delavce, kot so zdravniki in negovalni pomočniki, da bi zagotovili kar najboljšo strokovno usposobljenost in varovali ter zaščitili zdravje bolnikov; poudarja, da je treba določiti minimalne poklicne zahteve, ki jih mora izpolnjevati kirurg, da bi operiral in bi se mu dovolila uporaba kirurških robotov; meni, da je temeljnega pomena spoštovati načelo nadzorovane avtonomnosti robotov, na podlagi katerega so začetno programiranje zdravljenja in končne odločitve o njegovem poteku vedno v rokah kirurga človeka; poudarja, da je za uporabnike posebno pomembno usposabljanje, pri katerem bodo lahko spoznali tehnološke zahteve na tem področju; opozarja na naraščajoči trend samodiagnoz z uporabo mobilnega robota in, posledično, na potrebo, da se zdravniki usposobijo za obravnavo samodiagnosticiranih primerov; meni, da uporaba take tehnologije ne sme omejevati odnosa med zdravnikom in bolnikom ali mu škodovati, temveč mora zdravniku pomagati pri postavljanju diagnoze in/ali zdravljenju z namenom zmanjšanja tveganja za človeške napake ter izboljšanja kakovosti življenja in pričakovane življenjske dobe;

34.

 meni, da so medicinski roboti čedalje bolj prisotni pri izvajanju izredno preciznih kirurških posegov in repetitivnih postopkov, da imajo potencial za izboljšanje rezultatov pri rehabilitaciji in da zagotavljajo zelo učinkovito logistično podporo v bolnišničnih ustanovah; ugotavlja, da bi medicinski roboti lahko tudi zmanjšali stroške zdravstvenega varstva, tako da bi zdravstvenim delavcem omogočili, da se z zdravljenja preusmerijo na preprečevanje, in tako da bi bilo več proračunskih sredstev na voljo za boljše prilagajanje raznolikim potrebam bolnikov, stalno usposabljanje zdravstvenih delavcev in raziskave;

35.

 poziva Komisijo, naj še pred datumom začetka uporabe Uredbe (EU) 2017/745 o medicinskih pripomočkih zagotovi, da bodo postopki preskušanja novih medicinskih robotskih pripomočkov varni, še posebej kadar se pripomočki vsadijo v človeško telo;

Popravljanje in izboljšanje človeka

36.

 se zaveda dosedanjega velikega napredka in bodočih možnosti robotike na področju popravljanja in nadomeščanja poškodovanih organov in človeških funkcij, pa tudi zapletenih vprašanj, ki se pojavljajo v zvezi s tem, zlasti glede možnosti izboljšanja človeka, saj utegnejo medicinski roboti, zlasti kibernetsko-fizični sistemi, spremeniti naše pojmovanje, kaj je zdravo človeško telo, ker se lahko nosijo neposredno na telesu ali se vsadijo vanj; poudarja, da je treba nemudoma ustanoviti odbore za robotsko etiko v bolnišnicah in drugih zdravstvenih ustanovah, ki bodo sestavljeni iz ustreznega osebja in bodo obravnavali neobičajna in zapletena etična vprašanja, ki vplivajo na nego in zdravljenje bolnikov, ter pomagali pri reševanju teh vprašanj; poziva Komisijo in države članice, naj razvijejo smernice v podporo ustanovitvi in delovanju takih odborov;

37.

 poudarja, da je treba za področje življenjsko nujne medicinske uporabe robotike, kot so robotske proteze, zagotoviti stalen in trajen dostop do vzdrževanja, izboljšav, zlasti pa nadgradenj programske opreme, da se bodo odpravile motnje v delovanju in pomanjkljivosti;

38.

 priporoča vzpostavitev neodvisnih zaupanja vrednih ustanov, ki bodo ohranjale potrebna sredstva, da bi osebam, ki nosijo življenjsko nujne in napredne medicinske naprave, omogočile vzdrževanje, popravila in izboljšanja, vključno z nadgradnjo programske opreme, zlasti če teh storitev prvotni ponudnik ne izvaja več; priporoča uvedbo obveznosti za proizvajalce, da omenjenim neodvisnim in zaupanja vrednim ustanovam v ta namen dostavijo celovito dokumentacijo o zasnovi in sestavi naprav, vključno z izvorno kodo, podobno kot poteka zbiranje obveznega izvoda publikacij v nacionalni knjižnici;

39.

 opozarja na tveganja, povezana z možnostjo vdora v kibernetsko-fizične sisteme, povezane s človeškim telesom, njihovega izklopa ali izbrisa njihovega spomina, kar bi lahko ogrozilo človeško zdravje, v skrajnih primerih pa celo življenje, in zato poudarja, da mora biti zaščita teh sistemov prednostna naloga;

40.

 poudarja pomen zagotavljanja enakega dostopa do takih tehnoloških inovacij, orodij in posegov za vse ljudi; poziva Komisijo in države članice, naj spodbujajo razvoj podpornih tehnologij, da se bosta olajšala njihov razvoj in sprejemanje pri ljudeh, ki jih potrebujejo, v skladu s členom 4 Konvencije OZN o pravicah invalidov, ki jo je podpisala tudi Unija;

Izobraževanje in zaposlovanje

41.

 opozarja na napoved Komisije, da bi lahko do leta 2020 v Evropi primanjkovalo do 825 000 strokovnjakov na področju IKT in da bodo za 90 % delovnih mest potrebne vsaj osnovne digitalne kompetence; pozdravlja pobudo Komisije, da predlaga načrt za morebitno uporabo in pregled okvira za digitalne kompetence in deskriptorjev digitalnih kompetenc za vse ravni učečih se posameznikov, ter jo poziva, naj zagotovi precejšnjo podporo za razvoj digitalnih spretnosti v vseh starostnih skupinah in ne glede na zaposlitveni status, saj je to prvi korak k boljši uskladitvi primanjkljajev in povpraševanja na trgu dela; poudarja, da razvoj na področju robotike od držav članic zahteva oblikovanje prožnejšega usposabljanja in izobraževalnega sistema, da bi zagotovili usklajenost strategij usposabljanj in potreb gospodarske panoge robotike;

42.

 meni, da bi povečanje zanimanja mladih žensk za kariero na digitalnem področju in večja zaposljivost žensk na delovnih mestih na digitalnem področju koristili digitalni industriji, ženskam samim in evropskemu gospodarstvu; poziva Komisijo in države članice, naj začnejo pobude za podporo ženskam na področju IKT in za izboljšanje njihovih e-kompetenc;

43.

 poziva Komisijo, naj začne analizirati in spremljati srednje- in dolgoročne trende zaposlovanja, pri čemer naj se posebej osredotoči na ustvarjanje novih delovnih mest, njihovo premeščanje in izgubo na različnih področjih kvalifikacij, da bo jasno, na katerih področjih se ustvarjajo nova delovna mesta in na katerih se delovna mesta odpravljajo zaradi vse večje uporabe robotov;

44.

 poudarja, kako pomembno je predvideti družbene spremembe, obenem pa upoštevati učinke, ki bi jih lahko imela razvoj in uporaba robotike in umetne inteligence; poziva Komisijo, naj analizira različne možne scenarije in njihove posledice na vzdržnost sistemov socialne varnosti v državah članicah;

45.

 poudarja, da je pomembna prilagodljivost veščin, obenem pa so v izobraževanju pomembne socialne, ustvarjalne in digitalne veščine; je prepričan, da morajo šole sicer posredovati akademsko znanje, vseživljenjsko učenje pa je treba doseči z dejavnostmi, ki potekajo celo življenje;

46.

 se zaveda ogromnega potenciala robotike za izboljšanje varnosti pri delu, in sicer s prenosom več nevarnih in škodljivih nalog z ljudi na robote, obenem pa se zaveda, da bi se zaradi vse večjega števila interakcij med človekom in roboti na delovnem mestu pojavila nova tveganja; v zvezi s tem poudarja, da je pomembno uveljaviti stroga in v prihodnost usmerjena pravila za interakcije med človekom in robotom, da bi zagotovili zdravje, varnost in spoštovanje temeljnih pravic na delovnem mestu;

Vpliv na okolje

47.

 ugotavlja, da bi morali pri razvoju robotike in umetne inteligence omejiti vplive na okolje, in sicer z učinkovito porabo energije, energetsko učinkovitostjo, spodbujanjem uporabe energije iz obnovljivih virov in redkih surovin, minimalnimi odpadki, na primer električnimi in elektronskimi, ter popravljivostjo; zato poziva Komisijo, naj v vse politike Unije na področju robotike vključi načela krožnega gospodarstva; ugotavlja, da bo imela uporaba robotike tudi pozitiven učinek na okolje, zlasti na področju kmetijstva, preskrbe s hrano in prometa, predvsem zaradi zmanjšanja velikosti strojev in manjše porabe gnojil, energije in vode, pa tudi zaradi preciznega kmetovanja in optimizacije poti;

48.

 poudarja, da bodo kibernetsko-fizični sistemi privedli do oblikovanja energetskih in infrastrukturnih sistemov, s katerimi bo mogoče nadzorovati pretok električne energije od proizvajalca do odjemalca, obenem pa bodo privedli do oblikovanja t. i. proizvajalcev-odjemalcev, ki proizvajajo in porabljajo energijo; to bo omogočilo velike okoljske koristi;

Odgovornost

49.

 meni, da je civilna odgovornost za škodo, ki jo povzročijo roboti, ključno vprašanje, ki ga je treba preučiti in obravnavati na ravni EU, da se zagotovijo enakovredna učinkovitost, preglednost in doslednost pri uresničevanju pravne gotovosti v celotni Evropski uniji, ki bodo v korist tako državljanom in potrošnikom kot podjetjem;

50.

 ugotavlja, da bo razvoj robotske tehnologije zahteval večje razumevanje potrebne podlage za dejavnost, ki jo skupaj izvajata človek in robot, ki mora temeljiti na dveh osnovnih soodvisnih razmerjih, in sicer predvidljivosti in vodljivosti; želi poudariti, da sta ti dve vrsti soodvisnega razmerja ključni za določitev, katere informacije je treba razdeliti med robote in ljudi ter kako vzpostaviti skupno osnovo med človekom in roboti, da bi omogočili njihovo nemoteno skupno delovanje;

51.

 poziva Komisijo, naj na podlagi člena 114 PDEU in v skladu s priporočili iz Priloge predloži predlog zakonodajnega instrumenta o pravnih vprašanjih v zvezi z razvojem robotike in umetne inteligence ter njuno uporabo, kot ju je mogoče predvideti v naslednjih 10 do 15 letih, skupaj z nezakonodajnimi instrumenti, kot so smernice in pravila ravnanja;

52.

 meni, da ne glede na to, katera pravna rešitev se bo uporabljala za civilno odgovornost za škodo, ki jo povzročijo roboti, v primerih, ko ni povzročena materialna škoda, prihodnji zakonodajni instrument nikakor ne bi smel omejevati vrste ali obsega škode, ki bi jo bilo morda treba nadomestiti, niti ne bi smel omejevati oblik nadomestila za škodo, ki bi se ponudilo oškodovancu, le zato, ker je škodo povzročil nečloveški povzročitelj;

53.

 meni, da bi moral prihodnji zakonodajni instrument temeljiti na poglobljeni oceni, v kateri bi Komisija odločila, ali bi se moral uporabljati pristop objektivne odgovornosti ali pristop obvladovanja tveganja;

54.

 se obenem zaveda, da so za objektivno odgovornost potrebni samo dokazi o nastanku škode in vzročna povezava med škodljivim delovanjem robota in škodo, ki je bila povzročena oškodovancu;

55.

 ugotavlja, da se pristop obvladovanja tveganja ne osredotoča na odgovornost posameznika, ki je ravnal malomarno, temveč na osebo, ki lahko pod določenimi pogoji zmanjša tveganje in obravnava negativne vplive;

56.

 meni, da bi morala biti potem, ko bi se opredelile stranke, ki so končno odgovorne, njihova odgovornost sorazmerna z dejanskimi navodili, danimi robotu, in njegovo samostojnostjo, torej večja kot bi bila robotova sposobnost učenja ali samostojnost in daljše kot bi bilo usposabljanje robota, večja bi morala biti odgovornost njegovega učitelja; zlasti ugotavlja, da se pri opredeljevanju osebe, ki ji je mogoče dejansko pripisati robotovo škodljivo vedenje, spretnosti, ki so posledica usposabljanja robota, ne bi smele zamenjevati s spretnostmi, ki so odvisne izključno od robotove sposobnosti samoučenja; ugotavlja, da mora vsaj za zdaj odgovornost nositi človek in ne robot;

57.

 poudarja, da bi lahko bila morebitna rešitev za zapleteno pripisovanje odgovornosti za škodo, ki bi jo povzročili vse bolj samostojni roboti, obvezen sistem zavarovanja, kot se že uporablja na primer pri avtomobilih; kljub temu ugotavlja, da bi moral, drugače kot pri sistemu zavarovanja za cestni promet, pri katerem zavarovanje krije človekova dejanja in napake, sistem zavarovanja za robote upoštevati vse morebitne odgovornosti v verigi;

58.

 meni, da bi se, kot je to praksa pri zavarovanju motornih vozil, tak sistem zavarovanja lahko dopolnil s skladom, ki bi omogočil povrnitev škode v primerih, kadar zavarovanje ne obstaja; poziva zavarovalniški sektor, naj razvije nove produkte in vrste ponudb, ki bodo sledili napredku v robotiki;

59.

 poziva Komisijo, naj pri presojanju učinka prihodnjega zakonodajnega instrumenta preuči, analizira in pretehta posledice vseh možnih pravnih rešitev, kot so:

a)

vzpostavitev sistema obveznega zavarovanja, kjer je to ustrezno in potrebno za posebne kategorije robotov, pri katerem bi morali podobno kot pri sistemu zavarovanja za avtomobile proizvajalci ali lastniki robotov skleniti zavarovanje za škodo, ki bi jo lahko povzročili njihovi roboti;

b)

zagotovitev, da namen kompenzacijskega sklada ne bi bil le zagotavljanje nadomestila, če škoda, ki bi jo povzročil robot, ne bi bila krita z zavarovanjem;

c)

omogočanje, da bi lahko za proizvajalca, programerja, lastnika ali uporabnika veljala omejena odgovornost, če prispeva v kompenzacijski sklad, pa tudi če sklene skupno zavarovanje, da bi zagotovili nadomestilo, v primeru da robot povzroči škodo;

d)

odločanje o tem, ali bi se ustanovil splošni sklad za vse pametne avtonomne robote ali posamezni skladi za vsako kategorijo robotov ter ali bi bilo treba prispevek plačati kot enkratno pristojbino ob dajanju robota na trg oziroma ali bi bilo treba plačevati redne prispevke skozi celotno življenjsko dobo robota;

e)

zagotovitev, da bi bila povezava med robotom in njegovim skladom razvidna iz posamezne registracijske številke, ki bi bila evidentirana v posebnem registru Unije, ki bi vsakomur, ki bi deloval v povezavi z robotom, omogočil pridobitev informacij o vrsti sklada, omejitvah njegove odgovornosti v primeru materialne škode, imenih in funkcijah plačnikov prispevkov ter o vseh drugih ustreznih podrobnostih;

f)

vzpostavitev posebnega pravnega statusa za robote na dolgi rok, tako da bi vsaj najbolj napredni avtonomni roboti lahko pridobili status elektronskih oseb in bili tako odgovorni za nadomestitev škode, ki bi jo morebiti povzročili, in morebitna uporaba elektronske osebnosti v primerih, ko bi roboti sprejemali samostojne odločitve ali drugače neodvisno vzajemno delovali s tretjimi osebami;

Mednarodni vidiki

60.

 opozarja, da veljavnih pravil mednarodnega zasebnega prava o prometnih nesrečah, ki se uporabljajo v EU, ni nujno vsebinsko spreminjati zaradi prilagoditve razvoju avtonomnih vozil, vendar bi se s poenostavitvijo sedanjega dvojnega sistema za določitev prava, ki se uporablja (na podlagi Uredbe (ES) št. 864/2007 Evropskega parlamenta in Sveta (7) ter Haaške konvencije z dne 4. maja 1971 o zakonu, ki velja za prometne nesreče), izboljšala pravna gotovost in omejile možnosti za izbiranje najugodnejšega sodišča;

61.

 ugotavlja, da je treba razmisliti o spremembah mednarodnih sporazumov, kot sta Dunajska konvencija z dne 8. novembra 1968 o cestnem prometu in Haaška konvencija o zakonu, ki velja za prometne nesreče;

62.

 pričakuje, da bo Komisija poskrbela, da države članice enotno izvajajo mednarodno zakonodajo, na primer Dunajsko konvencijo, ki jo je treba spremeniti, da bi omogočili vožnjo brez voznika, in poziva Komisijo, države članice in industrijo, naj čim prej uresničijo cilje Amsterdamske izjave;

63.

 močno spodbuja mednarodno sodelovanje pri nadzoru družbenih, etičnih in pravnih izzivov ter pri določanju regulativnih standardov pod okriljem Organizacije združenih narodov;

64.

 poudarja, da bi morale omejitve in pogoji iz Uredbe (ES) št. 428/2009 Evropskega parlamenta in Sveta (8) o trgovini z blagom z dvojno rabo, tj. blagom, programsko opremo in tehnologijo, ki se lahko uporabljajo v civilne in vojaške namene in/ali lahko prispevajo k širjenju orožja za množično uničevanje, veljati tudi za uporabe v robotiki;

Končni vidiki

65.

 na podlagi člena 225 PDEU zahteva, naj Komisija na podlagi člena 114 PDEU predloži predlog direktive o pravilih civilnega prava o robotiki, ki upošteva priporočila v Prilogi;

66.

 potrjuje, da ta priporočila spoštujejo temeljne pravice in načelo subsidiarnosti;

67.

 meni, da bi imel zahtevani predlog finančne posledice, če bi se ustanovila nova evropska agencija;

o

o o

68.

 naroči svojemu predsedniku, naj posreduje to resolucijo in priložena priporočila Komisiji in Svetu.

(1)  Direktiva Sveta 85/374/EGS z dne 25. julija 1985 o približevanju zakonov in drugih predpisov držav članic v zvezi z odgovornostjo za proizvode z napako (UL L 210, 7.8.1985, str. 29).

(2)  Uredba (EU) 2016/679 Evropskega parlamenta in Sveta z dne 27. aprila 2016 o varstvu posameznikov pri obdelavi osebnih podatkov in o prostem pretoku takih podatkov ter o razveljavitvi Direktive 95/46/ES (splošna uredba o varstvu podatkov) (UL L 119, 4.5.2016, str. 1).

(3)  (1) Robot človeka ne sme poškodovati oziroma mu škodovati s svojim nedelovanjem. (2) Robot mora ubogati ukaze ljudi, razen če so v nasprotju s prvim zakonom. (3) Robot mora zaščititi sebe, razen če je to v nasprotju s prvima zakonoma (glej Neubogljivi Speedy, I. Asimov, 1943) ter (0) Robot ne sme škodovati človeštvu oziroma mu škodovati s svojim nedelovanjem.

(4)  Glej Schumanovo deklaracijo (1950): „Evropa ne bo nastala naenkrat ali v skladu z enotnim načrtom. Gradila se bo s pomočjo konkretnih dosežkov, ki bodo najprej oblikovali dejansko solidarnost.“

(5)  Sprejeta besedila, P8_TA(2015)0390.

(6)  Uredba (ES) št. 216/2008 Evropskega parlamenta in Sveta z dne 20. februarja 2008 o skupnih predpisih na področju civilnega letalstva in ustanovitvi Evropske agencije za varnost v letalstvu in razveljavitvi Direktive Sveta 91/670/EGS, Uredbe (ES) št. 1592/2002 in Direktive 2004/36/ES (UL L 79, 19.3.2008, str. 1).

(7)  Uredba (ES) št. 864/2007 Evropskega parlamenta in Sveta z dne 11. julija 2007 o pravu, ki se uporablja za nepogodbene obveznosti („Rim II“) (UL L 199, 31.7.2007, str. 40).

(8)  Uredba Sveta (ES) št. 428/2009 z dne 5. maja 2009 o vzpostavitvi režima Skupnosti za nadzor izvoza, prenosa, posredovanja in tranzita blaga z dvojno rabo (UL L 134, 29.5.2009, str. 1).

PRILOGA K RESOLUCIJI:

PRIPOROČILA O VSEBINI ZAHTEVANEGA PREDLOGA

Opredelitev in razvrstitev „pametnih robotov“

Določiti bi bilo treba skupno evropsko opredelitev pametnega avtonomnega robota, ki bo po potrebi vključevala opredelitve njegovih podkategorij in upoštevala naslednje značilnosti:

—

zmogljivost za pridobitev avtonomnosti prek senzorjev in/ali z izmenjavo podatkov z lastnim okoljem (medsebojna povezanost) in analizo teh podatkov,

—

zmogljivost za učenje na podlagi izkušenj in interakcije,

—

obliko robotove fizične podpore,

—

zmogljivost za prilagoditev vedenja in dejanj okolju.

Registracija pametnih robotov

Za namene sledljivosti in spodbujanje izvajanja nadaljnjih priporočil bi bilo treba uvesti sistem za registracijo naprednih robotov, ki bi temeljil na merilih, določenih za razvrstitev robotov. Sistem registracije in evidenca bi morala biti vzpostavljena za celotno Unijo in njen notranji trg, upravljala pa bi ju lahko pooblaščena agencija EU za robotiko in umetno inteligenco, če se ustanovi.

Civilna odgovornost

Katera koli izbrana pravna rešitev, ki bi se uporabljala za odgovornost robotov in umetne inteligence v primerih, ko ni povzročena materialna škoda, nikakor ne bi smela omejevati vrste ali obsega škode, ki bi jo bilo treba nadomestiti, niti ne bi smela omejevati oblik nadomestila za škodo, ki bi se ponudilo oškodovancu, le zato, ker je škodo povzročil nečloveški povzročitelj.

Prihodnji zakonodajni instrument bi moral temeljiti na poglobljeni oceni, v kateri bi Komisija odločila, ali bi se moral uporabljati pristop objektivne odgovornosti ali pristop obvladovanja tveganja.

Uvesti bi bilo treba sistem obveznega zavarovanja, ki bi lahko temeljil na obveznosti proizvajalca, da sklene zavarovanje za samostojne robote, ki jih izdeluje.

Sistem zavarovanja bi moral biti dopolnjen s skladom, ki bi omogočil nadomestitev škode v primerih, v katerih zavarovanje ne obstaja.

Vsakršna politična odločitev o pravilih civilnega prava za robote in umetno inteligenco bi se morala sprejeti z ustreznim upoštevanjem vseevropskega raziskovalnega in razvojnega projekta, posvečenega robotiki in nevroznanosti, v okviru katerega bi znanstveniki in strokovnjaki lahko ocenili vsa povezana tveganja in posledice.

Interoperabilnost, dostop do kode in pravice intelektualne lastnine

Zagotoviti bi bilo treba interoperabilnost avtonomnih robotov, ki delujejo vzajemno in so povezani v mrežo. Po potrebi bi morali omogočiti dostop do izvorne kode, vhodnih podatkov in podrobnosti o konstrukciji, na primer v primeru preiskav nesreč in škode, ki jih povzročijo pametni roboti, pa tudi za zagotovitev njihovega nadaljnjega delovanja, dostopnosti, zanesljivosti, varnosti in zaščite.

Listina o robotiki

Komisija bi morala pri predlogih pravnih aktov o robotiki upoštevati načela, ki so vsebovana v naslednji Listini o robotiki.

LISTINA O ROBOTIKI

Predlagani kodeks etičnega ravnanja v robotiki bo temelj za opredelitev etičnih načel, njihov nadzor in skladnost z njimi od faze načrtovanja in razvoja.

Okvir, pripravljen ob upoštevanju vseevropskega raziskovalnega in razvojnega projekta, posvečenega robotiki in umetni inteligenci, bi moral biti zasnovan tako, da omogoča razmišljanje in posamične prilagoditve za vsak primer posebej, da bi se tako ugotovilo, ali je neko vedenje v danih okoliščinah ustrezno ali neustrezno, in da bi se odločitve sprejemale na podlagi predhodno določene hierarhije vrednot.

Kodeks ne bi odpravil potrebe po obravnavanju vseh pomembnih pravnih izzivov na tem področju, ampak bi morala biti njegova vloga dopolnilna. S kodeksom se bo predvsem pospešila etična kategorizacija robotike, povečala se bodo prizadevanja za odgovorne inovacije na tem področju in obravnavali se bodo pomisleki javnosti.

Poseben poudarek bi bilo treba nameniti raziskovalnim in razvojnim fazam na ustrezni tehnološki poti (postopek načrtovanja, etična presoja, revizijski nadzori itd.). Kodeks bi moral obravnavati skladnost delovanja raziskovalcev, strokovnjakov, uporabnikov in načrtovalcev z etičnimi standardi, uvesti pa bi moral postopek, ki bi vzpostavil načine za reševanje ustreznih etičnih dvomov in omogočil, da bi ti sistemi delovali na etično odgovoren način.

KODEKS ETIČNEGA RAVNANJA ZA INŽENIRJE ROBOTIKE

PREAMBULA

S kodeksom ravnanja se vse raziskovalce in načrtovalce poziva, naj ravnajo odgovorno in v celoti upoštevajo potrebo po spoštovanju dostojanstva, zasebnosti in varnosti ljudi.

S kodeksom se poziva k tesnemu sodelovanju med vsemi panogami, da bi zagotovili varno, etično in učinkovito izvajanje raziskav v robotiki v Evropski uniji.

Kodeks ravnanja velja za vse raziskovalne in razvojne dejavnosti v robotiki.

Kodeks ravnanja je prostovoljen ter obsega sklop splošnih načel in smernic za ukrepe, ki naj bi jih sprejeli vsi deležniki.

Organe za financiranje raziskav v robotiki, raziskovalne organizacije, raziskovalce in odbore za etiko se spodbuja, naj v čim zgodnejših fazah proučijo prihodnje posledice tehnologij ali objektov, ki jih raziskujejo, ter naj razvijejo kulturo odgovornosti zaradi izzivov in priložnosti, ki bi se lahko pojavili v prihodnosti.

Javni in zasebni organi, pristojni za financiranje raziskav v robotiki, bi morali zahtevati izvedbo in predložitev ocene tveganja ob vsaki vložitvi predloga za financiranje raziskav v robotiki. Tak kodeks bi moral kot odgovorne povzročitelje obravnavati ljudi, ne robote.

Raziskovalci v robotiki bi se morali zavezati k spoštovanju najvišjih etičnih vrednot in najboljšemu poklicnemu ravnanju ter spoštovati naslednja načela:

dobronamernost – roboti morajo delovati v korist ljudi;

neškodovanje – doktrina „predvsem ne škoduj“, po kateri roboti ne smejo škodovati človeku;

avtonomija – sposobnost sprejetja obveščene, neprisiljene odločitve o pogojih interakcije z roboti;

pravičnost – poštena porazdelitev koristi, povezanih z robotiko, ter cenovna dostopnost zlasti robotov za domačo nego in zdravstveno oskrbo.

Temeljne pravice

Pri raziskovalnih dejavnostih v robotiki bi bilo treba spoštovati temeljne pravice, načrtovanje, izvajanje, razširjanje in uporaba robotov pa bi morali biti v interesu dobrega počutja in samoodločanja posameznika in celotne družbe. Vedno je treba spoštovati človekovo dostojanstvo in avtonomijo, tako v fizičnem kot psihološkem smislu.

Previdnostni ukrepi

Raziskovalne dejavnosti v robotiki bi bilo treba izvajati v skladu s previdnostnim načelom, tj. s predvidevanjem morebitnih varnostnih vplivov, ki bi jih lahko prinesli njihovi rezultati, in s sprejetjem ustreznih previdnostnih ukrepov, sorazmernih z varstvom, ki hkrati spodbujajo napredek v korist družbe in okolja.

Vključenost

Inženirji robotike zagotavljajo preglednost in spoštovanje zakonite pravice dostopa do informacij za vse deležnike. Vključenost omogoča, da vsi deležniki, ki so vključeni v raziskovalne dejavnosti v robotiki ali jih te dejavnosti zadevajo, sodelujejo v postopkih odločanja.

Odgovornost

Inženirji robotike bi morali ostati odgovorni za družbene in okoljske vplive ter vplive na zdravje ljudi, ki bi jih robotika lahko imela na sedanje in prihodnje generacije.

Varnost

Načrtovalci robotov bi morali upoštevati in spoštovati dobro telesno počutje, varnost, zdravje in pravice ljudi. Inženirji robotike morajo ohranjati dobro počutje ljudi ob hkratnem spoštovanju človekovih pravic ter morajo nemudoma razkriti dejavnike, ki bi lahko ogrozili splošno javnost ali okolje.

Povratnost

Povratnost je kot nujni pogoj za možnost nadzora temeljni koncept pri programiranju robotov, da se ti vedejo varno in zanesljivo. Model povratnosti robotu pove, katera dejanja so povratna in, če so, kako jih je mogoče povrniti. Sposobnost razveljavitve zadnjega dejanja ali zaporedja dejanj uporabnikom omogoča, da prekličejo neželena dejanja in se vrnejo v „dobro“ fazo svojega dela.

Zasebnost

Pravico do zasebnosti je treba vedno spoštovati. Inženirji robotike bi morali zagotoviti, da se zasebne informacije varujejo in uporabljajo le na ustrezen način. Poleg tega bi morali zagotoviti, da posameznikov ni mogoče osebno prepoznati, razen v izjemnih okoliščinah in še takrat le na podlagi jasne in nedvoumne informirane privolitve. Za informirano privolitev človeka bi bilo treba zaprositi in jo pridobiti pred vsako interakcijo med človekom in strojem. Inženirji robotike so odgovorni za razvoj in spoštovanje postopkov za veljavno privolitev, zaupnost, anonimnost, pošteno obravnavanje in dolžno pravno postopanje. Načrtovalci bodo izpolnili vsako zahtevo po uničenju kakršnih koli povezanih podatkov in njihovi odstranitvi iz podatkovnega niza.

Povečanje koristi in zmanjšanje škode

Raziskovalci bi si morali prizadevati, da s svojim delom zagotavljajo čim večje koristi v vseh fazah, od zasnove do razširjanja. Izogibati se morajo povzročanju škode udeležencem raziskav, preiskovancem, udeležencem ali objektom poskusa, kliničnega preizkušanja ali študije. Kadar se kot neizogiben in sestavni element raziskav pojavijo tveganja, je treba razviti zanesljiva pravila za oceno in upravljanje tveganja ter delovati v skladu z njimi. Praviloma tveganje za škodo ne bi smelo biti večje, kot se lahko pojavi v običajnem življenju, tj. ljudje ne bi smeli biti izpostavljeni tveganjem, ki so večja od takšnih, ki so jim izpostavljeni v svojem običajnem načinu življenja, ali ki so takšnim tveganjem dodana. Delovanje robotskega sistema bi moral vedno temeljiti na celoviti oceni tveganja, ki bi morala izhajati iz načel previdnosti in sorazmernosti.

KODEKS ZA ODBORE ZA RAZISKOVALNO ETIKO

Načela

Neodvisnost

Postopek etične presoje bi moral biti neodvisen od raziskave same. S tem načelom se poudarja potreba po preprečevanju nasprotja interesov med raziskovalci in tistimi, ki presojajo pravila etike, ter med izvajalci presoje in upravljalnimi strukturami organizacije.

Pristojnost

Postopek etične presoje bi morali izvajati osebe z ustreznim strokovnim znanjem in izkušnjami, pri čemer je treba skrbno upoštevati različna članstva in usposabljanje odborov za raziskovalno etiko na področju etike.

Preglednost in odgovornost

Postopek presoje bi moralo potekati odgovorno in tako, da omogoča nadzor. Odbori za raziskovalno etiko se morajo zavedati svoje odgovornosti in biti ustrezno umeščeni v organizacijske strukture, ki omogočajo, da ti odbori delujejo pregledno ter da se pri postopkih spoštujejo in preverjajo standardi.

Vloga odbora za raziskovalno etiko

Odbor za raziskovalno etiko je praviloma odgovoren za presojanje vseh raziskav, ki vključujejo ljudi in jih izvajajo posamezniki, ki so zaposleni pri zadevni ustanovi ali jih ta zaposluje; pri tem zagotavlja, da je etična presoja neodvisna, ustrezna in pravočasna; varuje dostojanstvo, pravice in dobro počutje udeležencev raziskave; preveri varnost raziskovalca oz. raziskovalcev; preuči legitimne interese drugih deležnikov; izvaja informirane presoje znanstvene vrednosti predlogov; poda informirana priporočila za raziskovalca, če za predlog ugotovi, da je v nekaterih vidikih pomanjkljiv.

Sestava odbora za raziskovalno etiko

Odbor za raziskovalno etiko bi moral biti praviloma mutidisciplinaren in vključevati moške in ženske; biti bi moral sestavljen iz članov z obsežnimi izkušnjami in strokovnim znanjem na področju robotskih raziskav. Mehanizem imenovanja bi moral biti tak, da je odbor ustrezno uravnoteženo sestavljen iz članov, ki imajo znanstveno strokovno znanje, ozadje s področja filozofije, prava ali etike, obenem pa vključujejo laična mnenja, ter da vključuje vsaj enega člana s specialističnim znanjem etike, uporabnike specialističnih zdravstvenih, izobraževalnih ali socialnih storitev, kadar so te glavni predmet raziskovalnih dejavnosti, in posameznike s posebnim metodološkim strokovnim znanjem v zvezi z raziskavo, ki jo presojajo; sestavljen mora biti tako, da se prepreči nasprotje interesov.

Spremljanje

Vse raziskovalne organizacije bi morale uvesti ustrezne postopke za spremljanje izvajanja raziskav, ki jih je odobril odbor za raziskovalno etiko, dokler te niso končane, ter zagotoviti stalne preglede, kadar se v skladu z načrtom raziskave sčasoma predvidijo spremembe, ki bi jih bilo treba obravnavati. Spremljanje bi moralo biti sorazmerno z vrsto in stopnjo tveganja, povezanega z raziskavo. Kadar odbor za raziskovalno etiko meni, da poročilo o spremljanju odpira pomembna vprašanja o etičnem izvajanju študije, bi moral zahtevati popolno in podrobno poročilo o raziskavi, da se izvede celovita etična presoja. Kadar se ugotovi, da je izvajanje študije neetično, bi bilo treba razmisliti o umiku dovoljenja zanjo, raziskave pa začasno prekiniti ali ustaviti.

DOVOLJENJE ZA NAČRTOVALCE

—

Pred postopkom načrtovanja, razvoja in izvedbe takih tehnologij, med njim in po njem bi bilo treba spoštovati evropske vrednote dostojanstva, avtonomije in samoodločanja, svobode in pravičnosti, vključno s potrebo po tem, da se (ranljivim) uporabnikom ne škoduje ter se jih ne poškoduje, zavaja ali izkorišča.

—

Pri vseh vidikih delovanja robota bi bilo treba vključiti načela zanesljivega sistemskega načrtovanja, tako za načrtovanje strojne kot programske opreme in za vsako obdelavo podatkov na platformi ali zunaj nje za varnostne namene.

—

Vključiti bi bilo treba značilnosti vgrajene zasebnosti za zagotovitev, da se zasebne informacije varujejo in uporabljajo le na ustrezen način.

—

Vključiti bi bilo treba očitne mehanizme za zavrnitev (stikala za izklop v sili), ki bi morali biti v skladu z razumnimi cilji načrtovanja.

—

Zagotoviti bi bilo treba, da robot deluje na način, ki je skladen z lokalnimi, nacionalnimi in mednarodnimi etičnimi in pravnimi načeli.

—

Zagotoviti bi bilo treba, da je mogoče korake robotovega odločanja rekonstruirati in izslediti.

—

Zagotoviti bi bilo treba, da se pri programiranju robotskih sistemov zahtevata največja mogoča preglednost in predvidljivost robotovega vedenja.

—

Analizirati bi bilo treba predvidljivost sistema človek-robot, in sicer tako da se preučijo negotovosti pri razlagi in dejanjih ter morebitne robotske ali človeške napake.

—

V fazi načrtovanja robota bi bilo treba razviti orodja za sledenje. Ta orodja bodo strokovnjakom, upravljavcem in uporabnikom olajšala pripisovanje odgovornosti in razlago za vedenje robota, pa čeprav omejeno, na različnih ravneh.

—

Oblikovati bi bilo treba pravila načrtovanja in vrednotenja ter skupaj z morebitnimi uporabniki in deležniki ovrednotiti koristi in tveganja robotike, tudi v kognitivnem, psihološkem in okoljskem smislu.

—

Zagotoviti bi bilo treba, da je mogoče robote v interakciji z ljudmi prepoznati kot robote.

—

Zagotoviti bi bilo treba varnost in varovati zdravje tistih, ki imajo interakcijo in so v stiku z roboti, saj morajo biti roboti kot izdelki načrtovani na podlagi postopkov, ki zagotavljajo njihovo varnost. Inženir robotike mora varovati dobro počutje ljudi, pri čemer mora spoštovati človekove pravice, ter ne sme razviti robota brez zagotavljanja varnosti, učinkovitosti in povratnosti delovanja sistema.

—

Pred preizkušanjem robota v resničnem okolju ali vključitvijo ljudi v postopke njegovega načrtovanja in razvoja bi bilo treba pridobiti pozitivno mnenje odbora za raziskovalno etiko.

DOVOLJENJE ZA UPORABNIKE

—

Robota je dovoljeno uporabljati, ne da bi tvegali povzročitev fizične ali psihološke škode ali skrbeli, da bi do nje prišlo.

—

Morali bi imeti pravico, da od robota pričakujete, da bo izvajal vse naloge, za katere je bil izrecno načrtovan.

—

Zavedati bi se bilo treba, da ima lahko vsak robot omejene sposobnosti dojemanja, kognitivnega zaznavanja in aktiviranja.

—

Spoštovati bi bilo treba človeško ranljivost, tako fizično kot psihološko, in čustvene potrebe ljudi.

—

Upoštevati bi bilo treba pravice posameznikov do zasebnosti, vključno z izklopom zaslonov med izvajanjem intimnih postopkov.

—

Osebnih podatkov ni dovoljeno zbirati, uporabljati ali razkrivati brez izrecnega soglasja osebe, na katero se nanašajo.

—

Robota ni dovoljeno uporabljati na način, ki bi bil v nasprotju z etičnimi ali pravnimi načeli in standardi.

—

Nobenega robota ni dovoljeno spremeniti tako, da bi lahko deloval kot orožje.