Zakázané praktiky systémů AI
Využívání některých systémů AI je považováno za nepřijatelné z hlediska rizik pro člověka, a tudíž je použití těchto systémů zakázáno. Patří mezi ně např.:
- podprahová manipulace chování a emocí,
- necílené stahování snímků obličeje z internetu nebo ze záznamů uzavřených kamerových systémů (CCTV),
- rozpoznávání emocí na pracovišti nebo ve vzdělávacích institucích,
- hodnocení sociálního kreditu (tzv. social scoring),
- biometrická kategorizace s cílem získat citlivé údaje, jako je rasa, věk, pohlaví, sexuální orientace či náboženské vyznání,
- některé případy prediktivní policejní práce týkající se fyzických osob
- či vzdálená biometrická identifikace v reálně čase.
Ve výjimečných a přesně definovaných případech mohou být systémy AI využívající biometrickou identifikaci použity pro účely vymáhání práva za předpokladu získání soudního povolení. Systémy vzdáleného rozpoznávání obličejů kamerovými systémy v reálném čase budou povoleny pouze pro orgány činné v trestním řízení v omezeném počtu závažných případů (např. při hledání dítěte při podezření z únosu, při hrozbě teroristického činu).
Zatímco systémy zpětné vzdálené biometrické identifikace, kdy k identifikaci dochází se značným zpožděním, budou povoleny pouze v rámci vyšetřování nebo za účelem cíleného vyhledávání osoby podezřelé ze spáchání trestného činu nebo již odsouzené za trestný čin. Použití takového systému AI také podléhá povolení soudem či správním orgánem a je omezeno na nezbytně nutné úkony pro vyšetřování konkrétního trestného činu.
Vysoce rizikové systémy AI
Tyto systémy AI budou na trhu EU povoleny, ale před uvedením na trh a během jejich celého životního cyklu budou podléhat přísným požadavkům. Jedná se o systémy AI v oblastech klíčových pro fungování společnosti:
- biometrická identifikace,
- kritická infrastruktura (např. řízení dopravy),
- vzdělávání (např. bodování zkoušek), které může určovat přístup ke vzdělání či průběhu profesního života,
- bezpečnostní komponenty výrobků (např. aplikace AI v chirurgii podporované roboty),
- zaměstnávání, řízení pracovníku (např. software pro třídění životopisů pro příjímací řízení),
- základní soukromé a veřejné služby (např. úvěrové hodnocení, které občanům umožní získat půjčku),
- vymáhání práva, které může zasahovat do základních práv občanů (např. hodnocení spolehlivosti důkazů),
- řízení migrace, azylu a ochrany hranic (např. automatizované posuzování žádostí o víza),
- výkon spravedlnosti a demokratických procesů (např. řešení založená na AI pro vyhledávání soudních rozhodnutí).
Povinnosti pro vysoce rizikové systémy
Vysoce rizikové systémy AI před uvedením na trh EU mají povinnost projít takzvaným procesem ověřování shody. Během tohoto procesu se prokáže, že daný systém splňuje povinné požadavky na odpovědnou umělou inteligenci, tedy splňuje požadavky na:
- kvalitu tréninkových dat,
- poskytnutou prováděcí dokumentaci,
- transparentnost,
- lidský dohled,
- přesnost,
- kybernetickou bezpečnost
- a robustnost.
Dále musí poskytovatelé vysoce rizikových systémů AI mít zavedený systém řízení kvality a rizik, aby zajistili jejich soulad s novými požadavky.
Poskytovatelé vysoce rizikových systémů AI používaných pro účely uvedené v příloze III budou muset takový systém AI zaregistrovat do veřejné databáze EU, kterou spravuje Evropská komise.
V zásadě má tato veřejná databáze obsahovat:
- kontaktní údaje o poskytovateli systému,
- název systému AI,
- popis zamýšleného využití systému AI a jeho funkcí,
- způsob fungování systému a informace o využívaných datech a výstupech systému,
- vlastnictví certifikace,
- v jakých členských státech je systém v provozu
- a návod k použití.
Pro zajištění transparentnosti se tato povinnost vztahuje i pro veřejné orgány, které by takové systémy AI využívaly v rámci svých aktivit. Výjimkou jsou systémy využívané pro účely vymáhání práva, migrace a správy ochrany hranic, tyto speciální kategorie systémů budou muset být registrovány v neveřejné části databáze, která bude přístupná pouze příslušným orgánům dohledu a Evropské komisi.
Obecné modely AI
Speciální kategorií jsou obecné modely AI, které jsou trénovány na velkém množství dat, aby mohly provádět širokou škálu úkolů a mohly být integrovány do specializovaných systémů AI bez větších změn. Příkladem takového modelu jsou např. různé verze modelu GPT, který je základem pro populární aplikaci ChatGPT.
Povinnosti pro obecné modely AI
Specifickou povinností je u obecných modelů AI např. povinnost poskytovatele takového modelu udržovat aktuální dokumentaci o jeho tréninku a rozsahu úkolů, které může vykonávat. Tyto informace pak musí poskytovatel předávat těm, kteří chtějí jeho model integrovat do svých specializovaných systémů.
Další povinností je pro poskytovatele obecných modelů AI ze zahraničí zřídit v EU odpovědného zástupce, který bude odpovídat za dodržování AI Aktu na evropském trhu.
Systémy s omezeným rizikem
Systémy AI s omezeným rizikem (tedy ty, které slouží pro interakci s člověkem či uměle vytvářejí obsah) by měly splňovat minimální standardy transparentnosti. Tyto systémy tedy musí informovat uživatele, že interaguje s umělou inteligencí, nebo je jí jinak vystaven, tak aby se uživatel mohl rozhodnout, zda je chce nadále používat. Tento požadavek zahrnuje i systémy AI, které generují text nebo manipulují s obrazovým, zvukovým nebo video obsahem, jako jsou např. deepfakes. U těch musí být uvedeno, že jde o produkt systému AI.
Systémy s minimálním rizikem
Všechny ostatní systémy umělé inteligence lze uvádět na trh a používat v souladu se stávajícími právními předpisy bez dalších právních povinností. V současné době do této kategorie spadá většina systémů, které se používají nebo budou používat v EU.