Řízení rizik AI v kontextu informační bezpečnosti

Rozvoj umělé inteligence (AI) zásadně mění způsob, jakým organizace i jednotlivci přistupují k informační bezpečnosti. Současné AI systémy, zejména large language models (LLMs), automatizované rozhodovací nástroje, přinášejí kromě inovací a výhod také nová rizika, která mohou ohrozit důvěrnost, integritu, dostupnost a autenticitu informací. Tento příspěvek představuje systematický přístup k řízení rizik spojených s AI systémy a jejich dopad na informační bezpečnost organizací.

AI technologie představují mocný nástroj, který však zahrnuje specifické zranitelnosti. Mezi ně patří systematická zkreslení (bias) v modelech, možnosti zneužití zlovolnými aktéry či ohrožení soukromí uživatelů. Příspěvek analyzuje klíčové rizikové oblasti, včetně diskriminace a toxicity modelů, s důrazem na dokumentované případy selhání AI systémů v kritických rozhodovacích procesech.

Článek se dále věnuje problémům spojeným se soukromím a bezpečností, jako jsou útoky na AI modely, manipulace s trénovacími daty či nedostatečné zabezpečení datových souborů. Mezi další diskutovaná rizika patří šíření dezinformací prostřednictvím deepfakes, „artifical„ médií nebo automatizovaných platforem, které mohou přispět k destabilizaci společenské důvěry. Zvláštní pozornost je věnována „zlovolným“ aktérům, kteří využívají AI pro kybernetické útoky, sociální inženýrství či finanční podvody. Součástí přehledu jsou také rizika interakce člověka s AI, kde přílišná důvěra v AI systémy může vést k chybným rozhodnutím nebo ztrátě autonomie.

Materiál obsahuje návrh strategického přístupu k řízení rizik AI, zahrnující systematickou analýzu rizik, prioritizaci podle dopadu a pravděpodobnosti a návrh vhodných mitigačních strategií.

Prezentovaný framework obsahuje jak kategorii technických opatření, zahrnující technické modely a včetně monitoringu, procesní kontroly, , audit a kontinuální zlepšování, a v neposlední řadě governance rámec, který definuje odpovědnosti a role. Příspěvek rovněž představí praktické postupy pro identifikaci a mitigaci rizik.

Účastníci konference získají přehled o aktuálních trendech, osvědčených postupech a dostupných standardech v oblasti řízení AI rizik. Cílem je nejen zvýšit povědomí o této problematice, ale také poskytnout konkrétní kroky pro implementaci bezpečnostních opatření v organizacích různých velikostí a sektorů.

Příspěvek vychází z nejnovějších poznatků a případových studií z praxe a nabízí inspiraci pro organizace, které chtějí zodpovědně využívat AI technologie. Výstupy zahrnují praktické prvky, jako jsou průzkumy zkušeností s AI riziky, doporučené zdroje a standardy pro řízení rizik v dynamicky se vyvíjejícím světě AI.

 Jiří Diepolt

Jiří Diepolt je předním odborníkem v oblasti řízení rizik umělé inteligence a informační bezpečnosti, který kombinuje hluboké technické znalosti s praktickými zkušenostmi se zaváděním rámců řízení umělé inteligence. Má více než 25 let zkušeností v oblasti bezpečnosti IT a řízení rizik a specializuje se na identifikaci a zmírňování rizik spojených se systémy umělé inteligence, zejména v odvětvích finančních služeb a kritické infrastruktury. 

Jeho odborné znalosti sahají od tradičního zabezpečení informací až po nejmodernější výzvy v oblasti AI, včetně detekce zkreslení, zabezpečení modelů a rámců pro dodržování předpisů v oblasti AI. Jako nezávislý IT poradce a auditor pomáhá organizacím orientovat se ve složitém prostředí implementace AI a zároveň zajišťuje robustní bezpečnostní opatření a soulad s předpisy, včetně certifikačních procesů ISO 27001 a hodnocení rizik specifických pro AI. 

Ve své předchozí funkci člena představenstva a provozního ředitele/technického ředitele společnosti NEY spořitelní družstvo zavedl komplexní rámce IT a informační bezpečnosti. Během svého působení ve společnosti KPMG jako Senior Advisor vedl řadu projektů v oblasti informační bezpečnosti, včetně prověrek řízení bezpečnosti, auditů bezpečnosti IT a analýz rizik. 

V současné době se zaměřuje na vývoj a implementaci rámců pro řízení rizik v oblasti umělé inteligence, dodržování předpisů DORA a NIS2 a poskytování specializovaných školicích programů v těchto oblastech. Jeho nedávná práce zahrnuje průkopnické metodiky pro hodnocení a řízení rizik AI ve finančních institucích. 

Vystudoval Vysokou školu ekonomickou v Praze, Fakultu informatiky a statistiky, a aktivně přispívá do odborných diskusí o vznikajících výzvách v oblasti AI, kybernetické bezpečnosti a postupů řízení rizik.