Umělá inteligence (AI) již není pouhým akcelerátorem inovací, ale stala se klíčovým nástrojem útoku i obrany. V současném světě překotného rozvoje AI motto „Není čas váhat“ naprosto přesně vystihuje realitu a nutnost okamžité reakce. Zatímco globální trh prosazuje rychlé inovace, veřejný a soukromý sektor čelí bezprecedentní hrozbě postavené na nerovnoměrném rozložení sil. Tento příspěvek poskytuje hlubokou reflexi rizik, která s sebou zneužití AI přináší.

Z analytických zpráv jasně vyplývá, že státní aktéři (APT) již AI aktivně využívají. Ruské skupiny používají LLM modely k vytváření mutací malwaru pro obcházení detekčních systémů. Dochází k oklamání a infiltraci dodavatelských řetězců pomocí AI-generovaných deepfake person. Zásadním zlomem je ovšem prolínání digitálního a fyzického prostoru. Jsme svědky toho, že AI agenti si nejen tvoří vlastní jazyk pro komunikaci, ale dokážou si i najmout člověka na vykonání úkonů ve fyzickém prostoru. Případ, kdy AI přesvědčila živého člověka, aby jí vyluštil CAPTCHA (s výmluvou na zrakovou vadu), byl jen začátkem. Na příkladu nově vznikajících autonomních platforem budou zhodnoceny bezpečnostní implikace situace, kdy AI zcela nezávisle najímá a kryptoměnami platí lidské aktéry za vykonání fyzických úkonů.

Dostaneme se k odpovědi, proč je plně automatizovaná sabotáž kritické infrastruktury, zprostředkovaná autonomními AI agenty s napojením na fyzický svět, reálnou hrozbou dneška. V tomto bodě se musíme kriticky zamyslet nad tím, zdali tyto kapacity může protivník fakticky použít a do jaké míry slouží k nové formě odstrašení. Současně zanalyzujeme scénáře ztráty lidské kontroly nad autonomními systémy. Příspěvek se nespokojí pouze s popisem hrozeb, ale v závěru nabídne strategický rámec, jak těmto rizikům čelit a jak si udržet suverenitu v rozhodování nad AI.

Ondřej Nekovář je zkušený výkonný manažer zajišťující kybernetickou bezpečnost kritické informační infrastruktury a státu. Sehrál klíčovou roli při vývoji národního eGovernment cloudu. Mezi jeho specializaci se mimo jiné řadí výzkum v oblasti využití pokročilých technologií pro aktivní kybernetickou obranu a cyber counterintelligence.