Umělá inteligence jako zbraň v rukou útočníků. Naučme se je odhalit.

Umělá inteligence nám zamotává hlavu a starší pravdy přestávají platit.

Zveřejněno dne: 12. 07. 2024

aricoma avatar
Většina organizací dnes už chápe nutnost budování bezpečnostního povědomí a potřebu tréninku svých uživatelů tak, aby byli odolní základním kybernetickým hrozbám. Byť to může znít dost neuctivě, je pro nás, bezpečáky, náš uživatel buď „zranitelností“ nebo naopak naším „lidským firewallem na „osmé“ vrstvě OSI modelu. Je to víceméně o tom, jak moc a jak dobře dokážeme své uživatele vytrénovat. Nově zařazují kyberzločinci do svého arzenálu umělou inteligenci, a to je skutečně velmi účinná zbraň. Jak ji čelit?

Doposud jsme trénovali uživatele na rozpoznávání podvrhů v rámci sociální manipulace. Ukázky podvodných e-mailů a triky útočníků jako je typosquatting již většina uživatelů zná. Většina už ví, že se pracuje s emocemi jako je obava, strach, zvědavost nebo touha a ví, že zpráva o zázračném zbohatnutí je většinou jen zkratka k okradení. Ukazujeme, jak vypadá podvodný e-mail, jaké jsou „signální“ znaky podvrhů, ukazujeme, že i e-mailovou adresu je velmi snadné zfalšovat. Uživatelé to již chápou, přijali to a chovají se podle toho. Následně jsme se posunuli nebezpečnosti podvrhů v SMS zprávách a QR kódech a zdá se, že to snad také funguje. Minimálně u těch uživatelů, které školíme.

Některé „staré“ pravdy ale už moc neplatí...

Vzhledem k tomu, že čeština je poměrně málo rozšířený jazyk, může být relativně pro cizince složitý a první překladače Google nebyly žádný zázrak, upozorňovali jsme uživatele, že při zkoumání potenciálně podvržených textů jsou pravopisné chyby poměrně významným závažím na vahách posouzení, zda se jedná o podvrh. Dnes je však, ne-li vše, z 90 % jinak. Svůj podíl má řekněme klesající úroveň zvládání gramatiky v populaci, a dále pak to, že umělá inteligence prostě zvládá pravopis na jedničku. Zkrátka je to naopak, upside down. Pokud dnes uvidíme gramaticky dokonalý text, začneme mít pochybnost, jestli ho skutečně psal člověk. A protože víme, že umělou inteligenci osedlal kyberzločin, je takový text naopak podezřelý. Zkrátka musíme dnes učit uživatele, že pravopis vlastně není signálním znakem a že naopak dokonalost gramatiky a větné stavby je podezřelá. A to je samozřejmě ten nejmenší problém.

Co budeme dělat s „deepfake“?

Opět budeme školit uživatele, a ano, půjde to a do určitého okamžiku uživatele dokážeme odpovídajícím způsobem vyškolit. Je to samozřejmě „stroj, který se za velkého řevu uvádí do pomalého pohybu“, ale půjde to. I deepfake mají v dnešní době své limity (zejména technické), ty dokážeme popsat a tuto vědomost předat uživatelům. Věříme, že ti to budou pomalu vstřebávat a po čase si budou všímat v případě hlasových deepfake třeba nesrovnalostí v intonaci a rytmu (deepfake hlasy mohou mít nepravidelnou intonaci, rytmus nebo kadenci, která nesedí s přirozeným způsobem mluvení dané osoby), emocionální plochosti (syntetizované hlasy často znějí méně emocionálně bohatě nebo přesvědčivě než skutečné lidské hlasy) a nepřirozených pauz (deepfake hlasy mohou mít nepřirozené pauzy nebo zastavení, které se nevyskytují v běžné řeči) atd. Připravíme testovací vzorky a podobně jako testujeme odolnost phishingu, budeme testovat a tím vzdělávat uživatele i v rozpoznání deepfake.

Bohužel dá se očekávat, že přijde technologický zlom, a to možná dříve, než bychom chtěli. Umělá inteligence a prostředky pro výrobu deepfake budou schopny generovat podvrhy tak dokonalé, že budou i pro trénovaného uživatele prakticky neodhalitelné. Co bude dále?

Budeme muset změnit naše interní procesy a postupy.

A to tak, abychom zajistili autentizaci volajícího. Nezapomeňme na to, že telefon je stále jedním z významných prostředků vnitrofiremní komunikace, že jsou organizace, kde jsou pokyny k fakturaci dávány telefonicky nebo kde „ajťáci“ na základě telefonátu nainstalují vzdáleně třeba již zmíněný TeamViewer. Musíme myslet na to, že pokud tomu tak je, záhy to kyberzločin odhalí a pokud to bude pro nás zranitelné, tak to i samozřejmě využije. „Vše, co napadne nás, napadne i je,“ jak řekl ve filmu Smrtonosná past 2 poručík John McClane. Vůbec nepochybujme o tom, že útočníci dokáží odhalit správné uživatele, které se pokusí manipulovat a dokáží podvrhnout telefonní číslo, ostatně to dokáží již i dnes.
Mějme na mysli, že náš protivník je odhodlaný a vysoce motivovaný, že jsou to, bohužel, ve svých oborech odborníci a „profesionálové“, kterým již dnes musí čelit náš uživatel. Navíc jim bude pomáhat umělá inteligence. Věříme, že umělá inteligence se zapojí i na naší straně, nicméně s bílými figurami, a tedy výhodou prvního tahu hraje náš protivník.

Pokud nevíte, kde je největší nebezpečí, co byste měli udělat hned a co počká, jaký bezpečnostní systém je vhodný pro vás s ohledem na váš byznys a velikost, pokud chcete poradit s osvětou, s budováním bezpečnostního povědomí, poradit ohledně bezpečnosti, zkonzultovat nějaký problém, navrhnout řešení nebo vyškolit personál, klidně se obraťte na Aricomu. Rádi vám poradíme a jak se říká za zeptání, nic nedáte :-) Aricoma ví jak.
 
Ludek Mandok
Senior Security Consultant
Sdílejte

NEVÁHEJTE, KONTAKTUJTE NÁS.

Máte zájem o další informace nebo o nabídku pro vaši konkrétní situaci?

Odesláním formuláře prohlašuji, že jsem se seznámil s informacemi o zpracování osobních údajů v ARICOMA.

BUĎTE U TOHO

Přihlaste se k odběru našich newsletterů, ať vám nic podstatného neuteče.

Vložením e-mailu souhlasíte s podmínkami ochrany osobních údajů.