Jak lze generativní umělou inteligenci využít v kybernetické bezpečnosti?

Zavedení

Generativní umělá inteligence – systémy umělé inteligence schopné vytvářet nový obsah nebo predikce – se v kybernetické bezpečnosti stává transformační silou. Nástroje jako GPT-4 od OpenAI prokázaly schopnost analyzovat komplexní data a generovat text podobný lidskému, což umožňuje nové přístupy k obraně proti kybernetickým hrozbám. Odborníci na kybernetickou bezpečnost a osoby s rozhodovací pravomocí v různých odvětvích zkoumají, jak může generativní umělá inteligence posílit obranu proti vyvíjejícím se útokům. Od financí a zdravotnictví až po maloobchod a státní správu čelí organizace v každém sektoru sofistikovaným phishingovým pokusům, malwaru a dalším hrozbám, kterým by generativní umělá inteligence mohla pomoci čelit. V této bílé knize zkoumáme, jak lze generativní umělou inteligenci využít v kybernetické bezpečnosti , a zdůrazňujeme reálné aplikace, budoucí možnosti a důležité aspekty, které je třeba zvážit při jejím přijetí.

Generativní umělá inteligence se od tradiční analytické umělé inteligence liší nejen detekcí vzorců, ale také vytvářením obsahu – ať už simulací útoků za účelem trénování obrany nebo vytvářením vysvětlení v přirozeném jazyce pro složitá bezpečnostní data. Tato dvojí schopnost z ní dělá dvousečnou zbraň: nabízí nové výkonné obranné nástroje, ale mohou ji zneužívat i útočníci. Následující části zkoumají širokou škálu případů použití generativní umělé inteligence v kybernetické bezpečnosti, od automatizace detekce phishingu až po zlepšení reakce na incidenty. Diskutujeme také výhody, které tyto inovace v oblasti umělé inteligence slibují, spolu s riziky (jako jsou „halucinace“ umělé inteligence nebo zneužití ze strany nepřátel), která musí organizace řešit. Nakonec uvádíme praktické poznatky, které firmám pomohou vyhodnotit a zodpovědně integrovat generativní umělou inteligenci do jejich strategií kybernetické bezpečnosti.

Generativní umělá inteligence v kybernetické bezpečnosti: Přehled

Generativní umělá inteligence v kybernetické bezpečnosti označuje modely umělé inteligence – často modely s velkým programovacím jazykem nebo jiné neuronové sítě – které dokáží generovat poznatky, doporučení, kód nebo dokonce syntetická data na podporu bezpečnostních úkolů. Na rozdíl od čistě prediktivních modelů dokáže generativní umělá inteligence simulovat scénáře a na základě trénovacích dat vytvářet lidsky čitelné výstupy (např. zprávy, upozornění nebo dokonce vzorky škodlivého kódu). Tato schopnost se využívá k predikci, detekci a reakci na hrozby dynamičtějším způsobem než dříve ( Co je generativní umělá inteligence v kybernetické bezpečnosti? - Palo Alto Networks ). Generativní modely například dokáží analyzovat rozsáhlé protokoly nebo úložiště informací o hrozbách a vytvořit stručné shrnutí nebo doporučenou akci, čímž fungují téměř jako „asistent“ umělé inteligence pro bezpečnostní týmy.

První implementace generativní umělé inteligence pro kybernetickou obranu se ukázaly jako slibné. V roce 2023 společnost Microsoft představila Security Copilot , asistenta pro bezpečnostní analytiky s technologií GPT-4, který pomáhá identifikovat narušení bezpečnosti a prověřovat 65 bilionů signálů, které Microsoft denně zpracovává ( Microsoft Security Copilot je nový asistent s technologií GPT-4 pro kybernetickou bezpečnost | The Verge ). Analytici mohou tento systém ovládat v přirozeném jazyce (např. „Shrňte všechny bezpečnostní incidenty za posledních 24 hodin“ ) a Copilot vytvoří užitečné shrnutí. Podobně AI Threat Intelligence využívá generativní model s názvem Gemini , který umožňuje konverzační vyhledávání v rozsáhlé databázi hrozeb Google, rychle analyzuje podezřelý kód a shrnuje zjištění, aby pomohla lovcům malwaru ( Jak lze generativní umělou inteligenci použít v kybernetické bezpečnosti? 10 příkladů z reálného světa ). Tyto příklady ilustrují potenciál: generativní umělá inteligence dokáže zpracovávat komplexní, rozsáhlá data o kybernetické bezpečnosti a prezentovat poznatky v přístupné formě, čímž urychluje rozhodování.

Zároveň generativní umělá inteligence dokáže vytvářet vysoce realistický falešný obsah, což je přínosem pro simulace a trénink (a bohužel i pro útočníky, kteří vymýšlejí sociální inženýrství). Jak budeme postupovat ke konkrétním případům použití, uvidíme, že schopnost generativní umělé inteligence syntetizovat i analyzovat informace je základem jejích mnoha aplikací v oblasti kybernetické bezpečnosti. Níže se ponoříme do klíčových případů použití, od prevence phishingu až po vývoj bezpečného softwaru, s příklady toho, jak se každý z nich uplatňuje v různých odvětvích.

Klíčové aplikace generativní umělé inteligence v kybernetické bezpečnosti

Obrázek: Mezi klíčové případy použití generativní umělé inteligence v kybernetické bezpečnosti patří pomocní piloti umělé inteligence pro bezpečnostní týmy, analýza zranitelností kódu, adaptivní detekce hrozeb, simulace útoků zero-day, vylepšené biometrické zabezpečení a detekce phishingu ( 6 případů použití generativní umělé inteligence v kybernetické bezpečnosti [+ příklady] ).

Detekce a prevence phishingu

Phishing zůstává jednou z nejrozšířenějších kybernetických hrozeb, která láká uživatele ke kliknutí na škodlivé odkazy nebo prozrazení přihlašovacích údajů. Generativní umělá inteligence se nasazuje jak k detekci pokusů o phishing, tak k posílení školení uživatelů, aby se zabránilo úspěšným útokům. Na obranu mohou modely umělé inteligence analyzovat obsah e-mailů a chování odesílatelů a odhalit jemné známky phishingu, které by filtry založené na pravidlech mohly přehlédnout. Generativní model se učí z velkých datových sad legitimních versus podvodných e-mailů a dokáže označit anomálie v tónu, formulaci nebo kontextu, které naznačují podvod – a to i v případě, že gramatika a pravopis je již neprozrazují. Výzkumníci ze společnosti Palo Alto Networks dokonce poznamenávají, že generativní umělá inteligence dokáže identifikovat „jemné známky phishingových e-mailů, které by jinak mohly zůstat neodhaleny“, což pomáhá organizacím zůstat o krok napřed před podvodníky ( Co je generativní umělá inteligence v kybernetické bezpečnosti? - Palo Alto Networks ).

Bezpečnostní týmy také používají generativní umělou inteligenci k simulaci phishingových útoků pro účely školení a analýzy. Například společnost Ironscales představila nástroj pro simulaci phishingu poháněný GPT, který automaticky generuje falešné phishingové e-maily přizpůsobené zaměstnancům organizace ( Jak lze generativní umělou inteligenci použít v kybernetické bezpečnosti? 10 příkladů z reálného světa ). Tyto e-maily vytvořené umělou inteligencí odrážejí nejnovější taktiky útočníků a poskytují zaměstnancům realistický procvičovací postup v odhalování phishingového obsahu. Takové personalizované školení je klíčové, protože útočníci sami používají umělou inteligenci k vytváření přesvědčivějších návnad. Je pozoruhodné, že ačkoli generativní umělá inteligence dokáže produkovat velmi propracované phishingové zprávy (doby snadno odhalitelné lámané angličtiny jsou pryč), obránci zjistili, že umělá inteligence není nepřekonatelná. V roce 2024 provedli výzkumníci společnosti IBM Security experiment porovnávající phishingové e-maily psané lidmi s e-maily generovanými umělou inteligencí a „překvapivě bylo stále snadné odhalit e-maily generované umělou inteligencí i přes jejich správnou gramatiku“ ( 6 případů užití generativní umělé inteligence v kybernetické bezpečnosti [+ příklady] ). To naznačuje, že lidská intuice v kombinaci s detekcí s pomocí umělé inteligence stále dokáže rozpoznat jemné nesrovnalosti nebo signály metadat v podvodech napsaných umělou inteligencí.

Generativní umělá inteligence pomáhá v ochraně proti phishingu i jinými způsoby. Modely lze použít ke generování automatických odpovědí nebo filtrů , které testují podezřelé e-maily. Systém umělé inteligence by například mohl odpovědět na e-mail s určitými dotazy, aby ověřil legitimitu odesílatele, nebo použít LLM k analýze odkazů a příloh e-mailu v sandboxu a poté shrnout jakýkoli škodlivý úmysl. Bezpečnostní platforma Morpheus demonstruje sílu umělé inteligence v této oblasti – používá generativní modely NLP k rychlé analýze a klasifikaci e-mailů a bylo zjištěno, že zlepšuje detekci spear phishingových e-mailů o 21 % ve srovnání s tradičními bezpečnostními nástroji ( 6 případů užití generativní umělé inteligence v kybernetické bezpečnosti [+ příklady] ). Morpheus dokonce profiluje komunikační vzorce uživatelů, aby detekoval neobvyklé chování (například uživatel, který najednou odesílá e-maily na mnoho externích adres), což může naznačovat napadený účet odesílající phishingové e-maily.

V praxi firmy napříč odvětvími začínají důvěřovat umělé inteligenci při filtrování e-mailů a webového provozu a odstraňování útoků sociálního inženýrství. Finanční firmy například používají generativní umělou inteligenci ke skenování komunikace a hledání pokusů o zosobnění, které by mohly vést k elektronickým podvodům, zatímco poskytovatelé zdravotní péče nasazují umělou inteligenci k ochraně dat pacientů před phishingovými útoky. Generováním realistických phishingových scénářů a identifikací znaků škodlivých zpráv generativní umělá inteligence přidává silnou vrstvu ke strategiím prevence phishingu. Poučení: Umělá inteligence může pomoci rychleji a přesněji odhalit a zneškodnit phishingové útoky , a to i v případě, že útočníci používají stejnou technologii ke zlepšení své hry.

Detekce malwaru a analýza hrozeb

Moderní malware se neustále vyvíjí – útočníci generují nové varianty nebo zahalují kód, aby obešli antivirové signatury. Generativní umělá inteligence nabízí nové techniky pro detekci malwaru i pro pochopení jeho chování. Jedním z přístupů je využití umělé inteligence ke generování „zlých dvojčat“ malwaru : bezpečnostní výzkumníci mohou do generativního modelu vložit známý vzorek malwaru a vytvořit tak mnoho mutovaných variant daného malwaru. Tímto způsobem efektivně předvídají úpravy, které by útočník mohl provést. Tyto varianty generované umělou inteligencí pak lze použít k trénování antivirových systémů a systémů detekce narušení, takže i upravené verze malwaru jsou rozpoznány v reálném čase ( 6 případů užití generativní umělé inteligence v kybernetické bezpečnosti [+ příklady] ). Tato proaktivní strategie pomáhá prolomit cyklus, kdy hackeři mírně upravují svůj malware, aby se vyhnuli detekci, a obránci se musí pokaždé snažit psát nové signatury. Jak je uvedeno v jednom podcastu z oboru, bezpečnostní experti nyní používají generativní umělou inteligenci k „simulaci síťového provozu a generování škodlivých datových částí, které napodobují sofistikované útoky“, čímž testují svou obranu proti celé rodině hrozeb, nikoli proti jedinému případu. Tato adaptivní detekce hrozeb znamená, že bezpečnostní nástroje se stávají odolnějšími vůči polymorfnímu malwaru, který by jinak proklouzl.

Kromě detekce pomáhá generativní umělá inteligence s analýzou malwaru a reverzním inženýrstvím , což jsou tradičně pro analytiky hrozeb náročné úkoly. Rozsáhlé jazykové modely mohou být pověřeny zkoumáním podezřelého kódu nebo skriptů a vysvětlováním v jednoduchém jazyce, co má kód dělat. Příkladem z reálného světa je VirusTotal Code Insight , funkce od VirusTotal od Googlu, která využívá generativní model umělé inteligence (Sec-PaLM od Googlu) k vytváření shrnutí potenciálně škodlivého kódu v přirozeném jazyce ( Jak lze generativní umělou inteligenci použít v kybernetické bezpečnosti? 10 příkladů z reálného světa ). V podstatě se jedná o „typ ChatGPT věnovaný bezpečnostnímu kódování“, který funguje jako analytik malwaru s umělou inteligencí, který pracuje 24 hodin denně, 7 dní v týdnu, aby pomohl lidským analytikům porozumět hrozbám ( 6 případů užití generativní umělé inteligence v kybernetické bezpečnosti [+ příklady] ). Místo důkladného procházení neznámého skriptu nebo binárního kódu může člen bezpečnostního týmu od umělé inteligence získat okamžité vysvětlení – například: „Tento skript se pokouší stáhnout soubor ze serveru XYZ a poté upravit nastavení systému, což svědčí o chování malwaru.“ To dramaticky zrychluje reakci na incidenty, protože analytici mohou třídit a porozumět novému malwaru rychleji než kdy dříve.

Generativní umělá inteligence se také používá k lokalizaci malwaru v rozsáhlých datových sadách . Tradiční antivirové enginy prohledávají soubory a hledají známé signatury, ale generativní model dokáže vyhodnotit vlastnosti souboru a dokonce na základě naučených vzorců předpovědět, zda je škodlivý. Analýzou atributů miliard souborů (škodlivých i neškodných) může umělá inteligence odhalit škodlivý úmysl i tam, kde neexistuje žádný explicitní podpis. Generativní model by například mohl označit spustitelný soubor jako podezřelý, protože jeho profil chování „vypadá“ jako mírná variace ransomwaru, který viděl během trénování, i když je binární soubor nový. Tato detekce založená na chování pomáhá čelit novému nebo zero-day malwaru. Umělá inteligence Threat Intelligence od společnosti Google (součást Chronicle/Mandiant) údajně používá svůj generativní model k analýze potenciálně škodlivého kódu a k „efektivnější a účinnější pomoci bezpečnostním profesionálům v boji proti malwaru a dalším typům hrozeb“. ( Jak lze generativní umělou inteligenci použít v kybernetické bezpečnosti? 10 příkladů z reálného světa ).

Na druhou stranu musíme uznat, že útočníci mohou i zde použít generativní umělou inteligenci – k automatickému vytváření malwaru, který se přizpůsobuje. Bezpečnostní experti dokonce varují, že generativní umělá inteligence může kyberzločincům pomoci vyvinout malware, který je hůře detekovatelný ( Co je generativní umělá inteligence v kybernetické bezpečnosti? - Palo Alto Networks ). Model umělé inteligence může být instruován, aby opakovaně transformoval malware (měnil jeho strukturu souborů, metody šifrování atd.), dokud se nevyhne všem známým antivirovým kontrolám. Toto nepřátelské použití je rostoucím problémem (někdy se označuje jako „malware poháněný umělou inteligencí“ nebo polymorfní malware jako služba). O těchto rizicích budeme diskutovat později, ale zdůrazňuje to, že generativní umělá inteligence je nástrojem v této hře na kočku a myš, kterou používají jak obránci, tak útočníci.

Celkově generativní umělá inteligence zlepšuje obranu proti malwaru tím, že umožňuje bezpečnostním týmům myslet jako útočník – generovat nové hrozby a řešení interně. Ať už se jedná o vytváření syntetického malwaru pro zlepšení míry detekce, nebo o použití umělé inteligence k vysvětlení a omezení skutečného malwaru nalezeného v sítích, tyto techniky platí napříč odvětvími. Banka může použít analýzu malwaru řízenou umělou inteligencí k rychlé analýze podezřelého makra v tabulce, zatímco výrobní firma se může spolehnout na umělou inteligenci k detekci malwaru zaměřeného na průmyslové řídicí systémy. Rozšířením tradiční analýzy malwaru o generativní umělou inteligenci mohou organizace reagovat na malwarové kampaně rychleji a proaktivněji než dříve.

Hrozby a automatizovaná analýza

Organizace jsou denně bombardovány daty z oblasti informačních hrozeb – od nově objevených indikátorů kompromitace (IOC) až po analytické zprávy o nově vznikajících hackerských taktikách. Výzvou pro bezpečnostní týmy je třídit tuto záplavu informací a získávat z nich praktické poznatky. Generativní umělá inteligence se ukazuje jako neocenitelná při automatizaci analýzy a využívání informací o hrozbách . Místo ručního čtení desítek zpráv nebo databázových záznamů mohou analytici využít umělou inteligenci k shrnutí a kontextualizaci informací o hrozbách rychlostí stroje.

Threat Intelligence od Googlu , která integruje generativní umělou inteligenci (model Gemini) s hromadou dat o hrozbách od společností Mandiant a VirusTotal. Tato umělá inteligence poskytuje „konverzační vyhledávání v rozsáhlém úložišti informací o hrozbách od Googlu“ , což uživatelům umožňuje klást přirozené otázky o hrozbách a dostávat zpracované odpovědi ( Jak lze generativní umělou inteligenci využít v kybernetické bezpečnosti? 10 příkladů z reálného světa ). Analytik by se například mohl zeptat: „Viděli jsme nějaký malware související se skupinou hrozeb X, který by cílil na naše odvětví?“ a umělá inteligence získá relevantní informace, například poznamená: „Ano, skupina hrozeb X byla minulý měsíc propojena s phishingovou kampaní pomocí malwaru Y“ , spolu se shrnutím chování daného malwaru. To dramaticky zkracuje čas potřebný k získání poznatků, které by jinak vyžadovaly dotazování na více nástrojů nebo čtení dlouhých zpráv.

Generativní umělá inteligence dokáže také korelovat a shrnovat trendy v oblasti hrozeb . Dokáže projít tisíce příspěvků na bezpečnostních blogech, zpráv o únicích a diskusí na dark webu a poté vygenerovat shrnutí „největších kybernetických hrozeb tohoto týdne“ pro briefing CISO. Tradičně tato úroveň analýzy a reportingu vyžadovala značné lidské úsilí; nyní ji dobře vyladěný model dokáže vytvořit během několika sekund, přičemž lidé pouze zpřesňují výstup. Společnosti jako ZeroFox vyvinuly FoxGPT , generativní nástroj umělé inteligence speciálně navržený pro „urychlení analýzy a shrnování informací napříč velkými datovými sadami“, včetně škodlivého obsahu a phishingových dat ( Jak lze generativní umělou inteligenci využít v kybernetické bezpečnosti? 10 příkladů z reálného světa ). Automatizací těžké práce se čtením a křížovým odkazováním dat umožňuje umělá inteligence týmům pro analýzu hrozeb soustředit se na rozhodování a reakci.

Dalším případem použití je konverzační hledání hrozeb . Představte si bezpečnostního analytika, který komunikuje s asistentem umělé inteligence: „Ukažte mi nějaké známky úniku dat za posledních 48 hodin“ nebo „Jaké jsou nejčastější nové zranitelnosti, které útočníci tento týden zneužívají?“ Umělá inteligence dokáže interpretovat dotaz, prohledávat interní protokoly nebo externí zpravodajské zdroje a reagovat jasnou odpovědí nebo dokonce seznamem relevantních incidentů. To není přitažené za vlasy – moderní systémy pro správu bezpečnostních informací a událostí (SIEM) začínají zahrnovat dotazování v přirozeném jazyce. Například bezpečnostní sada QRadar od IBM v roce 2024 přidává generativní funkce umělé inteligence, které analytikům umožní „klást […] konkrétní otázky o souhrnné cestě útoku“ incidentu a získat podrobné odpovědi. Dokáže také „interpretovat a shrnout vysoce relevantní informace o hrozbách“ ( Jak lze generativní umělou inteligenci použít v kybernetické bezpečnosti? 10 příkladů z reálného světa ). Generativní umělá inteligence v podstatě na vyžádání proměňuje hory technických dat na poznatky o velikosti chatu.

To má napříč odvětvími zásadní důsledky. Poskytovatel zdravotní péče může pomocí umělé inteligence zůstat v obraze o nejnovějších skupinách ransomwaru cílících na nemocnice, aniž by musel věnovat analytika výzkumu na plný úvazek. SOC maloobchodní společnosti může při informování IT personálu prodejny rychle shrnout nové taktiky malwaru v pokladních systémech. A ve státní správě, kde je nutné syntetizovat data o hrozbách z různých agentur, může umělá inteligence vytvářet jednotné zprávy s důrazem na klíčová varování. Automatizací shromažďování a interpretace informací o hrozbách pomáhá generativní umělá inteligence organizacím rychleji reagovat na nově vznikající hrozby a snižuje riziko, že přehlédnou kritická varování skrytá v daném šumu.

Optimalizace bezpečnostního operačního centra (SOC)

Bezpečnostní operační centra (SOC) jsou proslulá únavou z výstrah a ohromujícím objemem dat. Typický analytik SOC se může denně prokousat tisíci výstrah a událostí a vyšetřovat potenciální incidenty. Generativní umělá inteligence funguje v SOC jako multiplikátor síly automatizací rutinní práce, poskytováním inteligentních shrnutí a dokonce i organizací některých reakcí. Cílem je optimalizovat pracovní postupy SOC tak, aby se lidští analytici mohli soustředit na nejkritičtější problémy, zatímco kopilot s umělou inteligencí se postará o zbytek.

Jednou z hlavních aplikací je využití generativní umělé inteligence jako „analytikova druhého pilota“ . Microsoft Security Copilot, jak byl zmíněn dříve, je toho příkladem: „je navržen tak, aby spíše pomáhal bezpečnostnímu analytikovi s prací, než aby ji nahrazoval“, a pomáhá s vyšetřováním a hlášením incidentů ( Microsoft Security Copilot je nový asistent umělé inteligence GPT-4 pro kybernetickou bezpečnost | The Verge ). V praxi to znamená, že analytik může zadat nezpracovaná data – protokoly firewallu, časovou osu událostí nebo popis incidentu – a požádat umělou inteligenci o jejich analýzu nebo shrnutí. Druhý pilot by mohl vypsat narativ jako: „Zdá se, že v 2:35 ráno se na serveru Y uskutečnilo podezřelé přihlášení z IP adresy X, po kterém následovaly neobvyklé přenosy dat, což naznačuje potenciální narušení bezpečnosti tohoto serveru.“ Tento druh okamžité kontextualizace je neocenitelný, když je čas klíčový.

Kopiloti s umělou inteligencí také pomáhají snižovat zátěž třídění na úrovni 1. Podle údajů z oboru může bezpečnostní tým strávit 15 hodin týdně pouhým tříděním přibližně 22 000 upozornění a falešně pozitivních výsledků ( 6 případů užití generativní umělé inteligence v kybernetické bezpečnosti [+ příklady] ). S generativní umělou inteligencí lze mnoho z těchto upozornění automaticky třídit – umělá inteligence dokáže odmítnout ta, která jsou zjevně neškodná (s uvedením zdůvodnění) a zvýraznit ta, která skutečně vyžadují pozornost, někdy dokonce navrhnout prioritu. Síla generativní umělé inteligence v porozumění kontextu ve skutečnosti znamená, že dokáže vzájemně korelovat upozornění, která se mohou sama o sobě zdát neškodná, ale dohromady naznačují vícestupňový útok. To snižuje pravděpodobnost, že útok přehlédneme kvůli „únavě z upozornění“.

Analytici SOC také používají přirozený jazyk s umělou inteligencí k urychlení vyhledávání a vyšetřování. Například platforma umělou inteligencí Purple „klást složité otázky týkající se vyhledávání hrozeb v jednoduché angličtině a získávat rychlé a přesné odpovědi“ ( Jak lze generativní umělou inteligenci použít v kybernetické bezpečnosti? 10 příkladů z reálného světa ). Analytik by mohl napsat: „Komunikovaly nějaké koncové body s doménou badguy123[.]com v posledním měsíci?“ a umělá inteligence Purple prohledá protokoly a odpoví. To analytikovi ušetří psaní databázových dotazů nebo skriptů – umělá inteligence to dělá „pod kapotou“. To také znamená, že juniorní analytici mohou zvládat úkoly, které dříve vyžadovaly zkušeného inženýra se znalostmi dotazovacích jazyků, čímž efektivně zvyšují kvalifikaci týmu prostřednictvím pomoci umělé inteligence . Analytici skutečně uvádějí, že generativní vedení umělé inteligence „zvyšuje jejich dovednosti a odbornost“ , protože juniorní zaměstnanci nyní mohou od umělé inteligence získat podporu s kódováním nebo analytické tipy na vyžádání, čímž se snižuje závislost na neustálém žádání o pomoc od vedoucích členů týmu ( 6 případů užití generativní umělé inteligence v kybernetické bezpečnosti [+ příklady] ).

Další optimalizací SOC je automatizované shrnutí a dokumentace incidentů . Po vyřešení incidentu musí někdo napsat zprávu – úkol, který mnoho lidí považuje za únavný. Generativní umělá inteligence dokáže vzít forenzní data (systémové protokoly, analýzu malwaru, časovou osu akcí) a vygenerovat první verzi zprávy o incidentu. IBM tuto funkci integruje do QRadaru, takže „jediným kliknutím“ lze vytvořit shrnutí incidentu pro různé zúčastněné strany (vedoucí pracovníky, IT týmy atd.) ( Jak lze generativní umělou inteligenci využít v kybernetické bezpečnosti? 10 příkladů z reálného světa ). To nejen šetří čas, ale také zajišťuje, že ve zprávě nebude nic přehlédnuto, protože umělá inteligence může konzistentně zahrnout všechny relevantní podrobnosti. Stejně tak může umělá inteligence pro účely dodržování předpisů a auditu vyplňovat formuláře nebo tabulky s důkazy na základě dat o incidentech.

Výsledky z reálného světa jsou přesvědčivé. První uživatelé SOAR (bezpečnostní orchestrace, automatizace a reakce) od společnosti Swimlane s využitím umělé inteligence hlásí obrovské zvýšení produktivity – například společnost Global Data Systems zaznamenala, jak jejich tým SecOps zvládá mnohem větší objem případů; jeden ředitel řekl: automatizace založené na umělé inteligenci pravděpodobně zabralo 20 zaměstnanců“ Jak lze generativní umělou inteligenci využít v kybernetické bezpečnosti ). Jinými slovy, umělá inteligence v SOC může znásobit kapacitu . Napříč odvětvími, ať už se jedná o technologickou společnost zabývající se cloudovými bezpečnostními upozorněními, nebo o výrobní závod monitorující OT systémy, týmy SOC mohou dosáhnout rychlejší detekce a reakce, menšího počtu zmeškaných incidentů a efektivnějšího provozu díky přijetí generativních asistentů umělé inteligence. Jde o chytřejší práci – umožnění strojům zvládat opakující se a datově náročné úkoly, aby lidé mohli uplatnit svou intuici a odborné znalosti tam, kde je to nejdůležitější.

Správa zranitelností a simulace hrozeb

Identifikace a správa zranitelností – slabin v softwaru nebo systémech, které by útočníci mohli zneužít – je klíčovou funkcí kybernetické bezpečnosti. Generativní umělá inteligence vylepšuje správu zranitelností tím, že urychluje jejich objevování, pomáhá s prioritizací záplat a dokonce simuluje útoky na tyto zranitelnosti za účelem zlepšení připravenosti. V podstatě umělá inteligence pomáhá organizacím rychleji najít a opravit díry v jejich brnění a proaktivně testovat obranu dříve, než to udělají skuteční útočníci.

Jednou z významných aplikací je využití generativní umělé inteligence pro automatickou kontrolu kódu a objevování zranitelností . Velké kódové základny (zejména starší systémy) často obsahují bezpečnostní chyby, které zůstávají bez povšimnutí. Modely generativní umělé inteligence lze trénovat na bezpečných postupech kódování a běžných vzorcích chyb a poté je spustit na zdrojovém kódu nebo kompilovaných binárních souborech k nalezení potenciálních zranitelností. Například výzkumníci společnosti NVIDIA vyvinuli generativní kanál umělé inteligence, který by mohl analyzovat kontejnery staršího softwaru a identifikovat zranitelnosti „s vysokou přesností – až 4× rychleji než lidští experti.“ ( 6 případů užití generativní umělé inteligence v kybernetické bezpečnosti [+ příklady] ). Umělá inteligence se v podstatě naučila, jak vypadá nezabezpečený kód, a byla schopna prohledávat desítky let starý software a označovat rizikové funkce a knihovny, čímž výrazně urychlila obvykle pomalý proces manuálního auditu kódu. Tento druh nástroje může být zlomovým bodem pro odvětví, jako jsou finance nebo vláda, která se spoléhají na velké, starší kódové základny – umělá inteligence pomáhá modernizovat bezpečnost tím, že odhaluje problémy, jejichž nalezení by zaměstnancům mohlo trvat měsíce nebo roky (pokud vůbec).

Generativní umělá inteligence také pomáhá v pracovních postupech správy zranitelností zpracováním výsledků skenování zranitelností a jejich prioritizací. Nástroje jako ExposureAI využívají generativní umělou inteligenci, aby analytikům umožnily dotazovat se na data o zranitelnostech v jednoduchém jazyce a získat okamžité odpovědi ( Jak lze generativní umělou inteligenci použít v kybernetické bezpečnosti? 10 příkladů z reálného světa ). ExposureAI dokáže „shrnovat kompletní cestu útoku v narativu“ pro danou kritickou zranitelnost a vysvětlovat, jak by ji útočník mohl propojit s dalšími slabinami a ohrozit systém. Dokonce doporučuje akce k nápravě a odpovídá na následné otázky týkající se rizika. To znamená, že když je oznámena nová kritická CVE (běžná zranitelnost a expozice), analytik se může umělé inteligence zeptat: „Jsou některé z našich serverů ovlivněny touto CVE a jaký je nejhorší scénář, pokud neprovedeme opravu?“ a získat jasné posouzení vycházející z vlastních dat skenování organizace. Zasazením zranitelností do kontextu (např. tato je vystavena internetu a na serveru s vysokou hodnotou, takže má nejvyšší prioritu) pomáhá generativní umělá inteligence týmům chytře provádět opravy s omezenými zdroji.

Kromě vyhledávání a správy známých zranitelností přispívá generativní umělá inteligence k penetračnímu testování a simulaci útoků – v podstatě k odhalování neznámých zranitelností nebo testování bezpečnostních kontrol. Generativní adversarial networks (GAN), typ generativní umělé inteligence, se používají k vytváření syntetických dat, která napodobují skutečný síťový provoz nebo chování uživatelů, což může zahrnovat skryté vzorce útoků. Studie z roku 2023 navrhla použití GAN ke generování realistického provozu zero-day útoků pro trénování systémů detekce narušení ( 6 případů užití generativní umělé inteligence v kybernetické bezpečnosti [+ příklady] ). Tím, že do systému detekce narušení vstupují scénáře útoků vytvořené umělou inteligencí (které neriskují použití skutečného malwaru v produkčních sítích), mohou organizace trénovat svou obranu k rozpoznávání nových hrozeb, aniž by čekaly na jejich reálný zásah. Podobně může umělá inteligence simulovat útočníka, který zkouší systém – například automaticky zkouší různé techniky zneužití v bezpečném prostředí, aby zjistil, zda některá z nich uspěje. Americká Agentura pro pokročilé výzkumné projekty v oblasti obrany (DARPA) v tomto vidí slibný nápad: její soutěž AI Cyber ​​Challenge z roku 2023 explicitně využívá generativní umělou inteligenci (jako jsou modely velkých jazyků) k „automatickému vyhledávání a opravě zranitelností v softwaru s otevřeným zdrojovým kódem“ jako součást soutěže ( DARPA se zaměřuje na vývoj aplikací pro umělou inteligenci a autonomii, kterým mohou bojovníci důvěřovat > Ministerstvo obrany USA > Novinky ministerstva obrany ). Tato iniciativa zdůrazňuje, že umělá inteligence nejen pomáhá zakrýt známé díry; aktivně odhaluje nové a navrhuje opravy, což je úkol, který je tradičně omezen na kvalifikované (a drahé) bezpečnostní výzkumníky.

Generativní umělá inteligence dokáže dokonce vytvářet inteligentní honeypoty a digitální dvojčata pro obranu. Startupy vyvíjejí návnadové systémy řízené umělou inteligencí, které přesvědčivě napodobují skutečné servery nebo zařízení. Jak vysvětlil jeden generální ředitel, generativní umělá inteligence dokáže „klonovat digitální systémy, aby napodobila ty skutečné a nalákala hackery“ ( 6 případů užití generativní umělé inteligence v kybernetické bezpečnosti [+ příklady] ). Tyto honeypoty generované umělou inteligencí se chovají jako skutečné prostředí (například falešné zařízení IoT odesílající normální telemetrii), ale existují pouze proto, aby přilákaly útočníky. Když se útočník zaměří na návnadu, umělá inteligence ho v podstatě oklamala, aby odhalil své metody, které pak obránci mohou studovat a použít k posílení skutečných systémů. Tento koncept, založený na generativním modelování, poskytuje progresivní způsob, jak obrátit situaci proti útočníkům , a to pomocí klamání vylepšeného umělou inteligencí.

Napříč odvětvími znamená rychlejší a inteligentnější správa zranitelností méně narušení bezpečnosti. Například v oblasti IT ve zdravotnictví může umělá inteligence rychle odhalit zranitelnou zastaralou knihovnu v lékařském zařízení a vyžádat si opravu firmwaru dříve, než ji útočník zneužije. V bankovnictví by umělá inteligence mohla simulovat útok zevnitř na novou aplikaci, aby zajistila bezpečnost zákaznických dat za všech okolností. Generativní umělá inteligence tak funguje jako mikroskop i zátěžový tester bezpečnostního nastavení organizací: odhaluje skryté nedostatky a nápaditými způsoby vyvíjí tlak na systémy, aby zajistila jejich odolnost.

Bezpečné generování kódu a vývoj softwaru

Schopnosti generativní umělé inteligence se neomezují pouze na detekci útoků – rozšiřují se také na vytváření bezpečnějších systémů od samého začátku . Ve vývoji softwaru mohou generátory kódu s umělou inteligencí (jako je GitHub Copilot, OpenAI Codex atd.) pomoci vývojářům psát kód rychleji tím, že navrhnou úryvky kódu nebo dokonce celé funkce. Podstatou kybernetické bezpečnosti je zajistit, aby tyto části kódu navržené umělou inteligencí byly bezpečné, a využít umělou inteligenci ke zlepšení kódovacích postupů.

Na jedné straně může generativní umělá inteligence fungovat jako asistent kódování, který zahrnuje osvědčené postupy v oblasti zabezpečení . Vývojáři mohou spustit nástroj umělé inteligence „Vygenerujte funkci pro resetování hesla v Pythonu“ a v ideálním případě získat zpět kód, který je nejen funkční, ale také dodržuje bezpečnostní pokyny (např. správné ověření vstupu, protokolování, ošetření chyb bez úniku informací atd.). Takový asistent, vyškolený na rozsáhlých příkladech bezpečného kódu, může pomoci snížit lidské chyby, které vedou ke zranitelnostem. Pokud například vývojář zapomene dezinfikovat uživatelský vstup (otevřít tak dveře SQL injection nebo podobným problémům), umělá inteligence by to mohla buď zahrnout ve výchozím nastavení, nebo ho na to upozornit. Některé nástroje pro kódování umělé inteligence jsou nyní dolaďovány s využitím bezpečnostních dat, aby sloužily přesně tomuto účelu – v podstatě umělá inteligence spáruje programování s bezpečnostním svědomím .

Existuje však i rubová strana: generativní umělá inteligence může stejně snadno zavést zranitelnosti, pokud není správně řízena. Jak poznamenal bezpečnostní expert společnosti Sophos Ben Verschaeren, používání generativní umělé inteligence pro kódování je „v pořádku pro krátký, ověřitelný kód, ale riskantní, když se do produkčních systémů integruje nekontrolovaný kód“ . Riziko spočívá v tom, že umělá inteligence by mohla vytvořit logicky správný kód, který je nebezpečný způsoby, kterých si neexpert nemusí všimnout. Navíc by útočníci mohli úmyslně ovlivnit veřejné modely umělé inteligence tím, že by je osadili zranitelnými vzory kódu (forma otravy dat), takže umělá inteligence by navrhla nebezpečný kód. Většina vývojářů nejsou bezpečnostní experti , takže pokud umělá inteligence navrhne pohodlné řešení, může ho použít naslepo, aniž by si uvědomila, že má chybu ( 6 případů užití generativní umělé inteligence v kybernetické bezpečnosti [+ příklady] ). Tato obava je reálná – ve skutečnosti nyní existuje seznam OWASP Top 10 pro LLM (velké jazykové modely), který popisuje běžná rizika, jako je toto, při používání umělé inteligence pro kódování.

Aby se těmto problémům čelilo, odborníci navrhují v oblasti kódování „bojovat s generativní umělou inteligencí pomocí generativní umělé inteligence“ prohlížení a testování kódu , který napsala jiná umělá inteligence (nebo lidé). Umělá inteligence dokáže procházet nové commity kódu mnohem rychleji než lidský recenzent kódu a označit potenciální zranitelnosti nebo logické problémy. Již nyní vidíme vznikající nástroje, které se integrují do životního cyklu vývoje softwaru: kód je napsán (možná s pomocí umělé inteligence), poté jej generativní model trénovaný na principech bezpečného kódu zkontroluje a vygeneruje zprávu o případných problémech (například použití zastaralých funkcí, chybějící kontroly ověřování atd.). Výzkum společnosti NVIDIA, zmíněný dříve, který dosáhl 4× rychlejší detekce zranitelností v kódu, je příkladem využití umělé inteligence pro bezpečnou analýzu kódu ( 6 případů užití generativní umělé inteligence v kybernetické bezpečnosti [+ příklady] ).

Generativní umělá inteligence může dále pomoci s vytvářením bezpečných konfigurací a skriptů . Pokud například společnost potřebuje nasadit bezpečnou cloudovou infrastrukturu, může inženýr požádat umělou inteligenci o vygenerování konfiguračních skriptů (infrastruktura jako kód) s integrovanými bezpečnostními kontrolami (jako je správná segmentace sítě, role IAM s nejnižšími oprávněními). Umělá inteligence, která byla vyškolena na tisících takových konfigurací, může vytvořit základní linii, kterou inženýr následně doladí. To urychluje bezpečné nastavení systémů a snižuje chyby způsobené nesprávnou konfigurací – běžný zdroj cloudových bezpečnostních incidentů.

Některé organizace také využívají generativní umělou inteligenci k udržování znalostní báze o bezpečných vzorcích kódování. Pokud si vývojář není jistý, jak bezpečně implementovat určitou funkci, může se obrátit na interní umělou inteligenci, která se poučila z minulých projektů a bezpečnostních pokynů společnosti. Umělá inteligence může vrátit doporučený přístup nebo dokonce úryvek kódu, který je v souladu s funkčními požadavky i bezpečnostními standardy společnosti. Tento přístup používají nástroje jako Secureframe's Questionnaire Automation , které čerpají odpovědi ze zásad společnosti a minulých řešení, aby zajistily konzistentní a přesné odpovědi (v podstatě generují bezpečnou dokumentaci) ( Jak lze generativní umělou inteligenci použít v kybernetické bezpečnosti? 10 příkladů z reálného světa ). Koncept se promítá do kódování: umělá inteligence, která si „pamatuje“, jak jste něco dříve bezpečně implementovali, a vede vás k tomu, abyste to udělali znovu tímto způsobem.

Stručně řečeno, generativní umělá inteligence ovlivňuje vývoj softwaru tím, že usnadňuje přístup k bezpečnému kódování . Odvětví, která vyvíjejí velké množství zakázkového softwaru – technologie, finance, obrana atd. – mohou těžit z toho, že mají pomocníky s umělou inteligencí, kteří nejen urychlují kódování, ale také fungují jako neustále ostražití bezpečnostní kontroloři. Při správné správě mohou tyto nástroje umělé inteligence omezit zavádění nových zranitelností a pomoci vývojovým týmům dodržovat osvědčené postupy, a to i v případě, že tým nemá v každém kroku zapojeného bezpečnostního experta. Výsledkem je software, který je od prvního dne odolnější vůči útokům.

Podpora reakce na incidenty

Když dojde k kybernetickému incidentu – ať už se jedná o propuknutí malwaru, únik dat nebo výpadek systému v důsledku útoku – čas je kritický. Generativní umělá inteligence se stále častěji využívá k podpoře týmů pro reakci na incidenty (IR) při rychlejším zvládání a nápravě incidentů s větším množstvím informací. Myšlenka je taková, že umělá inteligence může během incidentu nést část vyšetřovací a dokumentační zátěže a dokonce navrhovat nebo automatizovat některé reakční kroky.

Jednou z klíčových rolí umělé inteligence v oblasti IR je analýza a shrnutí incidentů v reálném čase . Uprostřed incidentu mohou záchranáři potřebovat odpovědi na otázky typu: „Jak se útočník dostal dovnitř?“ , „Které systémy jsou ovlivněny?“ a „Jaká data by mohla být ohrožena?“ . Generativní umělá inteligence dokáže analyzovat protokoly, upozornění a forenzní data z postižených systémů a rychle poskytovat poznatky. Například Microsoft Security Copilot umožňuje záchranáři poskytnout různé důkazy (soubory, URL adresy, protokoly událostí) a požádat o časovou osu nebo shrnutí ( Microsoft Security Copilot je nový asistent umělé inteligence GPT-4 pro kybernetickou bezpečnost | The Verge ). Umělá inteligence může odpovědět: „Narušení pravděpodobně začalo phishingovým e-mailem uživateli JohnDoe v 10:53 GMT obsahujícím malware X. Po spuštění malware vytvořil zadní vrátka, která byla o dva dny později použita k bočnímu přesunu na finanční server, kde shromažďoval data.“ Díky tomuto ucelenému obrazu v řádu minut namísto hodin může tým mnohem rychleji činit informovaná rozhodnutí (například které systémy izolovat).

Generativní umělá inteligence může také navrhovat opatření k omezení a nápravě . Pokud je například koncový bod infikován ransomwarem, nástroj umělé inteligence by mohl vygenerovat skript nebo sadu instrukcí k izolaci daného počítače, deaktivaci určitých účtů a blokování známých škodlivých IP adres na firewallu – v podstatě jde o provedení podle plánu. Společnost Palo Alto Networks poznamenává, že generativní umělá inteligence je schopna „generovat vhodné akce nebo skripty na základě povahy incidentu“ a automatizovat tak počáteční kroky reakce ( Co je generativní umělá inteligence v kybernetické bezpečnosti? - Palo Alto Networks ). V případě, že je bezpečnostní tým zahlcen (řekněme rozsáhlý útok na stovky zařízení), by umělá inteligence mohla některé z těchto akcí dokonce přímo provést za předem schválených podmínek a chovat se jako juniorní respondent, který pracuje neúnavně. Například agent umělé inteligence by mohl automaticky resetovat přihlašovací údaje, které považuje za kompromitované, nebo umístit do karantény hostitele, kteří vykazují škodlivou aktivitu odpovídající profilu incidentu.

Během reakce na incident je komunikace zásadní – jak v rámci týmu, tak se zúčastněnými stranami. Generativní umělá inteligence může pomoci tím, že vytvářet zprávy o incidentech nebo stručné informace za běhu . Místo toho, aby technik přerušil řešení problémů a napsal e-mailovou aktualizaci, mohl by umělou inteligenci požádat: „Shrňte, co se v tomto incidentu dosud stalo, abyste informovali vedení.“ Umělá inteligence po zjištění dat o incidentu může vytvořit stručné shrnutí: „K 15:00 útočníci přistupovali ke 2 uživatelským účtům a 5 serverům. Mezi dotčená data patří záznamy klientů v databázi X. Opatření k omezení: Přístup k VPN pro napadené účty byl odebrán a servery izolovány. Další kroky: skenování případných mechanismů pro zajištění bezpečnosti.“ Respondent pak může tuto informaci rychle ověřit nebo upravit a odeslat ji, čímž zajistí, že zúčastněné strany budou informovány o přesných a aktuálních informacích.

Poté, co se prach usadí, je obvykle třeba připravit podrobnou zprávu o incidentu a sestavit získané poznatky. Toto je další oblast, kde podpora umělé inteligence vyniká. Dokáže zkontrolovat veškerá data o incidentu a vygenerovat zprávu po incidentu, která zahrnuje hlavní příčinu, chronologii, dopad a doporučení. Například IBM integruje generativní umělou inteligenci, aby stisknutím tlačítka „jednoduché souhrny bezpečnostních případů a incidentů, které lze sdílet se zúčastněnými stranami“ Jak lze generativní umělou inteligenci využít v kybernetické bezpečnosti? 10 příkladů z reálného světa ). Zefektivněním reportingu po akcích mohou organizace rychleji implementovat vylepšení a také mít lepší dokumentaci pro účely dodržování předpisů.

Jedním z inovativních využití zaměřených na budoucnost jsou simulace incidentů řízené umělou inteligencí . Podobně jako by se provedlo požární cvičení, některé společnosti používají generativní umělou inteligenci k procvičování scénářů incidentů typu „co kdyby“. Umělá inteligence může simulovat, jak by se ransomware mohl šířit daným rozložením sítě nebo jak by se zasvěcenec mohl zbavit dat, a poté vyhodnotit účinnost stávajících plánů reakce. To pomáhá týmům připravit a zdokonalit strategie ještě předtím, než dojde ke skutečnému incidentu. Je to jako mít neustále se zlepšujícího poradce pro reakci na incidenty, který neustále testuje vaši připravenost.

Ve vysoce rizikových odvětvích, jako jsou finance nebo zdravotnictví, kde jsou prostoje nebo ztráta dat v důsledku incidentů obzvláště nákladné, jsou tyto IR funkce řízené umělou inteligencí velmi atraktivní. Nemocnice, která zažívá kybernetický incident, si nemůže dovolit dlouhodobé výpadky systému – umělá inteligence, která rychle pomáhá s jeho omezením, by mohla doslova zachránit život. Podobně může finanční instituce využít umělou inteligenci k počátečnímu třídění podezření na podvodné narušení ve 3 hodiny ráno, takže v době, kdy jsou pohotovostní pracovníci online, je již mnoho přípravných prací (odhlášení postižených účtů, blokování transakcí atd.) hotovo. Rozšířením týmů pro reakci na incidenty o generativní umělou inteligenci mohou organizace výrazně zkrátit dobu odezvy a zlepšit důkladnost jejich řešení, což v konečném důsledku zmírní škody způsobené kybernetickými incidenty.

Behaviorální analýza a detekce anomálií

Mnoho kybernetických útoků lze odhalit zaznamenáním odchylek od „normálního“ chování – ať už se jedná o uživatelský účet stahující neobvyklé množství dat, nebo o síťové zařízení, které náhle komunikuje s neznámým hostitelem. Generativní umělá inteligence nabízí pokročilé techniky pro analýzu chování a detekci anomálií , učí se běžné vzorce chování uživatelů a systémů a následně signalizuje, když se něco jeví jako neobvyklé.

Tradiční detekce anomálií často využívá statistické prahové hodnoty nebo jednoduché strojové učení na základě specifických metrik (nárůsty využití CPU, přihlašování v nepravidelné hodiny atd.). Generativní umělá inteligence to může jít ještě dále a vytvářet detailnější profily chování. Například model umělé inteligence dokáže v průběhu času shromažďovat přihlašovací údaje, vzorce přístupu k souborům a e-mailové návyky zaměstnance a vytvářet vícerozměrné pochopení „normálu“ daného uživatele. Pokud tento účet později udělá něco drasticky mimo svou normu (například se přihlásí z nové země a o půlnoci zpřístupní spoustu souborů HR), umělá inteligence detekuje odchylku nejen na jedné metrice, ale jako na celém vzorci chování, který neodpovídá profilu uživatele. Technicky vzato, generativní modely (jako jsou autoenkodéry nebo sekvenční modely) dokáží modelovat, jak „normál“ vypadá, a poté generovat očekávaný rozsah chování. Když realita spadá mimo tento rozsah, je označena jako anomálie ( Co je generativní umělá inteligence v kybernetické bezpečnosti? - Palo Alto Networks ).

Jednou z praktických implementací je monitorování síťového provozu . Podle průzkumu z roku 2024 uvedlo 54 % amerických organizací monitorování síťového provozu jako hlavní případ použití umělé inteligence v kybernetické bezpečnosti ( Severní Amerika: hlavní případy použití umělé inteligence v kybernetické bezpečnosti na celém světě v roce 2024 ). Generativní umělá inteligence se dokáže naučit běžné komunikační vzorce v podnikové síti – které servery spolu obvykle komunikují, jaké objemy dat se přesouvají během pracovní doby oproti noci atd. Pokud útočník začne odebírat data ze serveru, i když pomalu, aby se vyhnul odhalení, systém založený na umělé inteligenci si může všimnout, že „Server A nikdy neodesílá 500 MB dat ve 2 hodiny ráno na externí IP adresu“ a spustit upozornění. Protože umělá inteligence nepoužívá pouze statická pravidla, ale vyvíjející se model chování sítě, dokáže zachytit jemné anomálie, které by statická pravidla (například „upozornění, pokud data > X MB“) mohla přehlédnout nebo omylem označit. Tato adaptivní povaha je to, co dělá detekci anomálií řízenou umělou inteligencí účinnou v prostředích, jako jsou bankovní transakční sítě, cloudová infrastruktura nebo flotily zařízení IoT, kde je definování pevných pravidel pro normální a abnormální stav extrémně složité.

Generativní umělá inteligence také pomáhá s analýzou chování uživatelů (UBA) , která je klíčová pro odhalování hrozeb zevnitř nebo kompromitovaných účtů. Vygenerováním základní linie každého uživatele nebo entity dokáže umělá inteligence detekovat věci, jako je zneužití přihlašovacích údajů. Pokud například Bob z účetnictví náhle začne dotazovat databázi zákazníků (což nikdy předtím nedělal), model Bobova chování v modelu umělé inteligence to označí jako neobvyklé. Nemusí se jednat o malware – mohlo by se jednat o případ, kdy Bobovy přihlašovací údaje byly ukradeny a použity útočníkem, nebo o to, že Bob pátrá tam, kde by neměl. V každém případě je bezpečnostní tým upozorněn na prošetření. Takové systémy UBA řízené umělou inteligencí existují v různých bezpečnostních produktech a techniky generativního modelování zvyšují jejich přesnost a snižují falešné poplachy tím, že zohledňují kontext (možná je Bob na speciálním projektu atd., což umělá inteligence někdy dokáže odvodit z jiných dat).

V oblasti správy identit a přístupu detekce deepfake rostoucí potřebou – generativní umělá inteligence dokáže vytvářet syntetické hlasy a videa, která klamou biometrické zabezpečení. Je zajímavé, že generativní umělá inteligence může také pomoci odhalit tyto deepfake analýzou jemných artefaktů ve zvuku nebo videu, které si lidé těžko všimnou. Viděli jsme příklad u společnosti Accenture, která použila generativní umělou inteligenci k simulaci nesčetných výrazů obličeje a podmínek k trénování svých biometrických systémů tak, aby rozlišovaly skutečné uživatele od deepfake generovaných umělou inteligencí. Během pěti let tento přístup pomohl společnosti Accenture eliminovat hesla pro 90 % jejích systémů (přechod na biometrii a další faktory) a snížit počet útoků o 60 % ( 6 případů užití generativní umělé inteligence v kybernetické bezpečnosti [+ příklady] ). V podstatě použili generativní umělou inteligenci k posílení biometrického ověřování, čímž se stala odolnější vůči generativním útokům (skvělá ilustrace boje umělé inteligence proti umělé inteligenci). Tento druh modelování chování – v tomto případě rozpoznávání rozdílu mezi živou lidskou tváří a tváří syntetizovanou umělou inteligencí – je klíčový, protože se při ověřování více spoléháme na umělou inteligenci.

Detekce anomálií s využitím generativní umělé inteligence je použitelná napříč odvětvími: ve zdravotnictví, monitorování chování zdravotnických prostředků a zjišťování známek hackerského útoku; ve financích, sledování obchodních systémů a zjišťování nepravidelných vzorců, které by mohly naznačovat podvod nebo algoritmickou manipulaci; v energetice/veřejných službách, pozorování signálů řídicích systémů a zjišťování známek narušení bezpečnosti. Kombinace šířky (sledování všech aspektů chování) a hloubky (pochopení složitých vzorců), kterou generativní umělá inteligence poskytuje, z ní činí účinný nástroj pro odhalování indikátorů kybernetického incidentu typu „hledání jehly v kupce sena“. Vzhledem k tomu, že se hrozby stávají nenápadnějšími a skrývají se v běžném provozu, stává se tato schopnost přesně charakterizovat „normál“ a upozornit na odchylky zásadní. Generativní umělá inteligence tak slouží jako neúnavný strážce, který se neustále učí a aktualizuje svou definici normality, aby držel krok se změnami v prostředí a upozorňoval bezpečnostní týmy na anomálie, které si zaslouží bližší kontrolu.

Příležitosti a přínosy generativní umělé inteligence v kybernetické bezpečnosti

Aplikace generativní umělé inteligence v kybernetické bezpečnosti přináší řadu příležitostí a výhod pro organizace, které jsou ochotny tyto nástroje přijmout. Níže shrnujeme klíčové výhody, díky nimž je generativní umělá inteligence přesvědčivým doplňkem programů kybernetické bezpečnosti:

• Rychlejší detekce a reakce na hrozby: Generativní systémy umělé inteligence dokáží analyzovat obrovské množství dat v reálném čase a rozpoznávat hrozby mnohem rychleji než manuální lidská analýza. Tato rychlostní výhoda znamená dřívější detekci útoků a rychlejší omezení incidentů. V praxi dokáže monitorování bezpečnosti řízené umělou inteligencí odhalit hrozby, jejichž korelace by lidem trvala mnohem déle. Rychlou reakcí na incidenty (nebo dokonce autonomním prováděním počátečních reakcí) mohou organizace dramaticky zkrátit dobu setrvání útočníků ve svých sítích a minimalizovat škody.

• Zlepšená přesnost a pokrytí hrozeb: Protože se generativní modely neustále učí z nových dat, mohou se přizpůsobovat vyvíjejícím se hrozbám a zachycovat jemnější známky škodlivé aktivity. To vede ke zlepšené přesnosti detekce (méně falešně negativních a falešně pozitivních výsledků) ve srovnání se statickými pravidly. Například umělá inteligence, která se naučila charakteristické znaky phishingového e-mailu nebo chování malwaru, dokáže identifikovat varianty, které dosud nebyly pozorovány. Výsledkem je širší pokrytí typů hrozeb – včetně nových útoků – což posiluje celkovou bezpečnostní situaci. Bezpečnostní týmy také získávají podrobné poznatky z analýzy umělé inteligence (např. vysvětlení chování malwaru), což umožňuje přesnější a cílenější obranu ( Co je generativní umělá inteligence v kybernetické bezpečnosti? - Palo Alto Networks ).

• Automatizace opakujících se úkolů: Generativní umělá inteligence vyniká v automatizaci rutinních, pracných bezpečnostních úkolů – od procházení protokolů a sestavování zpráv až po psaní skriptů pro reakci na incidenty. Tato automatizace snižuje zátěž lidských analytiků a umožňuje jim soustředit se na strategii na vysoké úrovni a komplexní rozhodování ( Co je generativní umělá inteligence v kybernetické bezpečnosti? - Palo Alto Networks ). Obyčejné, ale důležité úkoly, jako je skenování zranitelností, audit konfigurace, analýza aktivity uživatelů a reportování shody s předpisy, může umělá inteligence zvládat (nebo alespoň zpočátku navrhovat). Zpracováním těchto úkolů rychlostí stroje umělá inteligence nejen zlepšuje efektivitu, ale také snižuje lidské chyby (významný faktor při narušení bezpečnosti).

• Proaktivní obrana a simulace: Generativní umělá inteligence umožňuje organizacím přejít od reaktivního k proaktivnímu zabezpečení. Prostřednictvím technik, jako je simulace útoků, generování syntetických dat a školení založené na scénářích, mohou obránci předvídat hrozby a připravit se na ně dříve, než se projeví v reálném světě. Bezpečnostní týmy mohou simulovat kybernetické útoky (phishingové kampaně, ohniska malwaru, DDoS atd.) v bezpečném prostředí, aby otestovaly své reakce a posílily případné slabiny. Toto průběžné školení, které je často nemožné důkladně provést pouze lidským úsilím, udržuje obranu ostrou a aktuální. Je to podobné kybernetickému „požárnímu cvičení“ – umělá inteligence může na vaši obranu vrhnout mnoho hypotetických hrozeb, abyste si mohli procvičovat a zlepšovat se.

• Rozšíření lidské odbornosti (AI jako multiplikátor síly): Generativní AI funguje jako neúnavný juniorní analytik, poradce a asistent v jednom. Může poskytovat méně zkušeným členům týmu vedení a doporučení, která se obvykle očekávají od zkušených odborníků, a efektivně tak demokratizovat odbornost v celém týmu ( 6 případů užití generativní AI v kybernetické bezpečnosti [+ příklady] ). To je obzvláště cenné vzhledem k nedostatku talentů v kybernetické bezpečnosti – AI pomáhá menším týmům dělat více s menším úsilím. Zkušení analytici naopak těží z toho, že AI zvládá náročnou práci a odhaluje nenápadné poznatky, které pak mohou ověřit a podle nich jednat. Celkovým výsledkem je bezpečnostní tým, který je mnohem produktivnější a schopnější, přičemž AI zesiluje dopad každého lidského člena ( Jak lze generativní AI využít v kybernetické bezpečnosti ).

• Vylepšená podpora rozhodování a reportingu: Převodem technických dat do přirozeného jazyka generativní umělá inteligence zlepšuje komunikaci a rozhodování. Vedoucí pracovníci v oblasti bezpečnosti získají jasnější přehled o problémech prostřednictvím souhrnů generovaných umělou inteligencí a mohou činit informovaná strategická rozhodnutí, aniž by museli analyzovat nezpracovaná data. Stejně tak se zlepšuje komunikace napříč funkcemi (s vedoucími pracovníky, pracovníky pro dodržování předpisů atd.), když umělá inteligence připravuje snadno srozumitelné zprávy o stavu zabezpečení a incidentech ( Jak lze generativní umělou inteligenci využít v kybernetické bezpečnosti? 10 příkladů z reálného světa ). To nejen buduje důvěru a shodu v bezpečnostních záležitostech na úrovni vedení, ale také pomáhá odůvodnit investice a změny jasným vyjádřením rizik a mezer zjištěných umělou inteligencí.

Tyto výhody v kombinaci znamenají, že organizace využívající generativní umělou inteligenci v kybernetické bezpečnosti mohou dosáhnout silnějšího bezpečnostního postavení s potenciálně nižšími provozními náklady. Mohou reagovat na dříve ohromující hrozby, překrýt mezery, které zůstaly nesledovány, a neustále se zlepšovat prostřednictvím zpětnovazebních smyček řízených umělou inteligencí. Generativní umělá inteligence v konečném důsledku nabízí šanci dostat se před protivníky tím, že rychlost , rozsah a sofistikovanost moderních útoků vyrovná stejně sofistikované obraně. Jak zjistil jeden průzkum, více než polovina vedoucích pracovníků v oblasti podnikání a kybernetické bezpečnosti očekává rychlejší detekci hrozeb a zvýšenou přesnost díky použití generativní umělé inteligence ( [PDF] Globální výhled kybernetické bezpečnosti 2025 | Světové ekonomické fórum ) ( Generativní umělá inteligence v kybernetické bezpečnosti: Komplexní přehled LLM ... ) – což svědčí o optimismu ohledně výhod těchto technologií.

Rizika a výzvy spojené s používáním generativní umělé inteligence v kybernetické bezpečnosti

Přestože jsou příležitosti značné, je zásadní přistupovat ke generativní umělé inteligenci v kybernetické bezpečnosti s otevřenýma očima ohledně rizik a výzev, které s ní souvisejí. Slepá důvěra v umělou inteligenci nebo její zneužívání může vést k novým zranitelnostem. Níže uvádíme hlavní obavy a úskalí spolu s kontextem každého z nich:

• Využití kyberzločinci k útokům protivníka: Stejné generativní schopnosti, které pomáhají obráncům, mohou posílit i útočníky. Aktéři hrozeb již používají generativní umělou inteligenci k vytváření přesvědčivějších phishingových e-mailů, vytváření falešných person a deepfake videí pro sociální inženýrství, vývoji polymorfního malwaru, který se neustále mění, aby se vyhnul odhalení, a dokonce i k automatizaci aspektů hackingu ( Co je generativní umělá inteligence v kybernetické bezpečnosti? - Palo Alto Networks ). Téměř polovina (46 %) vedoucích pracovníků v oblasti kybernetické bezpečnosti se obává, že generativní umělá inteligence povede k pokročilejším útokům protivníka ( Zabezpečení generativní umělé inteligence: Trendy, hrozby a strategie zmírňování ). Tento „závod ve zbrojení s umělou inteligencí“ znamená, že jakmile obránci umělou inteligenci přijmou, útočníci nebudou o moc pozadu (ve skutečnosti mohou být v některých oblastech napřed, protože používají neregulované nástroje umělé inteligence). Organizace musí být připraveny na hrozby vylepšené umělou inteligencí, které jsou častější, sofistikovanější a obtížněji sledovatelné.

• Halucinace a nepřesnost umělé inteligence: Generativní modely umělé inteligence mohou produkovat výstupy, které jsou věrohodné, ale nesprávné nebo zavádějící – jev známý jako halucinace. V bezpečnostním kontextu může umělá inteligence analyzovat incident a mylně dojít k závěru, že příčinou byla určitá zranitelnost, nebo může vygenerovat chybný sanační skript, který útok nezastaví. Tyto chyby mohou být nebezpečné, pokud se berou doslova. Jak varuje společnost NTT Data: „generativní umělá inteligence může věrohodně produkovat nepravdivý obsah a tento jev se nazývá halucinace… v současné době je obtížné je zcela eliminovat“ ( Bezpečnostní rizika generativní umělé inteligence a protiopatření a její dopad na kybernetickou bezpečnost | NTT DATA Group ). Přílišné spoléhání se na umělou inteligenci bez ověření by mohlo vést k nesprávně zaměřenému úsilí nebo falešnému pocitu bezpečí. Například umělá inteligence by mohla falešně označit kritický systém jako bezpečný, i když bezpečný není, nebo naopak vyvolat paniku „detekcí“ narušení, ke kterému nikdy nedošlo. Pro zmírnění tohoto rizika je nezbytné důkladné ověřování výstupů umělé inteligence a zapojení lidí do kritických rozhodnutí.

• Falešně pozitivní a negativní výsledky: V souvislosti s halucinacemi, pokud je model umělé inteligence špatně natrénován nebo nakonfigurován, může nadhodnocovat benigní aktivitu jako škodlivou (falešně pozitivní výsledky) , nebo, co je horší, přehlédnout skutečné hrozby (falešně negativní výsledky) ( Jak lze generativní umělou inteligenci využít v kybernetické bezpečnosti ). Nadměrné množství falešných poplachů může bezpečnostní týmy zahltit a vést k únavě z poplachů (což zmaří samotné zvýšení efektivity, které umělá inteligence slibuje), zatímco zmeškané detekce nechají organizaci odhalenou. Ladění generativních modelů pro správnou rovnováhu je náročné. Každé prostředí je jedinečné a umělá inteligence nemusí okamžitě fungovat optimálně po vybalení z krabice. Neustálé učení je také dvousečná zbraň – pokud se umělá inteligence učí ze zpětné vazby, která je zkreslená, nebo z prostředí, které se mění, její přesnost může kolísat. Bezpečnostní týmy musí monitorovat výkon umělé inteligence a upravovat prahové hodnoty nebo poskytovat modelům nápravnou zpětnou vazbu. V kontextech s vysokými sázkami (jako je detekce narušení kritické infrastruktury) může být rozumné spouštět návrhy umělé inteligence souběžně se stávajícími systémy po určitou dobu, aby se zajistilo, že se shodnou a doplňují, spíše než aby se střetávaly.

• Soukromí a únik dat: Generativní systémy umělé inteligence často vyžadují pro trénování a provoz velké množství dat. Pokud jsou tyto modely cloudové nebo nejsou správně oddělené, existuje riziko úniku citlivých informací. Uživatelé mohou neúmyslně zadat proprietární data nebo osobní údaje do služby umělé inteligence (představte si, že požádáte ChatGPT o shrnutí důvěrné zprávy o incidentu) a tato data by se mohla stát součástí znalostí modelu. Nedávná studie skutečně zjistila, že 55 % vstupů do nástrojů generativní umělé inteligence obsahovalo citlivé nebo osobně identifikovatelné informace , což vyvolává vážné obavy z úniku dat ( Zabezpečení generativní umělé inteligence: Trendy, hrozby a strategie zmírňování ). Kromě toho, pokud byla umělá inteligence trénována na interních datech a je na ni dotazována určitými způsoby, může odeslat někomu jinému. Organizace musí zavést přísné zásady pro nakládání s daty (např. používání místních nebo soukromých instancí umělé inteligence pro citlivý materiál) a vzdělávat zaměstnance o tom, aby nevkládali tajné informace do veřejných nástrojů umělé inteligence. Do hry vstupují i ​​předpisy o ochraně osobních údajů (GDPR atd.) – používání osobních údajů k trénování umělé inteligence bez řádného souhlasu nebo ochrany by mohlo být v rozporu se zákony.

• Zabezpečení a manipulace s modely: Generativní modely umělé inteligence se mohou stát samotnými cíli. Útočníci se mohou pokusit o otravu modelu , tj. během fáze trénování nebo přetrénování jim poskytovat škodlivá nebo zavádějící data, aby se umělá inteligence naučila nesprávné vzorce ( Jak lze generativní umělou inteligenci využít v kybernetické bezpečnosti ). Útočník může například nenápadně otrávit data z bezpečnostních informací, aby umělá inteligence nerozpoznala útočníkův vlastní malware jako škodlivý. Další taktikou je vstřikování výzev nebo manipulace s výstupy , kdy útočník najde způsob, jak zadávat vstupy umělé inteligenci, které způsobí, že se chová nezamýšleným způsobem – třeba ignoruje její bezpečnostní zábrany nebo odhalí informace, které by neměla (například interní výzvy nebo data). Kromě toho existuje riziko vyhýbání se modelu : útočníci vytvářejí vstupy speciálně navržené tak, aby umělou inteligenci oklamali. To vidíme v příkladech konfrontace – mírně narušená data, která člověk vnímá jako normální, ale umělá inteligence je špatně klasifikuje. Zajištění bezpečnosti dodavatelského řetězce umělé inteligence (integrita dat, řízení přístupu k modelu, testování robustnosti protichůdného přístupu) je novou, ale nezbytnou součástí kybernetické bezpečnosti při nasazení těchto nástrojů ( Co je generativní umělá inteligence v kybernetické bezpečnosti? - Palo Alto Networks ).

• Přílišná závislost a úbytek dovedností: Existuje menší riziko, že by se organizace mohly stát příliš závislými na umělé inteligenci a nechat lidské dovednosti atrofovat. Pokud juniorní analytici začnou slepě důvěřovat výstupům umělé inteligence, nemusí si vyvinout kritické myšlení a intuici potřebné pro situace, kdy umělá inteligence není k dispozici nebo se mýlí. Scénář, kterému je třeba se vyhnout, je bezpečnostní tým, který má skvělé nástroje, ale nemá tušení, jak s nimi pracovat, pokud tyto nástroje selžou (podobně jako piloti, kteří se příliš spoléhají na autopilota). Pravidelná školení bez pomoci umělé inteligence a podpora myšlení, že umělá inteligence je asistent, nikoli neomylný věštec, jsou důležité pro udržení bystrosti lidských analytiků. Lidé musí zůstat konečnými činiteli rozhodnutí, zejména u rozhodnutí s vysokým dopadem.

• Etické a compliance výzvy: Používání umělé inteligence v kybernetické bezpečnosti vyvolává etické otázky a mohlo by vést k problémům s dodržováním předpisů. Pokud například systém umělé inteligence nesprávně označí zaměstnance za úmyslného zasvěcence kvůli anomálii, mohlo by to nespravedlivě poškodit reputaci nebo kariéru dané osoby. Rozhodnutí učiněná umělou inteligencí mohou být neprůhledná (problém „černé skříňky“), což ztěžuje auditorům nebo regulačním orgánům vysvětlení, proč byla přijata určitá opatření. Vzhledem k tomu, že obsah generovaný umělou inteligencí se stává stále rozšířenějším, je zajištění transparentnosti a udržování odpovědnosti klíčové. Regulační orgány začínají umělou inteligenci kontrolovat – například zákon EU o umělé inteligenci uloží požadavky na „vysoce rizikové“ systémy umělé inteligence a umělá inteligence v kybernetické bezpečnosti by mohla spadat do této kategorie. Společnosti se budou muset v těchto předpisech orientovat a případně dodržovat standardy, jako je rámec NIST pro řízení rizik v oblasti umělé inteligence, aby mohly generativní umělou inteligenci používat zodpovědně ( Jak lze generativní umělou inteligenci použít v kybernetické bezpečnosti? 10 příkladů z reálného světa ). Dodržování předpisů se vztahuje i na licencování: používání modelů s otevřeným zdrojovým kódem nebo modelů třetích stran může mít podmínky, které omezují určitá použití nebo vyžadují sdílení vylepšení.

Stručně řečeno, generativní umělá inteligence není zázračným lékem – pokud není implementována pečlivě, může přinést nové slabiny, i když řeší jiné. Studie Světového ekonomického fóra z roku 2024 zdůraznila, že ~47 % organizací uvádí pokroky v generativní umělé inteligenci ze strany útočníků jako primární problém, což z ní činí „nejznepokojivější dopad generativní umělé inteligence“ v kybernetické bezpečnosti ( [PDF] Globální výhled kybernetické bezpečnosti 2025 | Světové ekonomické fórum ) ( Generativní umělá inteligence v kybernetické bezpečnosti: Komplexní přehled LLM ... ). Organizace proto musí zaujmout vyvážený přístup: využít výhod umělé inteligence a zároveň důsledně řídit tato rizika prostřednictvím správy a řízení, testování a lidského dohledu. Dále se budeme zabývat tím, jak této rovnováhy prakticky dosáhnout.

Výhled do budoucna: Vyvíjející se role generativní umělé inteligence v kybernetické bezpečnosti

S výhledem do budoucna se generativní umělá inteligence chystá stát nedílnou součástí strategie kybernetické bezpečnosti – a zároveň nástrojem, který budou kybernetičtí protivníci i nadále zneužívat. Dynamika hry na kočku a myš se bude zrychlovat a umělá inteligence bude na obou stranách plotu. Zde je několik výhledových poznatků o tom, jak by generativní umělá inteligence mohla v nadcházejících letech formovat kybernetickou bezpečnost:

• Kybernetická obrana rozšířená o umělou inteligenci se stává standardem: Do roku 2025 a později můžeme očekávat, že většina středních a velkých organizací začlení nástroje založené na umělé inteligenci do svých bezpečnostních operací. Stejně jako jsou dnes antiviry a firewally standardem, mohou se základními součástmi bezpečnostních architektur stát i kopiloti umělé inteligence a systémy detekce anomálií. Tyto nástroje se pravděpodobně stanou specializovanějšími – například se budou vylepšovat odlišné modely umělé inteligence pro cloudovou bezpečnost, pro monitorování zařízení IoT, pro zabezpečení aplikačního kódu atd., a to vše bude fungovat společně. Jak uvádí jedna předpověď: „V roce 2025 bude generativní umělá inteligence nedílnou součástí kybernetické bezpečnosti a umožní organizacím proaktivně se bránit sofistikovaným a vyvíjejícím se hrozbám“ ( Jak lze generativní umělou inteligenci použít v kybernetické bezpečnosti ). Umělá inteligence zlepší detekci hrozeb v reálném čase, automatizuje mnoho reakčních akcí a pomůže bezpečnostním týmům spravovat mnohem větší objemy dat, než by mohly ručně.

• Neustálé učení a adaptace: Budoucí generativní systémy umělé inteligence v kybernetické sféře se budou lépe učit za chodu z nových incidentů a informací o hrozbách a budou aktualizovat svou znalostní základnu téměř v reálném čase. To by mohlo vést ke skutečně adaptivní obraně – představte si umělou inteligenci, která se ráno dozví o nové phishingové kampani zasažené jinou společností a odpoledne již v reakci upravila e-mailové filtry vaší společnosti. Cloudové bezpečnostní služby umělé inteligence by mohly usnadnit tento druh kolektivního učení, kdy anonymní poznatky z jedné organizace prospívají všem odběratelům (podobně jako sdílení informací o hrozbách, ale automatizované). To však bude vyžadovat opatrné zacházení, aby se zabránilo sdílení citlivých informací a aby se zabránilo útočníkům v vkládání chybných dat do sdílených modelů.

• Konvergence talentů v oblasti umělé inteligence a kybernetické bezpečnosti: Dovednosti profesionálů v oblasti kybernetické bezpečnosti se budou vyvíjet a budou zahrnovat i znalosti umělé inteligence a datové vědy. Stejně jako se dnešní analytici učí dotazovací jazyky a skriptování, budou i analytici zítřka pravidelně dolaďovat modely umělé inteligence nebo psát „playbooky“ pro umělou inteligenci. Můžeme se setkat s novými rolemi, jako je „školitel bezpečnosti umělé inteligence“ nebo „technik kybernetické bezpečnosti umělé inteligence“ – lidé, kteří se specializují na přizpůsobování nástrojů umělé inteligence potřebám organizace, ověřování jejich výkonu a zajištění jejich bezpečného provozu. Na druhou stranu, aspekty kybernetické bezpečnosti budou stále více ovlivňovat vývoj umělé inteligence. Systémy umělé inteligence budou od základů vytvářeny s bezpečnostními prvky (bezpečná architektura, detekce neoprávněné manipulace, auditní protokoly pro rozhodnutí umělé inteligence atd.) a jejich nasazení v kontextech kritických z hlediska bezpečnosti bude řízeno důvěryhodnou umělou inteligenci

• Sofistikovanější útoky s využitím umělé inteligence: Bohužel se s umělou inteligencí bude vyvíjet i prostředí hrozeb. Očekáváme častější používání umělé inteligence k odhalování zranitelností typu zero-day, k vytváření vysoce cíleného spear phishingu (např. umělá inteligence scrapingem sociálních médií za účelem vytvoření dokonale přizpůsobené návnady) a ke generování přesvědčivých deepfake hlasů nebo videí k obcházení biometrického ověřování nebo k páchání podvodů. Mohou se objevit automatizovaní hackerští agenti, kteří dokáží samostatně provádět vícestupňové útoky (průzkum, zneužití, laterální pohyb atd.) s minimálním lidským dohledem. To bude tlačit obránce, aby se také spoléhali na umělou inteligenci – v podstatě automatizace vs. automatizace . Některé útoky se mohou odehrávat rychlostí stroje, například když boti umělé inteligence zkoušejí tisíc permutací phishingových e-mailů, aby zjistili, která z nich projde filtry. Kybernetická obrana bude muset fungovat s podobnou rychlostí a flexibilitou, aby udržela krok ( Co je generativní umělá inteligence v kybernetické bezpečnosti? - Palo Alto Networks ).

• Regulace a etická umělá inteligence v bezpečnosti: S tím, jak se umělá inteligence stává hluboce zakotvenou v funkcích kybernetické bezpečnosti, bude existovat větší kontrola a možná i regulace, aby se zajistilo zodpovědné používání těchto systémů umělé inteligence. Můžeme očekávat rámce a standardy specifické pro umělou inteligenci v bezpečnosti. Vlády by mohly stanovit pokyny pro transparentnost – např. vyžadovat, aby důležitá bezpečnostní rozhodnutí (jako je ukončení přístupu zaměstnance z důvodu podezření na škodlivou aktivitu) nemohla být přijímána pouze umělou inteligencí bez lidské kontroly. Mohou také existovat certifikace pro bezpečnostní produkty umělé inteligence, aby se kupující ujistili, že umělá inteligence byla vyhodnocena z hlediska zaujatosti, robustnosti a bezpečnosti. Kromě toho by se mohla rozšířit mezinárodní spolupráce v oblasti kybernetických hrozeb souvisejících s umělou inteligencí; například dohody o nakládání s dezinformacemi vytvořenými umělou inteligencí nebo normy proti určitým kybernetickým zbraním poháněným umělou inteligencí.

• Integrace s širšími ekosystémy umělé inteligence a IT: Generativní umělá inteligence v kybernetické bezpečnosti se pravděpodobně bude integrovat s dalšími systémy umělé inteligence a nástroji pro správu IT. Například umělá inteligence, která řídí optimalizaci sítě, by mohla spolupracovat s umělou inteligencí v oblasti bezpečnosti, aby zajistila, že změny neotevřou mezery v zákonech. Obchodní analytika řízená umělou inteligencí by mohla sdílet data s umělou inteligencí v oblasti bezpečnosti, aby korelovala anomálie (jako je náhlý pokles prodeje s možným problémem s webovými stránkami v důsledku útoku). V podstatě umělá inteligence nebude existovat izolovaně – bude součástí větší inteligentní struktury provozu organizace. To otevírá příležitosti pro holistické řízení rizik, kde by umělá inteligence mohla kombinovat provozní data, data o hrozbách a dokonce i data o fyzickém zabezpečení, aby poskytla 360stupňový pohled na bezpečnostní stav organizace.

Z dlouhodobého hlediska existuje naděje, že generativní umělá inteligence pomůže převážit nad obránci. Zvládnutím rozsahu a složitosti moderních IT prostředí může umělá inteligence zvýšit obranu kyberprostoru. Je to však cesta a s postupným zdokonalováním těchto technologií a učením se jim odpovídajícím způsobem důvěřovat budeme svědky růstových problémů. Organizace, které zůstanou informované a investují do zodpovědného zavádění umělé inteligence pro zabezpečení, budou pravděpodobně ty, které budou nejlépe připraveny zvládat hrozby budoucnosti.

Jak uvádí nedávná zpráva společnosti Gartner o trendech v kybernetické bezpečnosti, „vznik generativních případů použití (a rizik) umělé inteligence vytváří tlak na transformaci“ ( Trendy v kybernetické bezpečnosti: Odolnost prostřednictvím transformace - Gartner ). Ti, kdo se přizpůsobí, využijí umělou inteligenci jako silného spojence; ti, kdo zaostávají, se mohou ocitnout před protivníky s umělou inteligencí. Příštích několik let bude klíčových pro definování toho, jak umělá inteligence přetváří kybernetické bojiště.

Praktické poznatky pro zavádění generativní umělé inteligence v kybernetické bezpečnosti

Pro firmy, které zvažují, jak využít generativní umělou inteligenci ve své strategii kybernetické bezpečnosti, uvádíme několik praktických poznatků a doporučení, které vám pomohou s odpovědným a efektivním přijetím:

1. Začněte vzděláváním a školením: Zajistěte, aby váš bezpečnostní tým (a širší IT personál) chápal, co generativní umělá inteligence dokáže a co nemůže. Poskytněte školení o základech bezpečnostních nástrojů založených na umělé inteligenci a aktualizujte své programy bezpečnostního povědomí pro všechny zaměstnance tak, aby zahrnovaly hrozby vyvolané umělou inteligencí. Například naučte zaměstnance, jak může umělá inteligence generovat velmi přesvědčivé phishingové podvody a deepfake hovory. Současně proškolte zaměstnance v bezpečném a schváleném používání nástrojů umělé inteligence v jejich práci. Dobře informovaní uživatelé s menší pravděpodobností nesprávně zacházejí s umělou inteligencí nebo se stanou obětí útoků vylepšených umělou inteligencí ( Jak lze generativní umělou inteligenci využít v kybernetické bezpečnosti? 10 příkladů z reálného světa ).

2. Definujte jasné zásady používání umělé inteligence: Zacházejte s generativní umělou inteligencí jako s jakoukoli jinou výkonnou technologií – s řídicími prvky. Vypracujte zásady, které specifikují, kdo může používat nástroje umělé inteligence, které nástroje jsou schváleny a k jakým účelům. Zahrňte pokyny pro nakládání s citlivými daty (např. zákaz předávání důvěrných dat externím službám umělé inteligence), abyste zabránili únikům. Například byste mohli povolit pouze členům bezpečnostního týmu používat interního asistenta umělé inteligence pro reakci na incidenty a marketing může používat ověřenou umělou inteligenci pro obsah – všichni ostatní jsou omezeni. Mnoho organizací se nyní ve svých IT zásadách výslovně zabývá generativní umělou inteligencí a přední normalizační orgány podporují zásady bezpečného používání spíše než úplné zákazy ( Jak lze generativní umělou inteligenci použít v kybernetické bezpečnosti? 10 příkladů z reálného světa ). Nezapomeňte tato pravidla a jejich zdůvodnění sdělit všem zaměstnancům.

3. Zmírnění „stínové umělé inteligence“ a monitorování jejího používání: Podobně jako u stínového IT vzniká „stínová umělá inteligence“, když zaměstnanci začnou používat nástroje nebo služby umělé inteligence bez vědomí IT oddělení (např. vývojář používá neoprávněného asistenta kódu s umělou inteligencí). To může vést k neviditelným rizikům. Implementujte opatření k detekci a kontrole neoprávněného používání umělé inteligence . Monitorování sítě může signalizovat připojení k populárním API umělé inteligence a průzkumy nebo audity nástrojů mohou odhalit, co zaměstnanci používají. Nabídněte schválené alternativy, aby zaměstnanci s dobrými úmysly nebyli v pokušení se chovat nepoctivě (například poskytněte oficiální účet ChatGPT Enterprise, pokud to lidé považují za užitečné). Tím, že se používání umělé inteligence dostane na světlo, mohou bezpečnostní týmy posoudit a řídit rizika. Klíčové je také monitorování – co nejvíce zaznamenávejte aktivity a výstupy nástrojů umělé inteligence, aby existovala auditní stopa pro rozhodnutí, která umělá inteligence ovlivnila ( Jak lze generativní umělou inteligenci použít v kybernetické bezpečnosti? 10 příkladů z reálného světa ).

4. Využijte umělou inteligenci v obraně – nezůstaňte pozadu: Uvědomte si, že útočníci budou umělou inteligenci používat, takže by ji měla používat i vaše obrana. Identifikujte několik oblastí s vysokým dopadem, kde by generativní umělá inteligence mohla okamžitě pomoci vašim bezpečnostním operacím (možná třídění výstrah nebo automatizovaná analýza protokolů) a spusťte pilotní projekty. Vylepšete svou obranu o rychlost a rozsah umělé inteligence, abyste čelili rychle se rozvíjejícím hrozbám ( Jak lze generativní umělou inteligenci využít v kybernetické bezpečnosti? 10 příkladů z reálného světa ). I jednoduché integrace, jako je použití umělé inteligence k shrnutí hlášení o malwaru nebo generování dotazů na lov hrozeb, mohou analytikům ušetřit hodiny. Začněte v malém, vyhodnoťte výsledky a iterujte. Úspěchy posílí argumenty pro širší přijetí umělé inteligence. Cílem je využít umělou inteligenci jako multiplikátor síly – například pokud phishingové útoky zahlcují vaši helpdesk, nasaďte klasifikátor e-mailů s umělou inteligencí, abyste proaktivně snížili tento objem.

5. Investujte do bezpečných a etických postupů v oblasti umělé inteligence: Při implementaci generativní umělé inteligence dodržujte bezpečné postupy vývoje a nasazení. Pro citlivé úkoly používejte soukromé nebo samostatně hostované modely, abyste si udrželi kontrolu nad daty. Pokud používáte služby umělé inteligence třetích stran, zkontrolujte jejich bezpečnostní a soukromá opatření (šifrování, zásady uchovávání dat atd.). Začleňte rámce pro řízení rizik umělé inteligence (jako je rámec pro řízení rizik umělé inteligence NIST nebo pokyny ISO/IEC), abyste systematicky řešili věci, jako je zkreslení, vysvětlitelnost a robustnost, ve svých nástrojích umělé inteligence ( Jak lze generativní umělou inteligenci použít v kybernetické bezpečnosti? 10 příkladů z reálného světa ). V rámci údržby také plánujte aktualizace/záplaty modelů – modely umělé inteligence mohou mít také „zranitelnosti“ (např. mohou vyžadovat přeškolení, pokud se začnou odchylovat nebo pokud je objeven nový typ nepřátelského útoku na model). Začleněním bezpečnosti a etiky do používání umělé inteligence budujete důvěru ve výsledky a zajišťujete soulad s nově vznikajícími předpisy.

6. Udržujte lidi v obraze: Využívejte umělou inteligenci k podpoře, nikoli k úplnému nahrazení lidského úsudku v kybernetické bezpečnosti. Určete rozhodovací body, kde je vyžadováno lidské ověření (například umělá inteligence může vypracovat zprávu o incidentu, ale analytik ji před distribucí zkontroluje; nebo umělá inteligence může navrhnout zablokování uživatelského účtu, ale člověk tuto akci schválí). Tím se nejen zabrání tomu, aby chyby umělé inteligence zůstaly nekontrolované, ale také se váš tým poučí z umělé inteligence a naopak. Podporujte pracovní postup založený na spolupráci: analytici by se měli cítit dobře při zpochybňování výstupů umělé inteligence a provádění kontrol správnosti. Postupem času může tento dialog zlepšit jak umělou inteligenci (prostřednictvím zpětné vazby), tak i dovednosti analytiků. V podstatě navrhněte své procesy tak, aby se silné stránky umělé inteligence a lidské síly vzájemně doplňovaly – umělá inteligence zvládá objem a rychlost, lidé zvládají nejednoznačnost a konečná rozhodnutí.

7. Měření, monitorování a úpravy: A konečně, zacházejte se svými generativními nástroji umělé inteligence jako s živými součástmi vašeho bezpečnostního ekosystému. Průběžně měřte jejich výkon – zkracují dobu reakce na incidenty? Včas odhalují hrozby? Jaký je trend v míře falešně pozitivních výsledků? Získejte zpětnou vazbu od týmu: jsou doporučení umělé inteligence užitečná, nebo jen vytvářejí šum? Použijte tyto metriky k vylepšení modelů, aktualizaci trénovacích dat nebo k úpravě způsobu integrace umělé inteligence. Kybernetické hrozby a obchodní potřeby se vyvíjejí a vaše modely umělé inteligence by měly být pravidelně aktualizovány nebo přeškoleny, aby zůstaly efektivní. Mějte plán pro správu modelů, včetně toho, kdo je zodpovědný za jejich údržbu a jak často jsou kontrolovány. Aktivní správou životního cyklu umělé inteligence zajistíte, že zůstane přínosem, nikoli závazkem.

Závěrem lze říci, že generativní umělá inteligence může výrazně zlepšit možnosti kybernetické bezpečnosti, ale její úspěšné zavedení vyžaduje promyšlené plánování a průběžný dohled. Firmy, které vzdělávají své lidi, stanoví jasné pokyny a integrují umělou inteligenci vyváženým a bezpečným způsobem, sklidí ovoce v podobě rychlejšího a inteligentnějšího řízení hrozeb. Tyto poznatky poskytují plán: kombinovat lidské znalosti s automatizací umělé inteligence, pokrýt základy správy a řízení a udržovat agilitu, jelikož se technologie umělé inteligence i prostředí hrozeb nevyhnutelně vyvíjejí.

Díky těmto praktickým krokům mohou organizace s jistotou odpovědět na otázku „Jak lze generativní umělou inteligenci využít v kybernetické bezpečnosti?“ – nejen teoreticky, ale i v každodenní praxi – a tím posílit svou obranu v našem stále více digitálním světě, který je řízen umělou inteligencí. ( Jak lze generativní umělou inteligenci využít v kybernetické bezpečnosti )

Whitepapery, které byste si mohli po tomto přečíst:

🔗 Pracovní místa, která umělá inteligence nenahradí a která nahradí?
Prozkoumejte globální pohled na to, které role jsou v bezpečí před automatizací a které ne.

🔗 Dokáže umělá inteligence předpovídat akciový trh?
Bližší pohled na omezení, průlomy a mýty týkající se schopnosti umělé inteligence předpovídat pohyby na trhu.

🔗 Na co se lze spolehnout s generativní umělou inteligencí bez lidského zásahu?
Pochopte, kde může umělá inteligence fungovat samostatně a kde je lidský dohled stále nezbytný.