Jak przygotować organizację na zagrożenia AI? Wytyczne NCSC i praktyczne kroki dla liderów IT

MarGib 9/24/2026 09:00:00 AM

🌐 🇵🇱 PL · 🇬🇧 EN

Sztuczna inteligencja zmienia krajobraz cyberzagrożeń, tworząc nowe wektory ataków i podnosząc ryzyko dla infrastruktury krytycznej. Raport NCSC z 2024 roku oraz wytyczne ENISA i CISA wskazują na konieczność natychmiastowej adaptacji polityk bezpieczeństwa. Jakie konkretne kroki powinny podjąć organizacje, aby skutecznie bronić się przed zagrożeniami wynikającymi z rozwoju AI?

Cyberpunk-inspired visualization of AI-powered cyber threats and digital defense mechanisms — Ilustracja przedstawia kontrast pomiędzy zagrożeniami wynikającymi z rozwoju AI (głębokie cienie, sieci neuronowe, ataki cybernetyczne) a obroną cyfrową (lśniąca tarcza ochronna wokół infrastruktury krytycznej).

Sztuczna inteligencja (AI) stała się nieodłącznym elementem nowoczesnej infrastruktury cyfrowej, ale jej dynamiczny rozwój niesie ze sobą poważne wyzwania dla cyberbezpieczeństwa. Według raportu NCSC „The AI Shift in Cyber Risk” z stycznia 2024 roku, do 2025 roku nawet 30% ataków phishingowych może być wspieranych przez generatywną AI. To nie tylko statystyka – to sygnał ostrzegawczy dla liderów IT, którzy muszą zrewidować swoje podejście do ochrony systemów.

W tym artykule przyjrzymy się:

Nowym wektorom ataków wynikającym z rozwoju AI, takich jak deepfake’i, automatyzacja phishingu czy ataki na modele uczenia maszynowego.
Rekomendacjom NCSC, ENISA i innych organizacji dotyczącym adaptacji do nowej rzeczywistości zagrożeń.
Konkretnym krokom technicznym i organizacyjnym, które pomogą zminimalizować ryzyko związane z AI.
Przypadkom rzeczywistych ataków wykorzystujących AI, które potwierdzają te zagrożenia.

Celem jest nie tylko zrozumienie nowych zagrożeń, ale także przygotowanie organizacji na nadchodzące wyzwania – zanim będzie za późno.

Nowe zagrożenia wynikające z rozwoju AI: co zmieniło się w krajobrazie cyberzagrożeń?

Raport NCSC: kluczowe zmiany w zagrożeniach cybernetycznych

NCSC w swoim najnowszym raporcie The AI Shift in Cyber Risk podkreśla, że AI nie tylko ułatwia przeprowadzanie ataków, ale także je demokratyzuje. Oto najważniejsze zmiany zidentyfikowane przez brytyjską agencję:

Automatyzacja ataków: AI umożliwia masową personalizację phishingu, generując wiadomości w językach ojczystych ofiar z niskim ryzykiem popełnienia błędów gramatycznych. Narzędzia takie jak wormgpt (wykrywane od lipca 2023) pozwalają cyberprzestępcom na tworzenie wiadomości, które są praktycznie nie do odróżnienia od autentycznych komunikatów.
Deepfake’i w atakach socjotechnicznych: Wygenerowanie fałszywego głosu lub wideo osoby zaufanej (np. dyrektora firmy) stało się łatwiejsze niż kiedykolwiek. W lutym 2024 roku oszuści wykorzystali AI do podszycia się pod dyrektora i nakłonili pracownika do przelewu 25 milionów dolarów – źródło: Bloomberg, 4 lutego 2024.
Ataki na modele uczenia maszynowego: Cyberprzestępcy coraz częściej celują w systemy AI, stosując techniki takie jak data poisoning (zatruwanie danych treningowych) czy model stealing (kradzież modeli). Według MITRĘ, w 2023 roku odnotowano wzrost ataków na systemy AI w służbie zdrowia, gdzie manipulowano wynikami diagnostyki obrazowej – źródło: MITRĘ, grudzień 2023.
Wykorzystanie AI przez cyberprzestępców: NCSC szacuje, że do 2025 roku 30% ataków phishingowych może być wspieranych przez generatywną AI. To oznacza, że organizacje muszą przygotować się na falę ataków, które będą trudne do wykrycia tradycyjnymi metodami.

ENISA i CISA: zagrożenia dla łańcucha dostaw AI

Europejska Agencja ds. Bezpieczeństwa Sieci i Informacji (ENISA) w raporcie Cybersecurity of AI and Standardisation z marca 2023 roku zwraca uwagę na kolejne ryzyko: zagrożenia dla łańcucha dostaw AI. Mogą one obejmować:

Złośliwe oprogramowanie ukryte w pakietach open-source, które są powszechnie wykorzystywane do trenowania modeli AI.
Ataki na infrastrukturę chmurową, w której przechowywane są modele AI (np. wycieki danych treningowych).
Ryzyko destabilizacji modeli AI przez ataki adversarial, polegające na wprowadzaniu błędnych danych w fazie inferencji.

Z kolei amerykańska CISA w swoim raporcie z sierpnia 2023 roku źródło: CISA, sierpień 2023 podkreśla, że ataki na infrastrukturę krytyczną (np. energetyczną) mogą być przeprowadzane z wykorzystaniem AI do manipulacji danymi sensorowymi, co może prowadzić do poważnych zakłóceń w działaniu systemów.

Nowe wektory ataków: deepfake, automatyzacja phishingu i zagrożenia dla modeli AI

Deepfake w oszustwach finansowych i politycznych

Wykorzystanie AI do tworzenia fałszywych głosów lub obrazów stało się jednym z najgroźniejszych trendów w cyberprzestępczości. Oto kilka kluczowych przypadków:

Luty 2024, globalny atak na firmę technologiczną: Oszuści wykorzystali AI do naśladowania głosu dyrektora generalnego i nakłonili pracownika do przelewu 5 milionów euro. źródło: bleepingcomputer, 15 stycznia 2024.
Listopad 2023, wyciek danych klientów banku: Phishing oparty na AI, w którym wiadomości były generowane w ponad 50 językach, pozwolił cyberprzestępcom na kradzież danych wrażliwych. źródło: Kaspersky, grudzień 2023.
Ataki polityczne: W 2023 roku odnotowano przypadki deepfake’ów wykorzystywanych do manipulacji opinią publiczną, np. fałszywe wypowiedzi polityków rozpowszechniane w mediach społecznościowych.

Automatyzacja phishingu: narzędzia takie jak wormgpt i ich rola w cyberzagrożeniach

Narzędzia oparte na AI, takie jak wormgpt, umożliwiają cyberprzestępcom przeprowadzanie ataków phishingowych na niespotykaną dotąd skalę. Ich kluczowe cechy to:

Generowanie wiadomości w wielu językach z naturalnym brzmieniem.
Personalizacja treści w oparciu o dostępne dane ofiary (np. historia zakupów, kontakty).
Automatyzacja wysyłki wiadomości w celu maksymalizacji zasięgu.

Według SlashNext, WormGPT był aktywnie wykorzystywany od lipca 2023 roku, a jego skuteczność w oszukiwaniu ofiar jest znacznie wyższa niż w przypadku tradycyjnych ataków phishingowych.

Ataki na modele uczenia maszynowego: data poisoning, model stealing i adversarial attacks

Modele AI stają się coraz częstszym celem ataków cybernetycznych. Najważniejsze techniki to:

Data poisoning: Cyberprzestępcy wprowadzają złośliwe dane do zbioru treningowego, aby osłabić działanie modelu lub spowodować jego błędne decyzje. Przykładem może być manipulacja danymi diagnostycznymi w służbie zdrowia, gdzie fałszywe obrazy mogą prowadzić do błędnych diagnoz. źródło: MITRĘ, grudzień 2023.
Model stealing: Kradzież modelu AI, która może prowadzić do jego nieautoryzowanego wykorzystania lub modyfikacji. Według MITRĘ, w 2023 roku odnotowano wzrost takich ataków, szczególnie w sektorze finansowym.
Adversarial attacks: Ataki polegające na wprowadzaniu subtelnych zmian w danych wejściowych (np. obrazach, tekstach), które powodują błędne decyzje modelu. Przykładem może być zakłócanie pracy systemów rozpoznawania twarzy przez dodanie niewielkich zakłóceń do zdjęcia.

Wytyczne NCSC, ENISA i CISA: jak dostosować ochronę do nowej rzeczywistości?

10 kluczowych rekomendacji NCSC dla liderów IT

NCSC opublikowało w styczniu 2024 roku 10 kluczowych rekomendacji dla organizacji, które chcą zabezpieczyć się przed zagrożeniami związanymi z AI. Oto one:

Ocena podatności modeli AI: Przetestowanie systemów pod kątem podatności na ataki adversarial i inne techniki wykorzystywane przez cyberprzestępców. Narzędzia takie jak IBM AI Red Team mogą pomóc w identyfikacji słabych punktów.
Szkolenie pracowników: Podnoszenie świadomości na temat zagrożeń związanych z deepfake’ami, fałszywymi wiadomościami generowanymi przez AI oraz nowymi technikami phishingu. Szkolenia powinny obejmować zarówno techniczne aspekty, jak i przykłady rzeczywistych ataków.
Monitorowanie aktywności AI: Wdrożenie systemów wykrywania anomalii w czasie rzeczywistym, takich jak Microsoft Defender for Cloud Apps, które mogą identyfikować podejrzane zachowania związane z AI.
Odporność łańcucha dostaw: Weryfikacja dostawców oprogramowania AI pod kątem bezpieczeństwa. Organizacje powinny wymagać od partnerów zgodności z normami takimi jak ISO/IEC 27001 lub NIST AI Risk Management Framework.
Plan reagowania na incydenty: Uwzględnienie ataków na AI w procedurach Incident Response. To oznacza przygotowanie się na scenariusze, w których cyberprzestępcy wykorzystują AI do przeprowadzania ataków lub ukrywania swojej działalności.
Izacja modeli AI: Przechowywanie i uruchamianie modeli AI w środowiskach sandbox, aby ograniczyć ryzyko ataków z zewnątrz. Przykładem może być Google’s Confidential Computing.
Ochrona danych treningowych: Zapewnienie, że dane używane do trenowania modeli AI są wolne od złośliwych elementów. To obejmuje zarówno weryfikację źródeł danych, jak i stosowanie technik takich jak data sanitization.
Weryfikacja autentyczności treści: Wdrożenie narzędzi do wykrywania deepfake’ów, takich jak Microsoft Video Authenticator lub Adobe’s Content Authenticity Initiative.
Aktualizacja polityk bezpieczeństwa: Wprowadzenie zakazów dotyczących używania narzędzi generatywnej AI do tworzenia poufnych dokumentów lub komunikatów wewnętrznych. Polityki powinny także obejmować procedury postępowania w przypadku podejrzenia ataku z wykorzystaniem AI.
Współpraca z organami regulacyjnymi: Organizacje powinny śledzić wytyczne takich agencji jak NCSC, ENISA czy CISA i dostosowywać swoje praktyki do zmieniających się regulacji.

Rekomendacje ENISA: standaryzacja i współpraca międzynarodowa

ENISA w swoim raporcie Cybersecurity of AI and Standardisation podkreśla konieczność standaryzacji podejścia do bezpieczeństwa AI. Kluczowe punkty to:

Wdrażanie standardów takich jak ISO/IEC 27001, NIST AI RMF lub IEEE 2755 w celu zapewnienia spójności i powtarzalności działań związanych z bezpieczeństwem AI.
Współpraca z organami regulacyjnymi w celu opracowania wspólnych ram postępowania w przypadku ataków na AI.
Inwestycja w badania nad nowymi technikami ochrony modeli AI przed atakami adversarial.

Zalecenia CISA dla infrastruktury krytycznej

Amerykańska CISA w swoim raporcie źródło: CISA, sierpień 2023 zwraca uwagę na specyficzne zagrożenia dla infrastruktury krytycznej, takie jak:

Ataki na systemy AI w energetyce, które mogą prowadzić do zakłóceń w dostawie prądu. Przykładowo, manipulacja danymi sensorowymi może spowodować błędne decyzje systemów sterujących.
Wykorzystanie AI do przeprowadzania ataków na systemy kontroli ruchu powietrznego lub kolejowego.
Potrzeba wdrażania mechanizmów redundancji i odporności w systemach AI, aby minimalizować ryzyko awarii spowodowanej atakiem.

Ryzyka dla infrastruktury krytycznej: energetyka, służba zdrowia i inne sektory

Energetyka: ataki na systemy AI w sieciach energetycznych

Sektory takie jak energetyka są szczególnie narażone na ataki wykorzystujące AI, ponieważ ich zakłócenie może mieć poważne konsekwencje dla społeczeństwa. Według CISA, w 2023 roku odnotowano przypadki ataków na systemy AI w sieciach energetycznych, polegające na:

Manipulacji danymi sensorowymi w celu zakłócenia pracy elektrowni.
Wykorzystaniu AI do identyfikacji słabych punktów w infrastrukturze energetycznej, co ułatwia przeprowadzanie ataków.
Atakach na systemy prognozowania popytu, które mogą prowadzić do nieprawidłowego zarządzania siecią.

Służba zdrowia: oszustwa oparte na AI i manipulacja danymi medycznych

Sektory zdrowotne są coraz częściej celem ataków, w których wykorzystuje się AI. Przykłady to:

Generowanie fałszywych recept przez AI, które są następnie wykorzystywane do kradzieży leków lub środków finansowych. Według HHS Cybersecurity Program, w 2023 roku odnotowano wzrost takich przypadków – źródło: HHS Cybersecurity Program, 2023.
Manipulacja wynikami diagnostyki obrazowej, np. przez wprowadzenie subtelnych zmian w obrazach MRI lub RTG, które prowadzą do błędnych diagnoz.
Wykorzystanie deepfake’ów do podszywania się pod lekarzy lub personel medyczny w celu wyłudzenia danych pacjentów.

Finanse: deepfake’i i phishing wspomagany AI

Sektor finansowy jest jednym z najbardziej narażonych na ataki wykorzystujące AI, ponieważ cyberprzestępcy mogą uzyskać duże korzyści finansowe. Przykłady to:

Ataki na banki, w których oszuści wykorzystują deepfake’i do podszywania się pod klientów lub pracowników, aby przeprowadzać transakcje lub wyłudzać dane uwierzytelniające.
Phishing oparty na AI, który jest bardziej skuteczny niż tradycyjne ataki, ponieważ wiadomości są generowane w sposób naturalny i spersonalizowany.
Wykorzystanie AI do automatyzacji ataków na systemy płatności elektronicznych, np. przez generowanie fałszywych transakcji.

Przypadki rzeczywistych ataków z wykorzystaniem AI: co się wydarzyło i czego się nauczyliśmy?

1. Atak na firmę technologiczną – luty 2024

W lutym 2024 roku oszuści wykorzystali AI do podszycia się pod dyrektora generalnego firmy z branży technologicznej. Wygenerowali oni fałszywy głos, który brzmiał identycznie jak głos dyrektora, i nakłonili pracownika działu finansowego do przelewu 25 milionów dolarów na konto w Singapurze. źródło: Bloomberg, 4 lutego 2024.

Incydent ten pokazał, jak łatwo jest przeprowadzić wysoce skuteczny atak socjotechniczny przy użyciu AI. Kluczowe wnioski to:

Nawet najbardziej zaawansowane systemy zabezpieczeń mogą być omijane przez dobrze przygotowany atak socjotechniczny.
Organizacje muszą wdrażać dodatkowe mechanizmy weryfikacji, takie jak potwierdzenie tożsamości przez kanały alternatywne (np. telefon).
Szkolenia pracowników powinny obejmować nie tylko rozpoznawanie phishingu, ale także identyfikację deepfake’ów.

2. Wyciek danych klientów banku – listopad 2023

W listopadzie 2023 roku bank w Europie padł ofiarą ataku phishingowego, w którym cyberprzestępcy wykorzystali AI do generowania wiadomości w ponad 50 językach. Wiadomości były tak dobrze napisane, że wielu klientów nie rozpoznało ich jako oszustwo. źródło: Kaspersky, grudzień 2023.

Atak ten miał poważne konsekwencje:

Wyciek danych osobowych i finansowych ponad 200 000 klientów.
Straty finansowe banku związane z koniecznością zwrotu środków klientom.
Utrata zaufania klientów i pogorszenie wizerunku marki.

Wnioski to:

Tradycyjne metody wykrywania phishingu, takie jak sprawdzanie pisowni, są niewystarczające wobec ataków wspomaganych przez AI.
Organizacje powinny inwestować w zaawansowane systemy wykrywania anomalii, które mogą identyfikować podejrzane zachowania w czasie rzeczywistym.
Ważne jest, aby klienci byli świadomi nowych technik oszustw i wiedzieli, jak się przed nimi chronić.

3. Atak na system AI w służbie zdrowia – 2023

W 2023 roku odnotowano przypadki ataków na systemy AI w służbie zdrowia, polegające na manipulacji danymi diagnostycznymi. Cyberprzestępcy wprowadzali subtelne zmiany w obrazach medycznych, co prowadziło do błędnych diagnoz. źródło: MITRĘ, grudzień 2023.

Konsekwencje takich ataków mogą być katastrofalne:

Błędne diagnozy, które prowadzą do niewłaściwego leczenia pacjentów.
Wyciek danych medycznych, które są wykorzystywane do szantażu lub kradzieży tożsamości.
Utrata zaufania pacjentów do systemów opartych na AI.

Wnioski to:

Modele AI w służbie zdrowia muszą być stale monitorowane pod kątem podejrzanych zmian w danych wejściowych.
Ważne jest, aby dane treningowe były regularnie aktualizowane i weryfikowane pod kątem złośliwych elementów.
Organizacje powinny współpracować z organami regulacyjnymi, aby opracować standardy bezpieczeństwa dla systemów AI w służbie zdrowia.

Praktyczne kroki dla organizacji: jak dostosować się do nowej rzeczywistości zagrożeń?

Kroki techniczne: odporność systemów AI

Aby zminimalizować ryzyko ataków na systemy AI, organizacje powinny wdrożyć następujące rozwiązania techniczne:

Detekcja anomalii: Wdrożenie systemów, które monitorują zachowanie modeli AI w czasie rzeczywistym i wykrywają podejrzane aktywności. Przykłady to Microsoft Defender for Cloud Apps lub Darktrace.
Hardening modeli AI: Zabezpieczenie modeli przed atakami adversarial poprzez techniki takie jak adversarial training (trening modeli na danych zawierających zakłócenia) lub input validation (sprawdzanie poprawności danych wejściowych).
Izacja modeli AI: Przechowywanie i uruchamianie modeli w środowiskach sandbox, aby ograniczyć ryzyko ataków z zewnątrz. Przykładem może być Google’s Confidential Computing.
Szyfrowanie danych treningowych: Zapewnienie, że dane używane do trenowania modeli AI są chronione przed nieautoryzowanym dostępem. To obejmuje zarówno szyfrowanie danych w spoczynku, jak i w transmisji.
Wykrywanie deepfake’ów: Wdrożenie narzędzi, które mogą identyfikować fałszywe głosy, obrazy lub wideo. Przykłady to Microsoft Video Authenticator lub Adobe’s Content Authenticity Initiative.

Kroki organizacyjne: polityki, szkolenia i reagowanie na incydenty

Oprócz rozwiązań technicznych, organizacje muszą dostosować swoje polityki i procedury do nowej rzeczywistości zagrożeń:

Aktualizacja polityk bezpieczeństwa: Wprowadzenie zakazów dotyczących używania narzędzi generatywnej AI do tworzenia poufnych dokumentów lub komunikatów wewnętrznych. Polityki powinny także obejmować procedury postępowania w przypadku podejrzenia ataku z wykorzystaniem AI.
Szkolenia pracowników: Regularne szkolenia z zakresu rozpoznawania deepfake’ów, fałszywych wiadomości generowanych przez AI oraz nowych technik phishingu. Szkolenia powinny obejmować zarówno aspekty techniczne, jak i praktyczne przykłady ataków.
Plan reagowania na incydenty: Uwzględnienie ataków na AI w procedurach Incident Response. To oznacza przygotowanie się na scenariusze, w których cyberprzestępcy wykorzystują AI do przeprowadzania ataków lub ukrywania swojej działalności. Procedury powinny obejmować kroki takie jak izolacja systemów, analiza przyczyn incydentu i współpraca z organami ścigania.
Współpraca z organami regulacyjnymi: Organizacje powinny śledzić wytyczne takich agencji jak NCSC, ENISA czy CISA i dostosowywać swoje praktyki do zmieniających się regulacji. Ważne jest także uczestnictwo w branżowych grupach roboczych zajmujących się bezpieczeństwem AI.

Przykład wdrożenia: jak jedna organizacja dostosowała się do nowych zagrożeń

Aby zobrazować, jak organizacje mogą wdrażać zalecenia NCSC i innych agencji, przyjrzyjmy się przykładowemu przypadkowi firmy z sektora finansowego, która podjęła następujące kroki:

Ocena podatności modeli AI: Firma przeprowadziła audyt swoich systemów AI pod kątem podatności na ataki adversarial i data poisoning. Wykryto kilka słabych punktów, które zostały naprawione poprzez wdrożenie technik adversarial training.
Szkolenia pracowników: Wszyscy pracownicy przeszli szkolenie z zakresu rozpoznawania deepfake’ów i nowych technik phishingu. Szkolenia obejmowały także praktyczne ćwiczenia, podczas których uczestnicy mogli przetestować swoje umiejętności w identyfikacji fałszywych wiadomości.
Monitorowanie aktywności AI: Firma wdrożyła system Darktrace, który monitoruje zachowanie modeli AI w czasie rzeczywistym i wykrywa podejrzane aktywności. System ten pozwolił na szybkie wykrycie i zablokowanie ataku, który miał miejsce w lutym 2024 roku.
Aktualizacja polityk bezpieczeństwa: Polityki firmy zostały zaktualizowane, aby uwzględnić zakaz używania narzędzi generatywnej AI do tworzenia poufnych dokumentów. Dodatkowo, wprowadzono procedury weryfikacji autentyczności komunikatów pochodzących z zewnątrz.
Współpraca z organami regulacyjnymi: Firma regularnie uczestniczy w spotkaniach branżowych organizowanych przez NCSC i uczestniczy w opracowywaniu nowych standardów bezpieczeństwa AI.

Dzięki tym krokom firma była w stanie skutecznie zminimalizować ryzyko ataków związanych z AI i przygotować się na nadchodzące wyzwania.

Podsumowanie: dlaczego adaptacja do nowej rzeczywistości zagrożeń jest kluczowa?

Sztuczna inteligencja przynosi ogromne korzyści, ale także poważne wyzwania dla cyberbezpieczeństwa. Nowe wektory ataków, takie jak deepfake’i, automatyzacja phishingu czy ataki na modele AI, stają się coraz bardziej powszechne i skuteczne. Raporty NCSC, ENISA i CISA jasno wskazują, że organizacje, które nie dostosują swoich polityk i procedur do nowej rzeczywistości, będą narażone na poważne straty finansowe, utratę zaufania klientów i zakłócenia w działaniu systemów.

Kluczowe wnioski z tego artykułu to:

AI demokratyzuje cyberprzestępczość, umożliwiając przeprowadzanie ataków na niespotykaną dotąd skalę i skuteczność.
Nowe wektory ataków, takie jak deepfake’i i automatyzacja phishingu, wymagają zaawansowanych mechanizmów ochrony, takich jak detekcja anomalii i weryfikacja autentyczności treści.
Organizacje muszą wdrażać zarówno rozwiązania techniczne (np. hardening modeli AI, izacja systemów), jak i organizacyjne (np. szkolenia, aktualizacja polityk bezpieczeństwa).
Przypadki rzeczywistych ataków, takie jak atak na firmę technologiczną w lutym 2024 roku, pokazują, jak ważna jest szybka adaptacja do nowych zagrożeń.

Przyszłość cyberbezpieczeństwa zależy od tego, jak szybko organizacje będą w stanie dostosować się do nowej rzeczywistości. Te, które podejmą odpowiednie kroki teraz, będą mogły skutecznie chronić się przed nadchodzącymi wyzwaniami i wykorzystać AI do budowania bardziej odpornych systemów.

Czas na działanie jest teraz. Czy Twoja organizacja jest gotowa?