Nowy standard. Twoje centrum tworzenia inteligentnego, szybkiego i zrównoważonego oprogramowania AI

Zobacz teraz
Słownik/AI i uczenie maszynowe

Zarządzanie ryzykiem AI

Zarządzanie ryzykiem AI to dyscyplina polegająca na identyfikowaniu, mierzeniu, ograniczaniu i monitorowaniu szkód, jakie może spowodować system AI.

Czym jest zarządzanie ryzykiem AI?

Zarządzanie ryzykiem AI określa, które awarie systemu AI firma jest gotowa zaakceptować i kto ponosi za nie odpowiedzialność, gdy już do nich dojdzie. Obejmuje każdy system AI, który firma tworzy lub kupuje, i traktuje błędy modelu jako ryzyko, którym trzeba zarządzać: z przypisanym właścicielem i mechanizmami kontrolnymi działającymi także po wdrożeniu.

Obejmuje ono ryzyka charakterystyczne dla sposobu działania AI. Model językowy może z pełnym przekonaniem podać nieprawdę, co NIST nazywa konfabulacją, a większość zespołów halucynacją. Model wytrenowany na historycznych decyzjach może odtwarzać obecną w nich stronniczość. Drift modelu pojawia się wtedy, gdy dane, które model widzi na produkcji, zaczynają odbiegać od danych, na których się uczył, a trafność spada, choć kod się nie zmienia. Prompt injection, czyli sytuacja, w której tekst ukryty w danych wejściowych nadpisuje instrukcje modelu, zajmuje pierwsze miejsce na liście OWASP Top 10 for LLM Applications 2025. Wyciek danych oznacza, że model ujawnia dane treningowe, prompty systemowe, dane klientów lub klucze API, do których dostał dostęp.

Większość organizacji opiera te działania na jednej z dwóch rodzin ram postępowania. NIST AI Risk Management Framework (AI RMF 1.0), opublikowany 26 stycznia 2023 roku, ma charakter dobrowolny i porządkuje pracę w czterech obszarach: Govern, Map, Measure i Manage. Jego Generative AI Profile, NIST AI 600-1, opublikowany 26 lipca 2024 roku, stosuje tę strukturę do modeli generatywnych i koncentruje się na 12 rodzajach ryzyka i nieco ponad 200 zalecanych działaniach. NIST informuje, że AI RMF 1.0 jest obecnie aktualizowany w ramach ogłoszonego przez Biały Dom w lipcu 2025 roku AI Action Plan; na październik 2026 wersja 1.0 pozostaje aktualną wersją.

Po stronie ISO ISO/IEC 23894:2023 dostosowuje ogólne wytyczne dotyczące zarządzania ryzykiem do AI, a ISO/IEC 42001:2023, opublikowana w grudniu 2023 roku, określa wymagania dla systemu zarządzania AI, który może zostać certyfikowany przez zewnętrznego audytora. Zespoły często łączą oba standardy: 42001 zapewnia strukturę zarządzania, a 23894 opisuje, jak prowadzić w jej ramach proces zarządzania ryzykiem.

Jak zarządzanie ryzykiem AI chroni twój biznes?

  • Ryzyko prawne w świetle unijnego AI Act. AI Act (Rozporządzenie (UE) 2024/1689) dzieli AI na cztery poziomy: praktyki zakazane, systemy wysokiego ryzyka, systemy objęte obowiązkami w zakresie przejrzystości, takie jak chatboty, oraz systemy minimalnego ryzyka, dla których nie wprowadzono nowych obowiązków.

    Zakazy obowiązują od 2 lutego 2025 roku, a obowiązki dla modeli AI ogólnego przeznaczenia od 2 sierpnia 2025 roku. Artykuł 9 wymaga od dostawców systemów wysokiego ryzyka, takich jak AI do selekcji kandydatów do pracy czy oceny zdolności kredytowej, prowadzenia udokumentowanego systemu zarządzania ryzykiem przez cały cykl życia systemu.

    Digital Omnibus on AI (Rozporządzenie (UE) 2026/1744), obowiązujący od 27 lipca 2026 roku, przesunął ten termin dla samodzielnych systemów z załącznika III z 2 sierpnia 2026 roku na 2 grudnia 2027 roku, a dla AI wbudowanej w produkty już objęte unijnym prawem bezpieczeństwa (załącznik I) na 2 sierpnia 2028 roku. Zgodnie z artykułem 99 grzywny za praktyki zakazane sięgają 35 mln euro lub 7% rocznego światowego obrotu, zależnie od tego, która kwota jest wyższa, więc firma z obrotem 2 mld euro może zapłacić maksymalnie 140 mln euro.

  • Awarie, które wychodzą na jaw po wdrożeniu i wpadają między zespoły. Model, który przeszedł wszystkie testy przed wdrożeniem, może zacząć błędnie klasyfikować dane, gdy zmieni się zachowanie klientów, albo ujawnić swój prompt systemowy pierwszemu użytkownikowi, który odpowiednio sformułuje zapytanie. Tego typu incydenty leżą na styku data science i bezpieczeństwa, a każdy zespół zwykle zakłada, że sprawdził to ten drugi. Zarządzanie ryzykiem AI przypisuje każdemu wdrożonemu modelowi osobę odpowiedzialną i monitoring, który informuje ją, gdy coś się zmienia.

Jak działa zarządzanie ryzykiem AI?

  • Govern określa zasady i właścicieli. Organizacja definiuje swoją tolerancję na ryzyko i wyznacza osobę odpowiedzialną za każdy system AI. Prowadzi też rejestr wszystkich używanych modeli, także tych osadzonych w kupowanym oprogramowaniu. NIST traktuje Govern jako obszar przekrojowy: wpływa on na sposób działania pozostałych trzech funkcji, zamiast być jednorazowym etapem na początku.

  • Map ustala kontekst dla jednego systemu. Zespół dokumentuje, do czego służy system i jakie skutki dla osób, których dotyczy, niesie błędna odpowiedź. To także moment, w którym system otrzymuje swoją klasyfikację w AI Act, ponieważ narzędzie do selekcji CV i wewnętrzna wyszukiwarka trafiają do różnych kategorii i wiążą się z bardzo różnymi obowiązkami.

  • Measure zamienia ryzyka w liczby i wyniki testów. Do takich miar należą wskaźnik halucynacji na stałym zbiorze ewaluacyjnym, różnice w poziomie błędów między grupami demograficznymi, odsetek skutecznych ataków red-teamowych oraz częstotliwość, z jaką model ujawnia dane, które powinien zachować w poufności. Red teaming oznacza celowe atakowanie systemu przy użyciu antagonistycznych danych wejściowych, aby wykryć awarie, zanim zrobią to użytkownicy lub atakujący.

  • Manage decyduje, co zrobić z każdym ryzykiem. Każde zidentyfikowane ryzyko jest ograniczane, przenoszone, akceptowane albo eliminowane, a decyzję zapisuje się wraz z przypisanym właścicielem. Środki ograniczające obejmują zarówno guardraile dla wejścia i wyjścia, jak i weryfikację decyzji o wysokiej stawce przez człowieka. Ostatecznością jest wycofanie systemu.

  • Monitoring domyka pętlę na produkcji. Detektory driftu i raporty o incydentach wracają do etapów Map i Measure, dzięki czemu obraz ryzyka aktualizuje się wraz ze zmianami modelu i jego danych. Aktualizacja wersji po stronie dostawcy modelu także liczy się jako zmiana i uruchamia nową rundę pomiarów.

Jakich narzędzi zespoły używają do zarządzania ryzykiem AI?

  • Red teaming i skanowanie podatności. PyRIT, open-source'owe narzędzie Microsoftu Python Risk Identification Tool, automatyzuje ataki antagonistyczne na generatywne systemy AI. garak, open-source'owy skaner podatności LLM od NVIDIA, bada modele pod kątem prompt injection, jailbreaków, wycieku danych i halucynacji.

  • Ewaluacja i monitoring na produkcji. Evidently AI to framework open source na licencji Apache 2.0, który śledzi drift danych w klasycznych modelach ML i ocenia wyniki LLM pod kątem halucynacji, ekspozycji PII, toksyczności i zgodności z faktami. Arize AI śledzi i ocenia zachowanie LLM i agentów na produkcji, oferując również opcję open source, Phoenix, do samodzielnego hostowania.

  • Platformy do governance i zgodności z przepisami. Credo AI prowadzi rejestr systemów AI w organizacji i mapuje je na gotowe pakiety polityk dla AI Act, NIST AI RMF i innych ram postępowania. IBM watsonx.governance łączy w jednej platformie ocenę ryzyka w całym cyklu życia, mapowanie regulacji, egzekwowanie polityk i monitoring modeli.

Jakie są najważniejsze cechy zarządzania ryzykiem AI?

  • Obejmuje cały cykl życia systemu. Ryzyko jest oceniane przed wdrożeniem modelu i monitorowane na produkcji aż do jego wycofania. Unijny AI Act zapisuje to w artykule 9, który opisuje system zarządzania ryzykiem jako proces ciągły i iteracyjny.

  • Uwzględnia szkody dla osób znajdujących się poza systemem. Tradycyjne ryzyko IT pyta, co stanie się z firmą. Zarządzanie ryzykiem AI pyta też, co stanie się z kandydatem do pracy odrzuconym przez system albo pacjentem, który otrzymał błędne podsumowanie, dlatego NIST określa ryzyko AI jako społeczno-techniczne.

  • Skala działań zależy od poziomu ryzyka. Wewnętrzne narzędzie do tworzenia podsumowań i model scoringu kredytowego oba przechodzą ocenę, ale tylko drugi wymaga testów stronniczości w grupach chronionych i dokumentacji zgodności. Ta proporcjonalność pozwala utrzymać rozsądne koszty przy dużym portfolio systemów AI.

  • Dowody są częścią efektu końcowego. Każda decyzja zostawia po sobie ślad: wyniki testów, zaakceptowane ryzyka, właścicieli i daty. To właśnie o tę dokumentację poprosi audytor ISO/IEC 42001 albo zespół prowadzący przegląd bezpieczeństwa po stronie klienta enterprise.

  • Odpowiedzialność obejmuje cały łańcuch dostaw. Większość produktów AI opiera się na modelu wytrenowanym przez kogoś innego. Firma, która wytrenowała model, i firma, która buduje na nim produkt, każda odpowiada za część ryzyka, a umowy muszą jasno określać, za którą.

Jakie korzyści daje zarządzanie ryzykiem AI?

  • Krótsze cykle sprzedaży do klientów enterprise. Duzi kupujący wysyłają dziś podczas procesu zakupowego ankiety dotyczące konkretnie AI. Zespół, który ma gotowy rejestr ryzyk i dokumentację testów, może odpowiadać na ich podstawie, zamiast przygotowywać odpowiedzi osobno dla każdej transakcji.

  • Mniej niespodzianek na produkcji. Alerty driftu i zaplanowane ponowne ewaluacje wychwytują spadek trafności, kiedy jest jeszcze tylko wskaźnikiem na dashboardzie, zanim stanie się skargą klienta albo błędną decyzją podejmowaną na dużą skalę.

  • Jasna ścieżka do zgodności z unijnym AI Act. Wczesne przypisanie każdego systemu do odpowiedniej kategorii pokazuje firmie, które produkty wymagają pełnego reżimu dla systemów wysokiego ryzyka, a którym wystarczą głównie obowiązki przejrzystości. Wtedy termin grudzień 2027 roku staje się zaplanowanym projektem, a nie nerwową gonitwą.

  • Kontrole, które można wykorzystać ponownie w kolejnych projektach. Gdy zespół ma już harness do ewaluacji i warstwę guardraili, kolejne funkcje AI dziedziczą te rozwiązania. Drugi i trzeci projekt kosztują mniej, jeśli chodzi o objęcie ich kontrolą, niż pierwszy.

  • Lepsze wybory modeli i dostawców. Porównanie modeli kandydackich za pomocą tych samych testów ryzyka daje zespołom produktowym solidną podstawę do wyboru między większym modelem hostowanym przez dostawcę a mniejszym modelem hostowanym samodzielnie, niezależnie od wyników benchmarków i ceny.

Jakie są wyzwania związane z zarządzaniem ryzykiem AI?

  • Pomiar wymaga oznaczonych danych, które szybko się starzeją. Wskaźniki halucynacji i stronniczości mają sens tylko wtedy, gdy odnoszą się do przygotowanego zbioru ewaluacyjnego ze znanymi poprawnymi odpowiedziami. Zbudowanie go wymaga czasu ekspertów dziedzinowych, a każda zmiana produktu, która wpływa na to, o co pytają użytkownicy, obniża jego przydatność, więc taki zbiór wymaga stałego budżetu na utrzymanie.

  • Modele zewnętrznych dostawców ograniczają widoczność. Firma korzystająca z hostowanego modelu bazowego widzi jego wyniki i dokumentację dostawcy, ale niewiele więcej. Przypięcie konkretnej wersji modelu stabilizuje zachowanie na potrzeby testów, ale opóźnia wdrożenie poprawek jakości i bezpieczeństwa od dostawcy, dopóki zespół nie przeprowadzi ponownie ewaluacji na nowej wersji.

  • Guardraile utrudniają życie prawdziwym użytkownikom. Filtry wejścia i wyjścia ograniczają prompt injection i szkodliwe treści, ale zwiększają też opóźnienia i blokują część prawidłowych żądań. Zaostrzenie filtra obniża jedno ryzyko, a jednocześnie podnosi odsetek fałszywych alarmów, o których później słyszą zespoły wsparcia.

  • Zmieniające się harmonogramy regulacyjne kuszą, by czekać. Digital Omnibus dał dostawcom systemów wysokiego ryzyka dodatkowe 16 miesięcy. Odłożenie tych działań oszczędza budżet w 2026 roku, ale później ściska ten sam zakres testów i prac nad zgodnością w krótszym oknie przed grudniem 2027 roku.

  • Rozbudowane governance spowalnia eksperymenty. Kierowanie każdego prototypu do pełnego przeglądu zabija tempo. Lżejsza ścieżka dla zastosowań niskiego ryzyka przywraca szybkość, ale wymaga utrzymywania reguł klasyfikacji i wychwytywania tych nielicznych systemów, którym przypisano zbyt niski poziom ryzyka.

Czym zarządzanie ryzykiem AI różni się od tradycyjnego zarządzania ryzykiem w tworzeniu oprogramowania?

Aspekt

Zarządzanie ryzykiem AI

Tradycyjne zarządzanie ryzykiem w tworzeniu oprogramowania

Co jest zagrożone

Zachowanie modelu i osoby, na które wpływają jego wyniki

Dostarczenie projektu: harmonogram, budżet, zakres i jakość kodu

Jak zachowują się awarie

Probabilistyczne, więc te same dane wejściowe mogą dawać różne wyniki

Powtarzalnie, więc defekt wraca w tych samych warunkach

Kiedy ryzyko się zmienia

Także po wdrożeniu, gdy zmieniają się dane i sposób użycia

Głównie wtedy, gdy zmienia się kod lub zależności

Jak się je testuje

Ewaluacja statystyczna i adversarial red teaming

Przypadki testowe typu pass/fail i review kodu

Ramy odniesienia

NIST AI RMF i ISO/IEC 42001

ISO 31000 i metody zarządzania projektami, takie jak PMBOK od PMI

Podstawa prawna

Przepisy dotyczące AI, takie jak unijny AI Act

Warunki umów i ogólne przepisy dotyczące bezpieczeństwa oraz ochrony danych

FAQ o zarządzaniu ryzykiem AI

Zarządzanie ryzykiem AI: potrzebujesz wsparcia ekspertów?

Monterail tworzy oprogramowanie na zamówienie z wykorzystaniem najnowszych technologii. Porozmawiajmy o tym, jak możemy pomóc w Twoim projekcie.

POZNAJ USŁUGI AI