AI może się pomylić. Problem zaczyna się wtedy, gdy nikt nie wie, kto za to odpowiada

Algorytm odrzucił wniosek kredytowy, choć klient spełniał wszystkie kryteria. System błędnie ocenił ryzyko transakcji i zablokował ważnego kontrahenta. Model AI zarekomendował decyzję, która kosztowała firmę miliony złotych. W takich sytuacjach zarząd zwykle nie pyta, dlaczego pomyliła się sztuczna inteligencja. Pyta znacznie prościej: kto odpowiada za tę decyzję?

To pytanie będzie pojawiać się coraz częściej. Firmy wdrażają AI w procesach sprzedaży, finansów, obsługi klienta, HR czy logistyki, a jednocześnie dopiero uczą się zarządzać odpowiedzialnością za decyzje podejmowane z udziałem algorytmów. Paradoks polega na tym, iż największym ryzykiem nie jest dziś sama technologia. Największym ryzykiem jest brak jasnego właściciela decyzji.

Sztuczna inteligencja nie ponosi odpowiedzialności. Nie ma osobowości prawnej, nie odpowiada przed sądem i nie wyjaśni swoich działań przed radą nadzorczą. Odpowiada organizacja. To ona zdecydowała o wdrożeniu systemu, określiła jego rolę w procesie biznesowym i zaakceptowała sposób jego wykorzystania.

To ważna różnica, ponieważ w debacie o AI często skupiamy się na możliwościach technologii, zapominając, iż odpowiedzialność za jej użycie pozostaje po stronie ludzi.

Problem w tym, iż w wielu organizacjach odpowiedzialność za AI jest rozproszona. Biznes definiuje cele projektu i oczekiwane rezultaty. Dział IT wybiera rozwiązanie oraz odpowiada za jego integrację. Zespół danych przygotowuje informacje, na których pracuje model. Dostawca rozwija technologię, a dział prawny lub compliance ocenia zgodność z regulacjami. Każdy odpowiada za fragment procesu, ale gdy pojawia się błąd, bardzo gwałtownie okazuje się, iż nikt nie czuje się właścicielem całej decyzji.

To właśnie w tym miejscu zaczyna się problem governance, a nie technologii.

Błędna decyzja systemu AI niemal nigdy nie jest efektem jednego wydarzenia. Zwykle jest konsekwencją wielu wcześniejszych decyzji. Być może model został wytrenowany na nieaktualnych danych. Być może firma niewłaściwie zdefiniowała zasady działania systemu. Czasem zawodzi integracja z innymi aplikacjami, a czasem pracownik bezrefleksyjnie akceptuje rekomendację wygenerowaną przez algorytm.

Dlatego coraz częściej mówi się, iż AI nie podejmuje jednej decyzji. Przechodzi przez całą organizację. Każdy etap tego procesu może stać się źródłem błędu i jednocześnie miejscem, w którym pojawia się odpowiedzialność.

To również wyjaśnia, dlaczego tak często błędnie interpretuje się AI Act. Wielu menedżerów oczekuje, iż nowe przepisy jednoznacznie wskażą, kto odpowiada za decyzje systemów sztucznej inteligencji. Tak się jednak nie dzieje. Rozporządzenie określa obowiązki dostawców i podmiotów wykorzystujących AI, nakłada wymagania dotyczące zarządzania ryzykiem, dokumentacji, nadzoru czy jakości danych, ale nie tworzy prostego schematu odpowiedzialności dla każdej sytuacji biznesowej.

Innymi słowy, prawo wyznacza ramy działania, ale nie zastępuje zarządu w organizacji odpowiedzialności.

To oznacza, iż każda firma musi samodzielnie odpowiedzieć na kilka fundamentalnych pytań. Kto zatwierdza wykorzystanie AI w procesie biznesowym? Kto monitoruje jakość działania modelu po wdrożeniu? Kto ma prawo wstrzymać jego działanie, gdy pojawią się nieprawidłowości? I wreszcie, kto bierze odpowiedzialność za skutki decyzji wobec klienta lub partnera biznesowego?

W praktyce odpowiedź bardzo rzadko brzmi: dostawca.

To jeden z najczęściej powielanych mitów wokół sztucznej inteligencji. Dostawca odpowiada za jakość własnego rozwiązania, zgodność z wymaganiami regulacyjnymi oraz zobowiązania wynikające z umowy. Nie odpowiada jednak za sposób, w jaki organizacja wykorzystuje jego produkt. o ile firma wdroży model w niewłaściwym procesie, zastosuje błędne dane, zignoruje sygnały ostrzegawcze lub zrezygnuje z odpowiedniego nadzoru człowieka, odpowiedzialność pozostanie po jej stronie.

Dlatego coraz większego znaczenia nabierają nie tylko same technologie, ale także zasady współpracy z dostawcami. Umowy dotyczące rozwiązań AI przestają być standardowymi kontraktami na zakup oprogramowania. Coraz częściej obejmują kwestie jakości danych, odpowiedzialności za błędy modeli, zasad korzystania z danych klienta, procedur reagowania na incydenty czy zakresu wsparcia po wdrożeniu. To właśnie tam w praktyce rozstrzyga się wiele sporów, zanim jeszcze dojdzie do pierwszego problemu.

Najbardziej dojrzałe organizacje podchodzą jednak do tego szerzej. Nie koncentrują się na szukaniu winnych po wystąpieniu błędu, ale projektują odpowiedzialność jeszcze przed uruchomieniem systemu. Określają właściciela procesu biznesowego, przypisują role poszczególnym zespołom, tworzą procedury monitorowania jakości modeli i jasno definiują moment, w którym człowiek powinien przejąć kontrolę nad decyzją.

To podejście coraz częściej określa się mianem AI governance. Nie jest to kolejna warstwa biurokracji ani wyłącznie wymóg wynikający z regulacji. To sposób zarządzania technologią, która coraz częściej wpływa na najważniejsze decyzje biznesowe.

W najbliższych latach przewagę zyskają nie tylko firmy, które najszybciej wdrożą sztuczną inteligencję. Równie ważne będzie to, które organizacje najszybciej zbudują przejrzyste zasady odpowiedzialności za decyzje podejmowane z jej udziałem.

Bo w świecie AI najważniejsze pytanie brzmi: czy organizacja zawczasu ustaliła, kto weźmie odpowiedzialność za błąd AI.