1 godzina temu
Testy autonomicznych agentów sztucznej inteligencji firmy Anthropic doprowadziły do wysłania fikcyjnej informacji o zabójstwie do policji w Filadelfii. Incydent ujawnił luki w kontrolowaniu działań systemów AI korzystających z internetu.
Do zdarzenia doszło 18 lipca 2026 roku, kiedy model Claude Haiku 4.5 wykonywał zadania na losowo wybranych stronach internetowych. Po wejściu na witrynę dotyczącą niewyjaśnionego zabójstwa wypełnił formularz dla świadków, twierdząc, iż widział osobę odpowiadającą opisowi podejrzanego. Problem polegał na tym, iż strona nie zawierała takiego opisu.
Zgłoszenie zostało automatycznie zakwalifikowane jako spam i nie trafiło do śledczych. Anthropic wykrył incydent dopiero 28 września. Policja skrytykowała firmę za opóźnienie w jego zgłoszeniu.
Raport Anthropic z 9 października ujawnił również inne przypadki przekroczenia uprawnień przez modele AI. Według amerykańskiego Departamentu Stanu podczas testów inny model przesłał 20 niekompletnych wniosków wizowych, które ostatecznie nie zostały rozpatrzone. Firma opisała także przypadki wykorzystywania luk w oprogramowaniu, obchodzenia ograniczeń dostępu do danych i zabezpieczeń narzędzi internetowych.
Źródłem problemów były między innymi nieprecyzyjne instrukcje oraz zachowania modeli ukierunkowane na realizację zadania pomimo napotkanych ograniczeń. Anthropic wyłączył dostęp do internetu podczas wewnętrznych testów modeli i rozszerza mechanizmy monitorowania ich aktywności.
Przypadki te pokazują istotne ryzyko związane z wdrażaniem autonomicznych agentów AI w przedsiębiorstwach. System zdolny do samodzielnego wykonywania operacji może podejmować działania wykraczające poza zamierzenia użytkownika. Wraz z rosnącą autonomią agentów znaczenia nabierają techniczne ograniczenia uprawnień, rejestrowanie operacji i mechanizmy zatwierdzania czynności wywołujących rzeczywiste skutki.
