AI miała łapać złodziei samochodów. Zamiast tego wskazywała niewinne osoby

Kamery wykorzystujące sztuczną inteligencję miały być nowoczesnym narzędziem do walki z przestępczością. System Flock Safety jest dziś używany przez tysiące społeczności w Stanach Zjednoczonych i analizuje miliardy przejazdów samochodów każdego miesiąca. Technologia potrafi rozpoznać tablice rejestracyjne, kolor, markę i model pojazdu, a następnie pozwala służbom przeszukiwać ogromną bazę danych.

Szybko okazało się jednak, że AI nie jest nieomylna, co opisuje serwis Business Insider.

W Roseville w Kalifornii przeprowadzono wewnętrzny audyt działania systemu. Policja przeanalizowała 1427 przypadków, w których kamery oznaczyły pojazd jako skradziony lub powiązany z przestępstwem. Wynik był zaskakujący — aż 71 proc. zgłoszeń wynikało z błędnego odczytania tablic rejestracyjnych. Oznacza to ponad tysiąc fałszywych alarmów w ciągu dwóch lat.

Firma Flock Safety przekonuje, że problem wynikał ze specyficznego sposobu montażu kamer w Roseville. Miasto zdecydowało się rejestrować samochody wyłącznie od tyłu, aby ograniczyć ryzyko zbierania danych o kierowcach. Według producenta takie ustawienie obniżyło skuteczność systemu.

Błędy nie były wyłącznie statystycznym problemem. Jeden z policjantów przyznał, że znał na pamięć tablicę konkretnego kierowcy, ponieważ system pomylił ją już co najmniej sześć razy.

Za każdym razem kamera zamieniała cyfrę "9" na "8". Takie pomyłki mogą występować, gdy zdjęcie jest niewyraźne, tablica jest zabrudzona albo zasłonięta przez ramkę czy element otoczenia.

Na szczęście w Roseville każde wskazanie było dodatkowo sprawdzane przez funkcjonariuszy. Dzięki temu żaden z błędnych alarmów nie zakończył się zatrzymaniem niewinnego kierowcy.

Problemy z systemem Flock pojawiły się także w innych miejscach. W Los Angeles policja nie przedłużyła umowy z firmą po audycie, który wykazał, że w ciągu dwóch miesięcy doszło do 161 zatrzymań niewinnych osób. Jednym z powodów były nieaktualne lub błędne dane pochodzące z innych regionów.

Krytycy zwracają uwagę, że problem nie dotyczy wyłącznie skuteczności. Ich zdaniem tak rozbudowane systemy monitorowania pojazdów mogą stać się narzędziem masowej inwigilacji. Kontrowersje zwiększa fakt, że niektórzy funkcjonariusze mieli wykorzystywać dostęp do baz danych niezgodnie z przeznaczeniem, między innymi do śledzenia byłych partnerek.

Systemy takie jak Flock mogą ułatwiać odnajdywanie skradzionych samochodów czy poszukiwanych osób. Jednak przykład z Kalifornii pokazuje, że sztuczna inteligencja w służbach wymaga ostrożnego wdrażania.

Algorytm może analizować miliardy danych w ułamku sekundy, ale pojedyncza pomyłka może mieć realne konsekwencje dla niewinnej osoby. Dlatego coraz częściej pojawia się pytanie: gdzie kończy się pomoc technologii, a zaczyna niebezpieczna automatyzacja nadzoru?