Zakazane praktyki w AI Act. Znaczenie dla sektora finansowego

Współautor: Szymon Skalski, Associate EY Law

W odniesieniu do najbardziej szkodliwych praktyk przewidziano dotkliwe kary, sięgające 35 mln euro lub 7% rocznego obrotu naruszającej przepisy instytucji. Przepisy, które stanowią tło tego artykułu, to przede wszystkim art. 5 AI Act, wyjaśniony w motywie 3 i motywach 28–45 AI Act.

Dla sektora finansowego, w którym AI odgrywa coraz większą rolę, również w zarządzaniu ryzykiem, podejmowaniu decyzji kredytowych czy kształtowaniu relacji z klientami, nowe przepisy wymagają precyzyjnego zrozumienia i odpowiedniej implementacji. Sektor finansowy musi dostosować się do zakazów określonych praktyk, zwłaszcza związanych z manipulacją, wykorzystywaniem słabości klienta czy zastosowaniem technik scoringowych, by zapewnić zgodność z przepisami, a także prowadzić działalność w sposób etyczny i transparentny.

Więcej na temat związany z regulacjami sztucznej inteligencji w Unii Europejskiej możecie przeczytać tutaj. W podlinkowanej kategorii znajdziecie teksty tworzone przez ekspertów EY Law.

Wpływ zakazów na manipulację i autonomię klienta

Prawodawca europejski, wdrażając AI Act, przede wszystkim podjął próbę wyznaczenia granic w zakresie wpływu AI na decyzje użytkowników, przeciwdziałając manipulacji, która może ograniczać ich autonomię. Uregulowany w przepisach zakaz ma być środkiem przeciwdziałania sytuacjom, w których system AI przy wykorzystaniu określonych technik podprogowych, manipulacyjnych czy wprowadzających w błąd wpływałby na klientów banków i instytucji finansowych w sposób dla nich niekorzystny.

Zakaz ten dotyczy również zastosowań, w których sztuczna inteligencja mogłaby subtelnie wpływać na decyzje finansowe użytkowników, takie jak wybór produktu kredytowego czy inwestycyjnego, bez ich świadomej percepcji. Na podstawie przepisów AI Act takie techniki, chociaż mogłyby potencjalnie zwiększyć sprzedaż usług, są zakazane, gdyż potencjalnie ograniczają prawo klientów do podejmowania świadomych decyzji finansowych.

Wykorzystywanie słabości klienta – etyczne wyzwania AI w finansach

Kolejną istotną kwestią, która znalazła odbicie w regulacji AI Act, jest ochrona osób szczególnie narażonych na manipulację w wyniku ich sytuacji życiowej, wiekowej czy ekonomicznej. Zakazy dotyczące takich praktyk mają przeciwdziałać sytuacjom, w których systemy AI mogłyby, np. w celu promowania produktów w sposób niekorzystny dla sytuacji finansowej klientów, wykorzystywać określone słabości osób, aby wywołać niekorzystne zmiany ich zachowania.

W praktyce oznacza to, że podmioty sektora finansowego muszą unikać działań, w których systemy AI profilowałyby np. seniorów lub osoby mniej świadome finansowo, nakłaniając je do korzystania z usług kredytowych o wysokim oprocentowaniu lub do dokonywania skomplikowanych inwestycji.

Scoring społeczny i ocena kredytowa – ryzyko dyskryminacji

Obszar zakazów w AI Act obejmuje także scoring społeczny, uznany za szczególnie niebezpieczny ze względu na potencjalne ryzyko dyskryminacji. Przepisy te są kluczowe dla instytucji finansowych, które często korzystają z narzędzi scoringowych do oceny ryzyka kredytowego. AI Act wymaga jednak, aby systemy AI ograniczały się do analizy wyłącznie tych danych, które są bezpośrednio powiązane z sytuacją finansową klienta, takich jak historia kredytowa lub wysokość dochodów.

Scoring nie może prowadzić do dyskryminacji ani wykluczenia osób na podstawie czynników osobistych czy społecznych, które nie są związane z ich sytuacją finansową. Banki, aby zachować zgodność z przepisami, muszą zapewnić, że ocena klientów będzie opierać się wyłącznie na wiarygodnych danych finansowych, bez uwzględniania nieistotnych informacji społecznych, co wspiera uczciwość i transparentność w ocenie ryzyka.

Zakaz kategoryzacji biometrycznej – poszanowanie prywatności klientów

Przepisy AI Act wprowadzają także zakaz kategoryzacji klientów na podstawie danych biometrycznych, w szczególności gdyby miało to służyć wyciąganiu wniosków na temat ich niektórych cech, takich jak przynależność religijna, poglądy polityczne czy orientacja seksualna.

Tego rodzaju działania są uznane za szczególnie inwazyjne i naruszające prywatność. W przypadku sektora finansowego oznacza to, że banki nie mogą stosować technologii AI do przypisywania klientom niektórych cech osobowościowych na podstawie analizy danych biometrycznych w celu wydedukowania lub wywnioskowania informacji na temat opinii politycznych, przynależności do związków zawodowych, przekonań religijnych lub filozoficznych, rasy, życia seksualnego lub orientacji seksualnej danej osoby.

Systemy przewidywania przestępczości a ryzyko nadużyć w finansach

Kwestia profilowania pod kątem przewidywanego ryzyka przestępczego to kolejny istotny obszar uregulowany w AI Act. Sektor finansowy, zwłaszcza banki, korzysta z zaawansowanych systemów monitorowania oszustw, co wymaga, aby prognozy ryzyka bazowały wyłącznie na obiektywnych i sprawdzalnych danych. AI Act zakazuje tworzenia systemów przewidywania przestępstw opartych wyłącznie na profilowaniu, ocenie cech osobowych lub osobowościowych.

Scraping danych i zakaz budowania baz wizerunków twarzy

AI Act przewiduje także zakaz scrapingu danych biometrycznych, czyli pozyskiwania wizerunków twarzy klientów z Internetu w celu ich analizy bez zgody właścicieli. Sektor finansowy, zwłaszcza banki i instytucje zarządzające ryzykiem, musi unikać takich praktyk i dbać o przestrzeganie zasad zgody w zakresie pozyskiwania danych biometrycznych.

Przykładem sytuacji, której zabraniają przepisy AI Act, jest pozyskiwanie z mediów społecznościowych zdjęć klientów do oceny ich wiarygodności lub tworzenia profilu ryzyka.

Zakaz systemów rozpoznawania emocji – ochrona prywatności i autonomii w miejscu pracy

W kontekście bieżącej działalności operacyjnej podmiotów sektora finansowego należy zwrócić uwagę, że AI Act zawiera również zakaz wykorzystywania systemów AI do rozpoznawania emocji w miejscu pracy. Oznacza to zasadniczo zakaz stosowania technologii, które monitorowałyby emocje pracowników. Zgodnie z AI Act takie systemy mogłyby prowadzić do inwazyjnych form kontroli oraz ograniczenia autonomii pracowników, co stanowiłoby niedopuszczalną ingerencję w wolność osób.

W kontekście finansowym przykładem zakazanego działania byłoby wdrażanie technologii AI, które analizowałyby emocje pracowników działu obsługi klienta w celu monitorowania ich reakcji. Tym samym AI Act chroni ich prawo do prywatności, podkreślając, że technologie oparte na analizie emocji nie mogą wpływać na decyzje kadrowe ani procesy biznesowe w instytucjach finansowych.

Wnioski – przyszłość AI w sektorze finansowym

AI Act jest kluczową regulacją, która zaczyna nową erę w zarządzaniu technologią sztucznej inteligencji w Unii Europejskiej. Wymaga ona bowiem od instytucji finansowych rygorystycznego przestrzegania norm etycznych i prawnych. Przepisy dotyczące zakazanych praktyk, które zaczną obowiązywać 2 lutego 2025 r., nakładają restrykcje na stosowanie AI w sposób, który negatywnie oddziałuje na jednostki, w szczególności poprzez wykorzystanie technik manipulacyjnych czy nieodpowiednie korzystanie z danych, szczególnie danych biometrycznych.

Dla sektora finansowego oznacza to konieczność przeprowadzenia kompleksowego audytu istniejących systemów sztucznej inteligencji oraz ich klasyfikacji pod kątem zgodności z przepisami. Wprowadzone zakazy są istotne szczególnie dla systemów stosowanych w ocenie zdolności kredytowej, zarządzaniu ryzykiem oraz w działaniach marketingowych, a także w ramach wewnętrznej organizacji danego podmiotu. Dostosowanie się do wymogów wynikających z AI Act wymaga stworzenia struktur zgodności i audytu wewnętrznego, umożliwiających ciągły monitoring działań AI oraz transparentne informowanie klientów o stosowaniu technologii sztucznej inteligencji. Konieczność rejestrowania i dokumentowania wszystkich sposobów wykorzystywania AI jest kluczowym procesem, ponieważ w przypadku potencjalnych naruszeń wykaże zgodność z przepisami i podjęte środki zapobiegawcze. Wprowadzenie procedur audytu pozwoli na ocenę ryzyka i minimalizację możliwości stosowania praktyk niezgodnych z przepisami.

W ramach zapewniania zgodności z przepisami dotyczącymi zakazanych praktyk organizacje muszą pamiętać, że objęte tymi przepisami będą nie tylko rozbudowane lub zaawansowane systemy AI czy też systemy AI tworzone wprost do osiągnięcia zakazanych efektów. Wątpliwości na gruncie praktyk zakazanych mogą pojawiać się również w przypadkach wykorzystywania systemów obsługujących i wspierających standardowe procesy biznesowe. Przykładowo trudności w praktyce może budzić jednoznaczne rozgraniczenie systemów AI służących do „dozwolonego” wpływu na zachowania klientów (np. systemów do rekomendacji treści czy produktów na podstawie analizy zachowań klienta w celu ustalenia jego potrzeb i sprzedaży produktów) od rozwiązań wykorzystujących już zakazaną manipulację czy wywieranie wpływu. Z tego powodu konieczne jest przeprowadzenie szerokiego audytu i dogłębnej oceny wszystkich stosowanych w organizacji rozwiązań, które potencjalnie spełniają kryteria uznania ich za systemy AI w rozumieniu AI Act.

AI Act nakłada surowe kary finansowe za naruszenia w przypadku właśnie praktyk zakazanych. Sięgają one najwyższego pułapu – do 35 mln euro lub 7% globalnego rocznego obrotu firmy. Instytucje finansowe muszą zatem przyjąć aktywne podejście do zapewnienia zgodności z regulacją poprzez tworzenie systemów kontroli stosowanych rozwiązań opartych na AI, zanim te wpłyną na sytuację klientów czy zaczną wobec nich być stosowane. W dłuższej perspektywie wdrożenie AI Act nie tylko ochroni klientów i ich prawa, lecz także umożliwi instytucjom finansowym budowanie relacji bazujących na zaufaniu i transparentności, zgodnych z wartościami etycznymi Unii Europejskiej.