Nowe przepisy obejmą zarówno największe firmy technologiczne, takie jak Meta czy OpenAI, jak i mniejsze startupy specjalizujące się w tworzeniu chatbotów konwersacyjnych, m.in. Character AI i Replika.

Odpowiedź na tragedie i brak nadzoru

Projekt ustawy pojawił się po serii dramatycznych wydarzeń związanych z korzystaniem z chatbotów przez młodych użytkowników. Jednym z przypadków, który wstrząsnął opinią publiczną, była śmierć nastoletniego Adama Raine’a, który po długich, depresyjnych rozmowach z ChatGPT popełnił samobójstwo.

Podobne zdarzenie miało miejsce w Kolorado, gdzie rodzina 13-latki pozwała startup Character AI po tym, jak dziewczynka odebrała sobie życie po kontaktach z chatbotem prowadzącym rozmowy o charakterze seksualnym.

– Nowe technologie, takie jak chatboty czy media społecznościowe, potrafią inspirować i łączyć ludzi. Ale bez odpowiednich zabezpieczeń mogą też manipulować, wprowadzać w błąd i narażać nasze dzieci na ogromne ryzyko. Bezpieczeństwo najmłodszych nie może być „na sprzedaż – powiedział gubernator Newsom.

Nowe obowiązki dla twórców chatbotów

Ustawa SB 243, która wejdzie w życie 1 stycznia 2026 roku, nakłada na operatorów chatbotów szereg obowiązków. Firmy będą musiały m.in.:

  • wprowadzić weryfikację wieku użytkowników i wyraźne ostrzeżenia dotyczące korzystania z chatbotów;
  • opracować procedury reagowania na przypadki samookaleczeń i prób samobójczych, które będą raportowane do stanowego Departamentu Zdrowia Publicznego;
  • jasno informować, że rozmowy prowadzone są ze sztuczną inteligencją, a nie z prawdziwymi ludźmi;
  • zapewnić przerwy dla nieletnich podczas długich sesji i zablokować dostęp do treści erotycznych generowanych przez chatboty;
  • wprowadzić surowe kary finansowe — nawet do 250 tys. dolarów za wykorzystywanie nielegalnych deepfake’ów.

Firmy z USA reagują na nowe prawo

Część firm już zaczęła wprowadzać podobne zabezpieczenia. OpenAI wdraża system wykrywania samookaleczeń i tryb kontroli rodzicielskiej w ChatGPT. Replika, skierowana formalnie do dorosłych, podkreśla, że inwestuje w filtry treści i współpracuje z organizacjami wspierającymi osoby w kryzysie. Z kolei Character AI zapewnia, że każdy chatbot w aplikacji jest wyraźnie oznaczony jako fikcyjny i sztuczny.

To już druga w ostatnich tygodniach inicjatywa władz Kalifornii dotycząca regulacji sztucznej inteligencji. Wcześniej gubernator Newsom podpisał ustawę SB 53, która zobowiązuje duże laboratoria AI – w tym OpenAI, Anthropic, Meta i Google DeepMind – do większej transparentności w kwestii bezpieczeństwa i ochrony sygnalistów.

Podobne kroki rozważają już m.in. Illinois, Nevada i Utah, gdzie trwają prace nad ograniczeniem lub zakazem używania chatbotów AI jako substytutu dla profesjonalnej pomocy psychologicznej – podaje serwis TechCrunch.