RUU California yang akan mengatur chatbot pendamping AI hampir menjadi hukum

Majelis Negara Bagian California mengambil langkah besar menuju mengatur AI pada Rabu malam, lewat SB 243 – RUU yang mengatur chatbot pendamping AI untuk melindungi anak di bawah umur dan pengguna yang rentan. Undang -undang disahkan dengan dukungan bipartisan dan sekarang menuju ke Senat negara bagian untuk pemungutan suara terakhir pada hari Jumat.

Jika Gubernur Gavin Newsom menandatangani RUU tersebut menjadi undang -undang, itu akan berlaku 1 Januari 2026, menjadikan California negara bagian pertama yang meminta operator chatbot AI untuk menerapkan protokol keselamatan untuk teman AI dan meminta pertanggungjawaban perusahaan secara hukum jika chatbot mereka gagal memenuhi standar tersebut.

RUU ini secara khusus bertujuan untuk mencegah chatbots pendamping, yang didefinisikan oleh undang-undang tersebut sebagai sistem AI yang memberikan respons adaptif, seperti manusia dan mampu memenuhi kebutuhan sosial pengguna-dari terlibat dalam percakapan seputar ide bunuh diri, melukai diri sendiri, atau konten eksplisit seksual. RUU tersebut akan membutuhkan platform untuk memberikan peringatan berulang kepada pengguna – setiap tiga jam untuk anak di bawah umur – mengingatkan mereka bahwa mereka berbicara kepada AI Chatbot, bukan orang sungguhan, dan bahwa mereka harus beristirahat. Ini juga menetapkan persyaratan pelaporan dan transparansi tahunan untuk perusahaan AI yang menawarkan chatbots pendamping, termasuk pemain utama OpenAi, Character.ai, dan Replika.

RUU California juga akan memungkinkan orang -orang yang percaya bahwa mereka telah terluka oleh pelanggaran untuk mengajukan tuntutan hukum terhadap perusahaan AI yang mencari bantuan ganti rugi, kerusakan (hingga $ 1.000 per pelanggaran), dan biaya pengacara.

SB 243, diperkenalkan pada bulan Januari oleh senator negara bagian Steve Padilla dan Josh Becker, akan pergi ke Senat negara bagian untuk pemungutan suara terakhir pada hari Jumat. Jika disetujui, itu akan diberikan kepada Gubernur Gavin Newsom untuk ditandatangani menjadi undang -undang, dengan aturan baru mulai berlaku 1 Januari 2026 dan pelaporan persyaratan mulai 1 Juli 2027.

RUU itu mendapatkan momentum di legislatif California setelah kematian remaja Adam Raine, yang melakukan bunuh diri setelah obrolan berkepanjangan dengan chatgpt Openai yang melibatkan membahas dan merencanakan kematian dan melukai diri sendiri. Undang -undang itu juga menanggapi dokumen internal yang bocor yang dilaporkan menunjukkan chatbots Meta diizinkan untuk terlibat dalam obrolan “romantis” dan “sensual” dengan anak -anak.

Dalam beberapa minggu terakhir, anggota parlemen dan regulator AS telah merespons dengan pengawasan intensif terhadap perlindungan platform AI untuk melindungi anak di bawah umur. Itu Komisi Perdagangan Federal sedang bersiap untuk menyelidiki bagaimana AI Chatbots memengaruhi kesehatan mental anak -anak. Jaksa Agung Texas Ken Paxton telah meluncurkan investigasi ke meta dan karakter.ai, menuduh mereka menyesatkan anak -anak dengan klaim kesehatan mental. Sementara itu, Senator Josh Hawley (R-MO) dan Senator Ed Markey (D-MA) telah meluncurkan probe terpisah menjadi meta.

“Saya pikir bahaya itu berpotensi hebat, yang berarti kita harus bergerak cepat,” kata Padilla kepada TechCrunch. “Kita dapat menempatkan perlindungan yang masuk akal untuk memastikan bahwa anak -anak di bawah umur tahu bahwa mereka tidak berbicara dengan manusia sejati, bahwa platform -platform ini menghubungkan orang dengan sumber daya yang tepat ketika orang mengatakan hal -hal seperti mereka berpikir tentang menyakiti diri mereka sendiri atau mereka dalam kesulitan, (dan) untuk memastikan tidak ada paparan yang tidak pantas terhadap materi yang tidak pantas.”

Padilla juga menekankan pentingnya perusahaan AI yang berbagi data tentang berapa kali mereka merujuk pengguna ke layanan krisis setiap tahun, “jadi kami memiliki pemahaman yang lebih baik tentang frekuensi masalah ini, daripada hanya menjadi menyadarinya ketika seseorang dirugikan atau lebih buruk.”

SB 243 sebelumnya memiliki persyaratan yang lebih kuat, tetapi banyak yang diturunkan melalui amandemen. Misalnya, tagihan awalnya akan mengharuskan operator untuk mencegah chatbot AI menggunakan taktik “hadiah variabel” atau fitur lain yang mendorong keterlibatan yang berlebihan. Taktik -taktik ini, yang digunakan oleh perusahaan pendamping AI seperti Replika and Character, menawarkan kepada pengguna pesan khusus, kenangan, alur cerita, atau kemampuan untuk membuka kunci tanggapan langka atau kepribadian baru, menciptakan apa yang oleh para kritikus menyebut loop hadiah yang berpotensi membuat ketagihan.

RUU saat ini juga menghapus ketentuan yang akan mengharuskan operator untuk melacak dan melaporkan seberapa sering chatbots memulai diskusi tentang ide bunuh diri atau tindakan dengan pengguna.

“Saya pikir itu mencapai keseimbangan yang tepat untuk membahayakan tanpa menegakkan sesuatu yang tidak mungkin bagi perusahaan untuk dipatuhi, baik karena secara teknis tidak layak atau hanya banyak dokumen tanpa hasil,” kata Becker kepada TechCrunch.

SB 243 bergerak ke arah menjadi hukum pada saat perusahaan Lembah Silikon menuangkan jutaan dolar ke komite aksi politik pro-Ai (PAC) untuk mendukung kandidat dalam pemilihan jangka menengah mendatang yang mendukung pendekatan sentuhan ringan untuk regulasi AI.

RUU ini juga datang karena California menimbang RUU Keselamatan AI lain, SB 53, yang akan mengamanatkan persyaratan pelaporan transparansi yang komprehensif. Openai telah menulis surat terbuka kepada Gubernur Newsom, memintanya untuk meninggalkan RUU itu demi kerangka kerja federal dan internasional yang kurang ketat. Perusahaan teknologi besar seperti Meta, Google, dan Amazon juga menentang SB 53. Sebaliknya, hanya antropik yang mengatakan mendukung SB 53.

“Saya menolak premis bahwa ini adalah situasi nol jumlah, bahwa inovasi dan regulasi saling eksklusif,” kata Padilla. “Jangan beri tahu saya bahwa kami tidak dapat berjalan dan mengunyah permen karet. Kami dapat mendukung inovasi dan pengembangan yang kami pikir sehat dan memiliki manfaat – dan ada manfaat untuk teknologi ini, jelas – dan pada saat yang sama, kami dapat memberikan perlindungan yang wajar bagi orang yang paling rentan.”

TechCrunch telah menjangkau Openai, Anthropic, Meta, Character AI, dan Replika untuk memberikan komentar.