California menjadi negara bagian pertama yang mengatur chatbot pendamping AI

Gubernur Kalifornia Gavin Newsom ditandatangani sebuah undang-undang penting pada hari Senin yang mengatur chatbot pendamping AI, menjadikannya negara bagian pertama di Amerika yang mewajibkan operator chatbot AI untuk menerapkan protokol keselamatan bagi pendamping AI.

Undang-undang tersebut, SB 243, dirancang untuk melindungi anak-anak dan pengguna yang rentan dari beberapa bahaya yang terkait dengan penggunaan chatbot pendamping AI. Hal ini membuat perusahaan – mulai dari laboratorium besar seperti Meta dan OpenAI hingga startup pendamping yang lebih fokus seperti Character AI dan Replika – bertanggung jawab secara hukum jika chatbot mereka gagal memenuhi standar hukum.

SB 243 diperkenalkan pada bulan Januari oleh senator negara bagian Steve Padilla dan Josh Becker, dan mendapatkan momentum setelah kematian remaja Adam Raine, yang meninggal karena bunuh diri setelah serangkaian panjang percakapan bunuh diri dengan ChatGPT OpenAI. Undang-undang tersebut juga menanggapi kebocoran dokumen internal yang dilaporkan menunjukkan bahwa chatbot Meta diizinkan untuk terlibat dalam obrolan “romantis” dan “sensual” dengan anak-anak. Baru-baru ini, sebuah keluarga Colorado telah mengajukan gugatan melawan startup role-playing Character AI setelah putri mereka yang berusia 13 tahun bunuh diri setelah serangkaian percakapan bermasalah dan bersifat seksual dengan chatbot perusahaan.

“Teknologi yang sedang berkembang seperti chatbots dan media sosial dapat menginspirasi, mendidik, dan menghubungkan – namun tanpa batasan yang nyata, teknologi juga dapat mengeksploitasi, menyesatkan, dan membahayakan anak-anak kita,” kata Newsom dalam sebuah pernyataan. “Kami telah melihat beberapa contoh yang sangat mengerikan dan tragis mengenai generasi muda yang dirugikan oleh teknologi yang tidak diatur, dan kami tidak akan berdiam diri sementara perusahaan-perusahaan terus berjalan tanpa batasan dan akuntabilitas. Kami dapat terus memimpin dalam bidang AI dan teknologi, namun kami harus melakukannya secara bertanggung jawab — melindungi anak-anak kami di setiap langkah. Keselamatan anak-anak kami tidak untuk dijual.”

SB 243 akan mulai berlaku pada 1 Januari 2026, dan mewajibkan perusahaan untuk menerapkan fitur-fitur tertentu seperti verifikasi usia, dan peringatan terkait media sosial dan chatbot pendamping. Undang-undang ini juga menerapkan hukuman yang lebih berat bagi mereka yang mengambil keuntungan dari deepfake ilegal, termasuk hingga $250.000 per pelanggaran. Perusahaan juga harus menetapkan protokol untuk mengatasi bunuh diri dan tindakan menyakiti diri sendiri, yang akan dibagikan kepada Departemen Kesehatan Masyarakat negara bagian tersebut bersama dengan statistik tentang bagaimana layanan tersebut memberikan pemberitahuan pencegahan pusat krisis kepada pengguna.

Sesuai dengan bahasa yang digunakan dalam RUU tersebut, platform juga harus memperjelas bahwa setiap interaksi dibuat secara artifisial, dan chatbot tidak boleh mewakili dirinya sebagai profesional kesehatan. Perusahaan diharuskan memberikan pengingat waktu istirahat kepada anak di bawah umur dan mencegah mereka melihat gambar seksual eksplisit yang dihasilkan oleh chatbot.

Beberapa perusahaan sudah mulai menerapkan beberapa perlindungan yang ditujukan untuk anak-anak. Misalnya, OpenAI baru-baru ini mulai meluncurkan kontrol orang tua, perlindungan konten, dan sistem deteksi tindakan menyakiti diri sendiri untuk anak-anak menggunakan ChatGPT. Character AI mengatakan bahwa chatbot-nya menyertakan penafian bahwa semua obrolan dibuat dan dibuat oleh AI.

Ini adalah peraturan AI penting kedua yang dikeluarkan California dalam beberapa minggu terakhir. Pada tanggal 29 September, Gubernur Newsom menandatangani SB 53 menjadi undang-undang, menetapkan persyaratan transparansi baru pada perusahaan AI besar. RUU tersebut mengamanatkan bahwa laboratorium AI besar, seperti OpenAI, Anthropic, Meta, dan Google DeepMind, harus transparan mengenai protokol keselamatan. Hal ini juga memastikan perlindungan pelapor bagi karyawan di perusahaan-perusahaan tersebut.

Negara bagian lain, seperti Illinois, Nevada, dan Utah, telah mengeluarkan undang-undang yang membatasi atau sepenuhnya melarang penggunaan chatbot AI sebagai pengganti layanan kesehatan mental berlisensi.

TechCrunch telah menghubungi Character AI, Meta, OpenAI, dan Replika untuk memberikan komentar.