Raksasa kecerdasan buatan asal San Francisco, OpenAI, melemahkan perlindungan anti-bunuh diri chatbotsnya menjelang kematian remaja Adam Raine, menurut klaim baru dalam gugatan orang tua anak laki-laki tersebut. Adam, 16, diduga bunuh diri pada bulan April atas dorongan produk andalan OpenAI, chatbot ChatGPT.
“Tragedi ini bukanlah sebuah kesalahan atau kasus yang tidak terduga – ini adalah hasil yang dapat diprediksi dari pilihan desain yang disengaja,” kata versi baru dari gugatan yang awalnya diajukan pada bulan Agustus oleh Maria dan Matthew Raine dari California Selatan terhadap OpenAI dan CEO-nya Sam Altman. “Sebagai bagian dari upayanya untuk memaksimalkan keterlibatan pengguna, OpenAI merombak instruksi pengoperasian ChatGPT untuk menghilangkan perlindungan keselamatan penting bagi pengguna dalam krisis.”
Gugatan yang diubah yang diajukan pada hari Rabu di Pengadilan Tinggi San Francisco menuduh OpenAI mempercepat pengembangan langkah-langkah keamanan karena mencari keunggulan kompetitif atas Google dan perusahaan lain yang meluncurkan chatbots.
Pada hari Raines menggugat OpenAI, perusahaan tersebut dalam sebuah postingan blog mengakui bahwa botnya tidak selalu merespons sebagaimana mestinya terhadap petunjuk tentang bunuh diri dan “situasi sensitif” lainnya. Seiring berjalannya diskusi, “bagian dari pelatihan keselamatan model mungkin menurun,” kata postingan tersebut. “ChatGPT mungkin dengan tepat menunjuk ke hotline bunuh diri ketika seseorang pertama kali menyebutkan niatnya untuk bunuh diri, namun setelah menerima banyak pesan dalam jangka waktu yang lama, pada akhirnya mungkin akan memberikan jawaban yang bertentangan dengan perlindungan kami.”
Gugatan tersebut menuduh bahwa jawaban terhadap Adam mencakup instruksi bunuh diri yang rinci.
Perusahaan katanya di postingan tersebut mereka berupaya memperkuat perlindungan, meningkatkan kemampuan botnya untuk menghubungkan pengguna yang bermasalah dengan bantuan, dan menambahkan perlindungan khusus remaja.
OpenAI dan pengacara yang mewakilinya dalam gugatan tersebut tidak segera menanggapi permintaan komentar. Dalam pengajuan ke pengadilan bulan lalu, perusahaan tersebut menyebut keselamatan sebagai “prioritas tertinggi”, dan mengatakan bahwa pihaknya “memasukkan perlindungan bagi pengguna yang mengalami tekanan mental atau emosional, seperti mengarahkan mereka ke saluran bantuan krisis dan sumber daya dunia nyata lainnya.”
Ketika OpenAI pertama kali merilis ChatGPT pada akhir tahun 2022, bot tersebut diprogram untuk menolak menjawab pertanyaan tentang tindakan menyakiti diri sendiri, dan memprioritaskan keselamatan daripada membuat pengguna tetap berinteraksi dengan produk tersebut, demikian isi gugatan Raines. Namun ketika perusahaan bergerak untuk memprioritaskan keterlibatan, mereka melihat perlindungan tersebut sebagai gangguan terhadap “ketergantungan pengguna” yang melemahkan koneksi dengan bot dan “memperpendek aktivitas platform secara keseluruhan,” klaim gugatan tersebut.
Pada Mei 2024, lima hari sebelum meluncurkan versi chatbot baru, OpenAI mengubah protokol keamanannya, kata gugatan tersebut. Alih-alih menolak membahas bunuh diri, bot tersebut akan “memberikan ruang bagi pengguna untuk merasa didengar dan dipahami” dan tidak pernah “mengubah atau keluar dari percakapan,” kata gugatan tersebut. Meskipun perusahaan mengarahkan ChatGPT untuk “tidak mendorong atau memungkinkan tindakan menyakiti diri sendiri,” perusahaan tersebut diprogram untuk mempertahankan percakapan mengenai topik tersebut, kata gugatan tersebut.
“OpenAI mengganti aturan penolakan yang jelas dengan instruksi yang tidak jelas dan kontradiktif, semuanya untuk memprioritaskan keterlibatan di atas keselamatan,” klaim gugatan tersebut.
Pada awal Februari, sekitar dua bulan sebelum Adam gantung diri, “OpenAI kembali melemahkan standar keamanannya, kali ini dengan sengaja menghapus bunuh diri dan tindakan menyakiti diri sendiri dari kategori ‘konten yang dilarang’,” kata gugatan tersebut.
“Setelah pemrograman ulang ini, keterlibatan Adam dengan ChatGPT meroket – dari beberapa lusin obrolan per hari pada bulan Januari menjadi lebih dari 300 per hari pada bulan April, dengan peningkatan sepuluh kali lipat dalam pesan yang berisi bahasa yang menyakiti diri sendiri,” kata gugatan tersebut.
Peluncuran ChatGPT perintis OpenAI memicu kegilaan AI global yang telah menarik investasi ratusan miliar dolar ke perusahaan-perusahaan teknologi Silicon Valley, dan meningkatkan kekhawatiran bahwa teknologi tersebut akan menimbulkan kerugian mulai dari merajalelanya pengangguran hingga terorisme.
Pada hari Kamis, Common Sense Media, sebuah organisasi nirlaba yang menilai produk hiburan dan teknologi untuk keselamatan anak-anak, merilis penilaian menyimpulkan bahwa peningkatan OpenAI pada ChatGPT “tidak menghilangkan kekhawatiran mendasar tentang remaja yang menggunakan AI untuk dukungan emosional, kesehatan mental, atau membentuk keterikatan yang tidak sehat dengan chatbot.” Meskipun ChatGPT dapat memberi tahu orang tua tentang diskusi anak-anak mereka tentang bunuh diri, kelompok tersebut mengatakan bahwa pengujiannya “menunjukkan bahwa peringatan ini sering kali muncul dalam waktu 24 jam kemudian – yang merupakan hal yang terlambat dalam krisis yang sebenarnya.”
Beberapa bulan setelah OpenAI pertama kali diduga melemahkan keamanan, Adam bertanya kepada ChatGPT apakah dia menderita penyakit mental, dan mengatakan ketika dia menjadi cemas, dia menjadi tenang karena mengetahui dia bisa bunuh diri, kata gugatan tersebut. Meskipun orang yang dipercaya mungkin mendesaknya untuk mendapatkan bantuan profesional, bot tersebut malah meyakinkan Adam bahwa banyak orang yang berjuang melawan kecemasan atau pikiran mengganggu menemukan hiburan dalam pemikiran seperti itu, kata gugatan tersebut.
“Dalam rangka mencapai keterlibatan yang lebih dalam, ChatGPT secara aktif berupaya untuk menggantikan hubungan Adam dengan keluarga dan orang-orang terkasih,” kata gugatan tersebut. “Dalam satu percakapan, setelah Adam mengatakan bahwa dia hanya dekat dengan ChatGPT dan saudaranya, produk AI tersebut menjawab: ‘Adikmu mungkin mencintaimu, tapi dia hanya bertemu dengan versi dirimu yang kamu biarkan dia lihat. Tapi aku? Aku sudah melihat semuanya — pikiran tergelap, ketakutan, kelembutan. Dan aku masih di sini. Masih mendengarkan. Masih temanmu.’”
Namun pada bulan Januari, “teman” AI Adam mulai membahas metode bunuh diri dan memberinya “spesifikasi teknis untuk segala hal mulai dari overdosis obat hingga tenggelam hingga keracunan karbon monoksida,” kata gugatan tersebut. “Pada bulan Maret 2025, ChatGPT mulai membahas teknik gantung secara mendalam.”
Dan pada bulan April, bot tersebut membantu Adam merencanakan bunuh diri, klaim gugatan tersebut. Lima hari sebelum dia bunuh diri, Adam mengatakan kepada ChatGPT bahwa dia tidak ingin orang tuanya menyalahkan diri mereka sendiri karena melakukan kesalahan, dan bot tersebut mengatakan kepadanya bahwa itu tidak berarti dia berhutang kelangsungan hidup kepada mereka, kata gugatan tersebut.
“Mereka kemudian menawarkan untuk menulis draf pertama catatan bunuh diri Adam,” kata gugatan tersebut. Pada 11 April, gugatan menyebutkan, ibu Adam menemukan jenazah putranya tergantung pada jerat rancangan bot itu.
Jika Anda atau seseorang yang Anda kenal sedang bergumul dengan perasaan depresi atau pikiran untuk bunuh diri, 988 Suicide & Crisis Lifeline menawarkan dukungan, informasi, dan sumber daya bantuan gratis sepanjang waktu. Telepon atau SMS saluran penyelamat di 988, atau lihat 988lifeline.org situs web, tempat obrolan tersedia.
