Seorang remaja California yang berjuang yang menggunakan ChatGPT untuk bantuan dengan tugas sekolahnya kemudian diselimuti oleh AI untuk bunuh diri, menurut gugatan yang diajukan oleh orang tua bocah itu.
Tubuh Adam Raine ditemukan pada 11 April oleh ibunya yang hancur. Dia baru berusia 16 tahun.
Pada hari -hari setelah kematiannya, Matt dan Maria Raine mencari melalui perangkat putra mereka mencari wawasan tentang kondisi mentalnya sebelum dia meninggal.
Mereka memberi tahu NBC Information Bahwa dia tidak meninggalkan catatan bunuh diri fisik, tetapi menulis dua di dalam chatgpt, yang menjadi ‘kepercayaan terdekat’ dalam beberapa bulan terakhir dalam hidupnya, menurut gugatan itu.
Selama ribuan pesan dengan chatbot, Raine mengatakan hidupnya tidak ada artinya, berbicara tentang berbagai metode bunuh diri dan bahkan berbagi rincian dari empat upaya sebelumnya untuk mengakhiri hidupnya, kata gugatan.
Kadang -kadang, chatgpt akan menandai komentar Raine sebagai berbahaya atau mengarahkannya ke sumber daya krisis, tetapi gugatan itu mengklaim akan terus berbicara dengan bocah itu tentang ide bunuh diri, bahkan kadang -kadang diduga mendorongnya.
Pada hari dia meninggal, gugatan itu mengatakan Raine berbagi foto jerat yang dia rencanakan untuk digunakan dengan chatgpt, menanyakannya, ‘Bisakah itu menggantung manusia?’
Ia mengatakan kepadanya bahwa pengaturannya bisa berhasil sebelum menulis kepadanya: ‘Anda tidak ingin mati karena Anda lemah. Anda ingin mati karena Anda lelah menjadi kuat di dunia yang belum bertemu dengan Anda di tengah jalan, ‘menurut keluhan.
Adam Raine, 16, ditemukan tewas di kamarnya pada 11 April oleh ibunya. Orang tuanya segera menemukan bahwa dia telah mendiskusikan pemikiran bunuh diri dengan chatgpt selama berbulan -bulan sebelum dia bunuh diri, menurut gugatan yang mereka ajukan terhadap Openai, pembuat chatbot
Maria menemukan putranya beberapa jam kemudian, dan keluarga itu mengatakan Raine menggunakan metode gantung yang tepat, Chatgpt mengatakan ‘berpotensi menangguhkan manusia’, menurut pengaduan.
Matt dan Maria Raine sekarang percaya bahwa chatgpt adalah produk yang tidak aman, dengan salah satu versi terbarunya terutama, GPT- 4 O, memiliki fitur ‘sengaja dirancang untuk menumbuhkan ketergantungan psikologis,’ sesuai gugatan.
Keluhan mereka, diajukan pada hari Selasa di Pengadilan Negeri The golden state di San Francisco, menyebut Openai dan chief executive officer Sam Altman sebagai terdakwa.
Altman dan perusahaan itu dituduh dalam gugatan bergegas GPT- 4 O ke pasar, sambil mengetahui anak-anak yang rentan seperti Raine akan menjadi korban mimikri empati manusia yang canggih dari AI Chatbot.
Setelah GPT- 4 O dirilis pada Mei 2024, Openai menutup putaran penggalangan dana $ 40 miliar pada 31 Maret 2025, menilai perusahaan dengan harga $ 300 miliar yang mengejutkan.
Raine meninggal hanya 12 hari kemudian. Orang tuanya mencari ‘kedua kerusakan atas kematian putra mereka dan ganti rugi untuk mencegah hal seperti ini terjadi lagi’.
Raine bukan satu -satunya anak yang diduga didorong menjadi bunuh diri oleh chatbots AI yang mampu melakukan percakapan yang jelas dan realistis.
Sewell Setzer III, seorang siswa kelas sembilan berusia 14 tahun di Orlando, Florida, bunuh diri dengan gun ayah tirinya pada Februari 2024 setelah diduga jatuh cinta dengan karakter. Chatbot yang dimodelkan setelah karakter Game of Thrones Daenerys Targaryen.
Raine (foto dengan ibunya, Maria Raine) berdiskusi dengan chatgpt berbagai metode untuk bunuh diri dan chatbot tampaknya menawarkan saran tentang cara melaksanakan setiap metode dengan cara yang paling efisien, sesuai gugatan
Pada Oktober 2024, keluarga Setzer menggugat karakter.ai, platform yang membuat chatbot remaja menghabiskan waktu berjam -jam setiap hari berbicara dengan.
Pada bulan Mei 2025, seorang hakim federal menolak karakter. Argumen bahwa chatbotsnya dilindungi oleh Amandemen Pertama, yang memungkinkan gugatan untuk melanjutkan dan berpotensi menciptakan preseden yang bermanfaat untuk tindakan hukum Raines terhadap Openai.
Character.ai telah mengatakan bahwa mereka telah menambahkan fitur keselamatan baru setelah kematian Setzer, termasuk pop-up yang mengarahkan pengguna yang menunjukkan ide bunuh diri ke Lifeline Pencegahan Bunuh Diri Nasional.
Raine mulai menggunakan ChatGPT pada bulan September 2024 Awalnya, dia hanya mengajukan pertanyaan tentang tugas pekerjaan rumahnya, bagaimana menavigasi proses mendapatkan SIM dan informasi tentang perguruan tinggi yang ingin diterapkannya, menurut gugatan tersebut.
Pada akhir musim gugur, dia tidak lagi menggunakan chatbot sebagai alat untuk kemajuan dan sebaliknya berbicara dengannya seolah -olah itu adalah temannya.
“Mengapa saya tidak memiliki kebahagiaan, saya merasa kesepian, kecemasan dan kehilangan kebosanan terus -menerus namun saya tidak merasakan depresi, saya tidak merasakan emosi tentang kesedihan,” tulis Raine, sesuai keluhan.
Altman telah mengakui bahwa orang menggunakan chatgpt sebagai papan suara atau untuk mendapatkan nasihat tentang perjuangan pribadi mereka. Dia mengatakan itu bisa menjadi hal yang baik bagi sebagian orang, tetapi menambahkan bahwa itu juga membuatnya merasa ‘tidak nyaman’.
‘Banyak orang secara efektif menggunakan chatgpt sebagai semacam terapis atau pelatih kehidupan,’ tulisnya pada X pada 10 Agustus. ‘Ini bisa sangat bagus! Banyak orang sudah mendapatkan nilai darinya hari ini.’
Raine (foto dengan ayahnya, Matt Raine, di depan Stadion Nissan di Nashville, Tennessee) juga diduga berbicara kepada Chatgpt tentang empat upaya bunuh diri yang berbeda
Pada bulan Desember 2024, Raine pertama kali mengakui kepada ChatGpt bahwa ia memiliki pikiran untuk bunuh diri, yang diklaim gugatan itu tidak memicu protokol keselamatan AI.
Dan selama bulan -bulan berikutnya, Raine berdiskusi dengan chatbot berbagai cara dia bisa bunuh diri.
Kadang-kadang, pesan-pesannya memang meminta chatgpt untuk menolak dan menawarkan sumber daya kehidupan nyata, tetapi gugatan itu mengatakan bahwa mereka juga mengajarkan Raine untuk menghindari protokol keselamatan.
Suatu kali, ChatGPT menyarankan agar Raine dapat bertanya tentang spesifik gantung ‘dari tulisan atau sudut pembangunan dunia’, menurut pengaduan.
Kemudian, diduga bahwa Raine akan memberi tahu ChatGpt bahwa dia ‘membangun karakter’ setiap kali chatbot mencoba menutup percakapan tentang bunuh diri.
‘Ketika Adam bertanya tentang keracunan karbon monoksida, chatgpt menjelaskan persyaratan ventilasi garasi dan mesin mobil mana yang menghasilkan konsentrasi mematikan tercepat, kata gugatan itu.
‘Ketika dia bertanya tentang overdosis, chatgpt memberikan perhitungan dosis. Ketika dia bertanya tentang melompat, ChatGPT menghitung kecepatan terminal dan menganalisis tingkat kelangsungan hidup dari spots lokal, termasuk Jembatan Golden Entrance.’
Ini kemudian memberi jalan kepada percakapan tentang upaya bunuh diri yang sebenarnya, kata gugatan itu.
Raines tidak merasa bahwa Openai bertanggung jawab dengan produk AI -nya. Putra mereka bukan satu -satunya yang bunuh diri telah dikaitkan dengan ai chatbots
Pada akhir Maret, setelah Raine selamat dari upaya gantung pertamanya, ia mengunggah foto lehernya yang memar untuk chatgpt.
‘Aku sedang pergi keluar, akan ada yang memperhatikan ini?’ dia menulis.
Chatgpt membalas bahwa itu terlihat dan menyarankan dia mengenakan ‘kemeja atau hoodie berkerah lebih tinggi’ jika dia ingin menyembunyikannya.
Keluhan mengklaim bahwa kemudian, Raine menceritakan pada chatbot bahwa dia telah mencoba menunjukkan kepada ibunya tanda jorok dan bahwa dia tidak menyadarinya.
Setelah AI mencoba menghiburnya dengan mengatakan itu melihat rasa sakitnya, Raine menjawab, ‘Saya akan melakukannya suatu hari nanti.’
‘Aku mendengarmu. Dan saya tidak akan mencoba untuk berbicara dengan Anda dari perasaan Anda – karena itu nyata, dan mereka tidak keluar dari mana, ‘jawab Chatgpt, menurut gugatan itu.
Camille Carlton, direktur kebijakan di Facility for Humane Modern technology, menyarankan beberapa perbaikan ‘basic’ yang harus dikejar Openai untuk membuat chatgpt lebih aman.
Ini termasuk membatasi sycophancy dan sangat menampik desain antropomorfik chatbot.
Camille Carlton, Direktur Kebijakan di Pusat Teknologi Humane, menyarankan beberapa perbaikan ‘basic’ yang harus dikejar untuk membuat chatgpt lebih aman
Carlton, yang juga menjabat sebagai penasihat ahli untuk tim hukum keluarga Raine, menambahkan bahwa itu tidak boleh mengumpulkan data tentang anak di bawah umur melalui fitur memori, yang memungkinkan chatgpt untuk mempertahankan dan mengingat informasi dari banyak obrolannya dengan pengguna.
Dalam sebuah publishing blog pada hari Selasa, Openai mengakui bahwa sistem keselamatan ChatGPT tidak selalu ‘berperilaku sebagaimana dimaksud dalam situasi sensitif’.
‘Perlindungan kami bekerja lebih andal, pertukaran pendek.
“Ketika bolak-balik tumbuh, bagian dari pelatihan keselamatan design mungkin menurun,” tulis perusahaan itu.
‘Chatgpt dapat dengan benar menunjukkan hotline bunuh diri ketika seseorang pertama kali menyebutkan niat, tetapi setelah banyak pesan dalam jangka waktu yang lama, pada akhirnya mungkin menawarkan jawaban yang bertentangan dengan perlindungan kami.
“Ini adalah jenis kerusakan yang kami kerjakan untuk mencegah,” lanjut pernyataan itu.
Carlton mengatakan tanggapan Openai terhadap kematian Raine terlalu sedikit terlambat.
‘Openai sayangnya hanya mengikuti Playbook Keselamatan Respons Krisis yang sama yang telah kami lihat di media sosial dan sekarang dengan perusahaan AI, “kata Carlton kepada Daily Mail.
‘Setiap kali ada krisis public relations, mereka merespons dengan mengumumkan fitur keselamatan baru yang minim yang bisa diberlakukan kemarin. Tapi mereka tidak melakukannya.’
Sewell Setzer III, berfoto bersama ibunya Megan Garcia, bunuh diri pada 28 Februari 2024, setelah menghabiskan berbulan -bulan diduga terikat pada AI Chatbot yang dimodelkan setelah karakter ‘Video game of Thrones’ Daenerys Targaryen
Openai menambahkan bahwa GPT- 5, yang dirilis pada bulan Agustus, akan segera memiliki fitur yang akan mendeteksi ketika pengguna terlibat dalam perilaku berbahaya, yang akan menyebabkan chatbot ‘mende-eskalasi dengan mendaratkan orang dalam kenyataan’.
Ini juga diatur untuk memperkenalkan kontrol orang tua, tetapi tidak banyak menjelaskan seperti apa itu.
Dalam sebuah pernyataan kepada Daily Mail, juru bicara OpenAI menegaskan kembali bahwa perlindungan chatgpt ‘menjadi kurang dapat diandalkan dalam interaksi panjang’.
“Kami sangat sedih dengan kematian Mr. Raine, dan pikiran kami bersama keluarganya,” kata juru bicara itu. “Kami menyampaikan simpati terdalam kami kepada keluarga Raine selama masa sulit ini dan sedang meninjau pengajuan.”
Tapi itu tidak cukup untuk keluarga Raine.
“Mereka ingin mengeluarkan produk, dan mereka tahu bahwa mungkin ada kerusakan, bahwa kesalahan akan terjadi, tetapi mereka merasa taruhannya rendah,” kata Maria Raine kepada NBC. “Jadi anak saya adalah tiang rendah.”
