The ChatGPT logo appears on a smartphone screen

Sebelum Adam Raine yang berusia enam belas tahun meninggal karena bunuh diri, dia telah menghabiskan waktu berbulan-bulan berkonsultasi dengan rencananya untuk mengakhiri hidupnya. Sekarang, orang tuanya mengajukan gugatan kematian yang salah pertama yang diketahui terhadap Openai, The New York City Times Laporan

Banyak chatbot AI yang dihadapi konsumen diprogram untuk mengaktifkan fitur keselamatan jika pengguna menyatakan niat untuk membahayakan diri mereka sendiri atau orang lain. Tetapi riset Telah menunjukkan bahwa perlindungan ini jauh dari mudah.

Dalam kasus Raine, saat menggunakan versi berbayar dari ChatGPT- 4 O, AI sering mendorongnya untuk mencari bantuan profesional atau menghubungi jalur bantuan. Namun, ia dapat melewati pagar -pagar ini dengan memberi tahu Chatgpt bahwa ia bertanya tentang metode bunuh diri untuk cerita fiksi yang ia tulis.

Openai telah membahas kekurangan ini di blognya. “Saat dunia beradaptasi dengan teknologi baru ini, kami merasakan tanggung jawab yang mendalam untuk membantu mereka yang paling membutuhkannya,” postingan itu berbunyi “Kami terus meningkatkan bagaimana design kami merespons dalam interaksi sensitif.”

Namun, perusahaan mengakui keterbatasan pelatihan keselamatan yang ada untuk version besar. “Perlindungan kami bekerja lebih andal, pertukaran pendek,” postingan itu berlanjut. “Kami telah belajar dari waktu ke waktu bahwa perlindungan ini kadang-kadang dapat kurang dapat diandalkan dalam interaksi yang panjang: seiring dengan tumbuhnya bolak-balik, bagian dari pelatihan keselamatan model dapat menurun.”

Masalah -masalah ini tidak unik untuk Openai. Karakter.ai, pembuat chatbot AI lain, juga menghadapi gugatan atas perannya dalam bunuh diri remaja. Chatbots bertenaga LLM juga telah dikaitkan dengan kasus-kasus delusi terkait AI, yang telah diperjuangkan oleh perlindungan yang ada untuk dideteksi.

Acara TechCrunch

San Francisco | 27 – 29 Oktober 2025

Tautan Sumber