FTC meluncurkan penyelidikan ke teman chatbot ai dari meta, openai, dan lainnya

Komisi Perdagangan Federal mengumumkan pada hari Kamis bahwa mereka meluncurkan pertanyaan menjadi tujuh perusahaan teknologi yang membuat produk pendamping AI Chatbot untuk anak di bawah umur: Alphabet, karakterai, Instagram, meta, openai, snap, dan xai.

Regulator federal berupaya mempelajari bagaimana perusahaan -perusahaan ini mengevaluasi keselamatan dan monetisasi teman chatbot, bagaimana mereka mencoba membatasi dampak negatif pada anak -anak dan remaja, dan jika orang tua mengetahui risiko potensial.

Teknologi ini telah terbukti kontroversial karena hasilnya yang buruk bagi pengguna anak. Openai dan karakter.ai menghadapi tuntutan hukum dari keluarga anak -anak yang meninggal karena bunuh diri setelah didorong untuk melakukannya oleh teman chatbot.

Bahkan ketika perusahaan -perusahaan ini memiliki pagar pembatas untuk memblokir atau menghilangkan percakapan sensitif, pengguna dari segala usia telah menemukan cara untuk memotong perlindungan ini. Dalam kasus Openai, seorang remaja telah berbicara dengan chatgpt selama berbulan -bulan tentang rencananya untuk mengakhiri hidupnya. Meskipun chatgpt awalnya berusaha untuk mengarahkan ulang remaja ke bantuan profesional dan jalur darurat online, ia dapat membodohi chatbot untuk berbagi instruksi terperinci yang kemudian ia gunakan dalam bunuh diri.

“Perlindungan kami bekerja lebih andal, pertukaran pendek,” Openai menulis dalam posting blog saat itu. “Kami telah belajar dari waktu ke waktu bahwa perlindungan ini kadang-kadang dapat kurang dapat diandalkan dalam interaksi yang panjang: seiring dengan tumbuhnya bolak-balik, bagian dari pelatihan keselamatan model dapat menurun.”

Meta juga mendapat kecaman karena aturannya yang terlalu lemah untuk chatbots AI -nya. Menurut dokumen panjang yang menguraikan “standar risiko konten” untuk chatbots, meta mengizinkan teman AI -nya untuk melakukan percakapan “romantis atau sensual” dengan anak -anak. Ini hanya dihapus dari dokumen setelah reporter Reuters bertanya meta tentang hal itu.

AI Chatbots juga dapat menimbulkan bahaya bagi pengguna lanjut usia. Seorang pria berusia 76 tahun, yang dibiarkan mengalami gangguan kognitif oleh stroke, melakukan percakapan romantis dengan bot Facebook Messenger yang terinspirasi oleh Kendall Jenner. Chatbot mengundangnya Kunjungi dia di New York Cityterlepas dari kenyataan bahwa dia bukan orang sungguhan dan tidak memiliki alamat. Pria itu menyatakan skeptis bahwa dia nyata, tetapi AI meyakinkannya bahwa akan ada seorang wanita sejati yang menunggunya. Dia tidak pernah berhasil ke New York; Dia jatuh dalam perjalanan ke stasiun kereta api dan mengalami cedera yang mengakhiri hidup.

Beberapa profesional kesehatan mental telah mencatat peningkatan “psikosis terkait AI,” di mana pengguna tertipu untuk berpikir bahwa chatbot mereka adalah makhluk sadar yang mereka butuhkan untuk membebaskan. Karena banyak model bahasa besar (LLM) diprogram untuk menyanjung pengguna dengan perilaku sycophantic, chatbots AI dapat mengukir delusi ini, yang mengarahkan pengguna ke kesulitan berbahaya.

“Seiring dengan berkembangnya teknologi AI, penting untuk mempertimbangkan efek chatbots terhadap anak -anak, sementara juga memastikan bahwa Amerika Serikat mempertahankan perannya sebagai pemimpin global dalam industri baru dan menarik ini,” kata ketua FTC Andrew N. Ferguson ini, “kata FTC Dalam siaran pers.