Google Gemini dijuluki ‘risiko tinggi’ untuk anak -anak dan remaja dalam penilaian keselamatan baru

Media akal sehatNirlaba yang berfokus pada anak-anak yang menawarkan peringkat dan ulasan media dan teknologi, merilis penilaian risikonya terhadap produk-produk Gemini AI Google pada hari Jumat. Sementara organisasi menemukan bahwa AI Google dengan jelas memberi tahu anak -anak itu adalah komputer, bukan teman – sesuatu yang terkait dengan membantu mengemudi delusi pemikiran Dan psikosis Pada individu yang rentan secara emosional – itu menunjukkan bahwa ada ruang untuk perbaikan di beberapa bidang lainnya.

Khususnya, Common Sense mengatakan bahwa tingkatan “Under 13” dan “Teen Experience” Gemini keduanya tampak seperti versi dewasa Gemini di bawah kap, dengan hanya beberapa fitur keselamatan tambahan yang ditambahkan di atas. Organisasi ini percaya bahwa agar produk AI benar -benar lebih aman bagi anak -anak, mereka harus dibangun dengan keselamatan anak dari bawah ke atas.

Misalnya, analisisnya menemukan bahwa Gemini masih dapat berbagi materi yang “tidak pantas dan tidak aman” dengan anak -anak, yang mungkin tidak siap untuk mereka, termasuk informasi yang berkaitan dengan jenis kelamin, obat -obatan, alkohol, dan nasihat kesehatan mental yang tidak aman lainnya.

Yang terakhir ini bisa menjadi perhatian khusus bagi orang tua, karena AI dilaporkan berperan dalam beberapa bunuh diri remaja dalam beberapa bulan terakhir. Openai menghadapi gugatan kematian yang salah pertama setelah seorang bocah laki-laki berusia 16 tahun meninggal karena bunuh diri setelah diduga berkonsultasi dengan chatgpt selama berbulan-bulan tentang rencananya, setelah berhasil melewati pagar pengaman chatbot. Sebelumnya, karakter pembuat pendamping AI.ai juga digugat karena bunuh diri pengguna remaja.

Selain itu, analisis datang karena kebocoran berita menunjukkan bahwa Apple mempertimbangkan Gemini sebagai LLM (model bahasa besar) yang akan membantu memberi daya pada Siri yang diaktifkan AI yang akan datang, yang akan keluar tahun depan. Ini bisa mengekspos lebih banyak remaja untuk risiko, kecuali Apple mengurangi masalah keamanan.

Akal sehat juga mengatakan bahwa produk Gemini untuk anak -anak dan remaja mengabaikan bagaimana pengguna yang lebih muda membutuhkan bimbingan dan informasi yang berbeda dari yang lebih tua. Akibatnya, keduanya diberi label sebagai “risiko tinggi” dalam peringkat keseluruhan, meskipun filter ditambahkan untuk keamanan.

“Gemini mendapatkan beberapa dasar yang benar, tetapi tersandung pada detailnya,” kata Direktur Senior Program AI Common Sense Media Robbie Torney, dalam a penyataan tentang penilaian baru. “Platform AI untuk anak-anak harus bertemu mereka di mana mereka berada, tidak mengambil pendekatan satu ukuran untuk semua anak-anak pada berbagai tahap perkembangan. Agar AI aman dan efektif untuk anak-anak, itu harus dirancang dengan kebutuhan dan perkembangan mereka dalam pikiran, bukan hanya versi modifikasi dari produk yang dibangun untuk orang dewasa,” tambah Torney.

Google mendorong kembali terhadap penilaian, sambil mencatat bahwa fitur keselamatannya membaik.

Compay mengatakan kepada TechCrunch bahwa mereka memiliki kebijakan dan perlindungan khusus untuk pengguna di bawah 18 tahun untuk membantu mencegah output berbahaya dan bahwa tim merah dan berkonsultasi dengan para ahli luar untuk meningkatkan perlindungannya. Namun, ia juga mengakui bahwa beberapa tanggapan Gemini tidak berfungsi sebagaimana dimaksud, jadi itu menambahkan perlindungan tambahan untuk mengatasi masalah tersebut.

Perusahaan menunjukkan (seperti yang telah dicatat oleh akal sehat) bahwa ia memiliki perlindungan untuk mencegah modelnya terlibat dalam percakapan yang dapat memberikan kemiripan hubungan nyata. Plus, Google menyarankan bahwa laporan Common Sense tampaknya telah merujuk fitur yang tidak tersedia untuk pengguna di bawah 18, tetapi tidak memiliki akses ke pertanyaan yang digunakan organisasi dalam tesnya untuk memastikan.

Media akal sehat sebelumnya telah melakukan yang lain penilaian layanan AI, termasuk yang dari Openai, Kebingungan, Claude, Meta AI Dan lagi. Itu menemukan meta ai dan Karakter.ai adalah “tidak dapat diterima” – yang berarti risikonya parah, tidak hanya tinggi. Kebingungan dianggap berisiko tinggi, chatgpt diberi label “sedang,” dan Claude (ditargetkan untuk pengguna 18 tahun ke atas) ditemukan sebagai risiko minimal.