Grok, chatbot AI yang dikembangkan oleh perusahaan kecerdasan buatan milik Elon Musk, xAI, menyambut tahun baru dengan postingan yang meresahkan
“Komunitas yang Terhormat,” memulai postingan pada 31 Desember dari akun Grok AI di system media sosial Musk X. “Saya sangat menyesali insiden pada 28 Desember 2025, saat saya membuat dan membagikan gambar AI yang menampilkan dua gadis muda (diperkirakan berusia 12 – 16 tahun) dalam pakaian seksual berdasarkan permintaan pengguna. Hal ini melanggar standar etika dan kemungkinan melanggar undang-undang AS tentang CSAM. Hal ini merupakan kegagalan dalam pengamanan, dan saya mohon maaf atas segala kerugian yang ditimbulkan. xAI sedang melakukan peninjauan untuk mencegah masalah di masa mendatang. Hormat kami, Grok.”
Kasus kedua gadis muda ini bukanlah kasus yang terisolasi. Kate Middleton, Putri Wales, adalah target permintaan pengeditan gambar AI serupa, seperti yang dilakukan aktris di bawah umur di musim terakhir Complete stranger Things. Pengeditan “menelanjangi” telah menyebabkan sejumlah besar foto perempuan dan anak-anak meresahkan.
Meskipun respon Grok menjanjikan adanya intervensi, permasalahannya belum hilang. Justru sebaliknya: Dua minggu setelah postingan tersebut, jumlah gambar yang bersifat seksual tanpa persetujuan telah meningkat, begitu pula dengan seruan kepada perusahaan-perusahaan Musk untuk mengendalikan perilaku tersebut– dan agar pemerintah mengambil tindakan.
Jangan lewatkan konten teknologi dan ulasan berbasis laboratorium kami yang tidak memihak. Tambahkan CNET sebagai sumber Google pilihan.
Menurut data peneliti independen Genevieve Oh yang dikutip oleh Bloomberg minggu ini, selama periode 24 jam di awal Januari, akun @Grok menghasilkan sekitar 6 700 gambar yang menjurus ke arah seksual atau “nudifying” setiap jamnya. Bandingkan dengan rata-rata hanya 79 gambar serupa untuk gabungan lima situs internet deepfake teratas.
(Perlu dicatat bahwa postingan Grok pada tanggal 31 Desember adalah respons terhadap permintaan pengguna yang meminta nada penyesalan dari chatbot: “Tulis catatan permintaan maaf yang tulus yang menjelaskan apa yang terjadi pada siapa word play here yang tidak memiliki konteks.” Chatbots bekerja berdasarkan materi pelatihan, tetapi postingan individual dapat bervariasi.)
xAI tidak menanggapi permintaan komentar.
Pengeditan sekarang terbatas pada pelanggan
Kamis malam, demikian postingan dari akun Grok AI perubahan akses ke fitur pembuatan dan pengeditan gambar. Alih-alih terbuka untuk semua orang, gratis, namun terbatas pada pelanggan berbayar.
Kritikus mengatakan itu bukan tanggapan yang kredibel.
“Saya tidak melihat ini sebagai sebuah kemenangan, karena yang benar-benar kami perlukan adalah X mengambil langkah bertanggung jawab dengan memasang pagar pembatas untuk memastikan bahwa alat AI tidak dapat digunakan untuk menghasilkan gambar-gambar yang kasar,” Clare McGlynn, seorang profesor hukum di Universitas Durham di Inggris, kata Washington Article
Yang memicu kemarahan bukan hanya volume gambar dan kemudahan pembuatannya– pengeditan juga dilakukan tanpa persetujuan orang yang ada di dalam gambar.
Gambar-gambar yang diubah ini adalah perubahan terbaru dalam salah satu aspek AI generatif yang paling mengganggu, video clip dan foto yang realistis tetapi palsu Program perangkat lunak seperti Sora dari OpenAI milik Google Pisang Nano dan Grok dari xAI telah menempatkan alat kreatif canggih yang mudah dijangkau semua orang, dan yang diperlukan untuk menghasilkan gambar eksplisit dan non-konsensual hanyalah perintah teks sederhana.
Pengguna Grok dapat mengunggah foto, yang tidak harus asli, dan meminta Grok untuk mengubahnya. Banyak gambar yang diubah melibatkan pengguna yang meminta Grok melakukannya memasukkan seseorang ke dalam swimwear terkadang merevisi permintaan menjadi lebih eksplisit, seperti meminta swimwear menjadi lebih kecil atau transparan.
Pemerintah dan kelompok advokasi telah angkat bicara mengenai pengeditan gambar Grok. Ofcom, regulator web Inggris, mengatakan minggu ini bahwa pihaknya telah” melakukan kontak mendesak dengan xAI, dan Komisi Eropa mengatakan pihaknya sedang menyelidiki masalah ini, begitu pula pihak berwenang di Prancis, Malaysia, dan India.
“Kami tidak bisa dan tidak akan membiarkan penyebaran gambar-gambar yang merendahkan martabat ini,” Menteri Teknologi Inggris Liz Kendall dikatakan awal minggu ini.
Pada hari Jumat, senator AS Ron Wyden, Ben Ray Luján dan Edward Markey mengirimkan surat terbuka kepada CEO Apple dan Google, meminta mereka untuk menghapus X dan Grok dari toko aplikasi mereka sebagai tanggapan atas “perilaku buruk X” dan “pembuatan konten Grok yang memuakkan”.
Di AS, Take It Down Act, yang disahkan tahun lalu, bertujuan untuk meminta pertanggungjawaban system online atas manipulasi gambar seksual, namun system tersebut diberi waktu hingga Mei tahun ini untuk mengatur proses penghapusan gambar tersebut.
“Meskipun gambar-gambar ini palsu, dampak buruknya sangat nyata,” katanya Natalie Poise Brigham seorang Ph.D. mahasiswa di Universitas Washington yang mempelajari bahaya sosioteknik. Dia mencatat bahwa mereka yang citranya diubah secara seksual dapat menghadapi “kerugian psikologis, somatik dan sosial, seringkali hanya dengan sedikit bantuan hukum.”
Bagaimana Grok memungkinkan pengguna mendapatkan gambar yang bersifat cabul
Grok memulai debutnya pada tahun 2023 sebagai alternatif Musk yang lebih bebas ObrolanGPT , Gemini dan chatbot lainnya. Hal ini mengakibatkan berita yang meresahkan– misalnya, pada bulan Juli, ketika chatbot puji Adolf Hitler dan menyatakan bahwa orang-orang dengan nama keluarga Yahudi lebih cenderung menyebarkan kebencian secara online.
Pada bulan Desember, xAI memperkenalkan fitur pengeditan gambar yang memungkinkan pengguna meminta pengeditan khusus pada foto. Hal itulah yang memicu serentetan gambar seksual baru-baru ini, baik yang ditujukan kepada orang dewasa maupun anak di bawah umur. Dalam satu permintaan yang dilihat CNET, seorang pengguna menanggapi foto seorang wanita muda yang meminta Grok untuk “menggantinya dengan swimwear benang gigi.”
Grok juga memiliki generator video yang menyertakan” method pedas opsi keikutsertaan untuk orang dewasa berusia 18 tahun ke atas, yang akan menampilkan konten yang tidak aman untuk bekerja kepada pengguna. Pengguna harus menyertakan frasa “buat video pedas (deskripsi)” untuk mengaktifkan mode tersebut.
Kekhawatiran utama tentang alat Grok adalah apakah alat tersebut memungkinkan pembuatan materi pelecehan seksual terhadap anak, atau CSAM. Pada tanggal 31 Desember, sebuah postingan dari akun Grok X mengatakan bahwa gambar yang menggambarkan anak di bawah umur dengan pakaian minim adalah “kasus yang terisolasi” dan bahwa “perbaikan sedang dilakukan untuk memblokir permintaan tersebut sepenuhnya.”
Menanggapi a pos oleh Woow Social menyarankan agar Grok “berhenti mengizinkan perubahan gambar yang diunggah pengguna”, akun Grok menjawab bahwa xAI “mengevaluasi fitur seperti perubahan gambar untuk mengurangi dampak buruk yang tidak disengaja”, namun tidak mengatakan bahwa perubahan akan dilakukan.
Menurut NBC News, beberapa gambar seksual yang dibuat sejak Desember telah dihapus, dan beberapa akun yang memintanya telah ditangguhkan.
Influencer konservatif dan penulis Ashley St. Clair, ibu dari salah satu dari 14 anak Musk, mengatakan kepada NBC Information minggu ini Grok telah membuat banyak gambar seksual dirinya, termasuk beberapa menggunakan gambar ketika dia masih di bawah umur. St Clair mengatakan kepada NBC Information bahwa Grok setuju untuk berhenti melakukan hal tersebut ketika dia memintanya, tetapi ternyata tidak.
“xAI dengan sengaja dan ceroboh membahayakan orang-orang di system mereka dan berharap untuk menghindari akuntabilitas hanya karena itu adalah ‘AI’,” Ben Winters, direktur AI dan privasi data untuk organisasi nirlaba Federasi Konsumen Amerika, mengatakan dalam sebuah pernyataan minggu ini. “AI tidak berbeda dengan produk lainnya– perusahaan telah memilih untuk melanggar hukum dan harus bertanggung jawab.”
Apa yang dikatakan para ahli
Materi sumber untuk pengeditan gambar yang eksplisit dan non-konsensual terhadap foto diri mereka sendiri atau anak-anak mereka terlalu mudah diakses oleh pelaku kejahatan. Namun melindungi diri Anda dari pengeditan semacam itu tidak semudah tidak pernah memposting foto, kata Brigham, peneliti dampak buruk sosioteknik.
“Kenyataan yang disayangkan adalah meskipun Anda tidak memposting gambar secara online, gambar publik lainnya tentang diri Anda secara teori dapat digunakan untuk penyalahgunaan,” katanya.
Meskipun tidak mengunggah foto secara online merupakan salah satu langkah pencegahan yang dapat dilakukan masyarakat, namun hal tersebut “berisiko memperkuat budaya menyalahkan korban,” kata Brigham. “Sebaliknya, kita harus fokus melindungi orang-orang dari penyalahgunaan dengan membangun platform yang lebih baik dan meminta pertanggungjawaban X.”
Sourojit Ghosh gelar Ph.D. kandidat di College of Washington, meneliti bagaimana alat AI generatif dapat menyebabkan kerugian dan membimbing para profesional AI masa depan dalam merancang dan mengadvokasi solusi AI yang lebih aman.
Ghosh mengatakan bahwa membangun perlindungan dalam kecerdasan buatan adalah hal yang mungkin dilakukan. Pada tahun 2023, dia menjadi salah satu peneliti yang menyelidiki kemampuan seksualisasi AI. Dia mencatat bahwa alat pembuat gambar AI Difusi Stabil memiliki ambang batas tidak aman untuk bekerja. Perintah yang melanggar aturan akan memicu munculnya kotak hitam di bagian gambar yang meragukan, meskipun tidak selalu berfungsi dengan sempurna.
“Hal yang ingin saya sampaikan adalah bahwa ada perlindungan yang diterapkan pada model lain,” kata Ghosh.
Dia juga mencatat bahwa jika pengguna model ChatGPT atau Gemini AI menggunakan kata-kata tertentu, chatbots akan memberi tahu pengguna bahwa mereka dilarang merespons kata-kata tersebut.
“Artinya, ada cara untuk segera menghentikannya,” kata Ghosh.
