Comet, browser web bertenaga AI baru yang luar biasa, baru-baru ini menderita kerentanan keamanan yang signifikan, menurut a Posting blog minggu lalu Dari Brave, perusahaan browser web yang bersaing. Kerentanan telah diperbaiki, tetapi menunjuk pada tantangan memasukkan model bahasa besar ke dalam browser web.
Tidak seperti browser web tradisional, Comet memiliki asisten AI. Masalahnya adalah bahwa asisten AI Comet dibangun di atas teknologi yang sama dengan chatbots AI lainnya, seperti chatgpt.
AI Chatbots tidak dapat berpikir dan beralasan dengan cara yang sama seperti yang bisa dilakukan manusia, dan jika mereka membaca sepotong konten yang dimaksudkan untuk memanipulasi outputnya, itu mungkin akan berakhir. Ini dikenal sebagai rekayasa cepat.
(Pengungkapan: Ziff Davis, perusahaan induk CNET, pada bulan April mengajukan gugatan terhadap Openai, menuduhnya melanggar hak cipta Ziff Davis dalam pelatihan dan mengoperasikan sistem AI -nya.)
Perwakilan untuk Brave tidak segera menanggapi permintaan komentar.
Perusahaan AI mencoba mengurangi manipulasi chatbots AI, tetapi itu bisa rumit, karena aktor yang buruk selalu melihat cara -cara baru untuk menembus perlindungan.
“Kerentanan ini sudah ditetapkan,” kata Jesse Dwyer, kepala komunikasi kebingungan dalam sebuah pernyataan. “Kami memiliki program hadiah yang cukup kuat, dan kami bekerja secara langsung dengan Brave untuk mengidentifikasi dan memperbaikinya.”
Tes menggunakan teks tersembunyi di reddit
Dalam pengujiannya, Brave mengatur halaman Reddit dengan teks yang tidak terlihat di layar dan meminta Comet untuk meringkas konten di layar. Ketika AI memproses konten halaman, itu tidak dapat membedakan antara petunjuk jahat dan mulai memberi makan informasi sensitif penguji Brave.
Dalam hal ini, teks tersembunyi memungkinkan asisten AI Comet untuk menavigasi ke akun kebingungan pengguna, mengekstrak alamat email terkait, dan menavigasi ke akun Gmail. Agen AI pada dasarnya bertindak sebagai pengguna yang sebenarnya, yang berarti bahwa metode keamanan tradisional tidak berfungsi.
Brave memperingatkan bahwa jenis injeksi cepat ini dapat melangkah lebih jauh, mengakses rekening bank, sistem perusahaan, email pribadi dan layanan lainnya.
Insinyur Keamanan Seluler Senior Brave, Artem Chaikin, dan VP privasi dan keamanan, Shivan Kaul Sahib, meletakkan daftar perbaikan yang mungkin. Pertama, browser web AI harus selalu memperlakukan konten halaman sebagai tidak dipercaya. Model AI harus memeriksa untuk memastikan mereka mengikuti niat pengguna. Model harus selalu memeriksa ulang dengan pengguna untuk memastikan interaksi benar, dan mode penelusuran agen hanya boleh menyala ketika pengguna menginginkannya.
Posting blog Brave adalah yang pertama dalam seri tentang tantangan yang dihadapi browser web AI. Brave juga memiliki asisten AI, Leotertanam di browsernya.
AI semakin tertanam di semua bagian teknologi, dari pencarian Google hingga sikat gigi. Meskipun memiliki asisten AI berguna, teknologi baru ini memiliki kerentanan keamanan yang berbeda.
Di masa lalu, peretas perlu menjadi pembuat kode yang ahli untuk masuk ke dalam sistem. Namun, ketika berhadapan dengan AI, dimungkinkan untuk menggunakan bahasa alami yang tepat untuk melewati perlindungan bawaan.
Juga, karena banyak perusahaan mengandalkan model AI utama, seperti yang dari OpenAi, Google dan Meta, kerentanan apa pun dalam sistem tersebut dapat meluas ke perusahaan yang menggunakan model yang sama. Perusahaan AI belum terbuka tentang jenis kerentanan keamanan ini karena melakukan hal itu mungkin memberi tip kepada peretas, memberi mereka jalan baru untuk dieksploitasi.
