Bayangkan magang di dunia yang paling cakap. Seseorang yang dapat membaca ribuan dokumen dalam semalam, membuat kesimpulan dari masalah kompleks secara instan, dan bekerja 24/ 7 tanpa keluhan. Tapi ada tangkapan: magang ini juga sangat mudah tertipu dan akan percaya hampir semua yang Anda katakan, menjadikan mereka target yang sempurna untuk manipulasi oleh aktor yang buruk.
Analogi ini dengan sempurna menggambarkan keadaan AI agen saat ini. Ini secara bersamaan adalah alat paling canggih yang pernah dibuat dan yang paling rentan terhadap penipuan sederhana.
Ini dibuat lebih menantang dengan betapa berbedanya orang memandang AI. Fitur -fitur yang menggairahkan beberapa orang lain yang menakutkan, menciptakan kesenjangan antara pembangun dan pengguna.
Pembangun – alias insinyur dan peneliti – fokus pada tantangan dasar seperti Kualitas data, predisposition algoritmik, dan risiko eksistensial. Kekhawatiran mereka mendominasi berita utama dan diskusi akademik.
Tetapi pengguna, seperti pemimpin bisnis dan tim operasional yang ingin memanfaatkan alat -alat ini secara praktis dan aman, memiliki kekhawatiran yang lebih praktis. Kurang khawatir tentang apakah AI akan mengakhiri dunia dan lebih fokus pada apakah itu akan mengekspos data pelanggan atau membuat kesalahan yang mahal.
Sementara pembangun fokus pada masa depan, pengguna ingin tahu apa yang dapat dilakukan AI hari ini. Dan sayangnya, kesenjangan antara apa yang mereka harapkan dari agen AI untuk memberikan dan apa yang bisa sangat besar.
Dr Damien Duff adalah konsultan utama AI/ML di Daemon.
Harapan vs Realitas
Narasi seputar AI agen sering melukiskan gambaran pekerja electronic yang sepenuhnya otonom yang dapat mengubah bisnis dalam semalam. Sementara multi-agen LLMS bukan lagi teori, ada lebih banyak eksplorasi yang harus dilakukan sebelum mereka dapat mengaktifkan transformasi bisnis yang lengkap.
Sistem AI saat ini dapat memberikan perilaku seperti agen yang mengesankan termasuk ekstraksi pengetahuan dari dokumen yang luas, mempercepat siklus hidup pengiriman perangkat lunak, dan interaksi pelanggan yang empati. Tetapi sistem otonom yang benar -benar bekerja secara mandiri di lingkungan baru yang kompleks tetap di luar jangkauan.
Sementara AI dapat menyelesaikan tugas terstruktur dengan pengawasan manusia, ia berjuang dengan masalah terbuka, perencanaan jangka panjang dan pengambilan keputusan berisiko tinggi di mana kegagalan memiliki konsekuensi.
Misalnya, AI dapat mengidentifikasi potensi kerentanan dalam kode dan mengusulkan perbaikan yang luas, tetapi pengembang harus mengevaluasi solusi untuk mengimplementasikan dan memandu aplikasi mereka karena AI tidak dapat secara konsisten menguraikan konteks sistem yang lebih luas.
Bahaya dari ekspektasi yang meningkat adalah bahwa organisasi ditangkap lengah oleh risiko keamanan nyata. Terpikat ke dalam rasa kesiapan yang salah, mereka tidak siap dengan ancaman rutin yang jauh lebih mungkin mereka hadapi.
Tantangan keamanan
Ketika sistem AI agen menjadi lebih otonom, organisasi menghadapi tantangan kritis untuk memastikan sistem bertindak selaras Tujuan Bisnis. Karena AI agen menjadi lebih mampu, ia juga menjadi lebih sulit untuk dikendalikan dan oleh karena itu, lebih mudah dieksploitasi. Tidak seperti perangkat lunak tradisional, yang gagal dengan cara yang dapat diprediksi, sistem AI dapat gagal secara kreatif, dimanipulasi dengan cara yang tidak pernah diantisipasi oleh pencipta mereka.
Jadi, risiko keamanan seperti apa yang harus dikhawatirkan organisasi?
Sementara tantangan TI tradisional, seperti perlindungan information lintas sistem, manajemen risiko, pelaporan yang kuat dan visibilitas tetap kritis, ada tantangan baru yang membutuhkan pendekatan baru.
Misalnya, rekayasa cepat, seperti injeksi cepat di mana aktor yang buruk dapat menanamkan instruksi jahat dalam permintaan yang tidak bersalah, atau manipulasi konteks, di mana penyerang memberikan konteks yang salah, menyebabkan AI membuat keputusan berdasarkan asumsi yang salah.
Masalah penting lainnya adalah akumulasi kesalahan: sementara manusia yang berpengalaman sering menemukan kesalahan mereka, kesalahan AI dapat dengan cepat bola salju, terutama dalam sistem multi-agen, mengubah masalah kecil menjadi masalah besar; Ini bisa tidak diperhatikan pada tahap awal karena penalaran agen secara dangkal mirip dengan penalaran manusia, dan kemudian dengan cepat spiral.
Risiko AI mungkin tampak menakutkan, tetapi solusinya seringkali lebih akrab daripada yang diharapkan organisasi. Ini bukan pertanyaan apakah masalah keamanan akan muncul, tetapi masalah kapan, jadi penting untuk dipersiapkan.
Solusinya
Banyak solusi untuk tantangan keamanan spesifik agen AI Kerangka kerja manajemen cybersecurity dan risiko. Pendekatan ini mengharuskan perusahaan untuk menerapkan prinsip -prinsip yang sudah mereka kenal (atau dengan organisasi yang bekerja dengan mereka akrab), termasuk nol kepercayaan, pengawasan manusia, dan akses terkontrol.
Daripada mengasumsikan semua input AI aman, perusahaan harus memperlakukan mereka sebagai berpotensi berbahaya dan menerapkan beberapa lapisan validasi. Pendekatan ini bekerja di semua aplikasi, baik layanan pelanggan atau operasi keuangan.
Sementara prinsip -prinsipnya langsung, implementasi yang sukses membutuhkan perencanaan yang cermat. Untuk membangun keamanan AI agen yang efektif, organisasi harus:
- Mulailah dengan jari -jari ledakan kecil: Mulailah dengan kasus penggunaan berisiko rendah dan bernilai tinggi di mana kesalahan dapat dipulihkan. Misalnya, menggunakan AI untuk peringkasan dokumen sebelum pindah ke transaksi keuangan. Ini membangun kepercayaan dan keahlian organisasi.
- Bangun Tata Kelola: Jangan menunggu masalah muncul. Menetapkan proses persetujuan yang jelas dan program pelatihan staf sehingga karyawan tahu apa yang harus dilakukan ketika ada yang salah.
- Otomatis proses validasi: Bangun dan terus-menerus menumbuhkan suite uji AI dan tradisional yang komprehensif yang merangkum skenario kasus terburuk yang dibayangkan dari serangan permusuhan, kasus tepi, dan sebagainya, sehingga kita tidak mengikuti target yang bergerak tetapi mengukur peningkatan kita dengan hati-hati dan mencegah backslides.
- Pertanyaan semuanya: Latih pengguna dan tim yang mengintegrasikan alat AI untuk mempertanyakan output AI daripada secara inheren mempercayai mereka. Jadikan verifikasi bagian dari budaya perusahaan di antara pembangun dan konsumen dengan menyiapkan proses peninjauan peer, memperkenalkan protokol periksa area dan merayakan ketika seseorang menangkap kesalahan.
- Kembangkan proses perlindungan: Melakukan penilaian risiko rutin, mengaudit implementasi yang ada untuk kerentanan, mengimplementasikan sistem pemantauan, dan membuat prosedur respons insiden spesifik AI. Siapkan kebijakan keamanan untuk sukses.
- Tetap di depan: Pastikan karyawan diberitahu tentang ancaman yang muncul dengan memberikan pelatihan yang relevan, serta mendorong mereka untuk berpartisipasi dalam online forum industri, mendiskusikan pengalaman dengan teman sebaya, dan menghadiri konferensi keamanan. Ingat, pengetahuan adalah kekuatan.
Masa depan
Agen AI adalah alat yang ampuh yang dapat mengubah cara kita bekerja dan menyelesaikan masalah. Tetapi seperti teknologi yang kuat dan muncul, itu membutuhkan rasa hormat, pemahaman, dan langkah -langkah keamanan yang tepat.
Kuncinya adalah mendekati teknologi ini dengan perencanaan yang sama dan manajemen risiko yang sama yang harus kami terapkan pada alat lain. Analogi magang Pundit yang mudah tertipu mengingatkan kita bahwa bahkan sistem yang paling mampu memerlukan pengawasan, batasan yang jelas, dan panduan yang berkelanjutan.
Kami telah menampilkan pembangun situs internet AI terbaik.
Artikel ini diproduksi sebagai bagian dari saluran Wawasan Ahli TechRadarPro di mana kami menampilkan pikiran terbaik dan paling cerdas dalam industri teknologi saat ini. Pandangan yang diungkapkan di sini adalah pandangan penulis dan tidak harus dari TechRadarPro atau Future Plc. Jika Anda tertarik untuk berkontribusi, cari tahu lebih lanjut di sini:
