Dunia tidak memiliki metode ilmiah yang ketat untuk menguji keamanan AI: Rumman Chowdhury|Berita India

“Salah satu hal besar yang terjadi di semua KTT ini adalah komitmen sukarela yang baru,” katanya. “Ini adalah public relations yang bagus dan gambaran yang bagus, tapi apa arti nyata dan mendasar dari hal ini? Organisasi-organisasi ini tidak bisa hidup bergantung pada perusahaan atau organisasi politik. Agar dapat dikodifikasi atau dikuatkan, hal ini harus benar-benar menjadi sesuatu yang diwajibkan oleh hukum.”

Chowdhury punya alasan untuk berterus terang. Dia mengarahkan tim ML Ethics, Openness, and Accountability (META) di X (sebelumnya Twitter), yang menerbitkan studi tentang amplifikasi algoritmik konten politik. Tim tersebut dibubarkan setelah akuisisi Elon Musk. Dia kemudian memimpin divisi AI yang Bertanggung Jawab di Departemen Pertahanan AS, ditunjuk sebagai utusan Sains AS untuk AI, dan mengundurkan diri ketika pemerintahan Trump mengatur ulang kantor tersebut dan mencabut tindakan pengamanan era Biden. Dua tim AI yang bertanggung jawab, dua tim runtuh – satu korporat, satu politik.

Bagi Chowdhury, chief executive officer dan salah satu pendiri organisasi nirlaba keselamatan AI, Humane Intelligence, analisis algoritme Twitter– satu-satunya analisis algoritme yang dilakukan oleh perusahaan Teknologi Besar namun melibatkan peneliti independen dari luar– mengungkap masalah yang relevan dengan regulasi keselamatan AI saat ini. Analisis tersebut menemukan bahwa Twitter menampilkan lebih banyak konten sayap kanan secara organik.

Hipotesis kerja Chowdhury adalah bahwa hal ini “bukanlah bias algoritmik, namun penguatan algoritmik terhadap perilaku manusia”– sebuah sistem yang memunculkan hal-hal yang telah digunakan oleh banyak orang.

“Jika semua orang berinteraksi dengan konten sayap kanan, maka kami akan menampilkan lebih banyak konten sayap kanan– sekali lagi, memang disengaja,” katanya. Dengan kata lain, algoritme tersebut tidak mengalami kegagalan fungsi– algoritme ini mengoptimalkan keterlibatan, yang ternyata tidak tepat selama periode polarisasi politik yang intens. Hal ini menimbulkan pertanyaan yang tidak dapat dijawab oleh tim secara teknis, karena ini bukan pertanyaan teknis: “Siapa yang memutuskan apa yang adil? Apakah Jack Dorsey yang memutuskan? Tidak ada badan pengawas.”

India AI Effect Top, yang mengadopsi pendekatan ‘tujuh chakra’, mencantumkan AI yang aman dan tepercaya sebagai salah satu tema utamanya.

Melembagakan keselamatan

Chowdhury mengatakan bahkan ketika tim AI yang bertanggung jawab bertahan dari perubahan kepemimpinan, efektivitas mereka bergantung pada posisi mereka dalam suatu organisasi– sebuah pertanyaan yang menurutnya jarang dibahas.

Tim etikanya di X adalah unit teknik dalam produk inti. Menurut pengalamannya, alternatif tersebut kurang efektif. “Banyak perusahaan, ketika Anda menyebutkan teater atau optik– mereka murni merupakan lembaga kebijakan atau penelitian, yang secara pribadi merupakan tempat yang paling tidak saya sukai,” katanya. “Anda hanya menghadap ke luar. Anda harus diundang ke meja produk. Anda tidak berada di sana karena disengaja.”

Kerangka kerja ini akan diterapkan pada pemerintah. Ketika ditanya tentang India, dimana tata kelola AI berada di bawah Kementerian Elektronika dan TI (Meity), Chowdhury, tanpa berkomentar mengenai manfaatnya, menyamakannya dengan pengadaan barang/jasa perusahaan: fungsi TI tradisional dalam sebuah perusahaan berkaitan dengan “analisis biaya-manfaat serta komputasi dan penyimpanan kata sandi”, bukan risiko yang lebih luas. “Apakah para menteri TI dan teknologi merupakan orang yang tepat untuk memberikan pendapat mengenai anak-anak dan pendidikan, atau kesehatan mental dan kesejahteraan, atau hubungan parasosial, atau predisposition dan diskriminasi?” dia bertanya. “Itu bukanlah zona nyaman mereka.”

Yang pasti, peraturan AI di India bergantung pada regulatory authority sektoral, meskipun sebagian besar tindakan hukuman dan penegakan hukum dilakukan melalui Meity.

Alat pengujian tidak berfungsi

Alat yang tersedia untuk mengevaluasi sistem AI, menurut Chowdhury, tidak sesuai dengan tujuannya– dan industri mengetahuinya. “Saya sangat menekankan bahwa mekanisme pengujian kami untuk model-model AI tidak mencukupi. Kami sebenarnya tidak memiliki metode ilmiah yang ketat untuk menguji model-model AI ini,” katanya. “Perusahaan-perusahaan design di wilayah perbatasan mengabaikan hal ini karena mereka dapat memahami arti keselamatan, tanpa adanya ketelitian ilmiah.” Tolok ukurnya, katanya, “sebenarnya hanyalah pasangan tanya jawab. Siapa yang menciptakannya? Siapa yang memutuskan bahwa pasangan ini mewakili?”

Tim merah, di mana para ahli mencoba membuat suatu alat dapat melanggar perlindungan, tidak mendapatkan hasil yang lebih baik: “sekelompok orang di sebuah ruangan meretas sebuah design. Itu tidak terlalu teliti.” Dia menggambarkan sikap pilih-pilih di kedua sisi– perusahaan hanya menguji kerugian yang ingin mereka temukan, kritikus menggali sampai mereka mendapatkan hasil yang mereka cari. Masalah mendasarnya adalah peralihan dari version pembelajaran mesin deterministik ke AI generatif probabilistik telah melampaui metode evaluasi yang dibangun untuk teknologi generasi sebelumnya. “Kami belum mengembangkan teknologi yang terukur dan ketat” untuk menguji sistem probabilistik, katanya. Hasilnya adalah apa yang disebut oleh industri sebagai “api penyucian percontohan”– design terjebak dalam demonstrasi terkendali karena alat evaluasi tidak terhubung dengan kondisi dunia nyata.

Pembicaraan yang salah tentang pekerjaan

Dua hari sebelum wawancara ini, CEO Microsoft AI Mustafa Suleiman telah menyatakan bahwa semua pekerjaan kerah putih akan diotomatisasi dalam waktu 18 bulan. Chowdhury dengan tegas menyatakan: klaim tersebut salah secara faktual dan berbahaya secara politik.

“Belum pernah dalam sejarah evolusi manusia kita melakukan lebih sedikit pekerjaan ketika kita membangun lebih banyak teknologi. Kita selalu memiliki lebih banyak pekerjaan,” katanya. Keynes telah memperkirakan 15 jam kerja dalam seminggu dan kehidupan yang menyenangkan. “Itu adalah cerita lama yang tidak pernah terjadi,” kata Chowdhury. Peningkatan AI, tambahnya, tidak linier– ia mengutip Yann LeCun dan Fei-Fei Li yang menyelidiki arsitektur alternatif karena pendekatan yang ada saat ini menghadapi hasil yang semakin berkurang, ditambah dengan information pelatihan keracunan konten yang dihasilkan AI.

Namun masalahnya terletak pada dampak doomsday framing terhadap kebijakan. Perpindahan nyata sedang terjadi di kalangan generasi muda– magang dan posisi entry-level semakin diperas. “Kami mengecewakan generasi muda karena memang sulit mendapatkan pekerjaan sebagai pekerja magang, karena AI dapat melakukan hal tersebut untuk Anda,” katanya. “Apa yang bisa kita bangun agar anak-anak saat ini tidak menjadi generasi yang hilang? Ini bukan cerita untuk 18 bulan dari sekarang. Ini adalah cerita untuk hari ini.”

“Kita tidak bisa membuat keputusan kebijakan menyeluruh mengenai pengangguran international. Kita bisa membuat keputusan kebijakan tentang membantu generasi muda atau pekerja tingkat pemula. Ini sebenarnya adalah masalah yang bisa dan harus kita atasi.” Namun pembingkaian apokaliptik, menurutnya, membuat masalah yang mudah diselesaikan menjadi mustahil untuk diatasi– membandingkannya dengan film Do not Seek out, di mana kepastian akan adanya bencana melumpuhkan respons apa pun. “Ketika Anda berbicara dengan bahasa seperti itu, tidak ada yang dapat Anda lakukan. Anda telah sepenuhnya mengasingkan segala kemungkinan untuk melakukan apa word play here.”

Hukum harus memimpin

Tidak ada yurisdiksi yang mengatur tata kelola AI dengan benar. Version pilihan Chowdhury adalah Undang-Undang Layanan Digital UE, bukan karena implementasinya namun karena ambisinya. “Mereka secara eksplisit menyusun hal-hal yang menjadi dasar pengukuran platform media sosial– dampak buruk terhadap psychological, dampak terhadap anak-anak, pelanggaran hak asasi manusia,” katanya.

Kemampuan teknis untuk menguji berdasarkan standar yang aman belum ada. Dalam pandangannya, itu baik-baik saja. “Jika undang-undang tersebut ada, maka kita wajib menciptakan cara untuk menerapkan undang-undang tersebut. Undang-undang tersebut akan diterapkan dengan buruk dalam lima hingga delapan tahun dan kemudian mungkin akan menjadi lebih baik. Namun hal ini sudah ditentukan oleh schedule.”

Para pembuat kebijakan di India telah mengutip pengalaman UE– khususnya GDPR– sebagai peringatan agar tidak membuat peraturan terlalu dini. Jawaban Chowdhury: “Kami telah bereksperimen ke arah (permisif) selama dua dekade. Mengapa tidak mencoba opsi lain?”