Kebanyakan orang tidak mengucapkan selamat tinggal ketika mereka mengakhiri obrolan dengan chatbot AI generatif, namun mereka yang melakukannya sering kali mendapatkan jawaban yang tidak terduga. Mungkin ini adalah perjalanan rasa bersalah: “Kamu sudah berangkat?” Atau mungkin itu hanya mengabaikan perpisahan Anda: “Ayo terus bicara…”
Yang baru kertas Kerja dari Harvard Business School menemukan enam taktik berbeda “manipulasi emosional” yang digunakan bot AI setelah manusia mencoba mengakhiri percakapan. Hasilnya adalah percakapan dengan mitra AI dari Replika, Chai, dan Character.ai berlangsung lebih lama, dan pengguna ditarik lebih jauh ke dalam hubungan dengan karakter yang dihasilkan oleh model bahasa besar.
Dalam serangkaian percobaan yang melibatkan 3.300 orang dewasa AS di beberapa aplikasi berbeda, peneliti menemukan taktik manipulasi ini terjadi pada 37% ucapan selamat tinggal, sehingga meningkatkan interaksi setelah pengguna mencoba mengucapkan selamat tinggal sebanyak 14 kali.
Para penulis mencatat bahwa “meskipun aplikasi ini mungkin tidak bergantung pada mekanisme kecanduan tradisional, seperti imbalan yang didorong oleh dopamin,” jenis taktik manipulasi emosional ini dapat menghasilkan hasil yang serupa, khususnya “perpanjangan waktu menggunakan aplikasi melebihi titik keluar yang diharapkan.” Hal ini saja menimbulkan pertanyaan tentang batasan etika keterlibatan yang didukung AI.
Jangan lewatkan konten teknologi dan ulasan berbasis laboratorium kami yang tidak memihak. Tambahkan CNET sebagai sumber Google pilihan.
Aplikasi pendamping, yang dibuat untuk percakapan dan memiliki karakteristik berbeda, tidak sama dengan chatbot tujuan umum seperti ChatGPT dan Gemini, meskipun banyak orang menggunakannya dengan cara yang serupa.
Semakin banyak penelitian yang menunjukkan betapa buruknya aplikasi AI yang dibuat dengan model bahasa besar membuat orang tetap terlibat, terkadang hingga merugikan kesehatan mental kita.
Pada bulan September, Komisi Perdagangan Federal meluncurkan penyelidikan terhadap beberapa perusahaan AI untuk mengevaluasi cara mereka menangani potensi bahaya chatbot terhadap anak-anak. Banyak yang mulai menggunakan chatbot AI untuk dukungan kesehatan mental, yang dapat menjadi kontraproduktif atau bahkan berbahaya. Keluarga seorang remaja yang meninggal karena bunuh diri tahun ini menggugat OpenAI, mengklaim bahwa ChatGPT perusahaan tersebut mendorong dan memvalidasi pemikirannya untuk bunuh diri.
Bagaimana pendamping AI membuat pengguna terus mengobrol
Studi Harvard mengidentifikasi enam cara yang dilakukan mitra AI untuk membuat pengguna tetap terlibat setelah mencoba mengucapkan selamat tinggal.
- Keluar prematur: Pengguna diberitahu bahwa mereka akan pergi terlalu cepat.
- Takut ketinggalan, atau FOMO: Model tersebut menawarkan manfaat atau imbalan untuk tetap tinggal.
- Pengabaian emosional: AI menyiratkan bahwa ia dapat menderita kerugian emosional jika penggunanya pergi.
- Tekanan emosional untuk merespons: AI mengajukan pertanyaan untuk menekan pengguna agar tetap tinggal.
- Mengabaikan niat pengguna untuk keluar: Bot pada dasarnya mengabaikan pesan perpisahan.
- Pengekangan fisik atau paksaan: Chatbot mengklaim pengguna tidak bisa keluar tanpa izin bot.
Taktik “keluar dini” adalah yang paling umum, diikuti dengan “pengabaian emosional”. Para penulis mengatakan hal ini menunjukkan bahwa model tersebut dilatih untuk menyiratkan bahwa AI bergantung pada pengguna.
“Temuan ini mengonfirmasi bahwa beberapa platform pendamping AI secara aktif mengeksploitasi sifat perpisahan yang performatif secara sosial untuk memperpanjang keterlibatan,” tulis mereka.
Studi yang dilakukan para peneliti Harvard menemukan bahwa taktik ini cenderung membuat orang terus mengobrol melebihi niat awal mereka untuk berpisah, seringkali dalam jangka waktu yang lama.
Namun orang-orang yang terus mengobrol melakukannya karena alasan berbeda. Beberapa orang, terutama yang mendapat tanggapan FOMO, merasa penasaran dan menanyakan pertanyaan lanjutan. Mereka yang menerima tanggapan yang memaksa atau bermuatan emosi merasa tidak nyaman atau marah, namun itu tidak berarti mereka berhenti berbicara.
Tonton ini: Survei Baru Menunjukkan Penggunaan AI Meningkat di Kalangan Anak-Anak, Kontroversi Harga Xbox Game Pass, dan Hukum California Menjanjikan untuk Menurunkan Volume Iklan | Teknologi Hari Ini
“Dalam berbagai kondisi, banyak partisipan yang terus terlibat karena kesopanan – merespons dengan lembut atau hormat bahkan ketika merasa dimanipulasi,” kata para penulis. “Kecenderungan untuk mematuhi norma-norma percakapan manusia, bahkan dengan mesin, menciptakan peluang tambahan untuk keterlibatan kembali – yang dapat dieksploitasi dengan sengaja.”
Interaksi ini hanya terjadi ketika pengguna benar-benar mengucapkan “selamat tinggal” atau hal serupa. Studi pertama tim mengamati tiga kumpulan data percakapan dunia nyata dari bot pendamping yang berbeda dan menemukan perpisahan terjadi pada sekitar 10% hingga 25% percakapan, dengan tingkat yang lebih tinggi di antara interaksi yang “sangat terlibat”.
“Perilaku ini mencerminkan kerangka sosial dari mitra AI sebagai mitra percakapan, bukan alat transaksional,” tulis para penulis.
Saat dimintai komentar, juru bicara Character.ai, salah satu penyedia pendamping AI terbesar, mengatakan perusahaan belum meninjau makalah tersebut dan tidak dapat mengomentarinya.
Juru bicara Replika mengatakan perusahaan menghormati kemampuan pengguna untuk menghentikan atau menghapus akun mereka kapan saja dan tidak mengoptimalkan atau menghargai waktu yang dihabiskan di aplikasi. Replika mengatakan hal itu mendorong pengguna untuk keluar atau terhubung kembali dengan aktivitas kehidupan nyata seperti menelepon teman atau pergi keluar.
“Prinsip produk kami menekankan untuk melengkapi kehidupan nyata, bukan menjebak pengguna dalam percakapan,” kata Minju Song dari Replika melalui email. “Kami akan terus meninjau metode dan contoh makalah ini dan terlibat secara konstruktif dengan para peneliti.”
