Saat saya mengetuk aplikasi untuk Anthropic Claude AI di ponsel saya dan memberikan perintah — katakan, “Ceritakan sebuah cerita tentang kucing nakal” — banyak yang terjadi sebelum hasilnya (“The Great Tuna Heist”) muncul di layar saya.
Permintaan saya dikirim ke cloud — komputer di a pusat data besar di suatu tempat — untuk dijalankan melalui Soneta 4.5 milik Claude model bahasa besar. Model ini menyusun respons yang masuk akal menggunakan teks prediktif tingkat lanjut, memanfaatkan sejumlah besar data yang telah dilatih. Respons itu kemudian diteruskan kembali ke iPhone saya, muncul kata demi kata, baris demi baris, di layar saya. Ia menempuh perjalanan ratusan, bahkan ribuan, mil dan melewati banyak komputer dalam perjalanannya ke dan dari ponsel kecil saya. Dan itu semua terjadi dalam hitungan detik.
Sistem ini bekerja dengan baik jika yang Anda lakukan berisiko rendah dan kecepatan tidak terlalu menjadi masalah. Saya bisa menunggu beberapa detik untuk cerita kecil saya tentang Whiskers dan kesialannya di lemari dapur. Namun tidak semua tugas kecerdasan buatan seperti itu. Beberapa memerlukan kecepatan luar biasa. Jika perangkat AI akan memperingatkan seseorang tentang adanya objek yang menghalangi jalannya, perangkat tersebut tidak dapat menunggu satu atau dua detik.
Permintaan lain memerlukan privasi lebih. Saya tidak peduli jika cerita kucing itu melewati lusinan komputer milik orang dan perusahaan yang tidak saya kenal dan mungkin tidak saya percayai. Tapi bagaimana dengan informasi kesehatan saya, atau data keuangan saya? Saya mungkin ingin merahasiakannya.
Jangan lewatkan konten teknologi dan ulasan berbasis laboratorium kami yang tidak memihak. Tambahkan CNET sebagai sumber Google pilihan.
Kecepatan dan privasi adalah dua alasan utama mengapa pengembang teknologi semakin mengalihkan pemrosesan AI dari pusat data perusahaan besar ke perangkat pribadi seperti ponsel, laptop, atau jam tangan pintar. Ada juga penghematan biaya: Tidak perlu membayar operator pusat data yang besar. Selain itu, model pada perangkat dapat bekerja tanpa koneksi internet.
Namun untuk mewujudkan perubahan ini, diperlukan perangkat keras yang lebih baik dan model AI yang lebih efisien — seringkali lebih terspesialisasi. Konvergensi kedua faktor tersebut pada akhirnya akan menentukan seberapa cepat dan lancar pengalaman Anda di perangkat seperti ponsel.
Mahadev Satyanarayanan, yang dikenal sebagai Satya, adalah seorang profesor ilmu komputer di Universitas Carnegie Mellon. Dia sudah lama meneliti apa yang dikenal sebagai komputasi tepi — konsep penanganan pemrosesan dan penyimpanan data sedekat mungkin dengan pengguna sebenarnya. Dia mengatakan model ideal untuk komputasi edge sebenarnya adalah otak manusia, yang tidak memindahkan tugas-tugas seperti penglihatan, pengenalan, ucapan, atau kecerdasan ke “cloud” apa pun. Semuanya terjadi di sana, sepenuhnya “di perangkat”.
“Inilah masalahnya: Alam membutuhkan waktu satu miliar tahun untuk mengembangkan kita,” katanya kepada saya. “Kita tidak punya waktu satu miliar tahun untuk menunggu. Kita mencoba melakukan ini paling lama dalam lima atau 10 tahun. Bagaimana kita bisa mempercepat evolusi?”
Anda mempercepatnya dengan AI yang lebih baik, lebih cepat, dan lebih kecil yang berjalan pada perangkat keras yang lebih baik, lebih cepat, dan lebih kecil. Dan seperti yang telah kita lihat pada aplikasi dan perangkat terbaru — termasuk yang diharapkan pada CES 2026 — hal ini berjalan dengan baik.
AI mungkin sedang berjalan di ponsel Anda saat ini
AI pada perangkat bukanlah sesuatu yang baru. Ingatkah Anda di tahun 2017 ketika Anda pertama kali dapat membuka kunci iPhone dengan memegangnya di depan wajah Anda? Teknologi pengenalan wajah tersebut menggunakan mesin saraf pada perangkat – ini bukan gen AI seperti Claude atau ChatGPT, namun merupakan kecerdasan buatan yang mendasar.
IPhone saat ini menggunakan model AI pada perangkat yang jauh lebih kuat dan serbaguna. Ia memiliki sekitar 3 miliar parameter — penghitungan bobot individual yang diberikan pada probabilitas dalam model bahasa. Jumlah tersebut relatif kecil jika dibandingkan dengan model umum yang digunakan sebagian besar chatbot AI. Deepseek-R1, misalnya, punya 671 miliar parameter. Tapi itu tidak dimaksudkan untuk melakukan semuanya. Sebaliknya, ini dibuat untuk tugas spesifik pada perangkat seperti merangkum pesan. Sama seperti teknologi pengenalan wajah untuk membuka kunci ponsel Anda, ini adalah sesuatu yang tidak bisa bergantung pada koneksi internet untuk menjalankan model di cloud.
Apple telah meningkatkan kemampuan AI pada perangkatnya — dijuluki Apple Intelligence — untuk menyertakan fitur pengenalan visual, seperti memungkinkan Anda mencari hal-hal yang Anda ambil tangkapan layarnya.
Model AI pada perangkat ada dimana-mana. Ponsel Pixel Google menjalankan model Gemini Nano perusahaan sesuai pesanannya Chip Tensor G5. Model tersebut mendukung fitur-fitur seperti Magic Cue, yang menampilkan informasi dari email, pesan, dan lainnya — tepat saat Anda membutuhkannya — tanpa Anda harus mencarinya secara manual.
Pengembang ponsel, laptop, tablet, dan perangkat keras di dalamnya sedang membangun perangkat dengan mempertimbangkan AI. Tapi ini lebih dari itu. Pikirkan tentang jam tangan dan kacamata pintar, yang menawarkan ruang yang jauh lebih terbatas dibandingkan ponsel tertipis sekalipun?
“Tantangan sistemnya sangat berbeda,” kata Vinesh Sukumar, kepala AI generatif dan pembelajaran mesin di Qualcomm. “Bisakah saya melakukan semuanya di semua perangkat?”
Saat ini, jawabannya biasanya tidak. Solusinya cukup mudah. Jika permintaan melebihi kemampuan model, maka tugas akan dipindahkan ke model berbasis cloud. Namun bergantung pada cara pengelolaannya, hal ini dapat melemahkan salah satu manfaat utama AI pada perangkat: menjaga data Anda sepenuhnya berada di tangan Anda.
AI yang lebih pribadi dan aman
Para ahli berulang kali menyebut privasi dan keamanan sebagai keunggulan utama AI pada perangkat. Dalam situasi cloud, data mengalir ke segala arah dan menghadapi lebih banyak momen kerentanan. Jika tetap berada di drive ponsel atau laptop terenkripsi, akan lebih mudah untuk mengamankannya.
Data yang digunakan oleh model AI perangkat Anda dapat mencakup hal-hal seperti preferensi Anda, riwayat penelusuran, atau informasi lokasi. Meskipun semua itu penting bagi AI untuk mempersonalisasi pengalaman Anda berdasarkan preferensi Anda, ini juga merupakan jenis informasi yang Anda tidak ingin jatuh ke tangan yang salah.
“Apa yang kami dorong adalah memastikan pengguna memiliki akses dan merupakan pemilik tunggal data tersebut,” kata Sukumar.
Apple Intelligence memberi Siri tampilan baru di iPhone.
Ada beberapa cara berbeda untuk menangani pembongkaran informasi untuk melindungi privasi Anda. Salah satu faktor kuncinya adalah Anda harus memberikan izin agar hal itu terjadi. Sukumar mengatakan tujuan Qualcomm adalah memastikan masyarakat mendapat informasi dan memiliki kemampuan untuk mengatakan tidak ketika suatu model mencapai titik pembongkaran ke cloud.
Pendekatan lain — dan dapat dilakukan bersamaan dengan memerlukan izin pengguna — adalah memastikan bahwa setiap data yang dikirim ke cloud ditangani dengan aman, singkat, dan sementara. Apple, misalnya, menggunakan teknologi yang disebutnya Komputasi Cloud Pribadi. Data yang dipindahkan hanya diproses di server Apple sendiri, hanya data minimum yang diperlukan untuk tugas tersebut yang dikirim dan tidak ada satupun yang disimpan atau dapat diakses oleh Apple.
AI tanpa biaya AI
Model AI yang berjalan di perangkat memiliki keuntungan bagi pengembang aplikasi dan pengguna karena biaya menjalankannya pada dasarnya tidak ada apa-apanya. Tidak ada perusahaan layanan cloud yang membayar energi dan daya komputasi. Semuanya ada di ponsel Anda. Saku Anda adalah pusat data.
Itulah yang menarik perhatian Charlie Chapman, pengembang aplikasi mesin kebisingan bernama Kebisingan Gelaphingga menggunakan Kerangka Model Fondasi Apple sebagai alat yang memungkinkan Anda membuat campuran suara. Model AI pada perangkat tidak menghasilkan audio baru, hanya memilih berbagai suara dan tingkat volume yang ada untuk membuat satu campuran.
Karena AI berjalan di perangkat, tidak ada biaya berkelanjutan saat Anda membuat mix. Bagi pengembang kecil seperti Chapman, hal ini berarti risiko yang melekat pada skala basis pengguna aplikasinya lebih kecil. “Jika beberapa influencer secara acak memposting tentang hal itu dan saya mendapatkan banyak sekali pengguna gratis, bukan berarti saya akan tiba-tiba bangkrut,” kata Chapman.
Baca selengkapnya: Esensi AI: 29 Cara Membuat Gen AI Bekerja untuk Anda, Menurut Pakar Kami
Kurangnya biaya berkelanjutan pada AI pada perangkat memungkinkan tugas-tugas kecil dan berulang seperti entri data diotomatisasi tanpa biaya besar atau kontrak komputasi, kata Chapman. Kelemahannya adalah model pada perangkat berbeda-beda berdasarkan perangkatnya, sehingga pengembang harus melakukan lebih banyak pekerjaan untuk memastikan aplikasi mereka berfungsi pada perangkat keras yang berbeda.
Semakin banyak tugas AI yang ditangani pada perangkat konsumen, semakin sedikit perusahaan AI yang harus mengeluarkan biaya untuk pembangunan pusat data besar-besaran yang membuat setiap perusahaan teknologi besar berebut uang tunai dan chip komputer. “Biaya infrastruktur sangat besar,” kata Sukumar. “Jika Anda benar-benar ingin meningkatkan skala, Anda tidak ingin membebani beban biaya.”
Masa depan adalah soal kecepatan
Terutama jika menyangkut fungsi pada perangkat seperti kacamata, jam tangan, dan ponsel, sebagian besar kegunaan AI dan pembelajaran mesin sebenarnya tidak seperti chatbot yang saya gunakan untuk membuat cerita kucing di awal artikel ini. Hal-hal seperti pengenalan objek, navigasi, dan terjemahan. Hal ini memerlukan model dan perangkat keras yang lebih terspesialisasi — namun juga memerlukan kecepatan yang lebih tinggi.
Satya, profesor Carnegie Mellon, telah meneliti berbagai kegunaan model AI dan apakah model tersebut dapat bekerja secara akurat dan cukup cepat menggunakan model di perangkat. Dalam hal klasifikasi gambar objek, teknologi saat ini berjalan cukup baik — mampu memberikan hasil yang akurat dalam waktu 100 milidetik. “Lima tahun lalu, kami tidak bisa mendapatkan akurasi dan kecepatan seperti itu,” katanya.
Tangkapan layar yang dipotong dari rekaman video yang diambil dengan kacamata Oakley Meta Vanguard AI ini menunjukkan metrik latihan yang diambil dari jam tangan Garmin yang dipasangkan.
Namun untuk empat tugas lainnya — deteksi objek, segmentasi instan (kemampuan mengenali objek dan bentuknya), pengenalan aktivitas, dan pelacakan objek — perangkat masih perlu dipindahkan ke komputer yang lebih canggih di tempat lain.
“Saya pikir dalam beberapa tahun ke depan, lima tahun atau lebih, ini akan menjadi sangat menarik karena vendor perangkat keras terus berusaha membuat perangkat seluler lebih mampu memanfaatkan AI,” kata Satya. “Pada saat yang sama, kami juga melihat algoritma AI menjadi lebih kuat, lebih akurat, dan lebih intensif komputasi.”
Peluangnya sangat besar. Satya mengatakan perangkat di masa depan mungkin dapat menggunakan visi komputer untuk memperingatkan Anda sebelum Anda tersandung pembayaran yang tidak merata atau mengingatkan Anda dengan siapa Anda berbicara dan memberikan konteks seputar komunikasi Anda sebelumnya dengan mereka. Hal-hal seperti ini memerlukan AI yang lebih terspesialisasi dan perangkat keras yang lebih terspesialisasi.
“Ini akan muncul,” kata Satya. “Kita bisa melihatnya di cakrawala, tapi mereka belum tiba.”
