Fitur Terbaik Apple Vision Pro Adalah Avatar Anda yang Sangat Realistis

Terkubur di dalam Vision Pro seharga $3.499 dari Apple Headset VR adalah fitur yang terus membuat saya kagum, tetapi Anda mungkin belum pernah mendengarnya. Fiturnya, disebut Personamelibatkan dua atau lebih pengguna, semuanya memakai Vision Pro, mengobrol satu sama lain secara real time tetapi sebagai replika virtual.

Kini setelah keluar dari versi beta, Persona adalah bagian dari sistem avatar Apple untuk Vision Pro, yang membuat replika diri Anda melalui pemindaian foto 3D.

Memindai diri sendiri bukanlah hal baru. Sekitar lima tahun yang lalu, saya mencoba telepresence dengan avatar pindaian 3D pada kacamata Nreal AR dengan perusahaan bernama Spatial. Saya telah mengintip avatar codec realistis Meta. Saya menjelajahi telepresence avatar kartun dengan Microsoft di HoloLens. Dan saya bahkan telah memindai diri saya sendiri ke dalam segala macam deepfake AI yang aneh menggunakan aplikasi telepon Sora OpenAI.

Namun, belum ada yang melakukan apa pun dengan headset atau kacamata VR atau AR secanggih Vision Persona Apple. Dan kita belum melihat awal dari bagaimana hal-hal baik bisa terjadi.

Untuk mempelajari lebih lanjut, saya mengenakan headset M5 Vision Pro dan menggunakan FaceTime untuk mengobrol eksklusif dengan direktur senior Grup Produk Vision Apple, Jeff Norris, dan direktur senior pemasaran produk, Steve Sinclair. Keduanya muncul sebagai Persona di kantor rumah saya. Kami berjalan seperti hantu ketika pertemuan dimulai, secara tatap muka. Setelah beberapa menit, kami merasa seperti benar-benar menghabiskan waktu bersama secara langsung.

Apple tidak membahas masa depan. Namun Norris dan Sinclair menjelaskan beberapa teknologi 3D keren yang membuat Persona tampak begitu realistis. Saat kami mengobrol, saya membayangkan pemindaian serupa dapat dilakukan di tempat lain selain Vision Pro, seperti iPhone Anda, yang dapat diakses oleh lebih banyak orang.

Telepresence yang sebenarnya adalah keajaiban yang mahal

Sulit untuk menemukan orang lain yang memiliki Vision Pro, tetapi ketika saya memilikinya, perasaan menakutkan ketika ada hantu yang masuk ke rumah saya bagaikan sihir. VisionOS Apple telah berevolusi untuk memungkinkan kolaborasi antar Persona, memperluas ruang virtual hingga lima orang untuk melihat dan berbagi objek dan aplikasi virtual bersama-sama. Beberapa orang di ruangan yang sama yang memakai headset Vision dapat berkolaborasi dengan Persona yang juga dapat mengirimkan sinyal dari jarak jauh.

Saya telah memimpikan ide telepresence hologram seperti Tony Stark selama bertahun-tahun. Itu pada dasarnya ada di sini. Itu hanya dibatasi oleh perangkat keras yang sangat mahal.

Kacamata pintar belum mampu menangani muatan avatar seperti ini, meskipun kacamata AR dari Snap dan lainnya mungkin akan segera mencobanya. Pertanyaan saya untuk Apple adalah: Teknologi apa yang membuat Persona terwujud, dan dapatkah Persona muncul di tempat lain?

Teknologi pemindaian percikan menggunakan pembelajaran mesin

Dalam pertemuan kami, Norris menjelaskan bahwa teknologi Persona menggunakan percikan Gaussian untuk menghasilkan pemindaian wajah 3D yang sangat meyakinkan. Percikan Gaussian adalah teknologi utama untuk banyak aplikasi 3D saat ini, sering kali diterapkan pada pemindaian objek atau lingkungan berskala besar. Aplikasi Hyperscape Capture Meta di Quest dapat memindai seluruh ruangan menjadi ruang 3D yang dapat dilalui dengan berjalan kaki di VR, misalnya. Ini merajut gambar 3D atau lanskap dari serangkaian gambar 2D menggunakan AI.

Apa yang membuat Persona unik adalah fokusnya pada pemindaian diri Anda sendiri, bukan lingkungan Anda. Menggunakan VisionOS 26, Norris menunjukkan kepada saya perubahan penting dari versi Persona sebelumnya. Render sekarang dapat menampilkan detail lebih besar di berbagai sudut dan menangkap detail seperti perhiasan dan bulu mata. Tubuh dan wajah dipindai secara bersamaan, sehingga rendernya terasa lebih mulus.

“Ada pembelajaran mesin yang terlibat, namun tidak banyak orang yang benar-benar menyadari bahwa ini adalah kumpulan jaringan yang bersatu,” kata Norris. “Kami menghitungnya, jumlahnya lebih dari selusin, namun kami sebenarnya mengurangi jumlahnya ketika kami beralih ke Persona versi baru ini.”

Saya menyebutkan kemungkinan memindai ruangan ke dalam Vision Pro di masa mendatang (aplikasi seperti Scaniverse dan Polycam sudah memamerkan pemindaian 3D di headset). Norris mengatakan Apple sudah menerapkan Gaussian splatting pada konversi foto 3D spasial, yang kini terlihat sangat imersif di headset. Terus gimana?

Tidak perlu banyak waktu untuk mengambil foto yang dibutuhkan. Bisakah itu dilakukan di iPhone?

Meskipun pemindaian Persona dilakukan melalui headset Vision Pro, yang mengharuskan saya mengangkat headset untuk memutar kepala dan memindai, itu bukanlah proses yang mengharuskan saya menggunakan sensor Vision Pro secara ekstensif.

“Kami hanya membutuhkan sedikit gambar saat kami mendaftarkan Persona Anda,” kata Norris kepada saya. “Itu mencakup beberapa ekspresi wajah untuk membantu jaringan kami memahami bagaimana wajah Anda bergerak ketika Anda berbicara dan tersenyum. Dan itu saja.”

Saya bertanya-tanya apakah iPhone pada akhirnya dapat memindai Persona, yang menurut saya jauh lebih mudah daripada menggunakan Vision Pro. Norris tidak menjawabnya secara langsung.

“Menarik sekali membayangkan berbagai cara untuk mencapai hal tersebut,” jawabnya. “Tetapi saat ini, kami senang karena gambar tersebut terintegrasi ke dalam perangkat dan semua pemrosesan dilakukan di perangkat. Tak satu pun dari gambar-gambar ini harus dibawa ke mana pun agar hal itu dapat terjadi.”

Apa dampaknya bagi rasa identitas virtual kita di masa depan?

Persona tunggal yang saya pindai dan ikat ke ID Apple saya di Vision Pro terasa seperti dirancang untuk bertindak sebagai pemetaan satu-ke-satu untuk diri virtual saya. Ini adalah hal terdekat yang dimiliki Apple sebagai pengganti penggunaan kamera untuk menyiarkan wajah saya yang sebenarnya, yang tidak dapat dilakukan karena saya memakai headset.

Perusahaan AI sudah memindai dan menghasilkan versi virtual manusia dalam jumlah deepfake yang semakin meningkat, baik disengaja maupun tidak disengaja. Aplikasi Sora OpenAI adalah contoh paling menonjol saat ini, dan menggunakan teknologi pemindaian wajah serupa di iPhone untuk menghasilkan “Cameo” diri saya yang dapat saya pinjamkan kepada orang lain.

Saya bertanya kepada Norris di mana batasan yang bisa ditarik ke depan. Dia menjelaskan bahwa Apple ingin menampilkan seseorang secara real-time dengan jelas dan aman, bukan sebagai reproduksi.

“Kami telah memfokuskan Persona pada tujuan representasi otentik,” katanya. “Kami mencoba mengabulkan apa yang menurut saya merupakan keinginan mendasar manusia, yaitu: ‘Saya berharap Anda ada di sini.’ Itu dimulai dengan mencoba setia pada penampilan kami, cara kami bergerak, dan cara kami mengekspresikan emosi saat berbicara.”

Bisakah saya memiliki lebih dari satu Persona, atau lebih banyak penyesuaian?

Saat ini, Apple membatasi Anda untuk menggunakan satu pemindaian Persona dalam satu waktu, dan ini mengejutkan saya. Saya ingin berbagai avatar Scott Stein dalam suasana hati berbeda atau sekadar dengan pakaian berbeda. Meskipun Apple tidak mengeksplorasi transformasi identitas melalui pemindaian, saya menghargai pilihan kacamata realistis, dan saya ingin menambahkan lebih banyak aksesori.

“Orang-orang dapat mendaftar ulang atau hanya mengenakan baju lain dan mendaftar lagi,” kata Norris. “Saya benar-benar memahami mengapa hal itu menjadi sesuatu yang kami inginkan. Namun saat ini kami fokus pada satu hal saja.”

Akankah Persona meluas ke luar Vision Pro?

Saya sudah memikirkan lebih banyak opsi untuk Persona, tidak hanya untuk headset mahal Apple, tetapi juga untuk iPhone dan perangkat lainnya.

Bagaimana jika mereka bisa menjadi pengganti pribadi dalam panggilan FaceTime kita? Saya sudah bisa menelepon istri saya di FaceTime dari Vision Pro, dan dia bisa melihat Persona 2D saya di sana. Dia menertawakannya karena rasanya agak supernatural. Jika Apple sudah membuka pintu sebanyak ini dengan Animoji di FaceTime, mengapa tidak Persona juga?

Norris menegaskan bahwa Persona berfungsi lebih baik di headset Vision, dan saya setuju. Entah bagaimana, renderingnya terasa lebih meyakinkan. Ketika kita menempatkan diri kita di lingkungan yang setengahnya terdiri dari benda-benda virtual, identitas yang dipindai 3D ini tampak lebih alami. Namun jarak fisik dan ekspresi tubuh juga bisa terjadi di luar angkasa. Persona dapat meninggalkan kotaknya dan melayang-layang sebagai batang tubuh, tangan, dan wajah.

“Saya bisa menceritakan lelucon dan Anda akan mengerti karena Anda akan melihat bahasa tubuh saya, dan melihat ekspresi wajah saya yang tidak Anda lihat di layar dua dimensi,” kata Sinclair. “Di sini, kita berada di ruangan bersama, dan rasanya kita benar-benar ada di sini.”

Saat Persona-nya berdiri di samping meja saya yang berantakan dalam bentuk virtual, saya menyadari dia benar.

Apple sudah menerima masukan mengenai hal ini untuk keperluan bisnis. “Kami juga mendengarnya di bidang kesehatan,” kata Norris. “Dokter yang membuat prosedur dan ingin melatih orang lain. Mereka tidak perlu bepergian ke seluruh negeri. Mereka cukup melakukan panggilan FaceTime dengan Persona mereka.”

Saya masih melihat masa depan di mana iPhone, iPad, laptop, dan headset berkolaborasi bersama, sesuatu yang bersifat perusahaan seperti Microsoft Dan Qualcomm telah ditunjuk sebagai jembatan antara headset dan perangkat layar datar. Samsung dan Google sedang mendiskusikan jenis titik penghubung tersebut dengan Android XR juga. Apel memiliki ARKit di iPhone dan iPad, jadi kemungkinannya sudah ada.

Norris mengatakan bahwa Persona di luar headset akan kehilangan sesuatu saat ini. “Untuk mendapatkan apresiasi penuh atas pengalaman tersebut, Anda harus memiliki kemampuan penginderaan dan kemampuan tampilan yang luar biasa. Mereka benar-benar harus bersatu untuk menciptakan momen ajaib seperti ini.”

Ketika Apple bergerak menuju lini kacamata pintar yang diharapkan di masa depan, dan menuju iPhone dan iPad yang lebih canggih, filosofi tersebut dapat berkembang. Persona adalah awal dari perubahan mendasar dalam cara kami menangani kolaborasi dan koneksi.

Namun untuk saat ini, Anda tidak akan pernah mengalaminya kecuali Anda berada di dalam Vision Pro. Saya menantikan saat ketika tiket masuk ke dunia telepresence yang ajaib ini jauh lebih terjangkau dan didistribusikan dengan lebih baik, sehingga lebih banyak orang dapat ikut serta.

Saat ini, Persona saya sebagian besar sendirian. Saya akan senang jika saya bisa lebih sering ditemani.

Jangan lewatkan konten teknologi dan ulasan berbasis laboratorium kami yang tidak memihak. Tambahkan CNET sebagai sumber Google pilihan.