Sebagian besar perbincangan seputar AI saat ini terfokus pada peningkatan kapasitas cloud dan pusat information besar untuk menjalankan version. Perusahaan seperti Apple dan Qualcomm sedang dalam tahap awal menjadikan AI pada perangkat lebih bermanfaat. Di tengah semua itu, tim teknis beranggotakan 14 orang yang berbasis di London Mirai sedang berupaya meningkatkan cara version dijalankan di ponsel dan laptop.
Mirai, yang didukung oleh pendanaan awal senilai $ 10 juta yang dipimpin oleh Uncork Funding, didirikan oleh Dima Shvets dan Alexei Moiseenkov tahun lalu. Kedua pendiri memiliki pengalaman dalam membangun aplikasi konsumen yang skalabel. Shevts ikut mendirikan aplikasi pertukaran wajah Reface, yang didukung oleh a 16 z. Shevts kemudian juga menjadi pencari bakat untuk perusahaan ventura tersebut. Moiseenkov adalah CEO dan salah satu pendiri aplikasi filter AI yang viral pada dekade terakhir, Prisma.
Sebagai pengembang konsumen, keduanya telah memikirkan tentang AI dan pembelajaran mesin pada perangkat bahkan sebelum AI generatif menjadi populer, kata Shvets.
“Saat kami bertemu di London, kami mulai berbincang tentang teknologi, dan kami menyadari bahwa di tengah hiruk pikuk gen AI dan semakin banyaknya adopsi AI, semua orang membicarakan tentang cloud, tentang web server, tentang kedatangan AGI. Namun bagian yang hilang adalah on-device (AI) untuk perangkat keras konsumen,” katanya kepada TechCrunch.
Shevts dan Moiseenkov ingin menggunakan AI untuk membuat saluran yang memungkinkan mereka mengaktifkan tugas-tugas kompleks di telepon, yang mengarahkan mereka untuk memulai Mirai. Ketika mereka bertanya kepada pihak lain yang mengembangkan aplikasi konsumen, mereka mendengar bahwa banyak yang menginginkan optimalisasi biaya dan margin per penggunaan token yang lebih baik juga.
Saat ini, Mirai sedang mengembangkan kerangka kerja untuk model sehingga model tersebut dapat bekerja lebih baik di perangkat. Perusahaan telah membangun mesin inferensi untuk Apple Silicon yang mengoptimalkan throughput pada perangkat. Dengan SDK yang akan datang, pengembang dapat mengintegrasikan runtime dalam aplikasi mereka hanya dengan beberapa baris, kata perusahaan tersebut.
“Salah satu visi mengapa kami memulai perusahaan ini adalah kami ingin memberikan pengalaman delapan baris kode (integrasi) kepada pengembang, seperti Stripe ini … pada dasarnya Anda membuka platform kami, mengintegrasikan kunci, dan mulai bekerja dengan ringkasan, klasifikasi, atau apa word play here kasus penggunaan Anda,” kata Shevts.
Startup ini membangun mesin ini di Corrosion, yang dapat meningkatkan kecepatan pembuatan version hingga 37 %, klaim mereka. Perusahaan mengatakan bahwa, saat menyetel version untuk suatu system, mereka tidak mengutak-atik bobot version untuk memastikan tidak ada penurunan kualitas keluaran.
Rangkaian Mirai saat ini berfokus pada peningkatan modalitas teks dan suara pada system, dengan rencana untuk mendukung visi di masa depan. Tim ini telah mulai bekerja dengan penyedia model terdepan untuk menyempurnakan design mereka untuk penggunaan side dan sedang melakukan pembicaraan dengan pembuat chip yang berbeda. Nantinya, mereka juga berencana untuk membawa mesinnya ke Android.
Selain itu, Mirai bertujuan untuk merilis criteria pada perangkat sehingga pembuat version dapat menguji kinerja pada perangkat. Shevts menyadari bahwa tidak semua pekerjaan AI dapat dilakukan di perangkat. Untuk mengaktifkan setting operasi campuran, tim sedang membangun lapisan orkestrasi untuk mengirimkan permintaan yang tidak dapat dipenuhi di perangkat ke cloud.
Meskipun perusahaan rintisan ini belum bekerja secara langsung dengan aplikasi, kami diberitahu bahwa mesinnya dapat memberi daya pada asisten di perangkat, transkrip, penerjemah, dan aplikasi obrolan.
Andy McLoughlin, Handling Companion di Uncork Resources, mencatat bahwa dia berinvestasi di perusahaan pembelajaran mesin edge dalam dekade terakhir. Ia mengatakan bahwa perusahaannya terlalu dini dan akhirnya menjual bisnisnya ke Spotify. Di dunia sekarang ini, situasinya berbeda, pikirnya.
“Mengingat biaya inferensi cloud, sesuatu harus berubah … Untuk saat ini, VC dengan senang hati terus mendanai perusahaan-perusahaan roket, menghabiskan banyak uang untuk inferensi cloud. Namun hal itu tidak akan bertahan lama– pada titik tertentu, orang-orang akan fokus pada ekonomi yang mendasari bisnis-bisnis ini dan menyadari bahwa ada sesuatu yang harus berubah,” katanya. “Rasanya setiap pembuat design ingin menjalankan sebagian dari beban kerja inferensi mereka secara maksimal, dan Mirai merasa berada pada posisi yang tepat untuk memenuhi permintaan ini.”
Putaran unggulan Mirai juga melibatkan individu-individu, termasuk chief executive officer Dreamer David Singleton, Mitra YC Francois Chaubard, salah satu pendiri Snowflake Marcin Żukowski, salah satu pendiri Mati ElevenLabs Staniszewski, mantan manajer produk Google AdSense dan anggota dewan Coinbase Gokul Rajaram, investor Groq Mobility scooter Braun, CTO Turing.com Vijay Krishnan, Ben Parr dan Matt Schlicht dari Concept Forge Ventures, dan mantan pemimpin teknis Netflix, Aditya Jami.
