Model baru dari laboratorium AI India, Sarvam, merupakan taruhan besar pada kelangsungan AI sumber terbuka

Laboratorium AI India Sarvam pada hari Selasa meluncurkan generasi baru model bahasa besar, dengan harapan bahwa model AI sumber terbuka yang lebih kecil dan efisien akan mampu merebut sebagian pangsa pasar dari sistem yang lebih mahal yang ditawarkan oleh pesaingnya yang jauh lebih besar di AS dan Tiongkok.

Peluncuran ini, yang diumumkan pada India AI Impact Summit di New Delhi, sejalan dengan upaya New Delhi untuk mengurangi ketergantungan pada platform AI asing dan menyesuaikan model dengan bahasa lokal dan kasus penggunaan.

Sarvam mengatakan jajaran baru ini mencakup model parameter 30 miliar dan 105 miliar; model text-to-speech; model ucapan-ke-teks; dan model visi untuk mengurai dokumen. Ini menandai peningkatan tajam dari model Sarvam 1 dengan 2 miliar parameter yang dirilis pada Oktober 2024.

Model dengan 30 miliar dan 105 miliar parameter menggunakan arsitektur campuran pakar, yang hanya mengaktifkan sebagian kecil dari total parameter pada satu waktu, sehingga secara signifikan mengurangi biaya komputasi, kata Sarvam. Model 30B mendukung jendela konteks 32.000 token yang ditujukan untuk penggunaan percakapan waktu nyata, sedangkan model yang lebih besar menawarkan jendela 128.000 token untuk tugas penalaran multi-langkah yang lebih kompleks.

Sarvam mengatakan model AI baru dilatih dari awal, bukan disesuaikan dengan sistem sumber terbuka yang sudah ada. Model 30B telah dilatih sebelumnya pada sekitar 16 triliun token teks, sedangkan model 105B telah dilatih pada triliunan token yang mencakup berbagai bahasa India, katanya.

Model-model tersebut dirancang untuk mendukung aplikasi real-time, kata startup tersebut, termasuk asisten berbasis suara dan sistem obrolan dalam bahasa India.

Startup tersebut mengatakan bahwa model-model tersebut dilatih menggunakan sumber daya komputasi yang disediakan di bawah Misi IndiaAI yang didukung pemerintah India, dengan dukungan infrastruktur dari operator pusat data Yotta dan dukungan teknis dari Nvidia.

Para eksekutif Sarvam mengatakan perusahaan berencana untuk mengambil pendekatan terukur untuk menskalakan modelnya, dengan fokus pada aplikasi dunia nyata daripada ukuran mentah.

“Kami ingin berhati-hati dalam melakukan penskalaan,” kata salah satu pendiri Sarvam, Pratyush Kumar saat peluncuran. “Kami tidak ingin melakukan penskalaan tanpa berpikir panjang. Kami ingin memahami tugas-tugas yang benar-benar penting dalam skala besar dan melakukan serta mengembangkannya.”

Sarvam mengatakan pihaknya berencana untuk membuat model 30B dan 105B menjadi sumber terbuka, meskipun tidak menentukan apakah data pelatihan atau kode pelatihan lengkap juga akan dipublikasikan.

Perusahaan juga menguraikan rencana untuk membangun sistem AI khusus, termasuk model yang berfokus pada pengkodean dan alat perusahaan di bawah produk yang disebut Sarvam for Work, dan platform agen AI percakapan yang disebut Samvaad.

Didirikan pada tahun 2023, Sarvam telah mengumpulkan pendanaan lebih dari $50 juta dan termasuk Lightspeed Venture Partners, Khosla Ventures, dan Peak XV Partners (sebelumnya Sequoia Capital India) di antara para investornya.