Mengapa mantan pemimpin penelitian AI di Cohere bertaruh melawan perlombaan penskalaan

Laboratorium AI berlomba membangun pusat data sebesar Manhattan, masing-masing menghabiskan biaya miliaran dolar dan mengonsumsi energi sebanyak kota kecil. Upaya ini didorong oleh keyakinan mendalam pada “penskalaan” – gagasan bahwa menambahkan lebih banyak daya komputasi pada metode pelatihan AI yang ada pada akhirnya akan menghasilkan sistem super cerdas yang mampu melakukan semua jenis tugas.

Namun semakin banyak peneliti AI yang mengatakan bahwa penskalaan model bahasa besar mungkin sudah mencapai batasnya, dan terobosan lain mungkin diperlukan untuk meningkatkan kinerja AI.

Itulah taruhan yang diambil Sara Hooker, mantan VP Riset AI di Cohere dan alumni Google Brain, dengan startup barunya, Lab Adaptasi. Dia mendirikan perusahaan tersebut bersama rekannya Cohere dan veteran Google, Sudip Roy, dan perusahaan ini dibangun berdasarkan gagasan bahwa penskalaan LLM telah menjadi cara yang tidak efisien untuk meningkatkan performa model AI. Hooker, yang meninggalkan Cohere pada bulan Agustus, diam-diam diumumkan startup bulan ini untuk mulai merekrut lebih luas.

Dalam sebuah wawancara dengan TechCrunch, Hooker mengatakan Adaptasi Labs sedang membangun sistem AI yang dapat terus beradaptasi dan belajar dari pengalaman dunia nyata, dan melakukannya dengan sangat efisien. Dia menolak untuk memberikan rincian tentang metode di balik pendekatan ini atau apakah perusahaan bergantung pada LLM atau arsitektur lain.

“Saat ini terdapat titik balik yang sangat jelas bahwa formula untuk menskalakan model-model ini – pendekatan yang bertumpuk-tumpuk, yang menarik namun sangat membosankan – belum menghasilkan kecerdasan yang mampu menavigasi atau berinteraksi dengan dunia,” kata Hooker.

Beradaptasi adalah “inti pembelajaran,” menurut Hooker. Misalnya, jari kaki Anda terjepit saat berjalan melewati meja ruang makan, dan Anda akan belajar melangkah lebih hati-hati di lain waktu. Laboratorium AI telah mencoba menangkap ide ini melalui pembelajaran penguatan (reinforcement learning/RL), yang memungkinkan model AI belajar dari kesalahan mereka dalam lingkungan yang terkendali. Namun, metode RL saat ini tidak membantu model AI dalam produksi — artinya sistem sudah digunakan oleh pelanggan — untuk belajar dari kesalahan mereka secara real time. Mereka terus saja mematikan jari kaki mereka.

Beberapa laboratorium AI menawarkan layanan konsultasi untuk membantu perusahaan menyempurnakan model AI mereka sesuai dengan kebutuhan khusus mereka, namun hal ini ada harganya. OpenAI dilaporkan mengharuskan pelanggan untuk melakukannya membelanjakan lebih dari $10 juta dengan perusahaan untuk menawarkan layanan konsultasi mengenai penyesuaian.

“Kami memiliki beberapa laboratorium terdepan yang menentukan rangkaian model AI yang disajikan dengan cara yang sama kepada semua orang, dan adaptasinya sangat mahal,” kata Hooker. “Dan sebenarnya, menurut saya hal tersebut tidak perlu lagi menjadi kenyataan, dan sistem AI dapat belajar dari suatu lingkungan dengan sangat efisien. Pembuktian ini akan sepenuhnya mengubah dinamika siapa yang mengendalikan dan membentuk AI, dan siapa yang dilayani oleh model-model ini pada akhirnya.”

Labs Adaptasi adalah tanda terbaru bahwa keyakinan industri dalam meningkatkan LLM sedang goyah. Sebuah makalah terbaru dari peneliti MIT menemukan bahwa model AI terbesar di dunia mungkin akan segera menunjukkan hasil yang semakin berkurang. Suasana di San Francisco tampaknya juga berubah. Podcaster favorit dunia AI, Dwarkesh Patel, baru-baru ini mengadakan beberapa percakapan skeptis dengan peneliti AI terkenal.

Richard Sutton, pemenang penghargaan Turing yang dianggap sebagai “bapak RL,” mengatakan kepada Patel pada bulan September tentang hal itu LLM tidak dapat benar-benar berkembang karena mereka tidak belajar dari pengalaman dunia nyata. Bulan ini, karyawan awal OpenAI Andrej Karpathy memberi tahu Patel tentang hal itu punya reservasi tentang potensi jangka panjang RL untuk meningkatkan model AI.

Ketakutan seperti ini belum pernah terjadi sebelumnya. Pada akhir tahun 2024, beberapa peneliti AI mengemukakan kekhawatiran bahwa penskalaan model AI melalui pra-pelatihan – di mana model AI mempelajari pola dari tumpukan kumpulan data – memberikan hasil yang semakin berkurang. Sampai saat itu, pra-pelatihan telah menjadi rahasia bagi OpenAI dan Google untuk meningkatkan model mereka.

Kekhawatiran mengenai penskalaan pra-pelatihan tersebut kini muncul dalam data, namun industri AI telah menemukan cara lain untuk meningkatkan model. Pada tahun 2025, terobosan seputar model penalaran AI, yang memerlukan waktu tambahan dan sumber daya komputasi untuk mengatasi masalah sebelum menjawabnya, telah mendorong kemampuan model AI lebih jauh lagi.

Laboratorium AI tampaknya yakin bahwa peningkatan model penalaran RL dan AI adalah terobosan baru. Peneliti OpenAI sebelumnya mengatakan kepada TechCrunch bahwa mereka mengembangkan model penalaran AI pertama mereka, o1, karena mereka pikir model tersebut akan berkembang dengan baik. Peneliti Meta dan Periodic Labs baru-baru ini merilis sebuah makalah mengeksplorasi bagaimana RL dapat meningkatkan kinerja lebih jauh — sebuah studi yang dilaporkan biayanya lebih dari $4 juta, menggarisbawahi betapa mahalnya pendekatan yang ada saat ini.

Sebaliknya, Adaptation Labs bertujuan untuk menemukan terobosan berikutnya dan membuktikan bahwa belajar dari pengalaman bisa jauh lebih murah. Startup ini sedang dalam pembicaraan untuk mengumpulkan dana awal senilai $20 juta hingga $40 juta pada awal musim gugur ini, menurut tiga investor yang meninjau presentasi singkatnya. Mereka mengatakan putaran tersebut telah ditutup, meskipun jumlah akhirnya tidak jelas. Hooker menolak berkomentar.

“Kami bersiap untuk menjadi sangat ambisius,” kata Hooker ketika ditanya tentang investornya.

Hooker sebelumnya memimpin Cohere Labs, tempat dia melatih model AI kecil untuk kasus penggunaan perusahaan. Sistem AI yang ringkas kini secara rutin mengungguli sistem AI yang lebih besar dalam hal pengkodean, matematika, dan tolok ukur penalaran — sebuah tren yang ingin terus didorong oleh Hooker.

Ia juga membangun reputasi dalam memperluas akses terhadap penelitian AI secara global, dengan merekrut peneliti berbakat dari wilayah yang kurang terwakili seperti Afrika. Meskipun Adaptasi Labs akan segera membuka kantor di San Francisco, Hooker mengatakan dia berencana untuk merekrut karyawan di seluruh dunia.

Jika Hooker dan Adaptation Labs benar mengenai keterbatasan penskalaan, dampaknya bisa sangat besar. Miliaran dolar telah diinvestasikan dalam penskalaan LLM, dengan asumsi bahwa model yang lebih besar akan menghasilkan kecerdasan umum. Namun ada kemungkinan bahwa pembelajaran adaptif yang sebenarnya tidak hanya terbukti lebih kuat – tetapi juga jauh lebih efisien.

Marina Temkin menyumbangkan pelaporan.