Sejak DeepSeek mulai populer pada bulan Januari, dan momentum telah berkembang di sekitar model kecerdasan buatan Tiongkok yang bersifat open source. Beberapa peneliti mendorong pendekatan yang lebih terbuka untuk membangun AI yang memungkinkan pembuatan model didistribusikan ke seluruh dunia.
Akal Utamasebuah startup yang berspesialisasi dalam AI terdesentralisasi, saat ini sedang melatih model bahasa besar terdepan, yang disebut INTELLECT-3, menggunakan jenis pembelajaran penguatan terdistribusi baru untuk penyesuaian. Model ini akan mendemonstrasikan cara baru untuk membangun model AI terbuka yang kompetitif menggunakan berbagai perangkat keras di lokasi berbeda dengan cara yang tidak bergantung pada perusahaan teknologi besar, kata Vincent Weisser, CEO perusahaan tersebut.
Weisser mengatakan bahwa dunia AI saat ini terbagi antara mereka yang mengandalkan model tertutup AS dan mereka yang menggunakan penawaran terbuka Tiongkok. Teknologi yang dikembangkan Prime Intellect mendemokratisasikan AI dengan memungkinkan lebih banyak orang membangun dan memodifikasi AI tingkat lanjut untuk diri mereka sendiri.
Menyempurnakan model AI tidak lagi sekadar meningkatkan data pelatihan dan komputasi. Model frontier saat ini menggunakan pembelajaran penguatan untuk meningkatkan setelah proses pra-pelatihan selesai. Ingin model Anda unggul dalam matematika, menjawab pertanyaan hukum, atau bermain Sudoku? Tingkatkan kemampuan Anda dengan berlatih di lingkungan di mana Anda dapat mengukur keberhasilan dan kegagalan.
“Lingkungan pembelajaran penguatan ini sekarang menjadi hambatan dalam meningkatkan kemampuan,” kata Weisser kepada saya.
Prime Intellect telah menciptakan kerangka kerja yang memungkinkan siapa pun menciptakan lingkungan pembelajaran penguatan yang disesuaikan untuk tugas tertentu. Perusahaan ini menggabungkan lingkungan terbaik yang diciptakan oleh timnya sendiri dan komunitas untuk menyempurnakan INTELLECT-3.
Saya mencoba menjalankan lingkungan untuk memecahkan teka-teki Wordle, yang dibuat oleh peneliti Prime Intellect, Will Brown, menyaksikan model kecil memecahkan teka-teki Wordle (sejujurnya lebih metodis daripada saya). Jika saya seorang peneliti AI yang mencoba meningkatkan suatu model, saya akan memutar banyak GPU dan mempraktikkan model tersebut berulang kali sementara algoritme pembelajaran penguatan memodifikasi bobotnya, sehingga mengubah model tersebut menjadi master Wordle.
