Laboratorium Mesin Berpikir ingin membuat model AI lebih konsisten

Ada minat besar pada apa yang sedang dibangun oleh Laboratorium Mesin Berpikir Mira Murati dengan pendanaan benih $ 2 miliar dan tim all-star mantan peneliti Openai yang telah bergabung dengan laboratorium. Di sebuah Posting Blog Diterbitkan pada hari Rabu, laboratorium penelitian Murati memberi dunia pandangan pertama ke salah satu proyeknya: menciptakan model AI dengan tanggapan yang dapat direproduksi.

Posting blog penelitian, berjudul “Mengalahkan Nondeterminisme dalam Inferensi LLM,” mencoba membongkar akar penyebab dari apa yang memperkenalkan keacakan dalam respons model AI. Misalnya, tanyakan chatgpt pertanyaan yang sama beberapa kali lipat, dan Anda cenderung mendapatkan berbagai jawaban. Ini sebagian besar telah diterima di komunitas AI sebagai fakta-model AI saat ini dianggap sebagai sistem non-deterministik-tetapi Laboratorium Mesin Berpikir melihat ini sebagai masalah yang dapat dipecahkan.

Pos, yang ditulis oleh peneliti laboratorium Mesin Berpikir Horace He, berpendapat bahwa akar penyebab keacakan model AI adalah cara kernel GPU – program kecil yang berjalan di dalam chip komputer Nvidia – dijahit bersama dalam pemrosesan inferensi (semua yang terjadi setelah Anda menekan enter di chatgpt). Dia menyarankan agar dengan hati -hati mengendalikan lapisan orkestrasi ini, dimungkinkan untuk membuat model AI lebih deterministik.

Selain menciptakan tanggapan yang lebih andal untuk perusahaan dan ilmuwan, ia mencatat bahwa mendapatkan model AI untuk menghasilkan respons yang dapat direproduksi juga dapat meningkatkan pelatihan pembelajaran penguatan (RL). RL adalah proses penghargaan model AI untuk jawaban yang benar, tetapi jika jawabannya sedikit berbeda, maka data menjadi sedikit bising. Membuat respons model AI yang lebih konsisten dapat membuat seluruh proses RL “lebih halus,” menurut HE. Laboratorium Mesin Berpikir telah memberi tahu investor bahwa mereka berencana untuk menggunakan RL untuk Kustomisasi model AI untuk bisnisInformasi yang dilaporkan sebelumnya.

Murati, mantan chief technology officer Openai, mengatakan pada bulan Juli bahwa produk pertama Machines Lab akan diluncurkan dalam beberapa bulan mendatang, dan bahwa itu akan “berguna bagi para peneliti dan startup yang mengembangkan model kustom.” Masih belum jelas apa produk itu, atau apakah itu akan menggunakan teknik dari penelitian ini untuk menghasilkan respons yang lebih dapat direproduksi.

Laboratorium Mesin Berpikir juga mengatakan bahwa mereka berencana untuk sering mempublikasikan posting blogkode, dan informasi lain tentang penelitiannya dalam upaya untuk “memberi manfaat bagi publik, tetapi juga meningkatkan budaya penelitian kita sendiri.” Posting ini, yang pertama dalam seri blog baru perusahaan yang disebut “Connectionism,” tampaknya menjadi bagian dari upaya itu. Openai juga membuat komitmen untuk membuka penelitian ketika didirikan, tetapi perusahaan menjadi lebih tertutup karena menjadi lebih besar. Kita akan melihat apakah laboratorium penelitian Murati tetap setia pada klaim ini.

Blog penelitian menawarkan pandangan sekilas di dalam salah satu startup AI paling rahasia di Silicon Valley. Meskipun tidak persis mengungkapkan ke mana teknologi ini pergi, ini menunjukkan bahwa Lab Mesin Berpikir sedang menangani beberapa pertanyaan terbesar di perbatasan penelitian AI. Tes sebenarnya adalah apakah Lab Mesin Berpikir dapat menyelesaikan masalah ini, dan membuat produk di sekitar penelitiannya untuk membenarkan penilaian $ 12 miliar.