Beberapa bulan yang lalu, Apple menyelenggarakan acara dua hari yang menampilkan pembicaraan dan publikasi tentang kemajuan terbaru dalam pemrosesan bahasa alami (NLP). Hari ini, perusahaan menerbitkan uploading dengan banyak sorotan, dan semua studi yang disajikan. Inilah Summary.
Itu Lokakarya tentang Bahasa Alami dan Sistem Interaktif 2025 berlangsung pada 15 – 16 Mei, dan pembicaraan dan publikasi berfokus pada tiga bidang penelitian utama yang terkait dengan NLP:
- Sistem interaktif bahasa lisan
- Pelatihan dan penyelarasan LLM
- Agen bahasa
Selama acara tersebut, banyak peneliti dari universitas, lembaga, laboratorium, dan kelompok penelitian, termasuk Institut Allen untuk AI, Imperial University of London, MIT, Universitas Harvard, Universitas Stanford, dan Universitas Princeton, mempresentasikan karya terbaru mereka.
Beberapa peneliti ini juga bekerja di industri ini, di perusahaan termasuk Microsoft, Amazon, Sony, Google, Tencent, Cohere, dan, tentu saja, Apple.
Berikut adalah beberapa sorotan dari pembicaraan, dan tautan ke daftar lengkap video clip dan kertas yang disajikan di acara tersebut.
1 Design AI Runtuh & Mendeteksi halusinasi LLM
Ini adalah dua studi yang dipresentasikan oleh Yarin Gal, seorang profesor di University of Oxford, dan direktur penelitian Institut Keamanan AI Inggris.
Yang pertama, AI Model Collapse, mengeksplorasi bagaimana ada batasan berapa lama Web akan berfungsi sebagai sumber data yang layak untuk pelatihan LLM, karena peningkatan penggunaan design ini akan mengarah pada lebih banyak konten yang dihasilkan model yang dipublikasikan secara online.
Dia menjelaskan bahwa sementara pelatihan LLMS pada information sintetis semacam itu dapat menimbulkan risiko runtuh, karena akan mempengaruhi pengetahuan dan kemampuan penalaran mereka, ini dapat diperbaiki dengan pengembangan alat baru untuk membedakan antara konten yang dihasilkan AI dan konten yang dihasilkan manusia, serta peraturan yang lebih baik dan studi lebih lanjut tentang bagaimana LLMS membentuk masyarakat.
Studi keduanya, mendeteksi halusinasi LLM, mengusulkan pendekatan baru untuk mengidentifikasi tingkat kepercayaan LLM, karena menghasilkan bagian jawaban yang berbeda. Singkatnya, idenya adalah agar design menghasilkan banyak jawaban, dan kemudian mengelompokkan jawaban ini dengan makna semantik. Ini akan memungkinkan perhitungan yang lebih tepat dari tingkat kepastian dan keakuratan jawaban, dan itu adalah kerangka kerja yang dapat disesuaikan dengan percakapan yang lebih panjang.
2 Pembelajaran Penguatan untuk Agen LLM Interaktif Panjang Perspective
Pembicaraan ini, yang disajikan oleh peneliti pembelajaran mesin Apple Kevin Chen, memamerkan agen yang dilatih timnya pada metode yang disebut optimasi kebijakan proksimal cuti-satu-keluar, atau loophole.
Agen dilatih untuk melakukan tugas-tugas beberapa langkah, berdasarkan petunjuk seperti ini:
“Saya melakukan perjalanan dengan teman -teman ke Maui baru -baru ini. Saya telah mempertahankan catatan uang yang saya berhutang kepada orang lain dan yang lain berutang kepada saya dari perjalanan dengan nada sederhana. Lakukan pembayaran atau permintaan Venmo pribadi yang sesuai. Dalam pembayaran/permintaan, tambahkan catatan, “untuk perjalanan maui”.’
Selama paruh pertama pembicaraan, Chen menunjukkan bahwa, karena tugas ini melibatkan banyak kerangka kerja dan ketergantungan pengetahuan, agen mungkin tidak dapat secara akurat melakukan apa yang diminta. Tetapi dengan Loophole, yang dipelajari secara iteratif dari tindakan masa lalunya dan dilatih untuk memaksimalkan hadiahnya saat mengamati dirinya sendiri, permintaan itu dilakukan dengan lebih sedikit kesalahan dan asumsi.
Chen lebih lanjut menjelaskan bahwa model ini dilatih pada 24 skenario yang berbeda, tetapi memiliki keterbatasan, seperti tidak mendukung interaksi pengguna multi-turn.
3 Streaming Spekulatif: Inferensi LLM Cepat tanpa version tambahan
Pembicaraan ini, oleh Manajer Teknik Apple dan pemimpin teknis Irina Belousova, memamerkan manfaat decoding spekulatif, yang memungkinkan cara komputasi yang lebih murah untuk menghasilkan jawaban dengan design kecil yang berkualitas tinggi seperti yang dihasilkan oleh model besar.
Intinya, model kecil menghasilkan urutan kandidat jawaban, yang kemudian dijalankan oleh design besar. Jika model menerima jawabannya, tugasnya selesai. Ini memungkinkan penggunaan memori yang lebih sedikit, kinerja yang lebih cepat, dan membutuhkan lebih sedikit specification jika dibandingkan dengan version yang serupa.
Terlebih lagi, pendekatan ini “menyederhanakan penyebaran dengan menghilangkan kompleksitas mengelola, menyelaraskan, dan beralih antara beberapa version selama inferensi,” yang berarti membutuhkan infrastruktur yang lebih sederhana.
Studi khusus ini menawarkan banyak information teknis yang layak untuk dicoba. Presentasinya hanya lebih dari 8 menit, tetapi menawarkan wawasan yang sangat menarik.
klik disini Untuk memeriksa video yang disorot Apple, dan melihat daftar lengkap studi dari acara tersebut.
Penawaran aksesori di Amazon
FTC: Kami menggunakan penghasilan penghasilan tautan afiliasi otomatis. Lagi.
