Versi aslinya dari cerita ini muncul di Majalah Kuanta
Di antara segudang kemampuan yang dimiliki manusia, manakah yang unik bagi manusia? Bahasa telah menjadi kandidat utama setidaknya sejak Aristoteles, yang menulis bahwa umat manusia adalah “hewan yang memiliki bahasa.” Meskipun model bahasa besar seperti ChatGPT secara dangkal mereplikasi ucapan biasa, para peneliti ingin mengetahui apakah ada aspek tertentu dari bahasa manusia yang tidak ada bandingannya dengan sistem komunikasi hewan lain atau perangkat dengan kecerdasan buatan.
Secara khusus, para peneliti telah mengeksplorasi sejauh mana model bahasa dapat memberikan alasan tentang bahasa itu sendiri. Bagi sebagian komunitas linguistik, model bahasa tidak hanya jangan memiliki kemampuan penalaran, mereka tidak bisa Pandangan ini dirangkum oleh Noam Chomsky, seorang ahli bahasa terkemuka, dan dua rekan penulis pada tahun 2023, ketika mereka menulis di Waktu information bahwa “penjelasan bahasa yang benar itu rumit dan tidak dapat dipelajari hanya dengan memanfaatkan Model besar.” California AI mungkin mahir dalam menggunakan bahasa, menurut para peneliti, namun mereka tidak mampu menganalisis bahasa dengan cara yang canggih.
Pandangan itu ditentang baru-baru ini kertas oleh Gasper Mulai seorang ahli bahasa di Universitas representation, Berkeley; Maksymilian Dabkowski yang baru-baru ini menerima gelar doktor di bidang linguistik di Berkeley; Dan Ryan Rhodes dari Universitas Rutgers. Para peneliti menerapkan sejumlah design bahasa besar, atau LLM, melalui serangkaian tes linguistik– termasuk, dalam satu kasus, meminta LLM menggeneralisasi aturan bahasa buatan. Meskipun sebagian besar LLM gagal menguraikan aturan linguistik seperti yang mampu dilakukan manusia, salah satu LLM memiliki kemampuan mengesankan yang jauh melebihi ekspektasi. Ia mampu menganalisis bahasa dengan cara yang hampir sama seperti yang dilakukan mahasiswa pascasarjana di bidang linguistik– membuat version kalimat, menyelesaikan berbagai makna ambigu, dan memanfaatkan fitur linguistik yang rumit seperti rekursi. Temuan ini, kata Beguš, “menantang pemahaman kita tentang apa yang dapat dilakukan AI.”
Pekerjaan baru ini tepat waktu dan “sangat penting,” katanya Tom McCoy seorang ahli bahasa komputasi di Universitas Yale yang tidak terlibat dalam penelitian ini. “Seiring dengan semakin bergantungnya masyarakat pada teknologi ini, semakin penting untuk memahami di mana teknologi ini bisa berhasil dan di mana bisa gagal.” Analisis linguistik, tambahnya, adalah uji coba yang net untuk mengevaluasi sejauh mana design bahasa ini dapat berpikir seperti manusia.
Kompleksitas Tak Terbatas
Salah satu tantangan dalam memberikan tes linguistik yang ketat pada design bahasa adalah memastikan representation tersebut belum mengetahui jawabannya. Sistem ini biasanya dilatih berdasarkan informasi tertulis dalam jumlah besar– tidak hanya sebagian besar di Layout, dalam puluhan bahkan ratusan bahasa, tetapi juga hal-hal seperti buku teks linguistik. Secara teori, version tersebut dapat dengan mudah mengingat dan memuntahkan informasi yang telah diberikan selama pelatihan.
Untuk menghindari hal ini, Beguš dan rekan-rekannya membuat tes linguistik dalam empat bagian. Tiga dari empat bagian melibatkan meminta version untuk menganalisis kalimat yang dibuat secara khusus menggunakan diagram pohon, yang pertama kali diperkenalkan dalam buku penting Chomsky tahun 1957, Struktur Sintaksis Layout ini memecah kalimat menjadi frase kata benda dan frase kata kerja dan kemudian membaginya lagi menjadi kata benda, kata kerja, kata sifat, kata keterangan, preposisi, konjungsi dan sebagainya.
Salah satu bagian dari tes ini berfokus pada rekursi– kemampuan untuk menyematkan frasa di dalam frasa. “Langit berwarna biru” adalah kalimat bahasa Inggris sederhana. “Jane bilang langit itu biru” menyematkan kalimat aslinya dalam kalimat yang sedikit lebih kompleks. Yang penting, proses rekursi ini dapat berlangsung selamanya: “Maria bertanya-tanya apakah Sam tahu bahwa Omar mendengar bahwa Jane berkata bahwa langit itu biru” juga merupakan kalimat rekursif yang benar secara tata bahasa, namun canggung.
