Apple telah menerbitkan tiga studi menarik yang menawarkan beberapa wawasan tentang bagaimana pengembangan berbasis AI dapat meningkatkan alur kerja, kualitas, dan produktivitas. Berikut detailnya.
Prediksi Cacat Perangkat Lunak menggunakan Design Autoencoder Transformer
Dalam studi ini, peneliti Apple menyajikan design AI baru yang mengatasi keterbatasan LLM saat ini (seperti “halusinasi, generasi miskin konteks, dan hilangnya hubungan bisnis penting selama pengambilan”), ketika menganalisis basis kode skala besar untuk mendeteksi dan memprediksi bug.
Version yang disebut ADE-QVAET ini bertujuan untuk meningkatkan akurasi prediksi bug dengan menggabungkan empat teknik AI: Flexible Differential Evolution (ADE), Quantum Variational Autoencoder (QVAE), lapisan Transformer, dan Adaptive Noise Decrease and Enhancement (ANRA).
Singkatnya, sementara ADE menyesuaikan cara design belajar, QVAE membantunya memahami pola information yang lebih dalam. Sementara itu, lapisan Transformer memastikan design melacak bagaimana pola-pola tersebut berhubungan satu sama lain, dan ANRA membersihkan dan menyeimbangkan information untuk mempertahankan hasil yang konsisten.
Menariknya, ini bukan LLM yang menganalisa kode secara langsung. Sebaliknya, ia melihat metrik dan information tentang kode, seperti kompleksitas, ukuran, dan struktur, serta mencari pola yang mungkin menunjukkan di mana insect mungkin terjadi.
Menurut para peneliti, berikut adalah hasil ketika mereka mengukur kinerja design pada kumpulan data Kaggle yang dibuat khusus untuk prediksi insect perangkat lunak:
“Selama pelatihan dengan persentase pelatihan 90 %, ADE-QVAET mencapai akurasi, presisi, perolehan, dan skor F 1 yang tinggi masing-masing sebesar 98, 08 %, 92, 45 %, 94, 67 %, dan 98, 12 %, jika dibandingkan dengan version Differential Advancement (DE) ML.”
Artinya, design tersebut secara keseluruhan sangat andal dan sangat efektif dalam mengidentifikasi bug sebenarnya dengan benar, sekaligus menghindari kesalahan positif.
Baca studi selengkapnya di blog Penelitian Pembelajaran Mesin Apple
Dustcloth Agen untuk Pengujian Perangkat Lunak dengan Grafik Vektor Hibrid dan Orkestrasi Multi-Agen
Studi ini dilakukan oleh empat peneliti Apple, tiga di antaranya mengerjakan version ADE-QVAET. Di sini, mereka menangani tugas kedua yang memakan waktu yang dihadapi oleh insinyur kualitas, yaitu membuat dan memelihara rencana pengujian terperinci dan kasus untuk proyek perangkat lunak besar.
Dalam studi ini, mereka mengembangkan sistem yang memanfaatkan LLM dan agen AI otonom untuk secara otomatis menghasilkan dan mengelola artefak pengujian, mulai dari rencana pengujian hingga laporan validasi, sekaligus menjaga ketertelusuran penuh antara persyaratan, logika bisnis, dan hasil.
Dengan kata lain, mereka membangun sistem AI yang dapat merencanakan, menulis, dan mengatur pengujian perangkat lunak sendiri, yang dapat membantu menyederhanakan alur kerja Quality Designer, yang “menghabiskan 30 – 40 % waktunya untuk membuat artefak pengujian dasar, seperti rencana pengujian, kasus, dan skrip otomatisasi.”
Seperti design ADE-QVAET, hasilnya cukup menjanjikan:
“Sistem ini mencapai peningkatan akurasi yang luar biasa dari 65 % menjadi 94, 8 % sekaligus memastikan ketertelusuran dokumen yang komprehensif di seluruh siklus hidup rekayasa kualitas. Validasi eksperimental proyek Rekayasa Sistem Perusahaan dan migrasi SAP perusahaan menunjukkan pengurangan 85 % dalam jadwal pengujian, peningkatan efisiensi rangkaian pengujian sebesar 85 %, dan proyeksi penghematan biaya sebesar 35 %, sehingga menghasilkan percepatan go-live selama 2 bulan.”
Di sisi existed, para peneliti juga mencatat bahwa kerangka kerja ini memiliki keterbatasan, termasuk fakta bahwa pekerjaan mereka hanya berfokus pada “Sistem Karyawan, Keuangan, dan lingkungan SAP,” yang membatasi kemampuan generalisasinya.
Baca studi selengkapnya di blog site Penelitian Pembelajaran Mesin Apple
Pelatihan Agen dan Verifikator Rekayasa Perangkat Lunak dengan SWE-Gym
Ini mungkin yang paling menarik dan ambisius dari ketiga penelitian tersebut.
Meskipun dua penelitian sebelumnya berfokus pada memprediksi di mana bug kemungkinan besar akan muncul dan bagaimana insect tersebut diuji dan divalidasi, gagasan di balik SWE-Gym adalah untuk melatih agen AI yang dapat sebenarnya memperbaiki insect dengan belajar membaca, mengedit, dan memverifikasi kode asli.
SWE-Gym dibangun menggunakan 2 438 tugas Python dunia nyata dari 11 repositori sumber terbuka, masing-masing dengan lingkungan yang dapat dieksekusi dan rangkaian pengujian sehingga agen dapat berlatih menulis dan men-debug kode dalam kondisi realistis.
Para peneliti juga mengembangkan SWE-Gym Lite, yang mencakup 230 tugas yang lebih sederhana dan mandiri yang dirancang untuk membuat pelatihan dan evaluasi lebih cepat dan lebih murah secara komputasi.
Menurut penelitian, agen yang dilatih dengan SWE-Gym menyelesaikan 72, 5 % tugas dengan benar, mengungguli tolok ukur sebelumnya lebih dari 20 poin persentase.
Sementara itu, SWE-Gym Lite mengurangi waktu latihan hampir setengahnya dibandingkan dengan pengaturan penuh, namun memberikan hasil yang serupa. Di sisi existed, varian Lite mencakup tugas pengkodean yang jauh lebih sedikit dan lebih sederhana, sehingga kurang efektif untuk menguji model pada masalah yang lebih besar dan kompleks.
Baca studi selengkapnya di blog Penelitian Pembelajaran Mesin Apple
Penawaran aksesori di Amazon
FTC: Kami menggunakan tautan afiliasi otomatis yang menghasilkan pendapatan. Lagi.
