Perusahaan DeepMind, yang terkenal dengan perkembangannya di bidang kecerdasan buatan dan pembangunan jaringan saraf yang mampu memainkan permainan komputer dan papan di tingkat manusia, mempresentasikan proyek AlphaCode, yaitu mengembangkan sistem pembelajaran mesin untuk menghasilkan kode yang dapat berpartisipasi. dalam kompetisi pemrograman pada platform Codeforces dan menunjukkan hasil rata-rata. Fitur utama dari pengembangan ini adalah kemampuan untuk menghasilkan kode dengan Python atau C++, dengan memasukkan teks dengan pernyataan masalah dalam bahasa Inggris sebagai masukan.
Untuk menguji sistem, dipilih 10 kompetisi Codeforces baru dengan lebih dari 5000 peserta, yang diadakan setelah selesainya pelatihan model pembelajaran mesin. Hasil penyelesaian tugas memungkinkan sistem AlphaCode masuk kira-kira di tengah peringkat kompetisi ini (54.3%). Perkiraan peringkat keseluruhan AlphaΠ‘ode adalah 1238 poin, yang memastikan masuk ke dalam 28% Teratas di antara semua peserta Codeforces yang telah berpartisipasi dalam kompetisi setidaknya sekali selama 6 bulan terakhir. Perlu diketahui bahwa proyek ini masih dalam tahap awal pengembangan dan kedepannya direncanakan untuk meningkatkan kualitas kode yang dihasilkan, serta mengembangkan AlphaCode menuju sistem yang membantu dalam penulisan kode, atau alat pengembangan aplikasi yang dapat digunakan. digunakan oleh orang-orang yang tidak memiliki keterampilan pemrograman.
Proyek ini menggunakan arsitektur jaringan saraf Transformer yang dikombinasikan dengan teknik pengambilan sampel dan pemfilteran untuk menghasilkan berbagai varian kode yang tidak dapat diprediksi dan sesuai dengan teks bahasa alami. Setelah memfilter, mengelompokkan, dan memberi peringkat, kode kerja yang paling optimal dihilangkan dari aliran opsi yang dihasilkan, yang kemudian diperiksa untuk memastikan bahwa hasil yang benar diperoleh (setiap tugas kompetisi menunjukkan contoh data masukan dan hasil yang sesuai dengan contoh ini , yang harus diperoleh setelah menjalankan program).
Untuk melatih sistem pembelajaran mesin secara kasar, kami menggunakan basis kode yang tersedia di repositori GitHub publik. Setelah menyiapkan model awal, dilakukan tahap optimasi berdasarkan kumpulan kode dengan contoh masalah dan solusi yang diusulkan oleh peserta kompetisi Codeforces, CodeChef, HackerEarth, AtCoder dan Aizu. Secara total, 715 GB kode dari GitHub dan lebih dari satu juta contoh solusi untuk masalah persaingan umum digunakan untuk pelatihan. Sebelum beralih ke pembuatan kode, teks tugas melewati fase normalisasi, di mana semua yang tidak perlu dihilangkan dan hanya sebagian besar yang tersisa.
Sumber: opennet.ru