บริษัท DeepMind ซึ่งเป็นที่รู้จักในด้านการพัฒนาในด้านปัญญาประดิษฐ์และการสร้างโครงข่ายประสาทเทียมที่สามารถเล่นคอมพิวเตอร์และเกมกระดานในระดับมนุษย์ได้นำเสนอโครงการ AlphaCode ซึ่งกำลังพัฒนาระบบการเรียนรู้ของเครื่องเพื่อสร้างโค้ดที่สามารถมีส่วนร่วมได้ ในการแข่งขันการเขียนโปรแกรมบนแพลตฟอร์ม Codeforces และสาธิตผลลัพธ์โดยเฉลี่ย คุณลักษณะสำคัญของการพัฒนาคือความสามารถในการสร้างโค้ดใน Python หรือ C++ โดยถือเป็นการป้อนข้อความพร้อมข้อความแจ้งปัญหาเป็นภาษาอังกฤษ
เพื่อทดสอบระบบ มีการคัดเลือกการแข่งขัน Codeforces ใหม่ 10 รายการที่มีผู้เข้าร่วมมากกว่า 5000 คน ซึ่งจัดขึ้นหลังจากเสร็จสิ้นการฝึกอบรมโมเดลการเรียนรู้ของเครื่อง ผลลัพธ์ของการทำงานเสร็จสิ้นทำให้ระบบ AlphaCode เข้าสู่ระดับประมาณกลางของคะแนนของการแข่งขันเหล่านี้ (54.3%) คะแนนโดยรวมที่คาดการณ์ไว้ของ AlphaСode คือ 1238 คะแนน ซึ่งรับประกันว่าจะได้เข้าสู่อันดับสูงสุด 28% ในบรรดาผู้เข้าร่วม Codeforces ทั้งหมดที่เข้าร่วมการแข่งขันอย่างน้อยหนึ่งครั้งในช่วง 6 เดือนที่ผ่านมา สังเกตว่าโครงการยังอยู่ในขั้นเริ่มต้นของการพัฒนา และในอนาคต มีการวางแผนปรับปรุงคุณภาพของโค้ดที่สร้างขึ้น รวมถึงพัฒนา AlphaCode ไปสู่ระบบที่ช่วยในการเขียนโค้ดหรือเครื่องมือพัฒนาแอปพลิเคชันที่สามารถ ใช้โดยผู้ที่ไม่มีทักษะการเขียนโปรแกรม
โปรเจ็กต์นี้ใช้สถาปัตยกรรมเครือข่ายประสาทเทียมของ Transformer ร่วมกับเทคนิคการสุ่มตัวอย่างและการกรองเพื่อสร้างรหัสที่หลากหลายที่คาดเดาไม่ได้ซึ่งสอดคล้องกับข้อความภาษาธรรมชาติ หลังจากการกรอง การจัดกลุ่ม และการจัดอันดับ รหัสการทำงานที่เหมาะสมที่สุดจะถูกตัดออกจากสตรีมตัวเลือกที่สร้างขึ้น ซึ่งจากนั้นจะถูกตรวจสอบเพื่อให้แน่ใจว่าได้รับผลลัพธ์ที่ถูกต้อง (งานการแข่งขันแต่ละงานจะระบุตัวอย่างของข้อมูลที่ป้อนและผลลัพธ์ที่สอดคล้องกับตัวอย่างนี้ ซึ่งควรจะได้รับหลังจากรันโปรแกรมแล้ว)
ในการฝึกฝนระบบการเรียนรู้ของเครื่องโดยประมาณ เราใช้ฐานโค้ดที่มีอยู่ในที่เก็บ GitHub สาธารณะ หลังจากเตรียมโมเดลเริ่มต้นแล้ว ขั้นตอนการเพิ่มประสิทธิภาพได้ดำเนินการตามการรวบรวมโค้ดพร้อมตัวอย่างปัญหาและแนวทางแก้ไขที่เสนอโดยผู้เข้าร่วมในการแข่งขัน Codeforces, CodeChef, HackerEarth, AtCoder และ Aizu โดยรวมแล้วมีการใช้โค้ด 715 GB จาก GitHub และตัวอย่างวิธีแก้ปัญหาการแข่งขันทั่วไปมากกว่าล้านตัวอย่างสำหรับการฝึกอบรม ก่อนที่จะก้าวไปสู่การสร้างโค้ด ข้อความงานต้องผ่านขั้นตอนการทำให้เป็นมาตรฐาน ในระหว่างนั้นทุกสิ่งที่ไม่จำเป็นก็ถูกกำจัดออกไป และเหลือเพียงส่วนสำคัญเท่านั้น
ที่มา: opennet.ru