Η εταιρεία DeepMind, γνωστή για τις εξελίξεις της στον τομέα της τεχνητής νοημοσύνης και την κατασκευή νευρωνικών δικτύων ικανών να παίζουν ηλεκτρονικά και επιτραπέζια παιχνίδια σε ανθρώπινο επίπεδο, παρουσίασε το έργο AlphaCode, το οποίο αναπτύσσει ένα σύστημα μηχανικής μάθησης για τη δημιουργία κώδικα, ικανό να συμμετοχή σε διαγωνισμούς προγραμματισμού στην πλατφόρμα Codeforces και επίδειξη μέσου αποτελέσματος. Ένα βασικό χαρακτηριστικό της ανάπτυξης είναι η δυνατότητα δημιουργίας κώδικα σε Python ή C++, λαμβάνοντας ως είσοδο ένα κείμενο με δήλωση προβλήματος στα αγγλικά.
Για τη δοκιμή του συστήματος, επιλέχθηκαν 10 νέοι διαγωνισμοί Codeforces με περισσότερους από 5000 συμμετέχοντες, που πραγματοποιήθηκαν μετά την ολοκλήρωση της εκπαίδευσης στο μοντέλο μηχανικής μάθησης. Τα αποτελέσματα της ολοκλήρωσης των εργασιών επέτρεψαν στο σύστημα AlphaCode να εισέλθει περίπου στη μέση της βαθμολογίας αυτών των διαγωνισμών (54.3%). Η προβλεπόμενη συνολική βαθμολογία του AlphaСode ήταν 1238 βαθμοί, γεγονός που εξασφαλίζει την είσοδο στο Top 28% μεταξύ όλων των συμμετεχόντων του Codeforces που έχουν συμμετάσχει σε διαγωνισμούς τουλάχιστον μία φορά τους τελευταίους 6 μήνες. Σημειώνεται ότι το έργο βρίσκεται ακόμη στο αρχικό στάδιο ανάπτυξης και στο μέλλον σχεδιάζεται βελτίωση της ποιότητας του παραγόμενου κώδικα, καθώς και ανάπτυξη AlphaCode σε συστήματα που βοηθούν στη σύνταξη κώδικα ή εργαλεία ανάπτυξης εφαρμογών που μπορούν να χρησιμοποιείται από άτομα χωρίς δεξιότητες προγραμματισμού.
Το έργο χρησιμοποιεί την αρχιτεκτονική νευρωνικού δικτύου Transformer σε συνδυασμό με τεχνικές δειγματοληψίας και φιλτραρίσματος για να δημιουργήσει διάφορες απρόβλεπτες παραλλαγές κώδικα που αντιστοιχούν σε κείμενο φυσικής γλώσσας. Μετά το φιλτράρισμα, την ομαδοποίηση και την κατάταξη, ο βέλτιστος κώδικας εργασίας εξαλείφεται από τη δημιουργούμενη ροή επιλογών, η οποία στη συνέχεια ελέγχεται για να διασφαλιστεί ότι έχει ληφθεί το σωστό αποτέλεσμα (κάθε εργασία διαγωνισμού υποδεικνύει ένα παράδειγμα δεδομένων εισόδου και το αποτέλεσμα που αντιστοιχεί σε αυτό το παράδειγμα , το οποίο θα πρέπει να ληφθεί μετά την εκτέλεση του προγράμματος).
Για να εκπαιδεύσουμε χονδρικά το σύστημα μηχανικής εκμάθησης, χρησιμοποιήσαμε μια βάση κώδικα διαθέσιμη σε δημόσια αποθετήρια GitHub. Μετά την προετοιμασία του αρχικού μοντέλου, πραγματοποιήθηκε μια φάση βελτιστοποίησης, βασισμένη σε μια συλλογή κώδικα με παραδείγματα προβλημάτων και λύσεων που προτάθηκαν από συμμετέχοντες στους διαγωνισμούς Codeforces, CodeChef, HackerEarth, AtCoder και Aizu. Συνολικά, 715 GB κώδικα από το GitHub και περισσότερα από ένα εκατομμύριο παραδείγματα λύσεων σε τυπικά προβλήματα ανταγωνισμού χρησιμοποιήθηκαν για προπόνηση. Πριν προχωρήσουμε στη δημιουργία κώδικα, το κείμενο εργασίας πέρασε από μια φάση κανονικοποίησης, κατά την οποία εξαλείφθηκαν όλα τα περιττά και έμειναν μόνο σημαντικά μέρη.
Πηγή: opennet.ru