Công ty DeepMind, được biết đến với những phát triển trong lĩnh vực trí tuệ nhân tạo và xây dựng mạng lưới thần kinh có khả năng chơi trò chơi trên máy tính và bảng ở cấp độ con người, đã trình bày dự án AlphaCode, đang phát triển một hệ thống máy học để tạo mã, có khả năng tham gia các cuộc thi lập trình trên nền tảng Codeforces và thể hiện kết quả trung bình. Một tính năng chính của quá trình phát triển là khả năng tạo mã bằng Python hoặc C++, lấy văn bản đầu vào có câu lệnh vấn đề bằng tiếng Anh.
Để thử nghiệm hệ thống, 10 cuộc thi Codeforces mới với hơn 5000 người tham gia đã được lựa chọn, tổ chức sau khi hoàn thành đào tạo mô hình machine learning. Kết quả hoàn thành nhiệm vụ cho phép hệ thống AlphaCode lọt vào khoảng giữa xếp hạng của các cuộc thi này (54.3%). Xếp hạng tổng thể dự đoán của AlphaСode là 1238 điểm, đảm bảo lọt vào Top 28% trong số tất cả những người tham gia Codeforces đã tham gia các cuộc thi ít nhất một lần trong 6 tháng qua. Cần lưu ý rằng dự án vẫn đang ở giai đoạn phát triển ban đầu và trong tương lai dự kiến sẽ cải thiện chất lượng mã được tạo ra, cũng như phát triển AlphaCode hướng tới các hệ thống hỗ trợ viết mã hoặc các công cụ phát triển ứng dụng có thể được sử dụng bởi những người không có kỹ năng lập trình.
Dự án sử dụng kiến trúc mạng nơ-ron Transformer kết hợp với kỹ thuật lấy mẫu và lọc để tạo ra nhiều biến thể mã khó đoán khác nhau tương ứng với văn bản ngôn ngữ tự nhiên. Sau khi lọc, phân cụm và xếp hạng, mã làm việc tối ưu nhất sẽ bị loại khỏi luồng tùy chọn được tạo, sau đó được kiểm tra để đảm bảo thu được kết quả chính xác (mỗi nhiệm vụ cạnh tranh chỉ ra một ví dụ về dữ liệu đầu vào và kết quả tương ứng với ví dụ này , cần lấy được sau khi thực hiện chương trình).
Để đào tạo sơ bộ hệ thống máy học, chúng tôi đã sử dụng cơ sở mã có sẵn trong kho GitHub công khai. Sau khi chuẩn bị mô hình ban đầu, một giai đoạn tối ưu hóa đã được thực hiện, dựa trên bộ sưu tập mã với các ví dụ về các vấn đề và giải pháp do những người tham gia các cuộc thi Codeforces, CodeChef, HackerEarth, AtCoder và Aizu đề xuất. Tổng cộng, 715 GB mã từ GitHub và hơn một triệu ví dụ về giải pháp cho các vấn đề cạnh tranh điển hình đã được sử dụng để đào tạo. Trước khi chuyển sang tạo mã, văn bản tác vụ đã trải qua giai đoạn chuẩn hóa, trong đó mọi thứ không cần thiết đều bị loại bỏ và chỉ còn lại những phần quan trọng.
Nguồn: opennet.ru