Cyflwynodd y cwmni DeepMind, sy'n adnabyddus am ei ddatblygiadau ym maes deallusrwydd artiffisial ac adeiladu rhwydweithiau niwral sy'n gallu chwarae gemau cyfrifiadurol a bwrdd ar y lefel ddynol, brosiect AlphaCode, sy'n datblygu system dysgu peiriant ar gyfer cynhyrchu cod a all gymryd rhan. mewn cystadlaethau rhaglennu ar lwyfan Codeforces ac yn dangos canlyniad cyfartalog. Nodwedd allweddol o'r datblygiad yw'r gallu i gynhyrchu cod yn Python neu C++, gan gymryd testun gyda datganiad problem yn Saesneg fel mewnbwn.
Er mwyn profi'r system, dewiswyd 10 cystadleuaeth Codeforces newydd gyda mwy na 5000 o gyfranogwyr, a gynhaliwyd ar ôl cwblhau hyfforddiant y model dysgu peiriant. Roedd canlyniadau cwblhau'r tasgau yn caniatáu i'r system AlphaCode fynd i mewn tua chanol sgôr y cystadlaethau hyn (54.3%). Y sgôr gyffredinol a ragwelwyd ar gyfer AlphaСode oedd 1238 pwynt, sy'n sicrhau mynediad i'r 28% Uchaf ymhlith holl gyfranogwyr Codeforces sydd wedi cymryd rhan mewn cystadlaethau o leiaf unwaith dros y 6 mis diwethaf. Nodir bod y prosiect yn dal i fod yn y cam datblygu cychwynnol ac yn y dyfodol bwriedir gwella ansawdd y cod a gynhyrchir, yn ogystal â datblygu AlphaCode tuag at systemau sy'n helpu i ysgrifennu cod, neu offer datblygu cymwysiadau y gellir eu defnyddio. a ddefnyddir gan bobl heb sgiliau rhaglennu.
Mae'r prosiect yn defnyddio pensaernïaeth rhwydwaith niwral Transformer ar y cyd â thechnegau samplu a hidlo i gynhyrchu amrywiol amrywiadau cod anrhagweladwy sy'n cyfateb i destun iaith naturiol. Ar ôl hidlo, clystyru a graddio, mae'r cod gweithio mwyaf optimaidd yn cael ei ddileu o'r llif opsiynau a gynhyrchir, sydd wedyn yn cael ei wirio i sicrhau y ceir y canlyniad cywir (mae pob tasg cystadleuaeth yn nodi enghraifft o ddata mewnbwn a'r canlyniad sy'n cyfateb i'r enghraifft hon , y dylid ei gael ar ôl gweithredu'r rhaglen).
Er mwyn hyfforddi'r system dysgu peiriant yn fras, fe wnaethom ddefnyddio sylfaen cod sydd ar gael mewn storfeydd GitHub cyhoeddus. Ar ôl paratoi'r model cychwynnol, cynhaliwyd cam optimeiddio, yn seiliedig ar gasgliad o god gydag enghreifftiau o broblemau ac atebion a gynigiwyd gan gyfranogwyr yn y cystadlaethau Codeforces, CodeChef, HackerEarth, AtCoder ac Aizu. Yn gyfan gwbl, defnyddiwyd 715 GB o god gan GitHub a mwy na miliwn o enghreifftiau o atebion i broblemau cystadleuaeth nodweddiadol ar gyfer hyfforddiant. Cyn symud ymlaen i gynhyrchu cod, aeth testun y dasg trwy gyfnod normaleiddio, pan gafodd popeth diangen ei ddileu a dim ond rhannau sylweddol a adawyd.
Ffynhonnell: opennet.ru