Kompania DeepMind, e njohur për zhvillimet e saj në fushën e inteligjencës artificiale dhe ndërtimin e rrjeteve nervore të afta për të luajtur kompjuterë dhe lojëra në tavolinë në nivel njerëzor, prezantoi projektin AlphaCode, i cili po zhvillon një sistem të mësimit të makinerive për gjenerimin e kodit, të aftë për të pjesëmarrja në konkurse programimi në platformën Codeforces dhe demonstrimi i rezultatit mesatar. Një tipar kryesor i zhvillimit është aftësia për të gjeneruar kode në Python ose C++, duke marrë si hyrje një tekst me një deklaratë problemi në anglisht.
Për të testuar sistemin, u zgjodhën 10 gara të reja Codeforces me më shumë se 5000 pjesëmarrës, të mbajtura pas përfundimit të trajnimit për modelin e mësimit të makinerive. Rezultatet e përfundimit të detyrave lejuan që sistemi AlphaCode të hynte afërsisht në mes të vlerësimit të këtyre garave (54.3%). Vlerësimi i përgjithshëm i parashikuar i AlphaСode ishte 1238 pikë, gjë që siguron hyrjen në Top 28% midis të gjithë pjesëmarrësve të Codeforces që kanë marrë pjesë në gara të paktën një herë gjatë 6 muajve të fundit. Vihet re se projekti është ende në fazën fillestare të zhvillimit dhe në të ardhmen është planifikuar të përmirësohet cilësia e kodit të gjeneruar, si dhe të zhvillohet AlphaCode drejt sistemeve që ndihmojnë në shkrimin e kodit, apo mjeteve të zhvillimit të aplikacioneve që mund të përdoret nga njerëz pa aftësi programuese.
Projekti përdor arkitekturën e rrjetit nervor Transformer në kombinim me teknikat e kampionimit dhe filtrimit për të gjeneruar variante të ndryshme kodi të paparashikueshme që korrespondojnë me tekstin e gjuhës natyrore. Pas filtrimit, grupimit dhe renditjes, kodi më optimal i punës eliminohet nga rrjedha e gjeneruar e opsioneve, e cila më pas kontrollohet për t'u siguruar që është marrë rezultati i saktë (çdo detyrë konkurrimi tregon një shembull të të dhënave hyrëse dhe rezultatin që korrespondon me këtë shembull , i cili duhet të merret pas ekzekutimit të programit).
Për të trajnuar përafërsisht sistemin e mësimit të makinerive, ne përdorëm një bazë kodi të disponueshme në depot publike të GitHub. Pas përgatitjes së modelit fillestar, u krye një fazë optimizimi, bazuar në një koleksion kodesh me shembuj të problemeve dhe zgjidhjeve të propozuara nga pjesëmarrësit në garat Codeforces, CodeChef, HackerEarth, AtCoder dhe Aizu. Në total, 715 GB kod nga GitHub dhe më shumë se një milion shembuj zgjidhjesh për problemet tipike të konkurrencës u përdorën për trajnim. Para se të kalonte në gjenerimin e kodit, teksti i detyrës kaloi një fazë normalizimi, gjatë së cilës gjithçka e panevojshme u eliminua dhe mbetën vetëm pjesë të rëndësishme.
Burimi: opennet.ru