GitHub ноорог Төрөл бүрийн програмчлалын хэл дээрх кодыг задлан шинжлэх, ангилах, шинжлэхэд шаардлагатай машин сургалтын загвар, өгөгдлийн багцыг бэлтгэсэн. CodeSearchNet-тэй төстэй , код нь юу хийдгийг албан ёсны болгох тайлбар бүхий кодын хэсэгчилсэн том цуглуулгыг агуулдаг. Сургалтын загварт зориулсан бүрэлдэхүүн хэсгүүд болон CodeSearchNet ашиглах жишээг Tensorflow framework болон Python дээр бичсэн болно. MIT лицензийн дагуу.
CodeSearchNet-ийг бүтээхдээ байгалийн хэл дээрх текст задлан шинжлэх технологийг ашигласан бөгөөд энэ нь машин сургалтын системд зөвхөн синтакс шинж чанараас гадна кодын гүйцэтгэсэн үйлдлийн утгыг харгалзан үзэх боломжийг олгосон. GitHub систем дээр асуулга ашиглан семантик кодын хайлтыг зохион байгуулах туршилтанд (жишээ нь, "мөрийн жагсаалтыг эрэмбэлэх" хүсэлт гаргахад харгалзах алгоритмын хэрэгжилт бүхий код гарч ирнэ).
Санал болгож буй мэдээллийн багц нь одоо байгаа нээлттэй номын сангуудын эх бичвэрт үндэслэн бэлтгэсэн 2 сая гаруй кодын тайлбар холбоосыг агуулдаг. Код нь бие даасан функц эсвэл аргуудын бүрэн эх текстийг багтаасан бөгөөд тайлбар нь функцийн гүйцэтгэсэн үйлдлүүдийг тайлбарладаг (дэлгэрэнгүй баримт бичгийг өгсөн). Одоогоор Python, JavaScript, Ruby, Go, Java болон PHP-д зориулж өгөгдлийн багцуудыг бэлтгэж байна. Санал болгож буй өгөгдлийн багцыг янз бүрийн төрлийн мэдрэлийн сүлжээг сургахад ашиглах жишээг үзүүлэв , , (БЕРТ) ба .
Байгалийн хэлний хайлтын механизмыг хөгжүүлэхийн тулд CodeSearchNet Challenge-ийн багцыг нэмж бэлтгэсэн.
CodeSearchNet Corpus өгөгдлийн багц дахь 4 сая орчим арга, функцийг хамарсан хамгийн их магадлалтай кодыг тайлбарласан 6 мянга орчим шинжээчийн тайлбар бүхий асуулга ( ойролцоогоор 20 ГБ). CodeSearchNet Challenge нь байгалийн хэлний кодыг хайх зарим аргын үр нөлөөг үнэлэх жишиг болж чадна. Хэрэгсэл ашиглах бэлтгэсэн
код хайлтын систем.
Эх сурвалж: opennet.ru