Хиймэл оюун ухааны чиглэлээр олон нийтийн төслүүдийг боловсруулдаг OpenAI төсөл нь тодорхой өгөгдлийг боловсруулах үед машин сургалтын хэлний загвар дахь бүтцийг идэвхжүүлэхэд дүн шинжилгээ хийхэд зориулагдсан Transformer Debugger-ийг нийтлэв. Уламжлалт дибаглагчдын нэгэн адил Transformer Debugger нь загвар гаралт, мөшгих, тодорхой үйл ажиллагааг таслан зогсоох замаар алхам алхмаар навигацийг дэмждэг. Ерөнхийдөө Transformer Debugger нь хэлний загвар нь яагаад тодорхой хүсэлтийн хариуд нөгөө токеныг харуулахын оронд нэг жетон харуулдаг, эсвэл загвар нь хүсэлтийн тодорхой жетонуудад яагаад илүү анхаарал хандуулдаг болохыг ойлгох боломжийг олгодог. Код нь Python дээр бичигдсэн бөгөөд MIT лицензийн дагуу түгээгддэг.
Найрлагад дараахь бүрэлдэхүүн хэсгүүд орно.
- Neuron Viewer нь MLP мэдрэлийн эсүүд, анхаарлын төвлөрөл, далд автомат кодлогчийн дүрслэл зэрэг бие даасан загварын бүрэлдэхүүн хэсгүүдээр дамжуулан чиглүүлэгч юм.
- Идэвхжүүлэх сервер нь задлан шинжилж буй загвартай харилцаж, дибаг хийгчийн өгөгдлийг татаж авдаг серверийн арын хэсэг юм.
- Models нь GPT-2 хэлний загварууд болон тэдгээрт хэрэглэгддэг автомат кодлогчтой харилцах номын сан бөгөөд идэвхжүүлэлтийг тасалдуулахын тулд зохицуулагчийг орлуулах боломжийг олгодог.
- MLP мэдрэлийн эсүүд, анхаарлын төвлөрөл, автомат кодлогчдын далд дүрслэлүүдийн өгөгдлийн багцыг идэвхжүүлэх жишээ.
Эх сурвалж: opennet.ru
