OpenAI projekts, kas izstrÄdÄ publiskos projektus mÄkslÄ«gÄ intelekta jomÄ, ir publicÄjis Transformer Debugger, kas paredzÄts, lai analizÄtu struktÅ«ru aktivizÄÅ”anu maŔīnmÄcÄ«Å”anÄs valodu modeļos, apstrÄdÄjot noteiktus datus. TÄpat kÄ tradicionÄlie atkļūdotÄji, Transformer Debugger atbalsta pakÄpenisku navigÄciju, izmantojot modeļa izvadi, izsekoÅ”anu un konkrÄtu darbÄ«bu pÄrtverÅ”anu. KopumÄ Transformer Debugger ļauj saprast, kÄpÄc valodas modelis parÄda vienu marÄ·ieri, nevis citu, atbildot uz noteiktu pieprasÄ«jumu, vai kÄpÄc modelis pievÄrÅ” lielÄku uzmanÄ«bu noteiktiem marÄ·ieriem pieprasÄ«jumÄ. Kods ir rakstÄ«ts Python un tiek izplatÄ«ts saskaÅÄ ar MIT licenci.
KompozÄ«cijÄ ietilpst Å”Ädas sastÄvdaļas:
- Neironu skatÄ«tÄjs ir navigators, izmantojot atseviŔķus modeļa komponentus, piemÄram, MLP neironus, uzmanÄ«bas fokusus un slÄptos autokodÄtÄja attÄlojumus.
- AktivizÄcijas serveris ir servera aizmugursistÄma, kas mijiedarbojas ar parsÄjamo modeli un izgÅ«st datus atkļūdotÄjam.
- Modeļi ir bibliotÄka mijiedarbÄ«bai ar GPT-2 valodu modeļiem un tajos izmantotajiem automÄtiskajiem kodÄtÄjiem, nodroÅ”inot apdarinÄtÄju aizstÄÅ”anu, lai pÄrtvertu aktivizÄcijas.
- PiemÄri datu kopu aktivizÄÅ”anai MLP neironiem, uzmanÄ«bas fokusiem un latentiem autokodÄtÄju attÄlojumiem.
Avots: opennet.ru
