Projekti OpenAI, i angazhuar në zhvillimin e projekteve të hapura në fushën e inteligjencës artificiale, publikoi Debugger-in e Transformer-it, i cili është i destinuar për analizimin e aktivizimit të strukturave në modelet gjuhësore të mësimit të makinave gjatë përpunimit të të dhënave të caktuara. Ashtu si në debug-erët tradicionalë, Debugger-i i Transformer-it mbështet navigimin hap pas hapi në daljen e modeleve, ndjekjen dhe kapjen e aktivitetit të caktuar. Në mënyrë të përgjithshme, Debugger-i i Transformer-it lejon të kuptosh pse një model gjuhësor jep një token të caktuar si përgjigje ndaj një kërkese të caktuar në vend të një tokeni tjetër, ose pse modeli i kushton më shumë rëndësi tokenëve të caktuar në kërkesë. Kodi është shkruar në gjuhën Python dhe shpërndahet nën licencën MIT.
Pjesët përfshijnë komponentët si vijon:
- Shikuesi i NeuronĂ«ve â njĂ« navigator pĂ«r komponentĂ«t e veçantĂ« tĂ« modelit, si neuronĂ«t MLP, fokusimet e vĂ«mendjes dhe pĂ«rfaqĂ«simet e fshehura tĂ« autoencoder-Ă«ve.
- Serveri i Aktivizimit â backend-i serverik, qĂ« ndĂ«rvepron me modelin nĂ« shqyrtim dhe nxjerr tĂ« dhĂ«na pĂ«r debug-er-in.
- Modelet â njĂ« bibliotekĂ« pĂ«r ndĂ«rveprimin me modelet e gjuhĂ«s GPT-2 dhe koduesit e vetvetishĂ«m qĂ« pĂ«rdoren nĂ« to, duke ofruar zĂ«vendĂ«simin e trajtuesve pĂ«r kapjen e aktivizimeve.
- Shembuj të grupeve të të dhënave aktivizuese për neuronet MLP, vëmendjen dhe përfaqësimet e fshehura të koduesve të vetvetishëm.
Burimi: opennet.ru
