OpenAI projekt, mis tegeleb avatud tehisintellekti projektide arendamisega, on avaldanud Transformer Debuggeri, mis on mõeldud masinõppe keelemudelite aktivatsioonistruktuuride analüüsimiseks andmete töötlemisel. Nagu traditsioonilistes silumisinstrumentides, toetab Transformer Debugger mudelite väljundi sammhaaval navigeerimist, jälgimist ja teatud aktivatsiooni peetust. Üldiselt võimaldab Transformer Debugger mõista, miks keelemudel annab küsimusele vastuseks ühe tokeni teise asemel või miks mudel suunab rohkem tähelepanu teatud tokenitele küsimuses. Kood on kirjutatud Pythonis ja levitatakse MITi litsentsi alusel.
Koostisosad sisaldavad järgmist:
- Neuron viewer — navigator eraldi mudeli komponentide jaoks, nagu MLP-neuronid, tähelepanu fookused ja peidetud esitlused autokoodereid.
- Activation server — serveripoolne taust, mis suhtleb analüüsitava mudeliga ja ekstraktib andmeid tõrkeotsijale.
- Models — raamatukogu, mis suhtleb GPT-2 keelemudelitega ja nende sees kasutatavate autokooderitega, pakkudes asendajate sisestamist aktiveerimiste püüdmiseks.
- MLP-neuroni, tähelepanu mehhanismide ja autonäidikute peidetud esituste aktiveerimisandmete komplektide näidised.
Allikas: opennet.ru
