Die OpenAI-projek, wat openbare projekte op die gebied van kunsmatige intelligensie ontwikkel, het die Transformer Debugger gepubliseer, wat ontwerp is om die aktivering van strukture in masjienleertaalmodelle te ontleed wanneer sekere data verwerk word. Soos tradisionele ontfouters, ondersteun Transformer Debugger stap-vir-stap navigasie deur modeluitvoer, opsporing en onderskepping van spesifieke aktiwiteit. Oor die algemeen laat Transformer Debugger jou toe om te verstaan hoekom 'n taalmodel een teken in plaas van 'n ander vertoon in reaksie op 'n sekere versoek, of waarom die model meer aandag aan sekere tekens in 'n versoek gee. Die kode is in Python geskryf en word onder die MIT-lisensie versprei.
Die samestelling bevat die volgende komponente:
- Neuronkyker is 'n navigator deur individuele modelkomponente, soos MLP-neurone, aandagfokusse en versteekte outo-enkodeerdervoorstellings.
- Aktiveringsbediener is 'n bediener-backend wat in wisselwerking is met die model wat ontleed word en data vir die ontfouter ophaal.
- Modelle is 'n biblioteek vir interaksie met GPT-2-taalmodelle en die outo-enkodeerders wat daarin gebruik word, wat die vervanging van hanteerders verskaf om aktiverings te onderskep.
- Voorbeelde van aktivering van datastelle vir MLP-neurone, aandagfokusse en latente voorstellings van outo-enkodeerders.
Bron: opennet.ru
