U prughjettu OpenAI, chì sviluppa prughjetti publichi in u campu di l'intelligenza artificiale, hà publicatu u Transformer Debugger, cuncepitu per analizà l'attivazione di strutture in mudelli di lingua d'apprendimentu automaticu quandu si tratta di certi dati. Cum'è i debuggers tradiziunali, Transformer Debugger supporta a navigazione passu à passu attraversu l'output di mudelli, a traccia è l'intercepzione di l'attività specifica. In generale, Transformer Debugger permette di capisce perchè un mudellu di lingua mostra un token invece di un altru in risposta à una certa dumanda, o perchè u mudellu presta più attenzione à certi tokens in una dumanda. U codice hè scrittu in Python è hè distribuitu sottu a licenza MIT.
A cumpusizioni include i seguenti cumpunenti:
- U visore di neurone hè un navigatore attraversu cumpunenti di mudelli individuali, cum'è neuroni MLP, focus d'attenzione, è rappresentazioni di autoencoder nascosti.
- U servitore di attivazione hè un backend di u servitore chì interagisce cù u mudellu chì hè analizatu è recupera dati per u debugger.
- Models hè una libreria per interagisce cù mudelli di lingua GPT-2 è l'autocodificatori utilizati in elli, chì furnisce a sostituzione di gestori per intercepte attivazioni.
- Esempii di attivazione di set di dati per i neuroni MLP, i fochi d'attenzione è e rappresentazioni latenti di autocodificatori.
Source: opennet.ru
