Il progetto OpenAI, impegnato nello sviluppo di progetti open source nell'ambito dell'intelligenza artificiale, ha pubblicato il Transformer Debugger, progettato per analizzare l'attivazione delle strutture nei modelli linguistici di machine learning durante l'elaborazione di dati specifici. Come nei tradizionali debugger, il Transformer Debugger supporta la navigazione passo-passo attraverso le uscite dei modelli, la tracciatura e l'intercettazione di attività specifiche. In generale, il Transformer Debugger consente di comprendere perché un modello linguistico produce un token invece di un altro in risposta a una certa richiesta o perché il modello presta maggiore attenzione a determinati token nella richiesta. Il codice è scritto in Python ed è distribuito sotto licenza MIT.
Il pacchetto include i seguenti componenti:
- Viewer Neuron — un navigatore per i singoli componenti del modello, come neuroni MLP, meccanismi di attenzione e rappresentazioni nascoste degli autoencoder.
- Activation server — un backend server che interagisce con il modello in analisi ed estrae dati per il debugger.
- I modelli — una libreria per interagire con i modelli linguistici GPT-2 e gli autoencoder utilizzati, fornendo sostituzioni dei gestori per intercettare le attivazioni.
- Esempi di set di dati di attivazione per neuroni MLP, meccanismi di attenzione e rappresentazioni nascoste degli autoencoder.
Fonte: opennet.ru
