O proxecto OpenAI, que desenvolve proxectos públicos no ámbito da intelixencia artificial, publicou o Transformer Debugger, deseñado para analizar a activación de estruturas en modelos de linguaxe de aprendizaxe automática ao procesar determinados datos. Do mesmo xeito que os depuradores tradicionais, Transformer Debugger admite a navegación paso a paso a través da saída do modelo, o rastrexo e a interceptación de actividade específica. En xeral, Transformer Debugger permítelle comprender por que un modelo de linguaxe mostra un token en lugar doutro en resposta a unha determinada solicitude, ou por que o modelo presta máis atención a certos tokens nunha solicitude. O código está escrito en Python e distribúese baixo a licenza MIT.
A composición inclúe os seguintes compoñentes:
- O visor de neuronas é un navegador a través de compoñentes individuais do modelo, como neuronas MLP, focos de atención e representacións ocultas de codificador automático.
- O servidor de activación é un backend do servidor que interactúa co modelo que se analiza e recupera datos para o depurador.
- Models é unha biblioteca para interactuar cos modelos de linguaxe GPT-2 e os codificadores automáticos utilizados neles, que proporciona substitución de controladores para interceptar activacións.
- Exemplos de activación de conxuntos de datos para neuronas MLP, focos de atención e representacións latentes de codificadores automáticos.
Fonte: opennet.ru
