開發人工智慧領域公共專案的 OpenAI 專案發布了 Transformer Debugger，旨在分析機器學習語言模型在處理某些資料時結構的活化。與傳統調試器一樣，Transformer Debugger 支援透過模型輸出、追蹤和特定活動的攔截進行逐步導航。一般來說，Transformer Debugger 可以讓您了解為什麼語言模型在回應特定請求時顯示一個標記而不是另一個標記，或者為什麼模型更關注請求中的某些標記。該程式碼是用 Python 編寫的，並根據 MIT 許可證分發。
該組合物包括以下組分：
- Neuron 檢視器是單一模型組件的導航器，例如 MLP 神經元、注意力焦點和隱藏的自動編碼器表示。
- 激活伺服器是一個伺服器後端，它與正在解析的模型互動並為調試器檢索資料。
- Models 是一個用於與 GPT-2 語言模型及其中使用的自動編碼器互動的庫，提供處理程序的替換來攔截啟動。
- 啟動 MLP 神經元、注意力焦點和自動編碼器的潛在表示的資料集的範例。
來源： opennet.ru
