Das OpenAI-Projekt, das an der Entwicklung öffentlicher Projekte im Bereich Künstliche Intelligenz arbeitet, hat den Transformer Debugger veröffentlicht. Dieser ist dafür gedacht, die Aktivierung von Strukturen in Sprachmodellen des Machine Learning bei der Verarbeitung bestimmter Daten zu analysieren. Ähnlich wie bei traditionellen Debuggern unterstützt der Transformer Debugger eine schrittweise Navigation durch die Ausgaben der Modelle, das Nachverfolgen und das Abfangen spezifischer Aktivitäten. Allgemein ermöglicht der Transformer Debugger zu verstehen, warum ein Sprachmodell auf eine bestimmte Anfrage mit einem Token anstelle eines anderen reagiert oder warum das Modell bestimmten Tokens in der Anfrage mehr Aufmerksamkeit schenkt. Der Code ist in Python geschrieben und wird unter der MIT-Lizenz verbreitet.
Die Komponenten umfassen folgende Elemente:
- Neuron Viewer — ein Navigator für einzelne Komponenten des Modells, wie MLP-Neuronen, Aufmerksamkeitsmechanismen und die versteckten Repräsentationen von Autoencodern.
- Activation Server — ein Server-Backend, das mit dem analysierten Modell interagiert und Daten für den Debugger extrahiert.
- Modelle — eine Bibliothek für die Interaktion mit GPT-2 Sprachmodellen und deren verwendeten Autoencodern, die Platzhalter für das Abfangen von Aktivierungsdaten bereitstellt.
- Beispiele für Aktivierungsdatensets für MLP-Neuronen, Attention-Mechanismen und versteckte Darstellungen von Autoencodern.
Quelle: opennet.ru
