Праект OpenAI, які займаецца развіццём агульнадаступных праектаў у вобласці штучнага інтэлекту, апублікаваў адладчык Transformer Debugger, прызначаны для аналізу актывацыі структур у моўных мадэлях машыннага навучання пры апрацоўцы тых ці іншых дадзеных. Як і ў традыцыйных адладчыках ў Transformer Debugger падтрымлівае пакрокавую навігацыю па высновы мадэляў, трасіроўку і перахоп вызначанай актыўнасці. У агульным выглядзе Transformer Debugger дазваляе разабрацца чаму моўная мадэль у адказ на пэўны запыт выводзіць адзін токен замест іншага або чаму мадэль надае большую ўвагу пэўным токенам у запыце. Код напісаны на мове Python і распаўсюджваецца пад ліцэнзіяй MIT.
У склад уваходзяць наступныя кампаненты:
- Neuron viewer – навігатар па асобных кампанентах мадэлі, такім як MLP-нейроны, фокусы ўвагі і ўтоеныя ўяўленні автокодировщиков.
- Activation server - серверны бэкэнд, які ўзаемадзейнічае з разбіранай мадэллю і які здабывае дадзеныя для адладчыка.
- Models – бібліятэка для ўзаемадзеяння з моўнымі мадэлямі GPT-2 і выкарыстоўванымі ў іх аўтакадзіроўшчыкамі, якая забяспечвае падстаноўку апрацоўшчыкаў для перахопу актывацый.
- Прыклады якія актывуюць набораў дадзеных для MLP-нейронаў, фокусаў увагі і ўтоеных уяўленняў автокодировщиков.
Крыніца: opennet.ru
