ืื OpenAI ืคึผืจืืืขืงื, ืืืึธืก ืืขืืืขืืึธืคึผืก ืขืคื ืืืขื ืคึผืจืึทืืืฉืขืงืก ืืื ืื ืคืขืื ืคืื ืงืื ืกืืืขื ืกืืืื, ืืื ืืจืืืก ืื ืืจืึทื ืกืคืึธืจืืขืจ ืืขืืืืืขืจ, ืืืืืื ื ืฆื ืึทื ืึทืืืื ืื ืึทืงืืึทืืืืืฉืึทื ืคืื ืกืืจืึทืงืืฉืขืจื ืืื ืืึทืฉืื ืืขืจื ืขื ืฉืคึผืจืึทื ืืึธืืขืืก ืืืขื ืคึผืจืึทืกืขืกืื ื ืืืืขืจ ืืึทืื. ืืื ืืจืืืืฆืืื ืขืื ืืืืืืขืจื, ืืจืึทื ืกืคืึธืจืืขืจ ืืขืืืืืขืจ ืฉืืืฆื ืฉืจืื-ืืืจื-ืฉืจืื ื ืึทืืืืืึทืฆืืข ืืืจื ืืึธืืขื ืจืขืืืืืึทื, ืืจืืืกืื ื ืืื ืื ืืขืจืกืขืคึผืฉืึทื ืคืื ืกืคึผืขืฆืืคืืฉ ืึทืงืืืืืืืขืื. ืืื ืึทืืืขืืืื, Transformer Debugger ืึทืืึทืื ืืืจ ืฆื ืคึฟืึทืจืฉืืืื ืืืึธืก ืึท ืฉืคึผืจืึทื ืืึธืืขื ืืืกืคึผืืืื ืืืื ืกืืืขื ืึทื ืฉืืึธื ืคืื ืื ืืขืจื ืืื ืขื ืืคืขืจ ืฆื ืึท ืืืืขืจ ืืงืฉื, ืึธืืขืจ ืืืึธืก ืืขืจ ืืึธืืขื ืืึทืฆืึธืื ืืขืจ ืืคืืขืจืงืืึทืืงืืื ืฆื ืืืืขืจ ืืึธืงืขื ืก ืืื ืึท ืืงืฉื. ืืขืจ ืงืึธื ืืื ืืขืฉืจืืื ืืื ืคึผืืืืึธื ืืื ืืื ืคืื ืื ืืขืจืืขืืืืื ืืื ืืขืจ ืื MIT ืืขืจืืืืืขื ืืฉ.
ืืขืจ ืืึทืฅ ืืืื ืื ืคืืืืขื ืืข ืงืึทืืคึผืึธืื ืึทื ืฅ:
- ื ืขืืจืึธื ืฆืืงืืงืขืจ ืืื ืึท ื ืึทืืืืืึทืืึธืจ ืืืจื ืืืื ืืึธืืขื ืงืึทืืคึผืึธืื ืึทื ืฅ, ืึทืืึท ืืื MLP ื ืืจืึทื ื, ืืคืืขืจืงืืึทืืงืืื ืคืึธืกื ืืื ืคืึทืจืืึธืจืื ืึทืืืึธืขื ืงืึธืืขืจ ืจืขืคึผืจืึทืืึทื ืืืืฉืึทื ื.
- ืึทืงืืึทืืืืืฉืึทื ืกืขืจืืืขืจ ืืื ืึท ืกืขืจืืืขืจ ืืึทืงืขื ื ืืืึธืก ืื ืืขืจืึทืงืฅ ืืื ืื ืืึธืืขื ืืืึธืก ืืื ืคึผืึทืจืกืขื ืืื ืจืืืจืืืื ืืึทืื ืคึฟืึทืจ ืื ืืืืืืืขืจ.
- ืืึธืืขืืก ืืื ืึท ืืืืืืึธืืขืง ืคึฟืึทืจ ืื ืืขืจืึทืงืืื ื ืืื GPT-2 ืฉืคึผืจืึทื ืืึธืืขืืก ืืื ืื ืึทืืืึธืขื ืงืึธืืขืจืก ืืขื ืืฆื ืืื ืืื, ืคึผืจืึทืืืืืืื ื ืกืึทืืกืืืืืฉืึทื ืคืื ืืึทื ืืืขืจืก ืฆื ืื ืืขืจืกืขืคึผื ืึทืงืืึทืืืืืฉืึทื ื.
- ืืืืฉืคืืื ืคืื ืึทืงืืึทืืืืืืื ื ืืึทืืึทืกืขืฅ ืคึฟืึทืจ MLP ื ืืจืึทื ื, ืืคืืขืจืงืืึทืืงืืื ืคืึธืกื ืืื ืืืืืึทื ื ืจืขืคึผืจืึทืืึทื ืืืืฉืึทื ื ืคืื ืึทืืืึธืขื ืงืึธืืขืจืก.
ืืงืืจ: opennet.ru
