ืืขืจ ืึทืจืืืงื ืืืกืงืึทืกื ืขืืืขืืข ืืืขืื ืฆื ืืึทืฉืืืกื ืื ืืึทืืึทืืึทืืืงืึทื ืืงืืืืืืฉืึทื ืคืื ืึท ืคึผืฉืื (ืคึผืขืจื) ืจืึทืืจืขืฉืึทื ืฉืืจื.
ืึทืืข ืืขืืืึธืืก ืคืื ืกืึทืืืืื ื ืื ืืงืืืืืืฉืึทื ืืืกืงืึทืกื ืืึธ ืืขื ืขื ืืืืืจื ืืืืฃ ืืขืจ ืงืืขื ืกืืขืจ ืกืงืืืขืจื ืืืคึฟื. ืืื ืก ืึธื ืืืืึทืื ืื ืืขืืืึธืืก ืืื ืืืื:
- ืึทื ืึทืืืืืฉ ืืืืืื ื
- ืืจืึทืืืขื ื ืึทืจืึธืคึผืืึทื ื
- ืกืืึธืืฉืึทืกืืืง ืืจืึทืืืขื ื ืึทืจืึธืคึผืืึทื ื
ืคืืจ ืืขืื ืืขืืื ืฆื ืืืืื ืื ืืืืืืื ื ืคืื ื ืืืืืืขืจ ืืื ืืข ืืื ืืขืจ ืืจืืืงื ืคืืจืฉืืืืขื ืข ืคืื ืงืฆืืขืก, ืืืขืืืข ืืขื ืขื ืืขืืงืจ ืฆืขืืืืื ืืื ืื ืืืืก ืืืขืจื ืืขืฉืจืืื ืื ื ืืฆื ืื ืืืืืืืืขืง ื ืืืคึผื ืืื ืื ืืืึธืก ื ืืฆื ืคึฟืึทืจ ืืฉืืื ืืช ื ืืืคึผื. ืขืก ืืื ืืขืืืืืื ืึทื ืืขืจืืืฉ ื ืืฆื ื ืืืคึผื ืืืขื ืจืขืืืฆืืจื ืงืึทืืคึผืืืืื ื ืงืึธืก.
ืื ืงืึธื ืืื ืืขื ืึทืจืืืงื ืืื ืืขืฉืจืืื ืืื ืืขืจ ืฉืคึผืจืึทื ืคึผืืืืึธื 2.7 ื ืืฆื ืืืฉืืคึผืืืขืจ ื ืึธืืืืืง. ืืขืจ ืืงืืจ ืงืึธื ืืื ืืขืงืข ืืื ืืืกืืขืจ ืืึทืื ืืขื ืขื ืึทืจืืึทื ืืขืฉืืงื ืืืืฃ
ืืขืจ ืึทืจืืืงื ืืื ืืขืจ ืึทืืืขื ืฆื ืืืืืข ืืืืื ืขืจื ืืื ืื ืืืืก ืืึธืื ืฉืืื ืืืกืืขืืืืืึทื ืื ืืขืืืืื ืฆื ืืขื ืื ืืขืจื ืขื ืคืื ืึท ืืืืขืจ ืืจืืื ืึธืคึผืืืืืื ื ืืื ืงืื ืกืืืขื ืกืืืื - ืืึทืฉืื ืืขืจื ืขื.
ืฆื ืืืืืกืืจืืจื ืืขื ืืึทืืขืจืืึทื, ืืืจ ื ืืฆื ืึท ืืืืขืจ ืคึผืฉืื ืืืึทืฉืคึผืื.
ืืืึทืฉืคึผืื ืืืืื ืืื ืืขื
ืืืจ ืืึธืื ืคืื ืฃ ืืืึทืืืขืก ืืืึธืก ืงืขืจืึทืงืืขืจืืื ืึธืคืขื ืืืงืืึทื Y ืคืื X (ืืึทืืืข ื ืื 1):
ืืืฉ ื ืืืขืจ 1 "ืืืึทืฉืคึผืื ืื ืึธืื"
ืืืจ ืืืขืื ืืืขืจื ืขืืขื ืึทื ืื ืืืึทืืืขืก ืืื ืืขืจ ืืืืฉ ืคืื ืืึธืจ, ืืื โ ืจืขืืืขื ืืขื ืืืืฉ. ืืื ืื ืืขืจืข ืืืขืจืืขืจ, ืจืขืืืขื ืืขืคึผืขื ืืก ืืืืฃ ืื ืืืืฉ ืคืื ืื ืืึธืจ, ืืื - ืืขืจ ืืืืื ืฆืืืื ืืืืฃ ืืืึธืก ืจืขืืืขื ืืขืคึผืขื ืืก.
ืืขืจ ืืืืฉืคึผืื ืืื ืึทืืื-ืึทืืื, ืืืืืข ืคืื โโืื ืคืื ื ืคืื ืืืื ืื ื ืคืื ืื ืงืึทื ืืืฉืึทื ืึทื ืึธืคืขื ืืืงืืึทื ืคืื ืจืขืืืขื ืืืืฃ ืื ืืืืฉ ืคืื ืื ืืึธืจ, ืืื ืคืื ืื ืคืื ื ืคืื ืืืื ืื ื ืคืื ืื ื ืืืขืจ ืคืื ืืืึทืืืขืก - ืขืก ืืขื ืขื ืืืืขืจ ืืืืื ืืง ืคืื ืืื. ืึธืืขืจ, ืึทืืึท ืกืืืคึผืืึทืคืืงืืืฉืึทื ืืืขื ืืึทืื ืขืก ืืขืืืขื, ืืื ืืื ืืึธืื, ืฆื ืืขืจืงืืขืจื, ื ืื ืฉืืขื ืืืง ืืื ืื, ืื ืืึทืืขืจืืึทื ืืืึธืก ืืืืื ืขืจื ืึทืกืืืืืืจื. ืืื ืืืื ืื ืคึผืึทืฉืืขืก ืคืื ืื ื ืืืขืจื ืืืขื ืืึธืื ืื ืืืืก ืืืืื ืฆื ืกืึธืืืืข ืืขื ืืืึทืฉืคึผืื ืืืืฃ ืคึผืึทืคึผืืจ ืึธื ืืึทืืืึทืืืง ืึทืจืืขื ืงืึธืก.
ืืื ืืื ืื ืืืขืจื ืขืืขื ืึทื ืื ืึธืคืขื ืืืงืืึทื ืืขืืขืื ืืื ืืขื ืืืึทืฉืคึผืื ืงืขื ืขื ืืืื ืึทืคึผืจืึทืงืกืึทืืืืืื ืืึทื ืฅ ืืื ืืืจื ืื ืืึทืืึทืืึทืืืงืึทื ืืงืืืืืืฉืึทื ืคืื ืึท ืคึผืฉืื (ืคึผืขืจื) ืจืึทืืจืขืฉืึทื ืฉืืจื ืคืื ืื ืคืึธืจืขื:
ืืื ืืื ืืขืจ ืืืืฉ ืืื ืืืึธืก ืื ืจืขืืืขื ืืื ืืืงืืืขื, - ืจืขืืืขื ืงืึธืจืึทืกืคึผืึทื ืืื ื ืฆื ืื ืืืืฉ, ะธ ืืขื ืขื ืื ืจืึทืืจืขืฉืึทื ืงืึธืืึทืคืืฉืึทื ืฅ ืคืื ืื ืขืกืืืืึทืืขื ืฉืืจื.
ืืึทืืขืจืงืื ื ืึทื ืื ืงืึธืืึทืคืืฉืึทื ื ืึธืคื ืืขืจืืคื ืื ืฉืืคึผืืข ืึธืืขืจ ืืจืึทืืืขื ื ืคืื ืื ืขืกืืืืึทืืขื ืฉืืจื; ืจืขืคึผืจืึทืืขื ืฅ ืื ืกืืืข ืืืจื ืืืึธืก ืื ืืืขื ืขืก ืขื ืืขืจืื ืืขื .
ืืึธื, ืืื ืืืขืจ ืึทืจืืขื ืืื ืืขื ืืืึทืฉืคึผืื ืืื ืฆื ืืืืกืงืืืึทืื ืึทืืึท ืงืึธืืึทืคืืฉืึทื ืฅ ืืื ืื ืืงืืืืืืฉืึทื ะธ , ืืื ืืืึธืก ืื ืืืืืืืืฉืึทื ื ืคืื ืืื ืืืขืจ ืงืึทืืงืืึทืืืืืื ืจืขืืืขื ืืืึทืืืขืก ืืืจื ืืืืฉ ืคืื ืื ืืืช ืขื ืืคึฟืขืจืก, ื.ืข. ืืืึทืืืขืก ืืขืจืืื ืื ืืื ืืขืจ ืืืกืืขืจ ืืืขื ืืืื ืืื ืืืึทื.
ืงืืขื ืกืืขืจ ืงืืืึทืืจืึทื ืืืคึฟื
ืืืื ืื ืงืืขื ืกืืขืจ ืกืงืืืขืจื ืืืคึฟื, ืื ืืืืืืืืฉืึทื ืืึธื ืืืื ืงืึทืืงืืึทืืืืืื ืืืจื ืกืงืืืขืจืื ื ืขืก. ืืขื ืืขืื ืืง ืึทืืึทืื ืืืจ ืฆื ืืืกืืืืื ืงืขืื ืฆืืึทืืืง ืงืึทื ืกืึทืืืืฉืึทื ืคืื ืืืืืืืืฉืึทื ื ืืืื ืืื ืืึธืื ืคืึทืจืงืขืจื ืืืืื ืืขืจ. ืคึฟืึทืจ ืืืึทืฉืคึผืื, ืืืื ืืื ืืืื ืคืึทื, ืื ืืืืืืืืฉืึทื ืืื +5 (ืคึผืืืก ืคืื ืฃ), ืืื ืืื ืื ืื ืืขืจืข -5 (ืืื ืืก ืคืื ืฃ), ืืขืืึธืื ืื ืกืึทืืึทืงื ืคืื ืื ืืืืืืืืฉืึทื ื ืืืขื ืืึธืื ืืึทืื ืืขืืขืจ ืื ืืขืจืขืจ ืืื ืกืืืข ืฆื 0 (ื ืื). ืขืก ืืื ืืขืืืขื ื ืืฉื ืฆื ืงืืืึทืืจืึทื ืื ืืืืืืืืฉืึทื, ืึธืืขืจ ืฆื ื ืืฆื ืื ืคืึทืจืืึธื ืคืื ืื ืืึธืืืืืก ืืื ืืึทื ืึทืืข ืื ืืืืืืืืฉืึทื ื ืืืขื ืืืื positive ืืื ืืืขื ืึธื ืงืืืึทืื. ืืืจ ืืืขืื ื ืืฉื ืืืืื ืขื ืืืืฃ ืืขื ืคืื ื ืืื ืืขืืึทื, ืึธืืขืจ ื ืึธืจ ืึธื ืืืืึทืื ืึทื ืคึฟืึทืจ ืื ืงืึทื ืืืื ืืึทื ืก ืคืื ืืฉืืื ืืช, ืขืก ืืื ืงืึทืกืืึทืืขืจื ืฆื ืงืืืึทืืจืึทื ืื ืืืืืืืืฉืึทื.
ืืึธืก ืืื ืืื ืื ืคืึธืจืืืืข ืงืืงื ืืื ืืื ืืืึธืก ืืืจ ืืืขืื ืืึทืฉืืืกื ืื ืงืืขื ืกืืขืจ ืกืึทืืึทืงื ืคืื ืกืงืืืขืจื ืืืืืืืืฉืึทื ื (ืขืจืจืึธืจืก):
ืืื ืืื ืึท ืคืื ืงืฆืืข ืคืื โโืืขืจื ืขื ืืขืจื ืืื ืคืื ืืืช ืขื ืืคึฟืขืจืก (ืืึธืก ืืื ืื ืจืขืืืขื ืืืึธืก ืืืจ ืงืึทืืงืืึทืืืืืื),
ืืขื ืขื ืื ืืืช ืขื ืืคึฟืขืจืก (ืจืขืืืขื ืฆืืืขืฉืืขืื ืืื ืืขืจ ืืืกืืขืจ),
ืืื ืืขืจ ืืืกืืขืจ ืืื ืืขืงืก (ื ืืืขืจ ืคืื ืื ืืืืฉ ืืื ืืืึธืก ืื ืืืืืืืืฉืึทื ืืื ืืืฉืืืกื)
ืืื ืก ืืืคืขืจืขื ืฉืืืื ืื ืคึฟืื ืงืฆืืข, ืืขืคืื ืืจื ืื ืคึผืึทืจืืืืืฉ ืืืคืขืจืขื ืืฉืึทื ืืงืืืืืืฉืึทื ื, ืืื ืืืื ืืจืืื ืฆื ืืึทื ืืืืฃ ืฆื ืื ืึทื ืึทืืืกืืก ืืืืืื ื. ืืืขืจ ืขืจืฉืืขืจ, ืืึธืื ืืื ืื ื ืขืืขื ืึท ืงืืจืฅ ืฉืคึผืึทืฆืืจ ืืืขืื ืืืึธืก ืืืคืขืจืขื ืฉืืืืฉืึทื ืืื ืืื ืืขืืขื ืงืขื ืื ืืืฉืืึทืืขืืจืืง ืืืึทืืฉ ืคืื ืืขืจ ืืขืจืืืืึทื.
ืืืคืคืขืจืขื ืืืืฆืืข
ืืืคืขืจืขื ืืฉืืืืฉืึทื ืืื ืื ืึธืคึผืขืจืึทืฆืืข ืคืื โโโโืืขืคืื ืขื ืื ืืขืจืืืืึทื ืคืื ืึท ืคึฟืื ืงืฆืืข.
ืืืึธืก ืืื ืืขืจ ืืขืจืืืืึทื ืืขื ืืฆื ืคึฟืึทืจ? ืื ืืขืจืืืืึทื ืคืื ืึท ืคึฟืื ืงืฆืืข ืงืขืจืึทืงืืขืจืืืืึทื ืื ืงืืจืก ืคืื ืืืืฉื ืคืื ืื ืคึฟืื ืงืฆืืข ืืื ืืขืจืฆืืืื ืืื ืื ืืืึทื ืจืืืืื ื. ืืืื ืื ืืขืจืืืืึทื ืืื ืึท ืืขืืขืื ืคืื ื ืืื positive, ืื ืคึฟืื ืงืฆืืข ืื ืงืจืืกืื; ืึทื ืืขืจืฉ, ืื ืคึฟืื ืงืฆืืข ืืืงืจืืกืึทื. ืืื ืื ืืจืขืกืขืจ ืื ืืืขืจื ืคืื ืื ืึทืืกืึธืืื ืืขืจืืืืึทื, ืื ืืขืืขืจ ืื ืงืืจืก ืคืื ืขื ืืขืจืื ื ืคืื ืื ืคึฟืื ืงืฆืืข ืืืึทืืืขืก, ืืื ืืืื ืื ืกืืืคึผืขืจ ืื ืฉืืคึผืืข ืคืื โโืื ืคึฟืื ืงืฆืืข ืืจืึทืคืืง.
ืคึฟืึทืจ ืืืึทืฉืคึผืื, ืืื ืืขืจ ืื ืืืืื ืืื ืืขื ืคืื ืึท ืงืึทืจืืขืกืืึทื ืงืึธืืึธืจืืึทื ืึทื ืกืืกืืขื, ืื ืืืขืจื ืคืื ืืขืจ ืืขืจืืืืึทื ืืื ืื ืคืื ื ื(0,0) ืืื ืืืืึทื ืฆื +25 ืืืื ืึทื ืืื ืึท ืืขืืขืื ืคืื ื, ืืืขื ืื ืืืขืจื ืืื ืฉืืคืืื ืฆื ืื ืจืขืื ืืืจื ืึท ืงืึทื ืืืขื ืฉืึทื ืึทื ืึทืคึผืึทืจืึทื, ืืืขืจื ืื ืงืจืืกืึทื ืืืจื 25 ืงืึทื ืืืขื ืฉืึทื ืึทื ืื ืืฅ. ืืืืฃ ืื ืืจืึทืคืืง ืขืก ืงืืงื ืืื ืึท ืคืขืจืื ืึทืจืึธืคืึทื ื ืืขืืขืจืื ื ืืื ืืืึทืืืขืก ืคืื ืึท ืืขืืขืื ืคืื ื.
ืื ืื ืืขืจ ืืืึทืฉืคึผืื. ืืขืจ ืืขืจืืืืึทื ืืืขืจื ืืื ืืืืึทื -ืงืกื ืืืงืก ืืืื ืึทื ืืืขื ืืืกืคึผืืืืกื ืคึผืขืจ ืืืื ืงืึทื ืืืขื ืฉืึทื ืึทื ืึทืคึผืึทืจืึทื, ืืืขืจื ืืืงืจืืกืึทื ืืื ืืืืื 0,1 ืงืึทื ืืืขื ืฉืึทื ืึทื ืึทืคึผืึทืจืึทื. ืืื ืืขืจ ืืขืืืืงืขืจ ืฆืืื, ืืืืฃ ืื ืืจืึทืคืืง ืคืื ืื ืคึฟืื ืงืฆืืข, ืืืจ ืงืขื ืขื ืึธืืกืขืจืืืืจื ืึท ืงืืื ืืืืขืจืงื ืืึทืื ืืืขืจื ืฉืืคึผืืข. ืฆืืืืขื ืื ื ืึทื ืึทื ืึทืืึทืืืฉื ืืื ืึท ืืึทืจื, ืขืก ืืื ืืื ืืืื ืืืจ ืืขื ืขื ืืืืขืจ ืกืืึธืืื ืึทืจืึธืคึผืืืื ืึท ืืืื ืฉืืคึผืืข ืคืื โโโโืึท ืืึทืจื, ื ืื ืขื ืืขื ืืขื ืคืจืืขืจืืืงื ืืืึทืฉืคึผืื, ืืื ืืืจ ืืึธืื ืฆื ืงืจืืื ืืืืขืจ ืึทืจืึธืคืึทื ื ืคึผืืงืก :)
ืืืื, ื ืึธื ืืืคืขืจืขื ืฉืืืืืื ื ืื ืคึฟืื ืงืฆืืข ืืืจื ืฉืึทื ืกื ะธ , ืืืจ ืืขืคืื ืืจื 1ืกื ืกืืจ ืคึผืึทืจืืืืืฉ ืืืคืขืจืขื ืืฉืึทื ืืงืืืืืืฉืึทื ื. ื ืึธื ืืืืขืจืืึทื ืื ื ืื ืืงืืืืืืฉืึทื ื, ืืืจ ืืืขืื ืืึทืงืืืขื ืึท ืกืืกืืขื ืคืื ืฆืืืื ืืงืืืืืืฉืึทื ื, ืืืจื ืกืึทืืืืื ื ืืืึธืก ืืืจ ืงืขื ืขื ืืืืกืงืืืึทืื ืึทืืึท ืืืึทืืืขืก ืคืื ืงืึธืืึทืคืืฉืึทื ืฅ. ะธ , ืคึฟืึทืจ ืืืึธืก ืื ืืืึทืืืขืก ืคืื ืื ืงืึธืจืึทืกืคึผืึทื ืืื ื ืืขืจืืืืึทืืืืื ืืืึท ืืขืืขืื ืืืืืื ืืืืฉื ืืืืขืจ, ืืืืขืจ ืงืืืื ืกืืืข, ืืื ืืื ืื ืคืึทื ืคืื ืึทื ืึทื ืึทืืืกืืก ืืืืืื ื ืืึธื ื ืื ืืืืฉื ืืื ืึทืืข. ืืื ืื ืืขืจืข ืืืขืจืืขืจ, ืื ืืขืืช ืคืื ืงืฆืืึธื ืืจื ืืื ืื ืืขืคึฟืื ืขื ืงืึธืืึทืคืืฉืึทื ืฅ ืืืขื ืืขืจืืจืืืื ืึท ืืื ืืืื, ืืืืึทื ืื ืืืึทืืืขืก ืคืื ืื ืคึผืึทืจืืืืืฉ ืืขืจืืืืึทืืืืื ืืื ืื ืคืื ืงืื ืืืขื ืืืื ืืืืึทื ืฆื ื ืื.
ืึทืืื, ืืืื ืื ืึผืืืื ืคืื ืืืคืขืจืขื ืฉืืืืฉืึทื, ืื ืคึผืึทืจืืืืืฉ ืืขืจืืืืึทื ืืงืืืืืืฉืึทื ืคืื ืื 1 ืกืืจ ืืื ืจืขืกืคึผืขืงื ืฆื ืื ืงืึธืืึทืคืืฉืึทื ื. ืืืขื ื ืขืืขื ืื ืคืึธืจืขื:
1 ืกืืจ ืคึผืึทืจืืืืืฉ ืืขืจืืืืึทื ืืงืืืืืืฉืึทื ืืื ืจืขืกืคึผืขืงื ืฆื ืืืขื ื ืขืืขื ืื ืคืึธืจืขื:
ืืื ืึท ืจืขืืืืืึทื, ืืืจ ืืืงืืืขื ืึท ืกืืกืืขื ืคืื ืืงืืืืืืฉืึทื ื ืืืึธืก ืืื ืึท ืืึทื ืฅ ืคึผืฉืื ืึทื ืึทืืืกืืก ืืืืืื ื:
ืึธื ืืืืื {ืืงืืืืืืฉืึทื*}
ืึธื ืืืืื{ ืงืึทืกืขืก}
na + bsumlimits_{i=1}^nx_i โ sumlimits_{i=1}^ื ื_ื = 0
sumlimits_{i=1}^nx_i(ืึท +ืืกืืืืืืืฅ_{i=1}^nx_i โ sumlimits_{i=1}^ื ื_ื) = 0
ืกืืฃ {ืคืืื}
ืกืืฃ {ืืงืืืืืืฉืึทื*}
ืืืืืขืจ ืกืึทืืืืื ื ืื ืืงืืืืืืฉืึทื, ืืึธืื ืืื ืื ืคึผืจืขืืึธืึทื, ืงืึธื ืืจืึธืืืจื ืึทื ืื ืืึธืืืื ื ืืื ืจืืืืืง ืืื ืคึฟืึธืจืืึทื ืื ืืึทืื.
ืืึธืืืื ื ืืื ืคืึธืจืืึทืืืื ื ืืึทืื
ืขืก ืืึธื ืืืื ืื ืืขืืืืื ืึทื ืจืขืื ืฆื ืืขื ืคืึทืงื ืึทื ืคึฟืึทืจ ืื ืึทื ืึทืืืกืืก ืืืืืื ื, ืืื ืืขืจื ืึธื ืคึฟืึทืจ ืืจืึทืืืขื ื ืืื ืกืืึธืืฉืึทืกืืืง ืืจืึทืืืขื ื ืึทืจืึธืคึผืืึทื ื, ืืืจ ืืืขืื ื ืืฆื ืื ืงืึธื ืืื ืฆืืืื ืืืขืจืืืืฉืึทื ื: ื ืืฆื ืื ืืืืืืึธืืขืง ื ืืืคึผื ืืื ืึธื ื ืืฆื ืขืก, ืืืจ ืืืขืื ืืึทืจืคึฟื ืฆืื ืขืืขื ืืึทืื ืคืึธืจืืึทืืืื ื (ืืขื ืงืึธื).
ืืึทืืึท ืืึธืืืื ื ืืื ืคึผืจืึทืกืขืกืื ื ืงืึธื
# ะธะผะฟะพััะธััะตะผ ะฒัะต ะฝัะถะฝัะต ะฝะฐะผ ะฑะธะฑะปะธะพัะตะบะธ
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import math
import pylab as pl
import random
# ะณัะฐัะธะบะธ ะพัะพะฑัะฐะทะธะผ ะฒ Jupyter
%matplotlib inline
# ัะบะฐะถะตะผ ัะฐะทะผะตั ะณัะฐัะธะบะพะฒ
from pylab import rcParams
rcParams['figure.figsize'] = 12, 6
# ะพัะบะปััะธะผ ะฟัะตะดัะฟัะตะถะดะตะฝะธั Anaconda
import warnings
warnings.simplefilter('ignore')
# ะทะฐะณััะทะธะผ ะทะฝะฐัะตะฝะธั
table_zero = pd.read_csv('data_example.txt', header=0, sep='t')
# ะฟะพัะผะพััะธะผ ะธะฝัะพัะผะฐัะธั ะพ ัะฐะฑะปะธัะต ะธ ะฝะฐ ัะฐะผั ัะฐะฑะปะธัั
print table_zero.info()
print '********************************************'
print table_zero
print '********************************************'
# ะฟะพะดะณะพัะพะฒะธะผ ะดะฐะฝะฝัะต ะฑะตะท ะธัะฟะพะปัะทะพะฒะฐะฝะธั NumPy
x_us = []
[x_us.append(float(i)) for i in table_zero['x']]
print x_us
print type(x_us)
print '********************************************'
y_us = []
[y_us.append(float(i)) for i in table_zero['y']]
print y_us
print type(y_us)
print '********************************************'
# ะฟะพะดะณะพัะพะฒะธะผ ะดะฐะฝะฝัะต ั ะธัะฟะพะปัะทะพะฒะฐะฝะธะตะผ NumPy
x_np = table_zero[['x']].values
print x_np
print type(x_np)
print x_np.shape
print '********************************************'
y_np = table_zero[['y']].values
print y_np
print type(y_np)
print y_np.shape
print '********************************************'ืืืืกืืึทืืืืึทืืืึธื
ืืืฆื, ื ืึธื ืืืจ ืืึธืื, ืขืจืฉืืขืจ, ืืึธืืืื ืื ืืึทืื, ืฆืืืืืื ืก, ืึธืคึผืืขืฉืืขืื ืื ืงืขืจืขืงืื ืึทืก ืคืื ืื ืืึธืืืื ื ืืื ืืขืกืึธืฃ ืคืึธืจืืึทืืืขื ืื ืืึทืื, ืืืจ ืืืขืื ืืืจืืคืืจื ืื ืขืจืฉืืขืจ ืืืืืฉืืืึทืืึทืืืืฉืึทื. ืืขืจ ืืืคึฟื ืึธืคื ืืขื ืืฆื ืคึฟืึทืจ ืืขื ืืื ืคึผืึธืจืคึผืืึทืฅ ืืืืืจืขืจืื Seaborn. ืืื ืืื ืืืขืจ ืืืึทืฉืคึผืื, ืืืืึทื ืคืื ืื ืืืืืืขื ื ืืืขืจื, ืขืก ืืื ืงืืื ืคืื ื ืฆื ื ืืฆื ืื ืืืืืืึธืืขืง Seaborn. ืืืจ ืืืขืื ื ืืฆื ืื ืจืขืืืืขืจ ืืืืืืึธืืขืง matplotlib ืืื ืงืืง ื ืึธืจ ืืืืฃ ืื ืฆืขืืืึธืจืคื ืคึผืืึทื.
ืฆืขืืืึธืจืคื ืงืึธื
print 'ะัะฐัะธะบ โ1 "ะะฐะฒะธัะธะผะพััั ะฒััััะบะธ ะพั ะผะตัััะฐ ะณะพะดะฐ"'
plt.plot(x_us,y_us,'o',color='green',markersize=16)
plt.xlabel('$Months$', size=16)
plt.ylabel('$Sales$', size=16)
plt.show()ืืฉืึทืจื ื ืื 1 "ืึธืคืขื ืืืงืืึทื ืคืื ืจืขืืืขื ืืืืฃ ืื ืืืืฉ ืคืื ืื ืืึธืจ"
ืึทื ืึทืืืืืฉ ืืืืืื ื
ืืึธืืืจ ื ืืฆื ืื ืืขืจืกื ืคึผืจืึธืกื ืืืฉืืจืื ืืื ืคึผืืืืึธื ืืื ืกืึธืืืืข ืื ืกืืกืืขื ืคืื ืืงืืืืืืฉืึทื ื:
ืึธื ืืืืื {ืืงืืืืืืฉืึทื*}
ืึธื ืืืืื{ ืงืึทืกืขืก}
na + bsumlimits_{i=1}^nx_i โ sumlimits_{i=1}^ื ื_ื = 0
sumlimits_{i=1}^nx_i(ืึท +ืืกืืืืืืืฅ_{i=1}^nx_i โ sumlimits_{i=1}^ื ื_ื) = 0
ืกืืฃ {ืคืืื}
ืกืืฃ {ืืงืืืืืืฉืึทื*}
ืืืื ืงืจืึทืืขืจ ืก ืืขืจืฉื ืืืจ ืืืขืื ืืขืคึฟืื ืขื ืื ืึทืืืขืืืื ืข ืืืืขืจืืึทื ืึทื ื, ืืื ืืขืืื ื ืืื ืืืืขืจืืึทื ืึทื ืฅ ืืืจื ืืื ืืื , ื ืึธื ืืืึธืก, ืืืืืืื ืื ืืืืขืจืืึทื ืึทื ื ืืืจื ืฆื ืืขืจ ืืขื ืขืจืึทื ืืืืขืจืืึทื ืึทื ื - ืืขืคึฟืื ืขื ืื ืงืึธืืึทืคืืฉืึทื ื , ืกืืืืืึทืจืื ืืืจ ืืขืคึฟืื ืขื ืื ืงืึธืืึทืคืืฉืึทื ื .
ืึทื ืึทืืืืืงืึทื ืืืืืื ื ืงืึธื
# ะพะฟัะตะดะตะปะธะผ ััะฝะบัะธั ะดะปั ัะฐััะตัะฐ ะบะพัััะธัะธะตะฝัะพะฒ a ะธ b ะฟะพ ะฟัะฐะฒะธะปั ะัะฐะผะตัะฐ
def Kramer_method (x,y):
# ััะผะผะฐ ะทะฝะฐัะตะฝะธะน (ะฒัะต ะผะตัััะฐ)
sx = sum(x)
# ััะผะผะฐ ะธััะธะฝะฝัั
ะพัะฒะตัะพะฒ (ะฒััััะบะฐ ะทะฐ ะฒะตัั ะฟะตัะธะพะด)
sy = sum(y)
# ััะผะผะฐ ะฟัะพะธะทะฒะตะดะตะฝะธั ะทะฝะฐัะตะฝะธะน ะฝะฐ ะธััะธะฝะฝัะต ะพัะฒะตัั
list_xy = []
[list_xy.append(x[i]*y[i]) for i in range(len(x))]
sxy = sum(list_xy)
# ััะผะผะฐ ะบะฒะฐะดัะฐัะพะฒ ะทะฝะฐัะตะฝะธะน
list_x_sq = []
[list_x_sq.append(x[i]**2) for i in range(len(x))]
sx_sq = sum(list_x_sq)
# ะบะพะปะธัะตััะฒะพ ะทะฝะฐัะตะฝะธะน
n = len(x)
# ะพะฑัะธะน ะพะฟัะตะดะตะปะธัะตะปั
det = sx_sq*n - sx*sx
# ะพะฟัะตะดะตะปะธัะตะปั ะฟะพ a
det_a = sx_sq*sy - sx*sxy
# ะธัะบะพะผัะน ะฟะฐัะฐะผะตัั a
a = (det_a / det)
# ะพะฟัะตะดะตะปะธัะตะปั ะฟะพ b
det_b = sxy*n - sy*sx
# ะธัะบะพะผัะน ะฟะฐัะฐะผะตัั b
b = (det_b / det)
# ะบะพะฝััะพะปัะฝัะต ะทะฝะฐัะตะฝะธั (ะฟัะพะพะฒะตัะบะฐ)
check1 = (n*b + a*sx - sy)
check2 = (b*sx + a*sx_sq - sxy)
return [round(a,4), round(b,4)]
# ะทะฐะฟัััะธะผ ััะฝะบัะธั ะธ ะทะฐะฟะธัะตะผ ะฟัะฐะฒะธะปัะฝัะต ะพัะฒะตัั
ab_us = Kramer_method(x_us,y_us)
a_us = ab_us[0]
b_us = ab_us[1]
print ' 33[1m' + ' 33[4m' + "ะะฟัะธะผะฐะปัะฝัะต ะทะฝะฐัะตะฝะธั ะบะพัััะธัะธะตะฝัะพะฒ a ะธ b:" + ' 33[0m'
print 'a =', a_us
print 'b =', b_us
print
# ะพะฟัะตะดะตะปะธะผ ััะฝะบัะธั ะดะปั ะฟะพะดััะตัะฐ ััะผะผั ะบะฒะฐะดัะฐัะพะฒ ะพัะธะฑะพะบ
def errors_sq_Kramer_method(answers,x,y):
list_errors_sq = []
for i in range(len(x)):
err = (answers[0] + answers[1]*x[i] - y[i])**2
list_errors_sq.append(err)
return sum(list_errors_sq)
# ะทะฐะฟัััะธะผ ััะฝะบัะธั ะธ ะทะฐะฟะธัะตะผ ะทะฝะฐัะตะฝะธะต ะพัะธะฑะบะธ
error_sq = errors_sq_Kramer_method(ab_us,x_us,y_us)
print ' 33[1m' + ' 33[4m' + "ะกัะผะผะฐ ะบะฒะฐะดัะฐัะพะฒ ะพัะบะปะพะฝะตะฝะธะน" + ' 33[0m'
print error_sq
print
# ะทะฐะผะตัะธะผ ะฒัะตะผั ัะฐััะตัะฐ
# print ' 33[1m' + ' 33[4m' + "ะัะตะผั ะฒัะฟะพะปะฝะตะฝะธั ัะฐััะตัะฐ ััะผะผั ะบะฒะฐะดัะฐัะพะฒ ะพัะบะปะพะฝะตะฝะธะน:" + ' 33[0m'
# % timeit error_sq = errors_sq_Kramer_method(ab,x_us,y_us)ืืึธ ืก ืืืึธืก ืืืจ ืืึธืื:
ืึทืืื, ืื ืืืึทืืืขืก ืคืื ืงืึธืืึทืคืืฉืึทื ืฅ ืืขื ืขื ืืขืคึฟืื ืขื, ืื ืกืึทืืึทืงื ืคืื ืื ืกืงืืืขืจื ืืืืืืืืฉืึทื ื ืืื ืืขืืจืื ืืขื. ืืึธืืืจ ืฆืืขื ืึท ืืืืึทื ืฉืืจื ืืืืฃ ืื ืฆืขืืืึธืจืคื ืืืกืืึทืืจืึทื ืืื ืืืื ืืื ืื ืืขืคึฟืื ืขื ืงืึธืืึทืคืืฉืึทื ืฅ.
ืจืขืืจืขืกืกืืึธื ืฉืืจื ืงืึธื
# ะพะฟัะตะดะตะปะธะผ ััะฝะบัะธั ะดะปั ัะพัะผะธัะพะฒะฐะฝะธั ะผะฐััะธะฒะฐ ัะฐัััะตัะฝัั
ะทะฝะฐัะตะฝะธะน ะฒััััะบะธ
def sales_count(ab,x,y):
line_answers = []
[line_answers.append(ab[0]+ab[1]*x[i]) for i in range(len(x))]
return line_answers
# ะฟะพัััะพะธะผ ะณัะฐัะธะบะธ
print 'ะััะธะบโ2 "ะัะฐะฒะธะปัะฝัะต ะธ ัะฐััะตัะฝัะต ะพัะฒะตัั"'
plt.plot(x_us,y_us,'o',color='green',markersize=16, label = '$True$ $answers$')
plt.plot(x_us, sales_count(ab_us,x_us,y_us), color='red',lw=4,
label='$Function: a + bx,$ $where$ $a='+str(round(ab_us[0],2))+',$ $b='+str(round(ab_us[1],2))+'$')
plt.xlabel('$Months$', size=16)
plt.ylabel('$Sales$', size=16)
plt.legend(loc=1, prop={'size': 16})
plt.show()ืืฉืึทืจื ื ืื 2 "ืจืืืืื ืืื ืงืึทืืงืืึทืืืืืื ืขื ืืคึฟืขืจืก"
ืืืจ ืงืขื ื ืืขื ืื ืืืืืืืืฉืึทื ืืจืึทืคืืง ืคึฟืึทืจ ืืขืืขืจ ืืืืฉ. ืืื ืืื ืืืขืจ ืคืึทื, ืืืจ ืืืขืื ื ืืฉื ืืึทืงืืืขื ืงืืื ืืึทืืืืืืง ืคึผืจืึทืงืืืฉ ืืืขืจื ืคืื ืขืก, ืึธืืขืจ ืืืจ ืืืขืื ืืึทืคืจืืืืงื ืืื ืืืขืจ ื ืืึทืืขืจืืงืืึทื ืืืขืื ืืื ืืขืืื ื ืื ืคึผืฉืื ืืื ืขืึทืจ ืจืึทืืจืขืฉืึทื ืืงืืืืืืฉืึทื ืงืขืจืึทืงืืขืจืืืืึทื ืื ืึธืคืขื ืืืงืืึทื ืคืื ืจืขืืืขื ืืืืฃ ืื ืืืืฉ ืคืื ืื ืืึธืจ.
ืืขืืืืึทืืืึธื ืืฉืึทืจื ืงืึธื
# ะพะฟัะตะดะตะปะธะผ ััะฝะบัะธั ะดะปั ัะพัะผะธัะพะฒะฐะฝะธั ะผะฐััะธะฒะฐ ะพัะบะปะพะฝะตะฝะธะน ะฒ ะฟัะพัะตะฝัะฐั
def error_per_month(ab,x,y):
sales_c = sales_count(ab,x,y)
errors_percent = []
for i in range(len(x)):
errors_percent.append(100*(sales_c[i]-y[i])/y[i])
return errors_percent
# ะฟะพัััะพะธะผ ะณัะฐัะธะบ
print 'ะัะฐัะธะบโ3 "ะัะบะปะพะฝะตะฝะธั ะฟะพ-ะผะตัััะฝะพ, %"'
plt.gca().bar(x_us, error_per_month(ab_us,x_us,y_us), color='brown')
plt.xlabel('Months', size=16)
plt.ylabel('Calculation error, %', size=16)
plt.show()ืืฉืึทืจื ื ืื 3 "ืืืืืืืืฉืึทื ื, %"
ื ืื ืืื ืฅ, ืึธืืขืจ ืืืจ ืืขืขื ืืืงื ืืื ืืืขืจ ืึทืจืืขื.
ืืื ืก ืฉืจืืึทืื ืึท ืคึฟืื ืงืฆืืข ืึทื, ืฆื ืืึทืฉืืืืขื ืื ืงืึธืืึทืคืืฉืึทื ืฅ ะธ ื ืืฆื ืื ืืืืืืึธืืขืง ื ืืืคึผื, ืืขืจ ืืขื ืื, ืืืจ ืืืขืื ืฉืจืืึทืื ืฆืืืื ืคืึทื ืืงืฉืึทื ื: ืืืื ืขืจ ื ืืฆื ืึท ืคึผืกืขืืืึธืื ืืืขืจืกืข ืืึทืืจืืฅ (ื ืื ืจืขืงืึทืืขื ืืื ืืื ืคืืจ, ืืืืึทื ืืขืจ ืคึผืจืึธืฆืขืก ืืื ืงืึทืืคึผืืืืืฉืึทื ืึทืื ืงืึธืืคึผืืืฆืืจื ืืื ืึทื ืกืืืืืึทื), ืื ืื ืืขืจืข ื ืืฆื ืึท ืืึทืืจืืฅ ืืงืืืืืืฉืึทื.
Analytical Solution Code (NumPy)
# ะดะปั ะฝะฐัะฐะปะฐ ะดะพะฑะฐะฒะธะผ ััะพะปะฑะตั ั ะฝะต ะธะทะผะตะฝัััะธะผัั ะทะฝะฐัะตะฝะธะตะผ ะฒ 1.
# ะะฐะฝะฝัะน ััะพะปะฑะตั ะฝัะถะตะฝ ะดะปั ัะพะณะพ, ััะพะฑั ะฝะต ะพะฑัะฐะฑะฐััะฒะฐัั ะพัะดะตะปัะฝะพ ะบะพัััะธัะตะฝั a
vector_1 = np.ones((x_np.shape[0],1))
x_np = table_zero[['x']].values # ะฝะฐ ะฒััะบะธะน ัะปััะฐะน ะฟัะธะฒะตะดะตะผ ะฒ ะฟะตัะฒะธัะฝัะน ัะพัะผะฐั ะฒะตะบัะพั x_np
x_np = np.hstack((vector_1,x_np))
# ะฟัะพะฒะตัะธะผ ัะพ, ััะพ ะฒัะต ัะดะตะปะฐะปะธ ะฟัะฐะฒะธะปัะฝะพ
print vector_1[0:3]
print x_np[0:3]
print '***************************************'
print
# ะฝะฐะฟะธัะตะผ ััะฝะบัะธั, ะบะพัะพัะฐั ะพะฟัะตะดะตะปัะตั ะทะฝะฐัะตะฝะธั ะบะพัััะธัะธะตะฝัะพะฒ a ะธ b ั ะธัะฟะพะปัะทะพะฒะฐะฝะธะตะผ ะฟัะตะฒะดะพะพะฑัะฐัะฝะพะน ะผะฐััะธัั
def pseudoinverse_matrix(X, y):
# ะทะฐะดะฐะตะผ ัะฒะฝัะน ัะพัะผะฐั ะผะฐััะธัั ะฟัะธะทะฝะฐะบะพะฒ
X = np.matrix(X)
# ะพะฟัะตะดะตะปัะตะผ ััะฐะฝัะฟะพะฝะธัะพะฒะฐะฝะฝัั ะผะฐััะธัั
XT = X.T
# ะพะฟัะตะดะตะปัะตะผ ะบะฒะฐะดัะฐัะฝัั ะผะฐััะธัั
XTX = XT*X
# ะพะฟัะตะดะตะปัะตะผ ะฟัะตะฒะดะพะพะฑัะฐัะฝัั ะผะฐััะธัั
inv = np.linalg.pinv(XTX)
# ะทะฐะดะฐะตะผ ัะฒะฝัะน ัะพัะผะฐั ะผะฐััะธัั ะพัะฒะตัะพะฒ
y = np.matrix(y)
# ะฝะฐั
ะพะดะธะผ ะฒะตะบัะพั ะฒะตัะพะฒ
return (inv*XT)*y
# ะทะฐะฟัััะธะผ ััะฝะบัะธั
ab_np = pseudoinverse_matrix(x_np, y_np)
print ab_np
print '***************************************'
print
# ะฝะฐะฟะธัะตะผ ััะฝะบัะธั, ะบะพัะพัะฐั ะธัะฟะพะปัะทัะตั ะดะปั ัะตัะตะฝะธั ะผะฐััะธัะฝะพะต ััะฐะฒะฝะตะฝะธะต
def matrix_equation(X,y):
a = np.dot(X.T, X)
b = np.dot(X.T, y)
return np.linalg.solve(a, b)
# ะทะฐะฟัััะธะผ ััะฝะบัะธั
ab_np = matrix_equation(x_np,y_np)
print ab_npืืื ืก ืคืึทืจืืืืึทืื ืื ืฆืืื ืคืืจืืจืืื ืืืืฃ ืืึทืฉืืืืขื ืื ืงืึธืืึทืคืืฉืึทื ืฅ ะธ , ืืื ืืืื ืืื ืื ืงืกื ืืืงืก ืืขืจืืื ืื ืืขืืืึธืืก.
ืงืึธื ืคึฟืึทืจ ืงืึทืืงืืึทืืืืืื ื ืืขืืฉืื ืฆืืึทื
print ' 33[1m' + ' 33[4m' + "ะัะตะผั ะฒัะฟะพะปะฝะตะฝะธั ัะฐััะตัะฐ ะบะพัััะธัะธะตะฝัะพะฒ ะฑะตะท ะธัะฟะพะปัะทะพะฒะฐะฝะธั ะฑะธะฑะปะธะพัะตะบะธ NumPy:" + ' 33[0m'
% timeit ab_us = Kramer_method(x_us,y_us)
print '***************************************'
print
print ' 33[1m' + ' 33[4m' + "ะัะตะผั ะฒัะฟะพะปะฝะตะฝะธั ัะฐััะตัะฐ ะบะพัััะธัะธะตะฝัะพะฒ ั ะธัะฟะพะปัะทะพะฒะฐะฝะธะตะผ ะฟัะตะฒะดะพะพะฑัะฐัะฝะพะน ะผะฐััะธัั:" + ' 33[0m'
%timeit ab_np = pseudoinverse_matrix(x_np, y_np)
print '***************************************'
print
print ' 33[1m' + ' 33[4m' + "ะัะตะผั ะฒัะฟะพะปะฝะตะฝะธั ัะฐััะตัะฐ ะบะพัััะธัะธะตะฝัะพะฒ ั ะธัะฟะพะปัะทะพะฒะฐะฝะธะตะผ ะผะฐััะธัะฝะพะณะพ ััะฐะฒะฝะตะฝะธั:" + ' 33[0m'
%timeit ab_np = matrix_equation(x_np, y_np)
ืืื ืึท ืงืืืื ืกืืืข ืคืื โโืืึทืื, ืึท "ืืื-ืืขืฉืจืืื" ืคึฟืื ืงืฆืืข ืงืืื ืคืึธืจืืืก, ืืืึธืก ืืขืคืื ื ืื ืงืึธืืึทืคืืฉืึทื ืฅ ื ืืฆื Cramer ืก ืืืคึฟื.
ืืืฆื ืืืจ ืงืขื ืขื ืืึทื ืืืืฃ ืฆื ืื ืืขืจืข ืืืขืื ืฆื ืืขืคึฟืื ืขื ืงืึธืืึทืคืืฉืึทื ืฅ ะธ .
ืืจืึทืืืขื ื ืึทืจืึธืคึผืืึทื ื
ืขืจืฉืืขืจ, ืืึธืืืจ ืืขืคืื ืืจื ืืืึธืก ืึท ืืจืึทืืืขื ื ืืื. ืคืฉืื, ืื ืืจืึทืืืขื ื ืืื ืึท ืึธืคึผืฉื ืื ืืืึธืก ืื ืืืงืืืฅ ืื ืจืืืืื ื ืคืื ืืึทืงืกืืืื ืืืึผืงืก ืคืื ืึท ืคึฟืื ืงืฆืืข. ืืืจื ืึทื ืึทืืึทืืืฉื ืืื ืงืืืืืื ื ืึท ืืึทืจื, ืืื ืื ืืจืึทืืืขื ื ืคื ืืืขืจ ืืื ืืื ืื ืกืืืคึผืึทืกื ืงืจืืื ืฆื ืื ืฉืคึผืืฅ ืคืื ืืขื ืืึทืจื ืืื. ืืขืืืขืืึธืคึผืื ื ืืขื ืืืึทืฉืคึผืื ืืื ืืขื ืืึทืจื, ืืืจ ืืขืืขื ืงืขื ืึทื ืืื ืคืึทืงื, ืืืจ ืืึทืจืคึฟื ืื ืกืืืคึผืึทืกื ืึทืจืึธืคึผืืึทื ื ืฆื ืืขืจืืจืืืื ืื ืืึธืืืึทื ื ืืื ืืขืฉืืืื ื ืืื ืืขืืืขื, ืืึธืก ืืื ืื ืืื ืืืื - ืืขืจ ืึธืจื ืืื ืื ืคึฟืื ืงืฆืืข ืืื ื ืืฉื ืคืึทืจืืจืขืกืขืจื ืึธืืขืจ ืคืึทืจืืื ืขืจื. ืืื ืืขื ืคืื ื ืื ืืขืจืืืืึทื ืืืขื ืืืื ืืืืึทื ืฆื ื ืื. ืืขืจืืืขืจ, ืืืจ ืืึธื ื ืื ืืึทืจืคึฟื ืึท ืืจืึทืืืขื ื, ืึธืืขืจ ืึทื ืึทื ืืืืจืึทืืืขื ื. ืฆื ืืขืคึฟืื ืขื ืื ืึทื ืืืืจืึทืืืขื ื ืืืจ ื ืึธืจ ืืึทืจืคึฟื ืฆื ืืขืจื ืื ืืจืึทืืืขื ื ืืื -1 (ืืื ืืก ืืืื).
ืืึธืืืจ ืืึทืฆืึธืื ืืคืืขืจืงืืึทืืงืืื ืฆื ืืขื ืคืึทืงื ืึทื ืึท ืคึฟืื ืงืฆืืข ืงืขื ืืึธืื ืขืืืขืืข ืืื ืืืึท, ืืื ื ืึธื ืึทืจืึธืคึผืืืื ืืื ืืืื ืขืจ ืคืื ืืื ืืื ืื ืึทืืืขืจืืืึทื ืคืืจืืขืืืืื ืืื ืื, ืืืจ ืืืขืื ื ืืฉื ืงืขื ืขื ืฆื ืืขืคึฟืื ืขื ืื ืื ืืขืจ ืืื ืืืื, ืืืึธืก ืงืขื ืืืื ื ืืืขืจืืงืขืจ ืืื ืืขืจ ืืขืคึฟืื ืขื. ืืื ืก ืึธืคึผืจืืขื, ืืึธืก ืืื ื ืืฉื ืึท ืกืึทืงืึธื ืข ืคึฟืึทืจ ืืื ืื! ืืื ืืื ืืืขืจ ืคืึทื ืืืจ ืืขื ืขื ืืืืื ื ืืื ืึท ืืืื ืืื ืืืื, ืืื ื ืืื ืืืขืจ ืคึฟืื ืงืฆืืข ืืืืฃ ืื ืืจืึทืคืืง ืืื ืึท ืจืขืืืืขืจ ืคึผืึทืจืึทืืึธืืึท. ืืื ืืื ืืืจ ืึทืืข ืืึธื ืืืืกื ืืืืขืจ ืืื ืคืื ืืื ืืืขืจ ืฉืืืข ืืืืขืืืืืง ืงืืจืก, ืึท ืคึผืึทืจืึทืืึธืืึท ืืื ืืืืื ืืืื ืืื ืืืื.
ื ืืืืขื ืืืืก ืืืจ ืืืื ืืืืกืืขืคืื ืขื ืคืืจืืืืก ืืืจ ืืืจืคื ืืืื ื ืืจืืืืขื ื, ืืื ืืืื ืื ืืขืจ ืืจืืืืขื ื ืืื ื ืกืขืืืขื ื, ืืืก ืืืืกื ื ืืืขืงืืึธืจ ืืื ืืขืืขืืขื ืข ืงืืืจืืื ืึทืืขืก, ืืืขืืืข ืืขื ืขื ืืขื ืื ืื ืืขืืืข ืงืืืคืืฆืืื ืื ะธ ืืืจ ืงืขื ืขื ืื ืกืืจืืืขื ื ืืจืึทืืืขื ื ืึทืจืึธืคึผืืึทื ื.
ืืืืืขืจ ืืื ืึธื ืืืืื, ืืื ืคึฟืึธืจืฉืืึธืื ืืืืขื ืขื ืืืืื ืึท ืืืกื ืืืฆื ืืืขืื ืื ืึทืจืึธืคึผืืึทื ื ืึทืืืขืจืืืึทื:
- ืืืจ ืืึทืฉืืืืขื ืืืืฃ ืึท ืคึผืกืขืืืืึธ-ืจืึทื ืืึธื ืฉืืืืืขืจ ืื ืงืึธืืึธืจืืึทื ืึทืฅ ืคืื ืื ืงืึธืืึทืคืืฉืึทื ืฅ ะธ . ืืื ืืื ืืืขืจ ืืืึทืฉืคึผืื, ืืืจ ืืืขืื ืืขืคืื ืืจื ืงืึธืืึทืคืืฉืึทื ืฅ ืืขืื ื ืื. ืืึธืก ืืื ืึท ืคึผืจืึธืกื ืคืืจ, ืึธืืขืจ ืืขืืขืจ ืคืึทื ืงืขื ืืึธืื ืืืื ืืืืืขื ืข ืคืืจ.
- ืคืื ืงืึธืืึธืจืืึทื ืึทื ืึทืจืึธืคึผืจืขืืขื ืขื ืื ืืืขืจื ืคืื ืื 1 ืกืืจ ืคึผืึทืจืืืืืฉ ืืขืจืืืืึทื ืืื ืื ืคืื ื . ืึทืืื, ืืืื ืื ืืขืจืืืืึทื ืืื positive, ืื ืคึฟืื ืงืฆืืข ืื ืงืจืืกืื. ืืขืจืืืขืจ, ืืืจื ืึทืจืึธืคึผืจืขืืขื ืขื ืื ืืืขืจื ืคืื ืืขืจ ืืขืจืืืืึทื, ืืืจ ืืืขืื ืืึทื ืืื ืื ืคืึทืจืงืขืจื ืจืืืืื ื ืคืื ืืืึผืงืก, ืืึธืก ืืื, ืืื ืืขืจ ืจืืืืื ื ืคืื ืึทืจืึธืคึผืืึทื ื. ืืืื ืื ืืขืจืืืืึทื ืืื ื ืขืืึทืืืื, ืื ืคึฟืื ืงืฆืืข ืืื ืืขื ืคืื ื ืืืงืจืืกืึทื ืืื ืืืจื ืึทืจืึธืคึผืจืขืืขื ืขื ืื ืืืขืจื ืคืื ืืขืจ ืืขืจืืืืึทื ืืืจ ืืึทื ืืื ืืขืจ ืจืืืืื ื ืคืื ืึทืจืึธืคึผืืึทื ื.
- ืืืจ ืืืจืืคืืจื ืึท ืขื ืืขื ืึธืคึผืขืจืึทืฆืืข ืืื ืื ืงืึธืืึธืจืืึทื ืึทื : ืึทืจืึธืคึผืจืขืืขื ืขื ืื ืืืขืจื ืคืื ืื ืคึผืึทืจืืืืืฉ ืืขืจืืืืึทื ืืื ืื ืคืื ื .
- ืืื ืกืืจ ื ืืฉื ืฆื ืฉืคึผืจืื ืืขื ืืืืขืจ ืื ืืื ืืืื ืืื ืคืืืขื ืืื ืืืฃ ืคึผืืึทืฅ, ืขืก ืืื ื ืืืืืง ืฆื ืฉืืขืื ืื ืฉืจืื ืืจืืืก ืืื ืืขืจ ืจืืืืื ื ืคืื ืึทืจืึธืคึผืืึทื ื. ืืื ืึทืืืขืืืื, ืืืจ ืงืขื ืฉืจืืึทืื ืึท ืืึทื ืฅ ืึทืจืืืงื ืืืขืื ืืื ืฆื ืฉืืขืื ืืขื ืฉืจืื ืจืืืืืง ืืื ืืื ืฆื ืืืืฉื ืขืก ืืขืฉืึทืก ืื ืึทืจืึธืคึผืืึทื ื ืคึผืจืึธืฆืขืก ืฆื ืจืขืืืฆืืจื ืงืึทืืคึผืืืืืืฉืึทื ืึทื ืงืึธืก. ืืืขืจ ืืืฆื ืืืจ ืืึธืื ืึท ืืืกื ืึทื ืืขืจืฉ ืึทืจืืขื ืคืึธืจืืืก ืคืื ืืื ืื, ืืื ืืืจ ืืืขืื ืคืขืกืืฉืืขืื ืื ืฉืจืื ืืจืืืก ืืื ืื ืืืืกื ืฉืืคืืืขืืข ืืืคึฟื ืคืื "ืคึผืึธืงืข" ืึธืืขืจ, ืืื ืืื ืืึธืื ืืื ืคึผืจืึธืกื ืคึผืึทืจืืึทื ืก, ืขืืคึผืืจืืงืึทืืื.
- ืึทืืึธื ืืืจ ืืขื ืขื ืคืื ืื ืืขืืขืื ืงืึธืืึธืจืืึทื ืึทืฅ ะธ ืึทืจืึธืคึผืจืขืืขื ืขื ืื ืืืึทืืืขืก ืคืื ืื ืืขืจืืืืึทืืืืื, ืืืจ ืืึทืงืืืขื ื ืืึท ืงืึธืืึธืจืืึทื ืึทืฅ ะธ . ืืืจ ื ืขืืขื ืื ืืืืึทืืขืจ ืฉืจืื (ืืืกืขืจ), ืฉืืื ืคืื ืื ืงืึทืืงืืึทืืืืืื ืงืึธืืึธืจืืึทื ืึทืฅ. ืืื ืึทืืื ืืขืจ ืฆืืงื ืกืืึทืจืฅ ืืืืืขืจ ืืื ืืืืืขืจ, ืืื ืื ืคืืจืืื ืื ืงืึทื ืืืขืจืืืฉืึทื ืก ืืื ืึทืืฉืืืื.
ืึทืืข! ืืืฆื ืืืจ ืืขื ืขื ืืจืืื ืฆื ืืืื ืื ืืืคึผืึทืกื ืืขืงื ืคืื ืื ืืึทืจืืึทื ืึท ืืจืขื ืืฉ. ืืืืืจ ืื ืืืืืขื.
ืงืึธื ืคึฟืึทืจ ืืจืึทืืืขื ื ืึทืจืึธืคึผืืึทื ื
# ะฝะฐะฟะธัะตะผ ััะฝะบัะธั ะณัะฐะดะธะตะฝัะฝะพะณะพ ัะฟััะบะฐ ะฑะตะท ะธัะฟะพะปัะทะพะฒะฐะฝะธั ะฑะธะฑะปะธะพัะตะบะธ NumPy.
# ะคัะฝะบัะธั ะฝะฐ ะฒั
ะพะด ะฟัะธะฝะธะผะฐะตั ะดะธะฐะฟะฐะทะพะฝั ะทะฝะฐัะตะฝะธะน x,y, ะดะปะธะฝั ัะฐะณะฐ (ะฟะพ ัะผะพะปัะฐะฝะธั=0,1), ะดะพะฟัััะธะผัั ะฟะพะณัะตัะฝะพััั(tolerance)
def gradient_descent_usual(x_us,y_us,l=0.1,tolerance=0.000000000001):
# ััะผะผะฐ ะทะฝะฐัะตะฝะธะน (ะฒัะต ะผะตัััะฐ)
sx = sum(x_us)
# ััะผะผะฐ ะธััะธะฝะฝัั
ะพัะฒะตัะพะฒ (ะฒััััะบะฐ ะทะฐ ะฒะตัั ะฟะตัะธะพะด)
sy = sum(y_us)
# ััะผะผะฐ ะฟัะพะธะทะฒะตะดะตะฝะธั ะทะฝะฐัะตะฝะธะน ะฝะฐ ะธััะธะฝะฝัะต ะพัะฒะตัั
list_xy = []
[list_xy.append(x_us[i]*y_us[i]) for i in range(len(x_us))]
sxy = sum(list_xy)
# ััะผะผะฐ ะบะฒะฐะดัะฐัะพะฒ ะทะฝะฐัะตะฝะธะน
list_x_sq = []
[list_x_sq.append(x_us[i]**2) for i in range(len(x_us))]
sx_sq = sum(list_x_sq)
# ะบะพะปะธัะตััะฒะพ ะทะฝะฐัะตะฝะธะน
num = len(x_us)
# ะฝะฐัะฐะปัะฝัะต ะทะฝะฐัะตะฝะธั ะบะพัััะธัะธะตะฝัะพะฒ, ะพะฟัะตะดะตะปะตะฝะฝัะต ะฟัะตะฒะดะพัะปััะฐะนะฝัะผ ะพะฑัะฐะทะพะผ
a = float(random.uniform(-0.5, 0.5))
b = float(random.uniform(-0.5, 0.5))
# ัะพะทะดะฐะตะผ ะผะฐััะธะฒ ั ะพัะธะฑะบะฐะผะธ, ะดะปั ััะฐััะฐ ะธัะฟะพะปัะทัะตะผ ะทะฝะฐัะตะฝะธั 1 ะธ 0
# ะฟะพัะปะต ะทะฐะฒะตััะตะฝะธั ัะฟััะบะฐ ััะฐััะพะฒัะต ะทะฝะฐัะตะฝะธั ัะดะฐะปะธะผ
errors = [1,0]
# ะทะฐะฟััะบะฐะตะผ ัะธะบะป ัะฟััะบะฐ
# ัะธะบะป ัะฐะฑะพัะฐะตั ะดะพ ัะตั
ะฟะพั, ะฟะพะบะฐ ะพัะบะปะพะฝะตะฝะธะต ะฟะพัะปะตะดะฝะตะน ะพัะธะฑะบะธ ััะผะผั ะบะฒะฐะดัะฐัะพะฒ ะพั ะฟัะตะดัะดััะตะน, ะฝะต ะฑัะดะตั ะผะตะฝััะต tolerance
while abs(errors[-1]-errors[-2]) > tolerance:
a_step = a - l*(num*a + b*sx - sy)/num
b_step = b - l*(a*sx + b*sx_sq - sxy)/num
a = a_step
b = b_step
ab = [a,b]
errors.append(errors_sq_Kramer_method(ab,x_us,y_us))
return (ab),(errors[2:])
# ะทะฐะฟะธัะตะผ ะผะฐััะธะฒ ะทะฝะฐัะตะฝะธะน
list_parametres_gradient_descence = gradient_descent_usual(x_us,y_us,l=0.1,tolerance=0.000000000001)
print ' 33[1m' + ' 33[4m' + "ะะฝะฐัะตะฝะธั ะบะพัััะธัะธะตะฝัะพะฒ a ะธ b:" + ' 33[0m'
print 'a =', round(list_parametres_gradient_descence[0][0],3)
print 'b =', round(list_parametres_gradient_descence[0][1],3)
print
print ' 33[1m' + ' 33[4m' + "ะกัะผะผะฐ ะบะฒะฐะดัะฐัะพะฒ ะพัะบะปะพะฝะตะฝะธะน:" + ' 33[0m'
print round(list_parametres_gradient_descence[1][-1],3)
print
print ' 33[1m' + ' 33[4m' + "ะะพะปะธัะตััะฒะพ ะธัะตัะฐัะธะน ะฒ ะณัะฐะดะธะตะฝัะฝะพะผ ัะฟััะบะต:" + ' 33[0m'
print len(list_parametres_gradient_descence[1])
print
ืืืจ ืืืืืื ืฆื ืื ืื ืึธ ืคืื ืื ืืึทืจืืึทื ืึท ืืจืขื ืืฉ ืืื ืืึธืจื ืืืจ ืืขืคึฟืื ืขื ืึทืืข ืื ืืขืืืข ืงืึธืืึทืคืืฉืึทื ื ืืืึทืืืขืก ะธ , ืฐื ืก ืื ื ืืขื ืื , ืฐื ืก ืื ื ืืขืฐืข ื ืฆ ื ืืขืจืฐืืจืื .
ืืึธืืืจ ื ืขืืขื ื ืึธื ืึท ืื ืืขืจืืืงื ืืื, ื ืึธืจ ืืึธืก ืืึธื ืืื ืืืขืจ ืืืฃ-ืื ืคืึธืจืืืื ืืืขื ืืืื ืึธื ืืขืคืืื ืืื ืื ืืขืจืข ืืขืงื ืึทืืึทืืืฉืื, ื ืืืืื ืึท ืืืืืืึธืืขืง ื ืืืคึผื.
ืงืึธื ืคึฟืึทืจ ืืจืึทืืืขื ื ืึทืจืึธืคึผืืึทื ื (NumPy)
# ะฟะตัะตะด ัะตะผ ะพะฟัะตะดะตะปะธัั ััะฝะบัะธั ะดะปั ะณัะฐะดะธะตะฝัะฝะพะณะพ ัะฟััะบะฐ ั ะธัะฟะพะปัะทะพะฒะฐะฝะธะตะผ ะฑะธะฑะปะธะพัะตะบะธ NumPy,
# ะฝะฐะฟะธัะตะผ ััะฝะบัะธั ะพะฟัะตะดะตะปะตะฝะธั ััะผะผั ะบะฒะฐะดัะฐัะพะฒ ะพัะบะปะพะฝะตะฝะธะน ัะฐะบะถะต ั ะธัะฟะพะปัะทะพะฒะฐะฝะธะตะผ NumPy
def error_square_numpy(ab,x_np,y_np):
y_pred = np.dot(x_np,ab)
error = y_pred - y_np
return sum((error)**2)
# ะฝะฐะฟะธัะตะผ ััะฝะบัะธั ะณัะฐะดะธะตะฝัะฝะพะณะพ ัะฟััะบะฐ ั ะธัะฟะพะปัะทะพะฒะฐะฝะธะตะผ ะฑะธะฑะปะธะพัะตะบะธ NumPy.
# ะคัะฝะบัะธั ะฝะฐ ะฒั
ะพะด ะฟัะธะฝะธะผะฐะตั ะดะธะฐะฟะฐะทะพะฝั ะทะฝะฐัะตะฝะธะน x,y, ะดะปะธะฝั ัะฐะณะฐ (ะฟะพ ัะผะพะปัะฐะฝะธั=0,1), ะดะพะฟัััะธะผัั ะฟะพะณัะตัะฝะพััั(tolerance)
def gradient_descent_numpy(x_np,y_np,l=0.1,tolerance=0.000000000001):
# ััะผะผะฐ ะทะฝะฐัะตะฝะธะน (ะฒัะต ะผะตัััะฐ)
sx = float(sum(x_np[:,1]))
# ััะผะผะฐ ะธััะธะฝะฝัั
ะพัะฒะตัะพะฒ (ะฒััััะบะฐ ะทะฐ ะฒะตัั ะฟะตัะธะพะด)
sy = float(sum(y_np))
# ััะผะผะฐ ะฟัะพะธะทะฒะตะดะตะฝะธั ะทะฝะฐัะตะฝะธะน ะฝะฐ ะธััะธะฝะฝัะต ะพัะฒะตัั
sxy = x_np*y_np
sxy = float(sum(sxy[:,1]))
# ััะผะผะฐ ะบะฒะฐะดัะฐัะพะฒ ะทะฝะฐัะตะฝะธะน
sx_sq = float(sum(x_np[:,1]**2))
# ะบะพะปะธัะตััะฒะพ ะทะฝะฐัะตะฝะธะน
num = float(x_np.shape[0])
# ะฝะฐัะฐะปัะฝัะต ะทะฝะฐัะตะฝะธั ะบะพัััะธัะธะตะฝัะพะฒ, ะพะฟัะตะดะตะปะตะฝะฝัะต ะฟัะตะฒะดะพัะปััะฐะนะฝัะผ ะพะฑัะฐะทะพะผ
a = float(random.uniform(-0.5, 0.5))
b = float(random.uniform(-0.5, 0.5))
# ัะพะทะดะฐะตะผ ะผะฐััะธะฒ ั ะพัะธะฑะบะฐะผะธ, ะดะปั ััะฐััะฐ ะธัะฟะพะปัะทัะตะผ ะทะฝะฐัะตะฝะธั 1 ะธ 0
# ะฟะพัะปะต ะทะฐะฒะตััะตะฝะธั ัะฟััะบะฐ ััะฐััะพะฒัะต ะทะฝะฐัะตะฝะธั ัะดะฐะปะธะผ
errors = [1,0]
# ะทะฐะฟััะบะฐะตะผ ัะธะบะป ัะฟััะบะฐ
# ัะธะบะป ัะฐะฑะพัะฐะตั ะดะพ ัะตั
ะฟะพั, ะฟะพะบะฐ ะพัะบะปะพะฝะตะฝะธะต ะฟะพัะปะตะดะฝะตะน ะพัะธะฑะบะธ ััะผะผั ะบะฒะฐะดัะฐัะพะฒ ะพั ะฟัะตะดัะดััะตะน, ะฝะต ะฑัะดะตั ะผะตะฝััะต tolerance
while abs(errors[-1]-errors[-2]) > tolerance:
a_step = a - l*(num*a + b*sx - sy)/num
b_step = b - l*(a*sx + b*sx_sq - sxy)/num
a = a_step
b = b_step
ab = np.array([[a],[b]])
errors.append(error_square_numpy(ab,x_np,y_np))
return (ab),(errors[2:])
# ะทะฐะฟะธัะตะผ ะผะฐััะธะฒ ะทะฝะฐัะตะฝะธะน
list_parametres_gradient_descence = gradient_descent_numpy(x_np,y_np,l=0.1,tolerance=0.000000000001)
print ' 33[1m' + ' 33[4m' + "ะะฝะฐัะตะฝะธั ะบะพัััะธัะธะตะฝัะพะฒ a ะธ b:" + ' 33[0m'
print 'a =', round(list_parametres_gradient_descence[0][0],3)
print 'b =', round(list_parametres_gradient_descence[0][1],3)
print
print ' 33[1m' + ' 33[4m' + "ะกัะผะผะฐ ะบะฒะฐะดัะฐัะพะฒ ะพัะบะปะพะฝะตะฝะธะน:" + ' 33[0m'
print round(list_parametres_gradient_descence[1][-1],3)
print
print ' 33[1m' + ' 33[4m' + "ะะพะปะธัะตััะฒะพ ะธัะตัะฐัะธะน ะฒ ะณัะฐะดะธะตะฝัะฝะพะผ ัะฟััะบะต:" + ' 33[0m'
print len(list_parametres_gradient_descence[1])
print
ืงืึธืืึทืคืืฉืึทื ื ืืืึทืืืขืก ะธ ืืืืืืึทืืืขื.
ืืื ืก ืงืืง ืืื ืืื ืืขืจ ืืขืืช ืืื ืืขืืืื ืืขืฉืึทืก ืืจืึทืืืขื ื ืึทืจืึธืคึผืืึทื ื, ืืึธืก ืืื, ืืื ืื ืกืึทืืึทืงื ืคืื ืกืงืืืขืจื ืืืืืืืืฉืึทื ื ืืขืืืื ืืื ืืขืืขืจ ืฉืจืื.
ืงืึธื ืคึฟืึทืจ ืคึผืืึทืืื ื ืกืึทืื ืคืื ืกืงืืืขืจื ืืืืืืืืฉืึทื ื
print 'ะัะฐัะธะบโ4 "ะกัะผะผะฐ ะบะฒะฐะดัะฐัะพะฒ ะพัะบะปะพะฝะตะฝะธะน ะฟะพ-ัะฐะณะพะฒะพ"'
plt.plot(range(len(list_parametres_gradient_descence[1])), list_parametres_gradient_descence[1], color='red', lw=3)
plt.xlabel('Steps (Iteration)', size=16)
plt.ylabel('Sum of squared deviations', size=16)
plt.show()ืืจืึทืคืืง ื ืื 4 "ืกืึทืืึทืงื ืคืื ืกืงืืืขืจื ืืืืืืืืฉืึทื ื ืืขืฉืึทืก ืืจืึทืืืขื ื ืึทืจืึธืคึผืืึทื ื"
ืืืืฃ ืื ืืจืึทืคืืง ืืืจ ืืขื ืึทื ืืื ืืขืืขืจ ืฉืจืื ืื ืืขืืช ืืืงืจืืกืึทื, ืืื ื ืึธื ืึท ืืืืขืจ ื ืืืขืจ ืคืื ืืืขืจืืืฉืึทื ื ืืืจ ืึธืืกืขืจืืืืจื ืึท ืึผืืขื ืืึธืจืืืึธื ืืึทื ืฉืืจื.
ืฆืื ืกืืฃ, ืืึธืื ืืื ืื ืึธืคึผืฉืึทืฆื ืื ืืืืืง ืืื ืงืึธื ืืืจืืคืืจืื ื ืฆืืื:
ืงืึธื ืฆื ืืึทืฉืืืกื ืื ืืขืืฉืื ืฆืืื ืคืื ืืจืึทืืืขื ื ืึทืจืึธืคึผืืึทื ื
print ' 33[1m' + ' 33[4m' + "ะัะตะผั ะฒัะฟะพะปะฝะตะฝะธั ะณัะฐะดะธะตะฝัะฝะพะณะพ ัะฟััะบะฐ ะฑะตะท ะธัะฟะพะปัะทะพะฒะฐะฝะธั ะฑะธะฑะปะธะพัะตะบะธ NumPy:" + ' 33[0m'
%timeit list_parametres_gradient_descence = gradient_descent_usual(x_us,y_us,l=0.1,tolerance=0.000000000001)
print '***************************************'
print
print ' 33[1m' + ' 33[4m' + "ะัะตะผั ะฒัะฟะพะปะฝะตะฝะธั ะณัะฐะดะธะตะฝัะฝะพะณะพ ัะฟััะบะฐ ั ะธัะฟะพะปัะทะพะฒะฐะฝะธะตะผ ะฑะธะฑะปะธะพัะตะบะธ NumPy:" + ' 33[0m'
%timeit list_parametres_gradient_descence = gradient_descent_numpy(x_np,y_np,l=0.1,tolerance=0.000000000001)
ืืึธืืขืจ ืืืจ ืืึธื ืขืคึผืขืก ืคืึทืืฉ, ืึธืืขืจ ืืืืืขืจ ืขืก ืืื ืึท ืคึผืฉืื "ืืืื-ืืขืฉืจืืื" ืคึฟืื ืงืฆืืข ืืืึธืก ืืื ื ืืฉื ื ืืฆื ืื ืืืืืืึธืืขืง ื ืืืคึผื ืึทืืืคึผืขืจืคืึธืจืื ืื ืืขืืฉืื ืฆืืื ืคืื ืึท ืคึฟืื ืงืฆืืข ื ืืฆื ืื ืืืืืืึธืืขืง ื ืืืคึผื.
ืึธืืขืจ ืืืจ ืืขื ืขื ื ืืฉื ืฉืืืืขื ืืืง, ืึธืืขืจ ืืืจ ืืึทื ืฆื ืืขืจื ืขื ืื ืื ืืขืจ ืืงืกืืืืื ื ืืืขื ืฆื ืกืึธืืืืข ืื ืคึผืฉืื ืืื ืขืึทืจ ืจืึทืืจืขืฉืึทื ืืงืืืืืืฉืึทื. ืืจืขืคื!
ืกืืึธืืฉืึทืกืืืง ืืจืึทืืืขื ื ืึทืจืึธืคึผืืึทื ื
ืืื ืกืืจ ืฆื ืืขืฉืืืื ื ืคึฟืึทืจืฉืืืื ืืขื ืคึผืจืื ืฆืืคึผ ืคืื ืึธืคึผืขืจืึทืฆืืข ืคืื โโืกืืึธืืฉืึทืกืืืง ืืจืึทืืืขื ื ืึทืจืึธืคึผืืึทื ื, ืขืก ืืื ืืขืกืขืจ ืฆื ืืึทืฉืืืืขื ืืืึทื ืืืคืขืจืึทื ืกืื ืคืื ืคึผืจืึธืกื ืืจืึทืืืขื ื ืึทืจืึธืคึผืืึทื ื. ืืืจ, ืืื ืืขื ืคืึทื ืคืื ืืจืึทืืืขื ื ืึทืจืึธืคึผืืึทื ื, ืืื ืื ืืงืืืืืืฉืึทื ื ืคืื ืืขืจืืืืึทืืืืื ืคืื ะธ ืืขืืืืื ื ืื ืกืึทืื ืคืื ืื ืืืึทืืืขืก ืคืื ืึทืืข ืคึฟืขืึดืงืืืื ืืื ืืืช ืขื ืืคึฟืขืจืก ืื ืืืฆื ืืื ืืขืจ ืืืกืืขืจ (ืืึธืก ืืื, ืื ืกืึทืื ืคืื ืึทืืข ะธ ). ืืื ืกืืึธืืฉืึทืกืืืง ืืจืึทืืืขื ื ืึทืจืึธืคึผืืึทื ื, ืืืจ ืืืขืื ื ืืฉื ื ืืฆื ืึทืืข ืื ืืืึทืืืขืก ืคืึธืจืฉืืขืื ืืื ืืขืจ ืืืกืืขืจ, ืึธืืขืจ ืึทื ืฉืืึธื, ืคึผืกืขืืืืึธ-ืจืึทื ืืึทืืื ืืืืกืงืืืึทืื ืื ืึทืืื-ืืขืจืืคึฟื ืืืกืืขืจ ืืื ืืขืงืก ืืื ื ืืฆื ืืืึทื ืืืึทืืืขืก.
ืคึฟืึทืจ ืืืึทืฉืคึผืื, ืืืื ืืขืจ ืืื ืืขืงืก ืืื ืืืฉืืืกื ืฆื ืืืื ื ืืืขืจ 3 (ืืจืืึท), ืืืจ ื ืขืืขื ืื ืืืึทืืืขืก ะธ , ืืขืืึธืื ืืืจ ืคืึทืจืืืึทืื ืื ืืืึทืืืขืก ืืื ืื ืืขืจืืืืึทื ืืงืืืืืืฉืึทื ื ืืื ืืึทืฉืืืืขื ื ืืึท ืงืึธืืึธืจืืึทื ืึทืฅ. ืืขืจื ืึธื, ื ืึธื ืืืฉืืืกื ืื ืงืึธืืึธืจืืึทื ืึทืฅ, ืืืจ ืืืืืขืจ ืคึผืกืขืืืืึธ-ืจืึทื ืืึทืืื ืืึทืฉืืืืขื ืื ืืืกืืขืจ ืืื ืืขืงืก, ืคืึทืจืืืึทืื ืื ืืืึทืืืขืก ืงืึธืจืึทืกืคึผืึทื ืืื ื ืฆื ืื ืืื ืืขืงืก ืืื ืคึผืึทืจืืืืืฉ ืืืคืขืจืขื ืืฉืึทื ืืงืืืืืืฉืึทื ื, ืืื ืืึทืฉืืืืขื ืื ืงืึธืืึธืจืืึทื ืึทืฅ ืืืืฃ ืึท ื ืืึทืข ืืืขื. ะธ ืืื"ื ื ืืื ืื ืงืึทื ืืืขืจืืืฉืึทื ืก ืืืจื ืก ืืจืื. ืืื ืขืจืฉืืขืจ ืืืืง, ืขืก ืงืขื ื ืืฉื ืืืกืงืืืขื ืืื ืืึธืก ืงืขื ืึทืจืืขื ืืืึท ืึทืืข, ืึธืืขืจ ืขืก ืืื. ืขืก ืืื ืืืช ืึทื ืขืก ืืื ืืืื ืฆื ืืืืขืจืงื ืึทื ืืขืจ ืืขืืช ืืื ื ืืฉื ืคืึทืจืืื ืขืจื ืืื ืืขืืขืจ ืฉืจืื, ืึธืืขืจ ืขืก ืืื ืืืืขืจ ืึท ืืขื ืืขื ืฅ.
ืืืึธืก ืืขื ืขื ืื ืึทืืืืึทื ืืืืืฉืื ืคืื ืกืืึธืืฉืึทืกืืืง ืืจืึทืืืขื ื ืึทืจืึธืคึผืืึทื ื ืืืืขืจ ืงืึทื ืืืขื ืฉืึทื ืึทื? ืืืื ืืื ืืืขืจ ืืืกืืขืจ ืืจืืืก ืืื ืืืืขืจ ืืจืืืก ืืื ืืขืืืกืื ืืื ืืขื ืก ืคืื ืืืืื ืืขืจ ืคืื ืืืึทืืืขืก, ืขืก ืืื ืคืื ืืจืื ืืขืจ ืฆื ืคึผืจืึธืฆืขืก, ืืึธืื, ืึท ืืจืึทืค - ืืืืื ื ืคืื ืืื, ืืื ืืื ืื ืืื ืฆืข ืืืกืืขืจ. ืืึธืก ืืื ืืื ืกืืึธืืฉืึทืกืืืง ืืจืึทืืืขื ื ืึทืจืึธืคึผืืึทื ื ืงืืื ืืื ืฉืคึผืื. ืืื ืืื ืืืขืจ ืคืึทื, ืคืื ืงืืจืก, ืืืจ ืืืขืื ื ืืฉื ืืึทืืขืจืงื ืคืื ืคืื ืึท ืืืืืง.
ืืื ืก ืงืืง ืืื ืื ืงืึธื.
ืงืึธื ืคึฟืึทืจ ืกืืึธืืฉืึทืกืืืง ืืจืึทืืืขื ื ืึทืจืึธืคึผืืึทื ื
# ะพะฟัะตะดะตะปะธะผ ััะฝะบัะธั ััะพั
.ะณัะฐะด.ัะฐะณะฐ
def stoch_grad_step_usual(vector_init, x_us, ind, y_us, l):
# ะฒัะฑะธัะฐะตะผ ะทะฝะฐัะตะฝะธะต ะธะบั, ะบะพัะพัะพะต ัะพะพัะฒะตัััะฒัะตั ัะปััะฐะนะฝะพะผั ะทะฝะฐัะตะฝะธั ะฟะฐัะฐะผะตััะฐ ind
# (ัะผ.ั-ัะธั stoch_grad_descent_usual)
x = x_us[ind]
# ัะฐัััะธััะฒัะฐะตะผ ะทะฝะฐัะตะฝะธะต y (ะฒััััะบั), ะบะพัะพัะฐั ัะพะพัะฒะตัััะฒัะตั ะฒัะฑัะฐะฝะฝะพะผั ะทะฝะฐัะตะฝะธั x
y_pred = vector_init[0] + vector_init[1]*x_us[ind]
# ะฒััะธัะปัะตะผ ะพัะธะฑะบั ัะฐััะตัะฝะพะน ะฒััััะบะธ ะพัะฝะพัะธัะตะปัะฝะพ ะฟัะตะดััะฐะฒะปะตะฝะฝะพะน ะฒ ะฒัะฑะพัะบะต
error = y_pred - y_us[ind]
# ะพะฟัะตะดะตะปัะตะผ ะฟะตัะฒัั ะบะพะพัะดะธะฝะฐัั ะณัะฐะดะธะตะฝัะฐ ab
grad_a = error
# ะพะฟัะตะดะตะปัะตะผ ะฒัะพััั ะบะพะพัะดะธะฝะฐัั ab
grad_b = x_us[ind]*error
# ะฒััะธัะปัะตะผ ะฝะพะฒัะน ะฒะตะบัะพั ะบะพัััะธัะธะตะฝัะพะฒ
vector_new = [vector_init[0]-l*grad_a, vector_init[1]-l*grad_b]
return vector_new
# ะพะฟัะตะดะตะปะธะผ ััะฝะบัะธั ััะพั
.ะณัะฐะด.ัะฟััะบะฐ
def stoch_grad_descent_usual(x_us, y_us, l=0.1, steps = 800):
# ะดะปั ัะฐะผะพะณะพ ะฝะฐัะฐะปะฐ ัะฐะฑะพัั ััะฝะบัะธะธ ะทะฐะดะฐะดะธะผ ะฝะฐัะฐะปัะฝัะต ะทะฝะฐัะตะฝะธั ะบะพัััะธัะธะตะฝัะพะฒ
vector_init = [float(random.uniform(-0.5, 0.5)), float(random.uniform(-0.5, 0.5))]
errors = []
# ะทะฐะฟัััะธะผ ัะธะบะป ัะฟััะบะฐ
# ัะธะบะป ัะฐััะธัะฐะฝ ะฝะฐ ะพะฟัะตะดะตะปะตะฝะฝะพะต ะบะพะปะธัะตััะฒะพ ัะฐะณะพะฒ (steps)
for i in range(steps):
ind = random.choice(range(len(x_us)))
new_vector = stoch_grad_step_usual(vector_init, x_us, ind, y_us, l)
vector_init = new_vector
errors.append(errors_sq_Kramer_method(vector_init,x_us,y_us))
return (vector_init),(errors)
# ะทะฐะฟะธัะตะผ ะผะฐััะธะฒ ะทะฝะฐัะตะฝะธะน
list_parametres_stoch_gradient_descence = stoch_grad_descent_usual(x_us, y_us, l=0.1, steps = 800)
print ' 33[1m' + ' 33[4m' + "ะะฝะฐัะตะฝะธั ะบะพัััะธัะธะตะฝัะพะฒ a ะธ b:" + ' 33[0m'
print 'a =', round(list_parametres_stoch_gradient_descence[0][0],3)
print 'b =', round(list_parametres_stoch_gradient_descence[0][1],3)
print
print ' 33[1m' + ' 33[4m' + "ะกัะผะผะฐ ะบะฒะฐะดัะฐัะพะฒ ะพัะบะปะพะฝะตะฝะธะน:" + ' 33[0m'
print round(list_parametres_stoch_gradient_descence[1][-1],3)
print
print ' 33[1m' + ' 33[4m' + "ะะพะปะธัะตััะฒะพ ะธัะตัะฐัะธะน ะฒ ััะพั
ะฐััะธัะตัะบะพะผ ะณัะฐะดะธะตะฝัะฝะพะผ ัะฟััะบะต:" + ' 33[0m'
print len(list_parametres_stoch_gradient_descence[1])
ืืืจ ืงืืงื ืงืขืจืคืึทืื ืืืืฃ ืื ืงืึธืืึทืคืืฉืึทื ืฅ ืืื ืืึทืคึผื ืืื ืฆื ืคืจืขืื ืื ืงืฉืื "ืืื ืงืขื ืืึธืก ืืืื?" ืืืจ ืืึธืื ืื ืืขืจืข ืงืึธืืึทืคืืฉืึทื ื ืืืึทืืืขืก ะธ . ืืคึฟืฉืจ ืกืืึธืืฉืึทืกืืืง ืืจืึทืืืขื ื ืึทืจืึธืคึผืืึทื ื ืืื ืืขืคึฟืื ืขื ืืขืจ ืึธืคึผืืืืึทื ืคึผืึทืจืึทืืขืืขืจืก ืคึฟืึทืจ ืื ืืงืืืืืืฉืึทื? ืืืืืขืจ ื ืืื. ืขืก ืืื ืืขื ืื ืฆื ืงืืงื ืืื ืื ืกืึทืืึทืงื ืคืื ืกืงืืืขืจื ืืืืืืืืฉืึทื ื ืืื ืืขื ืึทื ืืื ื ืืึทืข ืงืึธืืึทืคืืฉืึทื ืฅ ืืืึทืืืขืก, ืืขืจ ืืขืืช ืืื ืืจืขืกืขืจ. ืืืจ ืืขื ืขื ืืื ืงืืื ืืึทืื ืฆื ืคืึทืจืฆืืืืืคืืื ื. ืืื ืก ืืืืขื ืึท ืืจืึทืคืืง ืคืื ืื ืืขืืช ืขื ืืขืจืื ื.
ืงืึธื ืคึฟืึทืจ ืคึผืืึทืืื ื ืื ืกืึทืืึทืงื ืคืื ืกืงืืืขืจื ืืืืืืืืฉืึทื ื ืืื ืกืืึธืืฉืึทืกืืืง ืืจืึทืืืขื ื ืึทืจืึธืคึผืืึทื ื
print 'ะัะฐัะธะบ โ5 "ะกัะผะผะฐ ะบะฒะฐะดัะฐัะพะฒ ะพัะบะปะพะฝะตะฝะธะน ะฟะพ-ัะฐะณะพะฒะพ"'
plt.plot(range(len(list_parametres_stoch_gradient_descence[1])), list_parametres_stoch_gradient_descence[1], color='red', lw=2)
plt.xlabel('Steps (Iteration)', size=16)
plt.ylabel('Sum of squared deviations', size=16)
plt.show()ืืจืึทืคืืง ื ืื 5 "ืกืึทืืึทืงื ืคืื ืกืงืืืขืจื ืืืืืืืืฉืึทื ื ืืขืฉืึทืก ืกืืึธืืฉืึทืกืืืง ืืจืึทืืืขื ื ืึทืจืึธืคึผืืึทื ื"
ืงืืงื ืืื ืื ืคึผืืึทื, ืึทืืฅ ืคืืืก ืืื ืคึผืืึทืฅ ืืื ืืืฆื ืืืจ ืืืขืื ืคืึทืจืจืืืื ืึทืืฅ.
ืึทืืื ืืืึธืก ืืื ืืขืฉืขื? ืื ืคืืืืขื ืืข ืืขืืจืืคื. ืืืขื ืืืจ ืจืึทื ืืึทืืื ืกืขืืขืงืืืจื ืึท ืืืืฉ, ืขืก ืืื ืคึฟืึทืจ ืื ืืืืกืืขืงืืืื ืืืืฉ ืึทื ืืื ืืืขืจ ืึทืืืขืจืืืึทื ืืืื ืฆื ืจืขืืืฆืืจื ืื ืืขืืช ืืื ืงืึทืืงืืึทืืืืืื ื ืจืขืืืขื. ืืขืจื ืึธื ืืืจ ืืืืกืงืืืึทืื ืื ืื ืืขืจ ืืืืฉ ืืื ืืืืขืจืืืจื ืื ืืขืืฉืื, ืึธืืขืจ ืืืจ ืจืขืืืฆืืจื ืื ืืขืืช ืคึฟืึทืจ ืื ืจืืข ืืืืกืืขืงืืืื ืืืืฉ. ืืืฆื ืืขืืขื ืงืขื ืึทื ืื ืขืจืฉืืขืจ ืฆืืืื ืืืฉืื ืึธืคึผื ืืืื ืืืืืืืืง ืคืื ืื ืฉืืจื ืคืื ืื ืคึผืฉืื ืืื ืขืึทืจ ืจืึทืืจืขืฉืึทื ืืงืืืืืืฉืึทื. ืืขื ืืืื ืึทื ืืืขื ืืืื ืขืจ ืคืื ืื ืฆืืืื ืืืฉืื ืืื ืืืืกืืขืงืืืื, ืืืจื ืจืืืืกืื ื ืื ืืขืืช ืคืื ืืขืืขืจ ืคืื ืืื, ืืื ืืืขืจ ืึทืืืขืจืืืึทื ืขืืขืก ืื ืงืจืืกืื ืื ืืขืืช ืคึฟืึทืจ ืื ืืื ืฆืข ืืืกืืขืจ. ืึทืืื ืืืึธืก ืฆื ืืึธื? ืืขืจ ืขื ืืคืขืจ ืืื ืคึผืฉืื: ืืืจ ืืึทืจืคึฟื ืฆื ืจืขืืืฆืืจื ืื ืึทืจืึธืคึผืืึทื ื ืฉืจืื. ื ืึธื ืึทืืข, ืืืจื ืจืืืืกืื ื ืื ืึทืจืึธืคึผืืึทื ื ืฉืจืื, ืืขืจ ืืขืืช ืืืขื ืืืื ืืึทืืื "ืฉืคึผืจืื ืืขื" ืึทืจืืืฃ ืืื ืึทืจืึธืคึผ. ืึธืืขืจ ืืึทื ืฅ, ืื "ืฉืคึผืจืื ืืขื" ืืขืืช ืืืขื ื ืืฉื ืืึทืืื, ืึธืืขืจ ืขืก ืืืขื ื ืืฉื ืืึธื ืึทืืื ืืขืฉืืืื ื :) ืืื โโืก ืืฉืขืง.
ืงืึธื ืฆื ืืืืคื SGD ืืื ืงืืขื ืขืจืขืจ ืื ืืงืจืึทืืึทื ืฅ
# ะทะฐะฟัััะธะผ ััะฝะบัะธั, ัะผะตะฝััะธะฒ ัะฐะณ ะฒ 100 ัะฐะท ะธ ัะฒะตะปะธัะธะฒ ะบะพะปะธัะตััะฒะพ ัะฐะณะพะฒ ัะพะพัะฒะตััะฒัััะต
list_parametres_stoch_gradient_descence = stoch_grad_descent_usual(x_us, y_us, l=0.001, steps = 80000)
print ' 33[1m' + ' 33[4m' + "ะะฝะฐัะตะฝะธั ะบะพัััะธัะธะตะฝัะพะฒ a ะธ b:" + ' 33[0m'
print 'a =', round(list_parametres_stoch_gradient_descence[0][0],3)
print 'b =', round(list_parametres_stoch_gradient_descence[0][1],3)
print
print ' 33[1m' + ' 33[4m' + "ะกัะผะผะฐ ะบะฒะฐะดัะฐัะพะฒ ะพัะบะปะพะฝะตะฝะธะน:" + ' 33[0m'
print round(list_parametres_stoch_gradient_descence[1][-1],3)
print
print ' 33[1m' + ' 33[4m' + "ะะพะปะธัะตััะฒะพ ะธัะตัะฐัะธะน ะฒ ััะพั
ะฐััะธัะตัะบะพะผ ะณัะฐะดะธะตะฝัะฝะพะผ ัะฟััะบะต:" + ' 33[0m'
print len(list_parametres_stoch_gradient_descence[1])
print 'ะัะฐัะธะบ โ6 "ะกัะผะผะฐ ะบะฒะฐะดัะฐัะพะฒ ะพัะบะปะพะฝะตะฝะธะน ะฟะพ-ัะฐะณะพะฒะพ"'
plt.plot(range(len(list_parametres_stoch_gradient_descence[1])), list_parametres_stoch_gradient_descence[1], color='red', lw=2)
plt.xlabel('Steps (Iteration)', size=16)
plt.ylabel('Sum of squared deviations', size=16)
plt.show()
ืืจืึทืคืืง ื ืื 6 "ืกืึทืืึทืงื ืคืื ืกืงืืืขืจื ืืืืืืืืฉืึทื ื ืืขืฉืึทืก ืกืืึธืืฉืึทืกืืืง ืืจืึทืืืขื ื ืึทืจืึธืคึผืืึทื ื (80 ืืืืื ื ืืจืื)"
ืื ืงืึธืืึทืคืืฉืึทื ืฅ ืืึธืื ืืืคึผืจืืืื, ืึธืืขืจ ืืขื ืขื ื ืึธื ื ืืฉื ืืืขืึทื. ืืืืคึผืึทืืขืืืง, ืืึธืก ืงืขื ืขื ืืืื ืงืขืจืขืงืืึทื ืึทืืื. ืืืจ ืืืืกืงืืืึทืื, ืืืฉื, ืืื ืื ืืขืฆืืข 1000 ืืืขืจืืืฉืึทื ื ืื ืืืึทืืืขืก ืคืื ืื ืงืึธืืึทืคืืฉืึทื ืฅ ืืื ืืืึธืก ืื ืืื ืืืื ืืขืืช ืืื ืืขืืืื. ืืืช, ืคึฟืึทืจ ืืขื ืืืจ ืืืขืื ืืืื ืืึธืื ืฆื ืฉืจืืึทืื ืื ืืืึทืืืขืก ืคืื ืื ืงืึธืืึทืคืืฉืึทื ืฅ ืืื. ืืืจ ืืืขืื ื ืืฉื ืืึธื ืืึธืก, ืึธืืขืจ ืืื ืฆืืงืืงื ืืื ืฆื ืื ืคึผืืึทื. ืขืก ืงืืงื ืืืึทื ืืื ืืขืจ ืืขืืช ืกืืื ืฆื ืคืึทืจืืื ืขืจื ืืืืึทื ืื. ืึทืงืืืึทืืื ืืึธืก ืืื ื ืืฉื ืืืช. ืืึธืืืจ ืงืืงื ืืื ืื ืขืจืฉืืข 1000 ืืืขืจืืืฉืึทื ื ืืื ืคืึทืจืืืืึทืื ืืื ืืื ืื ืืขืฆืืข.
ืงืึธื ืคึฟืึทืจ SGD ืืฉืึทืจื (ืขืจืฉืืขืจ 1000 ืกืืขืคึผืก)
print 'ะัะฐัะธะบ โ7 "ะกัะผะผะฐ ะบะฒะฐะดัะฐัะพะฒ ะพัะบะปะพะฝะตะฝะธะน ะฟะพ-ัะฐะณะพะฒะพ. ะะตัะฒัะต 1000 ะธัะตัะฐัะธะน"'
plt.plot(range(len(list_parametres_stoch_gradient_descence[1][:1000])),
list_parametres_stoch_gradient_descence[1][:1000], color='red', lw=2)
plt.xlabel('Steps (Iteration)', size=16)
plt.ylabel('Sum of squared deviations', size=16)
plt.show()
print 'ะัะฐัะธะบ โ7 "ะกัะผะผะฐ ะบะฒะฐะดัะฐัะพะฒ ะพัะบะปะพะฝะตะฝะธะน ะฟะพ-ัะฐะณะพะฒะพ. ะะพัะปะตะดะฝะธะต 1000 ะธัะตัะฐัะธะน"'
plt.plot(range(len(list_parametres_stoch_gradient_descence[1][-1000:])),
list_parametres_stoch_gradient_descence[1][-1000:], color='red', lw=2)
plt.xlabel('Steps (Iteration)', size=16)
plt.ylabel('Sum of squared deviations', size=16)
plt.show()ืืจืึทืคืืง ื ืื 7 "ืกืึทืืึทืงื ืคืื ืกืงืืืขืจื ืืืืืืืืฉืึทื ื SGD (ืขืจืฉืืขืจ 1000 ืกืืขืคึผืก)"
ืืจืึทืคืืง ื ืื 8 "ืกืึทืืึทืงื ืคืื ืกืงืืืขืจื ืืืืืืืืฉืึทื ื SGD (ืืขืฆืืข 1000 ืกืืขืคึผืก)"
ืืื ืื ืึธื ืืืื ืคืื ืื ืึทืจืึธืคึผืืึทื ื, ืืืจ ืึธืืกืขืจืืืืจื ืึท ืคืขืจืื ืืื ืืืจ ืืื ืึทืจืึธืคืึทื ื ืคืึทืจืงืืขื ืขืจื ืืื ืืขืืช. ืืื ืื ืืขืฆืืข ืืืขืจืืืฉืึทื ื, ืืืจ ืืขื ืึทื ืืขืจ ืืขืืช ืืืื ืึทืจืื ืืื ืึทืจืื ืื ืืืขืจื ืคืื 1,475 ืืื ืืื ืขืืืขืืข ืืึธืืืึทื ืฅ ืืคืืื ืืงืืืึทืื ืืขื ืึธืคึผืืืืึทื ืืืขืจื, ืึธืืขืจ ืืขืืึธืื ืขืก ื ืึธื ืืืื ืึทืจืืืฃ ... ืืื ืืืืขืจืืืจื, ืืืจ ืงืขื ืขื ืฉืจืืึทืื ืึทืจืึธืคึผ ืื ืืืึทืืืขืก ืคืื ืื ืงืึธืืึทืคืืฉืึทื ืฅ ะธ , ืืื ืืขืืึธืื ืืืืกืงืืืึทืื ืื ืคึฟืึทืจ ืืืึธืก ืื ืืขืืช ืืื ืืื ืืืึทื. ืึธืืขืจ, ืืืจ ืืึธืื ืึท ืืขืจ ืขืจื ืกื ืคึผืจืึธืืืขื: ืืืจ ืืึธืื ืฆื ื ืขืืขื 80 ืืืืื ื ืกืืขืคึผืก (ืืขื ืงืึธื) ืฆื ืืึทืงืืืขื ืืืึทืืืขืก ื ืึธืขื ื ืฆื ืึธืคึผืืืืึทื. ืืื ืืึธืก ืืื ืฉืืื ืงืึทื ืืจืึทืืืงืฅ ืืขื ืืขืืึทื ืง ืคืื ืฉืคึผืึธืจื ืงืึทืืคึผืืึทืืืืฉืึทื ืฆืืื ืืื ืกืืึธืืฉืึทืกืืืง ืืจืึทืืืขื ื ืึทืจืึธืคึผืืึทื ื ืงืึธืจืขืื ืฆื ืืจืึทืืืขื ื ืึทืจืึธืคึผืืึทื ื. ืืืึธืก ืงืขื ืขื ืืืื ืงืขืจืขืงืืึทื ืืื ืืืคึผืจืืืื? ืขืก ืืื ื ืืฉื ืฉืืืขืจ ืฆื ืืึทืืขืจืงื ืึทื ืืื ืื ืขืจืฉืืขืจ ืืืขืจืืืฉืึทื ื ืืืจ ืืขื ืขื ืืืืขืจ ืึทืจืึธืคึผ ืืื ืืขืจืืืขืจ, ืืืจ ืืึธื ืืึธืื ืึท ืืจืืืก ืฉืจืื ืืื ืื ืขืจืฉืืขืจ ืืืขืจืืืฉืึทื ื ืืื ืจืขืืืฆืืจื ืื ืฉืจืื ืืืขื ืืืจ ืืืื ืคืึธืจืืืก. ืืืจ ืืืขืื ื ืืฉื ืืึธื ืืึธืก ืืื ืืขื ืึทืจืืืงื - ืขืก ืืื ืฉืืื ืฆื ืืึทื ื. ืื ืืืืก ืืืืื ืงืขื ืขื ืืจืึทืืื ืคึฟืึทืจ ืืื ืืื ืฆื ืืึธื ืืึธืก, ืืึธืก ืืื ื ืืฉื ืฉืืืขืจ :)
ืืืฆื ืืึธืื ืืื ืื ืืืจืืคืืจื ืกืืึธืืฉืึทืกืืืง ืืจืึทืืืขื ื ืึทืจืึธืคึผืืึทื ื ื ืืฆื ืื ืืืืืืึธืืขืง ื ืืืคึผื (ืืื ืืืืืจ ืืื ื ืืฉื ืฉืืจืืืืืขื ืืืืขืจ ืื ืฉืืืื ืขืจ ืืืืก ืืืจ ืืืื ืคืจืืขืจ ืืืืขื ืืืคืืฆืืจื)
ืงืึธื ืคึฟืึทืจ ืกืืึธืืฉืึทืกืืืง ืืจืึทืืืขื ื ืึทืจืึธืคึผืืึทื ื (NumPy)
# ะดะปั ะฝะฐัะฐะปะฐ ะฝะฐะฟะธัะตะผ ััะฝะบัะธั ะณัะฐะดะธะตะฝัะฝะพะณะพ ัะฐะณะฐ
def stoch_grad_step_numpy(vector_init, X, ind, y, l):
x = X[ind]
y_pred = np.dot(x,vector_init)
err = y_pred - y[ind]
grad_a = err
grad_b = x[1]*err
return vector_init - l*np.array([grad_a, grad_b])
# ะพะฟัะตะดะตะปะธะผ ััะฝะบัะธั ััะพั
ะฐััะธัะตัะบะพะณะพ ะณัะฐะดะธะตะฝัะฝะพะณะพ ัะฟััะบะฐ
def stoch_grad_descent_numpy(X, y, l=0.1, steps = 800):
vector_init = np.array([[np.random.randint(X.shape[0])], [np.random.randint(X.shape[0])]])
errors = []
for i in range(steps):
ind = np.random.randint(X.shape[0])
new_vector = stoch_grad_step_numpy(vector_init, X, ind, y, l)
vector_init = new_vector
errors.append(error_square_numpy(vector_init,X,y))
return (vector_init), (errors)
# ะทะฐะฟะธัะตะผ ะผะฐััะธะฒ ะทะฝะฐัะตะฝะธะน
list_parametres_stoch_gradient_descence = stoch_grad_descent_numpy(x_np, y_np, l=0.001, steps = 80000)
print ' 33[1m' + ' 33[4m' + "ะะฝะฐัะตะฝะธั ะบะพัััะธัะธะตะฝัะพะฒ a ะธ b:" + ' 33[0m'
print 'a =', round(list_parametres_stoch_gradient_descence[0][0],3)
print 'b =', round(list_parametres_stoch_gradient_descence[0][1],3)
print
print ' 33[1m' + ' 33[4m' + "ะกัะผะผะฐ ะบะฒะฐะดัะฐัะพะฒ ะพัะบะปะพะฝะตะฝะธะน:" + ' 33[0m'
print round(list_parametres_stoch_gradient_descence[1][-1],3)
print
print ' 33[1m' + ' 33[4m' + "ะะพะปะธัะตััะฒะพ ะธัะตัะฐัะธะน ะฒ ััะพั
ะฐััะธัะตัะบะพะผ ะณัะฐะดะธะตะฝัะฝะพะผ ัะฟััะบะต:" + ' 33[0m'
print len(list_parametres_stoch_gradient_descence[1])
print
ืื ืืืึทืืืขืก ืืขื ืขื ืึผืืขื ืื ืืขืืืข ืืื ืืืขื ืืืจ ืึทืจืึธืคึผืืืื ืึธื ื ืืฆื ื ืืืคึผื. ืึธืืขืจ, ืืึธืก ืืื ืืึทืืืฉืืงืึทื.
ืืึธืืืจ ืืขืคึฟืื ืขื ืืืืก ืืื ืืึทื ื ืกืืึธืืฉืึทืกืืืง ืืจืึทืืืขื ื ืืืกืขื ืฅ ืืขื ืืืขื ืืื ืื.
ืงืึธืื ืคึฟืึทืจ ืืืืขืจืืึทื ืื ื SGD ืืขืืฉืื ืฆืืื (80 ืืืืื ื ืกืืขืคึผืก)
print ' 33[1m' + ' 33[4m' +
"ะัะตะผั ะฒัะฟะพะปะฝะตะฝะธั ััะพั
ะฐััะธัะตัะบะพะณะพ ะณัะฐะดะธะตะฝัะฝะพะณะพ ัะฟััะบะฐ ะฑะตะท ะธัะฟะพะปัะทะพะฒะฐะฝะธั ะฑะธะฑะปะธะพัะตะบะธ NumPy:"
+ ' 33[0m'
%timeit list_parametres_stoch_gradient_descence = stoch_grad_descent_usual(x_us, y_us, l=0.001, steps = 80000)
print '***************************************'
print
print ' 33[1m' + ' 33[4m' +
"ะัะตะผั ะฒัะฟะพะปะฝะตะฝะธั ััะพั
ะฐััะธัะตัะบะพะณะพ ะณัะฐะดะธะตะฝัะฝะพะณะพ ัะฟััะบะฐ ั ะธัะฟะพะปัะทะพะฒะฐะฝะธะตะผ ะฑะธะฑะปะธะพัะตะบะธ NumPy:"
+ ' 33[0m'
%timeit list_parametres_stoch_gradient_descence = stoch_grad_descent_numpy(x_np, y_np, l=0.001, steps = 80000)
ืืืืก ืืืืืืขืจ ืืื ืืืืื ืืจืืื, ืืืฅ ืืื ืงืขืืขืจ ืื ืืืืืงื ืก: ืืืืืขืจ ืืืืืื ืื "ืืื-ืืขืฉืจืืืขื ืข" ืคืึธืจืืืืข ืื ืืขืกืืข ืจืขืืืืืื. ืึทืืข ืืขื ืกืึทืืืืฉืขืกืฅ ืึทื ืขืก ืืืื ืืืื ืืคืืื ืืขืจ ืกืึทืืึทื ืืืขืื ืฆื ื ืืฆื ืื ืืืืืืึธืืขืง ื ืืืคึผื, ืืืึธืก ืืึทืงืข ืคืึทืจืืืืขืจื ืงืึทืืคึผืืึทืืืืฉืึทื ืึทืคึผืขืจืืืฉืึทื ื. ืืื ืืขื ืึทืจืืืงื ืืืจ ืืืขืื ื ืืฉื ืืขืจื ืขื ืืืขืื ืืื. ืขืก ืืืขื ืืืื ืขืคึผืขืก ืฆื ืืจืึทืืื ืืืขืื ืืื ืืืื ืกืคึผืขืจ ืฆืืื :)
ืืื ืก ืกืึทืืขืจืืื
ืคืืจื ืงืืฆืขืจ, ืืืื ืืื ืขื ืืคืขืจื ืืืืฃ ื ืคืจืืืข, ืืืืก ืืื ืืขืจืกืื ืก ืืืืคืืขืฉืืื ืขื ืคืื ืืื ืืขืจ ืืืืขืจืขืจ ืืืืขื ืขืจ. ืคืึทืจืืืึธืก, ืืขืฆื, ืึทืืึท โืคึผืฒึทื ืืงืื ืโ ืืื ืืจืืืืช, ืคืึทืจืืืึธืก ืืึทืจืฃ ืืขื ืืืื ืึทืจืืื ืืื ืึทืจืึธืคึผ ืืขื ืืึทืจื (ืืขืจืกืื ืก ืึทืจืึธืคึผ) ืึผืื ืฆื ืืขืคืื ืขื ืืขื ืืขืฆืืืขืจื ื ืืืขืจืืึทื ื, ืืืื ืืืจ ืืึธืื ืืื ืื ืืขื ื ืึทืืึท ืฉืืึทืจืงื ืืื ืคึผืฉืืื ืืืื, ืืื ืื ืคืึธืจืขื ืคืื ืึทื ืึทื ืึทืืืกืืก ืืืืืื ื, ืืืึธืก ืืืืงืขืฃ ืืขืืขืคึผืึธืจืฅ ืืื ืื ืฆื ืื ืจืขืื ืึธืจื?
ืืขืจ ืขื ืืคืขืจ ืฆื ืืขื ืงืฉืื ืืืื ืืืืฃ ืื ืืืืขืจืคืืึทื. ืืืฆื ืืืจ ืืึธืื ืืขืงืืงื ืืืืฃ ืึท ืืืืขืจ ืคึผืฉืื ืืืึทืฉืคึผืื, ืืื ืืืึธืก ืืขืจ ืืืช ืขื ืืคึฟืขืจื ืืื ืืขืคึผืขื ืืก ืืืืฃ ืืืื ืฆืืืื . ืืืจ ืืึธื ื ืื ืืขื ืืขื ืึธืคื ืืื ืืขืื, ืึทืืื ืืึธืื ืืื ืื ืืืึทืืืฉืึทื ืึทื ืืืจ ืืึธืื 2, 30, 50 ืึธืืขืจ ืืขืจ ืืืืื ืืขืจ. ืืึธืืืจ ืืืืื ืฆื ืืขื ืืืืื ืืขืจ, ืึธืืขืจ ืืคืืื ืืขื ืก ืคืื ืืืืื ืืขืจ ืคืื ืืืึทืืืขืก ืคึฟืึทืจ ืืขืืขืจ ืึทืืจืืืืื. ืืื ืืขื ืคืึทื, ืื ืึทื ืึทืืืกืืก ืืืืืื ื ืงืขื ื ืืฉื ืืืืืกืืึทื ื ืื ืคึผืจืึธืืข ืืื ืืืจืืคืึทื. ืืื ืงืขืจ, ืืจืึทืืืขื ื ืึทืจืึธืคึผืืึทื ื ืืื ืืืึทื ืืืขืจืืืืฉืึทื ื ืืืขื ืกืืึธืืื ืึธืืขืจ ืฉืืจืื ืืจืขื ืืขื ืืื ืื ื ืขืขื ืืขืจ ืฆื ืืขื ืฆืื - ืื ืืื ืืืื ืคืื ืื ืคึฟืื ืงืฆืืข. ืืื ืืึธื ื ืื ืืึธืจื ืืืขืื ืืืืงืืึทื - ืืืจ ืืืขืื ืืืกืืึธืืข ืงืืงื ืืื ืืืขืื ืืืึธืก ืืืขื ืืึธืื ืืื ืื ืฆื ืฉืืขืื ืืื ืจืขืืืืืจื ืฉืจืื ืืขื ื (ืืึธืก ืืื, ืืืืงืืึทื).
ืืื ืืืฆื ืื ืคืึทืงืืืฉ ืงืืจืฅ ืงืืฆืขืจ.
ืขืจืฉืืขืจ, ืืื ืืึธืคึฟื ืึทื ืืขืจ ืืึทืืขืจืืึทื ืืขืจืืื ืื ืืื ืืขื ืึทืจืืืงื ืืืขื ืืขืืคึฟื ืึธื ืืืื "ืืึทืื ืกืืืึทื ืืืก" ืฆื ืคึฟืึทืจืฉืืืื ืืื ืฆื ืกืึธืืืืข ืคึผืฉืื (ืืื ื ืื ืืืืื) ืืื ืขืึทืจ ืจืึทืืจืขืฉืึทื ืืงืืืืืืฉืึทื ื.
ืฆืืืืืื ืก, ืืืจ ืืขืงืืงื ืืืืฃ ืขืืืขืืข ืืืขืื ืฆื ืกืึธืืืืข ืื ืืงืืืืืืฉืึทื. ืืืฆื, ืืืคึผืขื ืืื ื ืืืืฃ ืื ืกืืืืึทืฆืืข, ืืืจ ืงืขื ืขื ืงืืืึทืื ืื ืืืื ืขืจ ืืืึธืก ืืื ืืขืกืืขืจ ืคึผืึทืกืืง ืคึฟืึทืจ ืกืึธืืืืข ืื ืคึผืจืึธืืืขื.
ืืจืื, ืืืจ ืืขืืขื ืื ืืึทืื ืคืื ื ืึธื ืกืขืืืื ืืก, ื ืืืืื ืื ืืจืึทืืืขื ื ืึทืจืึธืคึผืืึทื ื ืฉืจืื ืืขื ื. ืืขื ืคึผืึทืจืึทืืขืืขืจ ืงืขื ืขื ื ืื ืืืื ืึธืคึผืืขืืึธืื. ืืื ืืขืจืืื ื ืืืืื, ืืื ืกืืจ ืฆื ืจืขืืืฆืืจื ืื ืงืึธืก ืคืื ืืฉืืื ืืช, ืื ืืขื ื ืคืื ืื ืฉืจืื ืืึธื ืืืื ืืขืืืื ืืขืฉืึทืก ืื ืึทืจืึธืคึผืืึทื ื.
ืคืขืจืื ืก, ืืื ืืื ืืืขืจ ืคืึทื, "ืืืื-ืืขืฉืจืืื" ืคืึทื ืืงืฉืึทื ื ืืขืืืืื ืื ืืขืกืืขืจ ืฆืืื ืจืขืืืืืึทืื ืคึฟืึทืจ ืืฉืืื ืืช. ืืึธืก ืืื ืืืกืืึธืืข ืจืขืื ืฆื ื ืืฉื ืื ืืขืจืกื ืคืึทืืืึทื ื ืืฆื ืคืื ืื ืงืืืคึผืึทืืืืึทืืื ืคืื ืืขืจ ืืืืืืึธืืขืง ื ืืืคึผื. ืึธืืขืจ ืืื ืขืก ืงืขื ืืืื, ืื ืคืืืืขื ืืข ืืกืงื ื ืกืึทืืืืฉืขืกืฅ ืืื. ืคึฟืื ืืืื ืืฒึทื ืืื ืึผืืึทื ืฆื ืคึฟืจืขืื ืืขืคึฟืจืขืืืข ืืืื ืื ืืขื, ืืื ืคึฟืื ืืขืจ ืฆืืืืืืขืจ ืืืื ืืื ื ืื ืฉืืขื ืืืง ืึผืืึทื ืึทืืฅ ืฆื ืงืึธืืคึผืืืฆืืจื - ืคึฟืึทืจืงืขืจื, ืึท ืืึธื ืืื ืึท ืกืืืคึผืืขืจ ืืืขื ืคึฟืื ืกืึธืืืืข ืึท ืคึผืจืึธืืืขื ืืขืจ ืขืคืขืงืืืื. ืืื ืืื ื ืืื ืืืขืจ ืฆืื ืืื ืืขืืืขื ืฆื ืึทื ืึทืืืื ืืจืื ืึทืคึผืจืึธืืืฉืื ืฆื ืกืึทืืืืื ื ืึท ืคึผืฉืื ืืื ืขืึทืจ ืจืึทืืจืขืฉืึทื ืืงืืืืืืฉืึทื, ืื ื ืืฆื ืคืื "ืืื-ืืขืฉืจืืื" ืคืึทื ืืงืฉืึทื ื ืืื ืืึทื ืฅ ืืขื ืื ืคึฟืึทืจ ืืื ืื.
ืืืืขืจืึทืืืจ (ืึธืืขืจ ืขืคึผืขืก ืืื ืึทื)
1. ืืื ืขืึทืจ ืจืึทืืจืขืฉืึทื
2. ืงืืขื ืกืืขืจ ืกืงืืืขืจื ืืืคึฟื
3. ืืขืจืืืืึทื
4. ืืจืึทืืืขื ื
5. ืืจืึทืืืขื ื ืึทืจืึธืคึผืืึทื ื
6. ื ืืืคึผื ืืืืืืึธืืขืง
ืืงืืจ: www.habr.com