ืืืืขืขืก ืืื ืืืืื ืื ืืืขืื ืืืึธืก ืื ืืขืจืข ืคึผืจืึทืกืขืกืึทื ืงืขื ืขื ืืืื ืึธืืึทืืืืืื ืฉืืืืขื ืืื ืืขืฉืขืคืื ืคืื ืคืึทืจืฉืืื ืกืืืขืก ืืขืืขืจ ืืึธื. ืืืขืจ ืืื ืึทืืืฉืึทื ืฆื ืื ืคืึทืงื ืึทื ืึท ืคึผืืึทืฅ ืคืื ืฆืืื ืงืขื ืขื ืืืื ืคืืจืืจืืื ืฆื ืฉืึทืคึฟื ืึท ืืึธืืขื, ืืืจ ืืึทืจืคึฟื ืฆื ืคืึทืจืืจืขื ืืขื ืขืก ืืืืฃ ืืืืึทืืืืืืืื ื ืขืก ืืื ืงืึธื ืืจืึธืืืจื ืึทื ืืขืจ ืจืขืืืืืึทื ืืื ื ืืฉื ืืจืึทืค. ื ืึธื ืืืคึผืืึทืืขื ืืืืฉืึทื, ืืขืืขืจ ืืึธืืขื ืืืื ืืืื ืืึธื ืืืึธืจืขื ืืื ืคึผืืจืืึทืืืงืื ืึธืคึผืืขืฉืืขืื.
ืืื ืืึธืก ืืขื ืขื ืึทืืข ืกืืึทืืขืก ืืืึธืก ืืึทืจืคึฟื ืฆื ืืืื ืืขืขื ืืืงื ืืื ืงืืื ืคืืจืืข, ืจืึทืืึทืจืืืึทืก ืคืื ืืืึทื ืืจืืืก. ืืืื ืืืจ ืืขื ืขื ืืขืจืขืื ืืืขืื ืื ืืืึธื ืืื ืืขืืึทื ืคืื ืกืืขืจืืึทื ืง, ืื ื ืืืขืจ ืคืื ืคืืื-ืืื ืื ื ืื ืงืจืืกืื ืืืืืืืืง. ืืื ืื ืกืืฃ ืคืื 2019, ืกืืขืจ ืืื ืฉืืื ืืขื ืืฆื ืืขืจ ืืื 2000 ืืึธืืขืืก. ืขืก ืืื ื ืืฉื ืืขื ืื ืฆื ื ืึธืจ ืึทื ืืืืืงืืขื ืึท ืืึธืืขื; ืขืก ืืื ื ืืืืืง ืฆื ืืืกืฉืืืืขื ืืื ืื ืืึทืกืืจืืึทื ืกืืกืืขืืขื, ืึทื ืืืืืงืืขื ืืึทืื ืืึทืจืงืึทืฅ ืคึฟืึทืจ ืื ืื ืืึธืืขืืก ืืื ืขื ืฉืืจ ืงืึธื ืืจืึธื ืคืื ืืืึทื ืึธืคึผืขืจืึทืฆืืข ืืืืฃ ืืขื ืงื ืืื.
ืืื ืืืขืจ ืืึทื ืฉืึทืคึฟื ืืื ืืขืืืขืืึธืคึผืื ื ืื Sber.DS ืคึผืืึทืืคืึธืจืืข. ืขืก ืึทืืึทืื ืืืจ ืฆื ืกืึธืืืืข ืืึทืฉืื ืืขืจื ืขื ืคึผืจืึธืืืขืืก, ืกืคึผืืื ืืขื ืคึผืจืึธืฆืขืก ืคืื ืืขืกืืื ื ืืืืคึผืึทืืึทืกืึทื, ืกืืืคึผืืึทืคืืื ืืื ืคึผืจืื ืฆืืคึผ ืืขื ืคึผืจืึธืฆืขืก ืคืื ืืขืืืขืืึธืคึผืื ื ืืื ืืืึทืืึทืืืืืื ื ืืึธืืขืืก, ืืื ืืืื ืงืึธื ืืจืึธืืก ืื ืจืขืืืืืึทื ืคืื ืื ืืึธืืขื ืืื PROM.
ืืื ืกืืจ ื ืืฉื ืฆื ื ืึทืจื ืืืื ืขืงืกืคึผืขืงืืืืฉืึทื ื, ืืื ืืืืื ืฆื ืืึธืื ืืื ืฉืืืึทืื ืึทื ืืขื ืคึผืึธืกืื ืืื ืึท ืื ืืจืึทืืึทืงืืขืจื, ืืื ืืื ืืขืจ ืื ืฉื ืืึทืื, ืคึฟืึทืจ ืกืืึทืจืืขืจืก, ืืืจ ืจืขืื ืืืขืื ืืืึธืก, ืืื ืคึผืจืื ืฆืืคึผ, ืืื ืืื ืืขืจ ืื ืงืึทืคึผืืขืจ ืคืื ืื Sber.DS ืคึผืืึทืืคืึธืจืืข. ืืืจ ืืืขืื ืืขืจืฆืืืื ืื ืืขืฉืืืืข ืืืขืื ืื ืืขืื ืฆืืงื ืคืื ืื ืืึธืืขื ืคืื ืฉืึทืคืื ื ืฆื ืืืคึผืืึทืืขื ืืืืฉืึทื ืกืขืคึผืขืจืึทืืื.
Sber.DS ืืืฉืืืื ืคืื ืขืืืขืืข ืงืึทืืคึผืึธืื ืึทื ืฅ, ืื ืฉืืืกื ืืื ืื ืืืืืืึธืืขืง, ืึทื ืืืืืงืืื ื ืกืืกืืขื ืืื ืืึธืืขื ืืืจืืคืืจืื ื ืกืืกืืขื.
ืื ืืืืืืึธืืขืง ืงืึธื ืืจืึธืืก ืื ืืขืื ืฆืืงื ืคืื ืื ืืึธืืขื ืคึฟืื ืืขื ืืึธืืขื ื ืืืขื ืืขืจ ืืขืืึทื ืง ืฆื ืึทื ืืืืืงืืขื ืขืก ืืื ืืจืืืก ืืื ืืืื ืืืคึผืืึทืืขื ืืืืฉืึทื ืืื PROM, ืืึธื ืืืึธืจืื ื ืืื ืืืงืึทืืืฉืึทื ืื ื. ืคืืืข ืืืืืืึธืืขืง ืงืืืคึผืึทืืืืึทืืื ืืขื ืขื ืืืงืืืืืื ืืืจื ืจืขืืืืึทืืึธืจ ืึผืืืื, ืืืฉื, ืจืืคึผืึธืจืืื ื ืืื ืกืืึธืจืืืืฉ ืคืื ืืจืืื ืื ื ืืื ืืืึทืืึทืืืืฉืึทื ืกืึทืืคึผืึทืื. ืืื ืคืึทืงื, ืืึธืก ืืื ืึท ืจืขืืืกืืจืืจื ืคืื ืึทืืข ืืื ืืืขืจ ืืึธืืขืืก.
ืื ืึทื ืืืืืงืืื ื ืกืืกืืขื ืืื ืืืืืื ื ืคึฟืึทืจ ืืืืืฉืึทืืืึทื ืึทื ืืืืืงืืื ื ืคืื ืืึธืืขืืก ืืื ืืืึทืืึทืืืืฉืึทื ืืขืงื ืืงืก. ืื ืืขืืืขืืึธืคึผืขื ืืึธืืขืืก ืึทื ืืขืจืืึธื ืขืจืฉื ืืืึทืืึทืืืืฉืึทื ืืื ืืขื ืขื ืกืึทืคึผืืืื ืฆื ืื ืืืจืืคืืจืื ื ืกืืกืืขื ืฆื ืืืจืืคืืจื ืืืืขืจ ืืขืฉืขืคื ืคืึทื ืืงืฉืึทื ื. ืืืื, ืืื ืื ืจืื ืืืืข ืกืืกืืขื, ืื ืืึธืืขื ืงืขื ืขื ืืืื ืืขืฉืืขืื ืืืืฃ ืึท ืืึธื ืืืึธืจ ืคึฟืึทืจ ืื ืฆืื ืคืื ืคึผืืจืืึทืืืงืื ืืึธื ืืฉืื ื ืืืึทืืึทืืืืฉืึทื ืืขืงื ืืงืก ืฆื ืืึธื ืืืึธืจ ืืืึทื ืึธืคึผืขืจืึทืฆืืข.
ืขืก ืืขื ืขื ืขืืืขืืข ืืืืคึผืก ืคืื ื ืึธืืื ืืื ืื ืกืืกืืขื. ืขืืืขืืข ืืขื ืขื ืืืืืื ื ืฆื ืคืึทืจืืื ืื ืฆื ืคืึทืจืฉืืื ืืึทืื ืงืืืืื, ืื ืืขืจืข ืืขื ืขื ืืืืืื ื ืฆื ืืืขืจืืึทืื ืืงืืจ ืืึทืื ืืื ืืึทืจืืึทืืขืจื ืขืก (ืืึทืจืงืึทืคึผ). ืขืก ืืขื ืขื ืคืืืข ื ืึธืืื ืคึฟืึทืจ ืื ืื ืคืึทืจืฉืืืขื ืข ืืึธืืขืืก ืืื ื ืึธืืื ืคึฟืึทืจ ืืืึทืืึทืืืืืื ื ืืื. ืืขืจ ืืขืืืขืืึธืคึผืขืจ ืงืขื ืขื ืืึธืื ืืึทืื ืคืื ืงืืื ืืงืืจ, ืืืขืจืืึทืื, ืคืืืืขืจ, ืืืืืฉืืืึทืืืื ืื ืืขืจืืืืืื ืืึทืื ืืื ืฆืขืืจืขืื ืขืก ืืื ืคึผืึทืจืฅ.
ืื ืคึผืืึทืืคืึธืจืืข ืืืื ืึผืืื ืคืึทืจืืืง ืืึทืืืฉืืื ืืืึธืก ืงืขื ืขื ืืืื ืืจืึทืื ืืื ืืจืึทืคึผื ืืืืฃ ืื ืคึผืืึทื ืืขืื ื. ืื ืึทืงืฉืึทื ื ืืขื ืขื ืืืจืืืขืงืึธืื ืืื ืึท ืืืืืฉืืืึทืืืืื ืฆืืืื ื. ืืื ืคืึทืงื, ืืืจ ืงืขื ืขื ืกืึธืืืืข ืื ืคึผืจืึธืืืขื ืึธื ืึท ืืืื ืฉืืจื ืคืื ืงืึธื.
ืืืื ืื ืืขืืืื-ืืื ืงืืืคึผืึทืืืืึทืืื ืืขื ืขื ื ืืฉื ืืขื ืื, ืื ืกืืกืืขื ืืื ืื ืคืืืืงืืื ืฆื ืืขืฉืืืื ื ืืึทืื ืืืื ืืืืืขื ืข ืืึทืืืฉืืื. ืืืจ ืืขืืืื ืึท ืื ืึทืืจืืืืื ืึทื ืืืืืงืืื ื ืืึธืืข ืืืืืจื ืืืืฃ
ืื ืึทืจืงืึทืืขืงืืฉืขืจ ืคืื Sber.DS ืืื ืืขืืืื ืืืืฃ ืืืงืจืึธ ืืึทืืื ืื ืืก. ืขืก ืืขื ืขื ืคืืืข ืืืื ืื ืืขื ืืืขืื ืืืึธืก ืืืงืจืึธืกืขืจืืืืกืขืก ืืขื ืขื. ืขืืืขืืข ืืขื ืืฉื ืืจืึทืืื ืึทื ืขืก ืืื ืืขื ืื ืฆื ืฉืคึผืึทืืื ืื ืืึทื ืึทืืืืืง ืงืึธื ืืื ืคึผืึทืจืฅ, ืึธืืขืจ ืืื ืืขืจ ืืขืืืืงืขืจ ืฆืืื ืืื ื ืึธื ืืืื ืฆื ืืขืจ ืืขืืืืงืขืจ ืืึทืืึทืืืืก. ืืื ืืืขืจ ืืืงืจืึธืกืขืจืืืืก ืืืื ืืืขืจืืขืื ืืื ืื ืื ืืขืจ ืืืงืจืึธืกืขืจืืืืก ืืืืื ืืืจื REST API. ืงืืื ืืืึธืจืงืึทืจืึธืื ืืก ืฆื ืึทืงืกืขืก ืื ืืึทืืึทืืืืก ืืืืึทื.
ืืืจ ืคึผืจืึผืืื ืฆื ืขื ืฉืืจ ืึทื ืกืขืจืืืืกืขืก ืืขื ืขื ื ืืฉื ืืืืขืจ ืืจืืืก ืืื ืืขืคึผืืฉ: ืืืื ืืืึทืฉืคึผืื ืืึธื ื ืืฉื ืคืึทืจื ืืฆื ืืขืจ ืืื 4-8 ืืืืืืืื ืคืื ืืึทืจืึทื ืืื ืืืื ืฆืืฉืืขืื ืื ืคืืืืงืืื ืฆื ืืึธืจืืืึทื ืืึทืื ืืืึธื ืจืืงืืืขืก ืืืจื ืงืึทืืขืจ ื ืืึท ืื ืกืืึทื ืกืื. ืืขืืขืจ ืืื ืกื ืงืึทืืืื ืืงืืืฅ ืืื ืื ืืขืจืข ืืืืื ืืืจื REST API (
ืื ืืึทืจืฅ ืคืื ืื ืึทืคึผืืึทืงืืืฉืึทื ืืื ืืขืฉืจืืื ืืื Java ืืื ืื ืกืคึผืจืื ื ืคืจืึทืืขืืืึธืจืง. ืื ืืืืืื ื ืืื ืืืืืขืก ืืืืืื ื ืคึฟืึทืจ ืืื ืืืคึผืืืืืึทื ื ืืื ืื ืืืึธืืงื ืื ืคืจืึทืกืืจืึทืงืืฉืขืจ, ืึทืืื ืื ืึทืคึผืืึทืงืืืฉืึทื ืืื ืืขืืืขื ืืขืืืื ืืื ืึท ืงืึทื ืืืื ืขืจืืืึทืืืึธื ืกืืกืืขื
ืืืื ืขืจ ืคืื ืื ืคึฟืขืึดืงืืืื ืคืื ืืื ืืืขืจ ืคึผืืึทืืคืึธืจืืข ืืื ืึทื ืืืจ ืงืขื ืขื ืืืืคื ืงืึธื ืืขืืืขืืึธืคึผืขื ืืื ืึท ืืืืืฉืึทืืืึทื ืฆืืืื ื ืืืืฃ ืงืืื ืกืืขืจืืึทื ืง ืืึธืืขื ืืืจืืคืืจืื ื ืกืืกืืขื. ืืืฆื ืขืก ืืขื ืขื ืฉืืื ืฆืืืื ืคืื ืืื: ืืืื ืขืจ ืืืืฃ Hadoop, ืื ืื ืืขืจืข ืืืืฃ OpenShift (Docker). ืืืจ ืืึธื ื ืื ืืึทืืื ืืึธืจื ืืื ืืึทืื ืื ืืึทืืจืืืฉืึทื ืืึทืืืฉืืื ืฆื ืืืืคื ืงืึธื ืืืืฃ ืงืืื ืื ืคืจืึทืกืืจืึทืงืืฉืขืจ, ืึทืจืืึทื ืืขืจืขืื ื ืืืืฃ-ืืึทื ืึธืืข ืืื ืืื ืื ืืืึธืืงื. ืืืขืื ืื ืคึผืึทืกืึทืืืืึทืืื ืคืื ืขืคืขืงืืืื ืื ืืึทืืจืืืฉืึทื ืืื ืื ืกืืขืจืืึทื ืง ืืงืึธืืกืืกืืึทื, ืืืจ ืืืื ืคึผืืึทื ืฆื ืฉืืืฆื ืึทืจืืขื ืืื ืืืืืกืืื ื ืืืจืืคืืจืื ื ืื ืืืืืจืึทื ืืึทื ืฅ. ืืื ืืขืจ ืฆืืงืื ืคึฟื, ืื ืืืืืื ื ืงืขื ืขื ืืืื ืคืืขืงืกืึทืืึทื ืื ืึทืืจืืืืื "ืืืืก ืื ืงืขืกืื" ืืื ืงืืื ืืึทื ืืฉืึทืคื ืคืื ืงืืื ืึธืจืืึทื ืืืึทืฆืืข.
ืืขื ืข ืืืึธืก ืืึธืื ืืืฅ ืืขืคืจืืืื ืฆื ืฉืืืฆื ืึท ืืืืืื ื ืืืึธืก ืืืืคื Python ืืืืฃ Hadoop ืืื PROM ืืืืกื ืึทื ืขืก ืืื ื ืืฉื ืืขื ืื ืฆื ืฆืืืจืืืื ืืื ืฆืืฉืืขืื ืึท ืคึผืืืืึธื ืืึทื ืืฆืขืจ ืกืืืืืืข ืฆื ืืขืืขืจ ืืึทืืึทื ืึธืืข. ืื ืจืืืืง ื ืืืขืจ ืคืื C / C ++ ืืืืืจืขืจืื ืคึฟืึทืจ ืืึทืฉืื ืืขืจื ืขื ืืืึธืก ื ืืฆื ืคึผืืืืึธื ืืึทืืืฉืืื ืืืขื ื ืืฉื ืืึธืื ืืืจ ืฆื ืจื. ืืืจ ืืืื ืืขืืขื ืงืขื ืฆื ืืขืจืืืึทื ืืืงื ืคึผืึทืงืึทืืืฉืึทื ืืืขื ืึทืืื ื ื ืืึท ืืืืืจืขืจืื ืึธืืขืจ ืกืขืจืืืขืจืก, ืืื ืืึทืืื ืฆืืจืืง ืงืึทืืคึผืึทืืึทืืืืึทืื ืืื ืฉืืื ืืืคึผืืึทืืขื ืึทื ืืึธืืขื ืงืึธื.
ืขืก ืืขื ืขื ืขืืืขืืข ืึทืคึผืจืึธืืืฉืื ืฆื ืืื ืฆื ืืึธื ืืึธืก. ืคึฟืึทืจ ืืืึทืฉืคึผืื, ืฆืืืจืืืื ืขืืืขืืข ืึธืคื ืืขืืืืื ื ืืืืืจืขืจืื ืืื ืฉืืืึทืื ืืื ืื ืกืืจืืืขื ื ืืื ืืื PROM. ืื Hadoop ืคืึทืจืฉืคึผืจืืืืื ื ืคืื Cloudera ืืืคึผืืงืื ื ืืฆื
ืื ืืึทื ืง ื ืขืื ืื ืืืืขืจืืืื ืคืื ืืืืคื ืืจืื-ืคึผืึทืจืืื ืงืึธื ืืืืขืจ ืขืืขืก, ืึทืืื ืืืจ ืืึทืื ืื ืืขืจืกื ืคืื ืื ื ืืึทืข ืคึฟืขืึดืงืืืื ืคืื ืื ืืื ืืงืก ืงืขืจื, ืืื ืึท ืคึผืจืึธืฆืขืก ืคืืืกื ืืืง ืืื ืึทื ืืคืืขืืื ืืขืจื ืกืืืืืืข
ืืขื ืืึธืจ ืืืจ ืคึผืืึทื ืืจื ืฆื ืคืึทืจืขื ืืืงื ืื MVP ืคืื ืืึธื ืืฉืื ื ืืึธืืขืืก ืืขืฉืจืืื ืืื Python / R / Java ืืืืฃ Hadoop. ืืืจ ืืึธืื ืืึทืฉืืืื ืืื ืื ืึทืืืืฆืืขืก ืึทืจืืขื ืฆื ืืขืจื ืขื ืืื ืฆื ืคืืจื ืงืืื ืื ืื ืกืืืืืืข ืืืืฃ Hadoop, ืึทืืื ื ืืฉื ืฆื ืืึทืืจืขื ืขืฆื ืื ื ืืฆืขืจืก ืคืื ืืื ืืืขืจ ืคึผืืึทืืคืึธืจืืข ืืื ืงืืื ืืืขื.
ืืื ืึทืืืฉืึทื, ืืื ืขืก ืคืืจืงืขืจื ืืืืก, ืคืืืข DS ืกืคึผืขืฉืึทืืึทืกืฅ ืืขื ืขื ืืืกืืขืฆืืืื ื ืืื ืืืืขืืืืืง ืืื ืกืืึทืืืกืืืง, ืืึทืื ืงืื ืืึธืืขืืก, ืึธืืขืจ ืืขื ืขื ื ืืฉื ืืืืขืจ ืืืขืจืกื ืืื ืืจืืืก ืืึทืื ืืจืึทื ืกืคืึธืจืืึทืฆืืข, ืืื ืืื ืืึทืจืคึฟื ืื ืืืืฃ ืคืื ืืื ืืืขืจ ืืึทืื ืขื ืืืฉืึทื ืืจื ืฆื ืฆืืืจืืืื ืืจืืื ืื ื ืกืึทืืคึผืึทืื. ืืืจ ืืึทืฉืืึธืกื ืฆื ืืขืืคึฟื ืืื ืืืขืจ ืืืจืื ืืื ืฉืึทืคึฟื ืืึทืงืืืขื ืืึทืืืฉืืื ืคึฟืึทืจ ื ืึธืจืืึทื ืืจืึทื ืกืคืึธืจืืึทืฆืืข ืืื ืฆืืืจืืืืื ื ืคืื ืคึฟืขืึดืงืืืื ืคึฟืึทืจ ืืึธืืขืืก ืืืืฃ ืื ืกืคึผืึทืจืง ืืึธืืึธืจ. ืืึธืก ืืืขื ืืึธืื ืืืจ ืฆื ืคืึทืจืืจืขื ืืขื ืืขืจ ืฆืืื ืฆื ืึทื ืืืืืงืืขื ืืึธืืขืืก ืืื ื ืืฉื ืืืึทืจืื ืคึฟืึทืจ ืืึทืื ืขื ืืืฉืึทื ืืจื ืฆื ืฆืืืจืืืื ืึท ื ืืึทืข ืืึทืืึทืกืขื.
ืืืจ ืึธื ืฉืืขืื ืืขื ืืฉื ืืื ืืืืกื ืืื ืคืึทืจืฉืืืขื ืข ืืขืืืื: ืืื ืืงืก ืืื ืืขืืืึธืคึผืก, Hadoop ืืื Spark, Java ืืื ืกืคึผืจืื ื, ืกืงืึทืืึท ืืื ืึทืงืงืึท, ืึธืคึผืขื ืฉืืคื ืืื ืงืืืขืจื ืขืืขืก. ืืืืึทืืขืจ ืืึธื ืืืจ ืืืขืื ืจืขืื ืืืขืื ืื ืืึธืืขื ืืืืืืึธืืขืง, ืืื ืืขืจ ืืึธืืขื ืืืื ืืืจื ืื ืืขืื ืฆืืงื ืืื ืื ืคืืจืืข, ืืื ืืืึทืืึทืืืืฉืึทื ืืื ืืืคึผืืึทืืขื ืืืืฉืึทื ืคึผืึทืกืืจื.
ืืงืืจ: www.habr.com