ืืืื
ืืื ืึทื ืึทืืืืื ืืืึทืงืึทื ืกืืขืก ืคึฟืึทืจ ืื ืฉืืขืืข ืคืื โโืืึทืื ืื ืืฉืขื ืืจ ืืื ืืื ืืขื ืขื ืืื ืืื ืืืจ 2020 ืฆื ืคึฟืึทืจืฉืืืื ืืืึธืก ืืขืื ืึธืืึธืืืข ืกืงืืื ืืขื ืขื ืืขืจืกื ืคืึธืืงืก. ืืขืจื ืึธื ืืื ืงืึทืืคึผืขืจื ืื ืจืขืืืืืึทืื ืืื ืกืืึทืืืกืืืง ืืืืฃ ืืืึทืงืึทื ืกืืขืก ืคึฟืึทืจ ืื ืฉืืขืืข ืคืื โโืืึทืื ืืขืืขืจื ืืขืจ - ืืื ืขืืืขืืข ืืฉืืงืึทืืืข ืืืคืขืจืึทื ืกืื ืืืขืจืืืฉื.
ืึธื ืคืื ืคึผืจืืืึทืืืข, ืืึธ ืืขื ืขื ืื ืฉืคึผืืฅ ืฆืขื ืืขืงื ืึทืืึทืืืฉืื ืืืึธืก ืืขื ืขื ืืขืจืกื ืึธืคื ืืขืจืืื ื ืืื ืึทืจืืขื ืคึผืึธืืกืืื ืื:
ืืขืจืืึธื ืขื ืคืื ืืขืงื ืึทืืึทืืืฉืื ืืื ืืืึทืงืึทื ืกืืขืก ืคึฟืึทืจ ืื ืฉืืขืืข ืคืื โโืืึทืื ืื ืืฉืขื ืืจ ืืื 2020
ืืื ืก ืืึทืงืืืขื ืขืก ืจืขืื.
ืจืืกืคึผืึทื ืกืึทืืืืึทืืื ืคืื ืึท ืืึทืื ืื ืืฉืขื ืืจ
ืืืึทื ื, ืื ืึทืจืืขื ืืืึธืก ืืึทืื ืขื ืืืฉืึทื ืืจื ืืึธื ืืื ืคืื ืืจืืืก ืืืืืืืงืืื ืคึฟืึทืจ ืึธืจืืึทื ืึทืืืืฉืึทื ื - ืืึธืก ืืขื ืขื ืื ืืขื ืืฉื ืืืึธืก ืืขื ืขื ืคืึทืจืึทื ืืืืึธืจืืืขื ืคึฟืึทืจ ืกืืึธืจืื ื ืืื ืคึฟืึธืจืืึทืฆืืข ืืื ืืจืขื ืืขื ืขืก ืืื ืึทืืึท ืึท ืคืึธืจืขื ืึทื ืื ืืขืจืข ืขืืคึผืืืืื ืงืขื ืขื ืึทืจืืขืื ืืื ืืื. ืืึทืืึท ืขื ืืืฉืึทื ืืจื ืืืืขื ืคึผืืืคึผืืืื ื ืฆื ืกืืจืืืื ื ืึธืืขืจ ืคึผืขืงื ืืึทืื ืคึฟืื ืงืืืคื ืงืืืืื. ืคึผืืืคึผืืืื ื ืืขืืึธืื ืืืจืืคืืจื ืืงืกืืจืึทืงืฉืึทื, ืืจืึทื ืกืคืึธืจืืึทืฆืืข ืืื ืืึธืืืื ื ืึทืคึผืขืจืืืฉืึทื ื (ืืื ืื ืืขืจืข ืืืขืจืืขืจ, ETL ืคึผืจืึทืกืขืกืึทื), ืืืื ืื ืืึทืื ืืขืจ ืคึผืึทืกืืง ืคึฟืึทืจ ืืืืึทืืขืจ ื ืืฆื. ื ืึธื ืืขื, ืื ืืึทืื ืืขื ืขื ืืขืจืืื ืื ืฆื ืึทื ืึทืืืก ืืื ืืึทืื ืกืืืึทื ืืืก ืคึฟืึทืจ ืืืคึผืขืจ ืคึผืจืึทืกืขืกืื ื. ืฆืื ืกืืฃ, ืื ืืึทืื ืขื ืืก ืืืื ื ืกืืขื ืืื ืืึทืฉืืึธืจืื, ืจืืคึผืึธืจืฅ ืืื ืืึทืฉืื ืืขืจื ืขื ืืึธืืขืืก.
ืืื ืืื ืืขืืืขื ืงืืงื ืคึฟืึทืจ ืืื ืคึฟืึธืจืืึทืฆืืข ืืืึธืก ืืืึธืื ืืึธืื ืืืจ ืฆื ืฆืืขื ืึท ืืกืงื ื ืืืขืื ืืืึธืก ืืขืงื ืึทืืึทืืืฉืื ืืขื ืขื ืืขืจืกื ืืื ืืึธื ืขื ืืื ืืขืจ ืึทืจืืขื ืคืื ืึท ืืึทืื ืื ืืฉืขื ืืจ ืืื ืืขื ืืึธืืขื ื.
ืืขืืืึธืืก
ืืื ืืขืืืืื ืืื ืคึฟืึธืจืืึทืฆืืข ืคืื โโืืจืื ืึทืจืืขื ืืืื ืืืืืืขื -
ืคึฟืึทืจ ืืขืืขืจ ืงืืืืขืจื, ืืื ืงืึทืืงืืึทืืืืืื ืื ืคึผืจืึธืฆืขื ื ืคืื ืืืฅ ืคืื ืื ืืึทื ืฅ ื ืืืขืจ ืคืื ืืขืงืกืื ืืืืฃ ืืขืืขืจ ืคึผืืึทืฅ ืกืขืคึผืขืจืึทืืื, ืืื ืืขืืึธืื ืงืึทืืงืืึทืืืืืื ืื ืืืจืืฉื ืืืืขื ืคึฟืึทืจ ืื ืืจืื ืงืืืืื.
ืจืขืืืืืึทืื
ืื ืืขืจ ืืขื ืขื ืื ืืจืืึทืกืืง ืืขืื ืืฉ ืืึทืื ืื ืืฉืขื ืืขืจืืข ืืขืจืืื ืขื ืืื ืื ืืขืืกืื ืกืงืึธืจื ืืืืฃ ืึทืืข ืืจืื ืึทืจืืขื ืืืืืืขื.
ืืื ืืึธ ืืขื ืขื ืื ืืขืืืข ื ืืืขืจื, ืึธืืขืจ ืืขืจืืื ืื ืืื ืืืฉ ืคืึธืจืขื:
ืืึธืืืจ ืืืื ืืื ืกืืจ.
ืึธืคึผืฉืึทืฆืื ื ืคืื ืจืขืืืืืึทืื
ืืืืืข ืกืงื ืืื ืคึผืืืืึธื ืืขืจืฉืืึทื ืขื ืืื ืืขืจ ืืื ืฆืืืื-ืืขืจืื ืคืื ืื ืจืืืืืื ืึทืจืืขื ืึธืืคึผืึทื ืื ืื. ืขืก ืืขื ืขื ืื ืฆืืืื ืืขืงื ืึทืืึทืืืฉืื ืืืึธืก ืืึทืื ืืื ืขื ืฆื ืืขืจื ืขื ืขืจืฉืืขืจ.
ืกืคึผืึทืจืง ืืื ืืขืจืืื ื ืืื ืืืขืื ืืึทืื ืคืื ืื ืืืึทืงืึทื ืกืืขืก.
AWS ืืื ืืจืืืก ืืื ืืขืขืจืขื 45% ืคืื ืึทืจืืขื ืคึผืึธืืกืืื ืื. ืขืก ืืื ืึท ืืืึธืืงื ืงืึทืืคึผืืืืื ื ืคึผืืึทืืคืึธืจืืข ืืึทื ืืึทืคืึทืงืืฉืขืจื ืืืจื ืึทืืึทืืึธื; ืขืก ืืื ืื ืืจืขืกืืข ืืึทืจืง ืืืืื ืฆืืืืฉื ืึทืืข ืืืึธืืงื ืคึผืืึทืืคืึธืจืืก.
ืืืืึทืืขืจ ืงืืืขื Java ืืื Hadoop - ืึท ืืืกื ืืขืจ ืืื 40% ืคึฟืึทืจ ืืืืขืจ ืืจืืืขืจ.
ืขืก ืืื ืืื ืจืืืืื ื ืืื ืึท ืฆืืื ืืึทืฉืื
ืืขืจื ืึธื ืืืจ ืืขื Hive, Scala, Kafka ืืื NoSQL - ืืขืืขืจ ืคืื ืื ืืขืงื ืึทืืึทืืืฉืื ืืื ืืขืจืืื ื ืืื ืึท ืคืขืจืื ืคืื ืื ืืขืจืืื ืื ืืืึทืงืึทื ืกืืขืก. Apache Hive ืืื ืึท ืืึทืื ืืืขืจืืึทืืก ืืืืืืืืืจื ืืืึธืก "ืืึทืื ืขืก ืืจืื ื ืฆื ืืืืขื ืขื, ืฉืจืืึทืื ืืื ืคืืจื ืืจืืืก ืืึทืืึทืกืขืฅ ืืืึธืก ืืืืื ืขื ืืื ืคืื ืื ืืขืจืืขืืืืื ืกืืึธืจื ื ืืฆื SQL."
ืคืึทืจืืืืึทื ืืื ืืขืจืืื ืขื ืืื ืืืึทืงืึทื ืกืืขืก ืคืื ืืึทืื ืืขืืขืจื ืืขืจ
ืืึธ ืืขื ืขื ืืจืืึทืกืืง ืืขืื ืึธืืึธืืืข ืืขืจืืื ืขื ืืขืจืกื ืคึผืจืึธืกื ืฆืืืืฉื ืืึทืื ืืืืกื ืฉืึทืคึฟื ืขืืคึผืืืืขืจืก. ืืื ืืืงืืืขื ืืขื ืจืฉืืื ืืื ืื ืืขืืืข ืืืขื ืืื ืืืกืงืจืืืื ืืืืื ืคึฟืึทืจ ืืึทืื ืื ืืฉืขื ืืขืจืืข.
ืืขืจืืึธื ืื ืืขื ืคืื ืืขืื ืึธืืึธืืืข ืืื ืืืึทืงืึทื ืกืืขืก ืคึฟืึทืจ ืื ืฉืืขืืข ืคืื โโืืึทืื ืืขืืขืจื ืืขืจ ืืื 2020
ืืืื ืืืจ ืจืขืื ืืืขืื ืื ืืึทื ืฅ ื ืืืขืจ, ืงืึทืืคึผืขืจื ืฆื ืื ืคืจืืขืจ ืืืืจืืื ืจืึทืงืจืืืืึทื ื, ืขืก ืืขื ืขื ืืขืืืขื 28% ืืขืจ ืืืึทืงืึทื ืกืืขืก (12 ืงืขืื 013). ืืึธืืืจ ืืขื ืืืึธืก ืืขืงื ืึทืืึทืืืฉืื ืืขื ืขื ืืืืื ืืงืขืจ ืคึผืจืึธืกื ืืื ืืืึทืงืึทื ืกืืขืก ืคึฟืึทืจ ืืึทืื ืกืืืึทื ืืืก ืืื ืคึฟืึทืจ ืืึทืื ืขื ืืืฉืึทื ืืจื.
ืืขืจ ืคืึธืืงืก ืืื ืืึทืื ืื ืืฉืขื ืืขืจืืข
ืื ืืจืึทืคืืง ืืื ืื ืืืืืื ืืขืจืืื ืขื ืืื ืึท ืืืจืืฉื ืืืืขื ืืืืืง ืคืื ืืขืจ ืืื 10% ืึธืืขืจ ืืืืื ืืงืขืจ ืืื -10%.
ืื ืืจืขืกืืข ืืืคืขืจืึทื ืกืื ืืื ืงืืืืขืจื ืึธืคืืงืืึทื ืฆืืืืฉื ืืึทืื ืื ืืฉืขื ืืจ ืืื ืืึทืื ืืขืืขืจื ืืขืจ
AWS ืืืืืื ืื ืืขืจืกื ืืึทืืืึทืืืง ืคืึทืจืืจืขืกืขืจื: ืืื ืืึทืื ืื ืืฉืขื ืืขืจืืข ืขืก ืืื 25% ืืขืจ ืงืขืกืืืืขืจ ืืื ืืื ืืึทืื ืืืืกื ืฉืึทืคึฟื (ืืขืขืจืขื 45% ืืื 20% ืคืื ืื ืืึทื ืฅ ื ืืืขืจ ืคืื ืืืึทืงืึทื ืกืืขืก ืจืืกืคึผืขืงืืืืืื). ืืขืจ ืืืืืง ืืื ืืืืขืจืงื!
ืืึธ ืืขื ืขื ืื ืืขืืืข ืืึทืื ืืื ืึท ืืืกื ืึทื ืืขืจืฉ ืคึผืจืขืืขื ืืืจืื ื - ืืื ืื ืืจืึทืคืืง, ืื ืจืขืืืืืึทืื ืคึฟืึทืจ ืื ืืขืืืข ืงืืืืขืจื ืืื ืื ืืืึทืงืึทื ืกืืขืก ืคึฟืึทืจ ืื ืฉืืขืืข ืคืื โโืืึทืื ืื ืืฉืขื ืืจ ืืื ืืึทืื ืืขืืขืจื ืืขืจ ืืขื ืขื ืืืื ืืืึทื ืืื ืืืึทื.
ืื ืืจืขืกืืข ืืืคืขืจืึทื ืกืื ืืื ืงืืืืขืจื ืึธืคืืงืืึทื ืฆืืืืฉื ืืึทืื ืื ืืฉืขื ืืจ ืืื ืืึทืื ืืขืืขืจื ืืขืจ
ืืขืจ ืืืืึทืืขืจ ืืจืขืกืื ืฉืคึผืจืื ืืขื ืืื ืืืืขืจืงื ืืื ืืขืืืขื ืืื ืกืคึผืึทืจืง - ืึท ืืึทืื ืื ืืฉืขื ืืจ ืึธืคื ืืื ืฆื ืึทืจืืขืื ืืื ืืจืืืก ืืึทืื.
ืืืืื ืืงืขืจ ืคืึธืืงืก ืืื ืืึทืื ืื ืืฉืขื ืืขืจืืข
ืืืฆื ืืึธืืืจ ืืขื ืืืึธืก ืืขืงื ืึทืืึทืืืฉืื ืืขื ืขื ืืืืื ืืงืขืจ ืคืึธืืงืก ืืื ืืืึทืงืึทื ืกืืขืก ืคืื ืืึทืื ืื ืืฉืขื ืืจ.
ืื ืฉืึทืจืคืกืกืืข ืึทืจืึธืคึผืืืื ืงืึทืืคึผืขืจื ืฆื ืื ืืึทืื ืืืืกื ืฉืึทืคึฟื ืกืขืงืืึธืจ ืืื ืคืืจืืขืงืืืขื ืืื
ืืื ืคืึธืืขืจืื ื ืืื ืืึทืื ืื ืืฉืขื ืืขืจืืข ืืื ืืึทืื ืืืืกื ืฉืึทืคึฟื
ืขืก ืืึธื ืืืื ืื ืืขืืืืื ืึทื ืึทืื ืคืื ืื ืขืจืฉืืขืจ ืฆืขื ืฉืืขืืขืก ืืื ืืืืืข ืฉืืขืื ืืขื ืขื ืื ืืขืืืข. SQL, Python, Spark, AWS, Java, Hadoop, Hive ืืื Scala ืืขืืืื ืขืก ืืื ืื ืฉืคึผืืฅ ืฆืขื ืคึฟืึทืจ ืืืืืข ืืึทืื ืื ืืฉืขื ืืขืจืืข ืืื ืืึทืื ืืืืกื ืฉืึทืคึฟื ืื ืืึทืกืืจืื. ืืื ืื ืืจืึทืคืืง ืืื ืื ืืืจ ืงืขื ืขื ืืขื ืื ืคืืคืฆื ืืขืจืกื ืคืึธืืงืก ืืขืงื ืึทืืึทืืืฉืื ืฆืืืืฉื ืืึทืื ืื ืืฉืขื ืืจ ืขืืคึผืืืืขืจืก, ืืื ืืืืึทืืขืจ ืฆื ืืื ืืื ืืืืขืจ ืคืจืืึท ืึธืจื ืคึฟืึทืจ ืืึทืื ืกืืืึทื ืืืก.
ืจืขืงืึทืืึทื ืืืืฉืึทื ื
ืืืื ืืืจ ืืืืื ืฆื ืืึทืงืืืขื ืืื ืืึทืื ืื ืืฉืขื ืืขืจืืข, ืืื ืืืึธืื ืจืขืงืึธืืขื ืืืจื ืืืจ ืฆื ืืขื ืื ืคืืืืขื ืืข ืืขืงื ืึทืืึทืืืฉืื - ืืื ืจืฉืืื ืืื ืืื ืกืืจ ืคืื ืืขืจื ืขื ืืขืจื ืืืืืขืจืงืืึทื.
ืืขืจื ืขื SQL. ืืื ืืื ืืื ืื ื ืฆื PostgreSQL ืืืืึทื ืขืก ืืื ืึธืคึฟื ืืงืืจ, ืืืืขืจ ืคืึธืืงืก ืืื ืื ืงืื ืืื ืืื ืืื ืึท ืืืึผืงืก ืคืึทืกืข. ืืืจ ืงืขื ื ืืขืจื ืขื ืืื ืฆื ื ืืฆื ืื ืฉืคึผืจืึทื ืคึฟืื ืืขื ืืื ืืืึทื ืืขืืขืจืึทืืึทื ืกืงื - ืื ืคึผืืืึธื ืืืขืจืกืืข ืืื ืืืจืขืืืืื
ืืขื ืคึผืืืืึธื, ืืคืืื ืืืื ื ืืฉื ืืืืฃ ืื ืืึทืจืืงืึธืจ ืืืจืื. ืืืึทื ืืขืืขืจืึทืืึทื ืคึผืืืืึธื ืืื ืืืืืื ื ืกืคึผืึทืกืืคืืงืื ืคึฟืึทืจ ืืืืื ืขืจื. ืขืก ืงืขื ืขื ืืืื ืืขืงืืืคื ืืืึท
ืึทืืึธื ืืืจ ืืขื ื ืืึทืงืึทื ื ืืื ืคึผืืืืึธื, ืืึทื ืืืืฃ ืฆื ืคึผืึทื ืืึทืก, ืึท ืคึผืืืืึธื ืืืืืืึธืืขืง ืืืึธืก ืืื ืืขื ืืฆื ืคึฟืึทืจ ืืึทืื ืจืืื ืืงืื ื ืืื ืคึผืจืึทืกืขืกืื ื. ืืืื ืืืจ ืฆืื ืฆื ืึทืจืืขืื ืืื ืึท ืคืืจืืข ืืืึธืก ืจืืงืืืืืขืจื ืื ืคืืืืงืืื ืฆื ืฉืจืืึทืื ืืื ืคึผืืืืึธื (ืืื ืืึธืก ืืื ืื ืืขืจืืืึทื ืคืื ืืื), ืืืจ ืงืขื ืขื ืืืื ืืืืขืจ ืึทื ืื ืืืืกื ืคืื ืคึผืึทื ืืึทืก ืืืขื ืืืื ืื ืืขื ืืืขื ืืืจื ืคืขืืืงืืึทื. ืืื ืืื ืืืฆื ืขื ืืืงื ืึท ืื ืืจืึทืืึทืงืืขืจื ืคืืจืขืจ ืฆื ืึทืจืืขืื ืืื ืคึผืึทื ืืึทืก - ืืืจ ืงืขื ืขื
ืืขื AWS. ืืืื ืืืจ ืืืืื ืฆื ืืืขืจื ืึท ืืึทืื ืื ืืฉืขื ืืจ, ืืืจ ืงืขื ืขื ื ืืฉื ืืึธื ืึธื ืึท ืืืึธืืงื ืคึผืืึทืืคืึธืจืืข ืืื ืื ืกืืึทืฉ, ืืื AWS ืืื ืื ืืขืจืกื ืคืึธืืงืก ืคืื ืืื. ืื ืงืึธืจืกืึทื ืืขืืึธืืคึฟื ืืืจ ืึท ืคึผืืึทืฅ
ืืืื ืืืจ ืืึธื ืฉืืื ืืขืขื ืืืงื ืื ืืื ืฆืข ืจืฉืืื ืืื ืืืจ ืืืืื ืฆื ืืืึทืงืกื ืืื ืื ืืืืื ืคืื ืขืืคึผืืืืขืจืก ืืื ืึท ืืึทืื ืื ืืฉืขื ืืจ, ืืื ืคึฟืึธืจืฉืืึธืื ืฆื ืืืืื Apache Spark ืคึฟืึทืจ ืืจืืขืื ืืื ืืจืืืก ืืึทืื. ืืึธืืฉ ืืืื ืคืึธืจืฉืื ื ืืืืฃ ืืืึทืงืึทื ืกืืขืก ืคืื ืืึทืื ืืขืืขืจื ืืขืจ ืืื ืืขืืืืื ืึท ืึทืจืึธืคึผืืืื ืืื ืืื ืืขืจืขืก, ืฆืืืืฉื ืืึทืื ืขื ืืืฉืึทื ืืจื ืขืก ืืื ื ืึธื ืืื ืึผืืขื ืืขืืขืจ ืจืืข ืคืจืืึท ืึธืจื.
ืืื ืืขืฆืืข
ืืื ืืึธืคึฟื ืืืจ ืืขืคึฟืื ืขื ืืขื ืึธืคึผืฉืึทืฆืื ื ืคืื ืื ืืขืจืกื ืคืึธืืขืจืื ื ืืขืงื ืึทืืึทืืืฉืื ืคึฟืึทืจ ืืึทืื ืขื ืืืฉืึทื ืืจื ื ืืฆืืง. ืืืื ืืืจ 'ืจืข ืืืึทื ืืขืจืื ื ืืืึธืก ืื ืึทื ืึทืืืกื ืึทืจืืขื ืกืืืืึทืฆืืข ืืื ืืื, ืืืืขื ืขื
ืืงืืจ: www.habr.com