ืืืจ, ืืขืื! ื ืขืืื ืืืืฃ , ืคึฟืื ืื ืืืื ืคืื Rambler&Co, ืขืก ืืขื ืขื ืืขืืืขื ืืึทื ืฅ ืึท ืคึผืืึทืฅ ืคืื ืคึฟืจืืื ืคืื ืคึผืึทืจืืืกืึทืคึผืึทื ืฅ ืืืขืื ืงืึทื ืคืืืืขืจืืืฉืึทื ืคืื ืืขื ืืขืฆืืึทื. ืืืจ ืืึทืฉืืึธืกื ืฆื ื ืึธืืคืึธืืื ืืื ืืืื ืคืืกืกืืขืคึผืก ืืื ืืืืื ืืื ืืืขืจ ืืขืจืคืึทืจืื ื. ืื ืืขืืข ืืื ื ืืฉื ืืจืื ื - ืึทืืื ืืืจ ืืึทืื ืืืจ ืฆื ืืืืื ืืืื ืืขืจืคืึทืจืื ื ืืื ืื ืืึทืืขืจืงืื ืืขื, ืืคึฟืฉืจ ืืืจ ืืืื ืคึฟืึทืจืฉืืืื ืืื ื ืืฆื ืขืคึผืขืก ืคืึทืืฉ.
ื ืืืกื ืืงืืื ืฆื ืืื ืืืจ ื ืืฆื Spark. ืืืจ ืืึธืื ืึท ืืจืื-ืืืืฉ ืคึผืจืึธืืจืึทื , ืืื ืืืืขืจ ืื ืจืืข ืืึธืืืืข ืืื ืืืขืจ ืคึผืึทืจืืืกืึทืคึผืึทื ืฅ ืึทืจืืขื ืืืืฃ ืืขื ืงืืืืข. ืืขืจืคึฟืึทืจ, ืืื ืืืขืจ ืึทืจืืขื, ืืื ืึธืจืืึทื ืืืืขืจื, ืืื ืฆื ืฆืืืจืืืื ืืขื ืงื ืืื ืคึฟืึทืจ ื ืืฆื ืืื ืึทืืึท ืึท ืคืึทื.
ืื ืคึผืืงืืืืืขืจืึทืื ืคืื ืืื ืืืขืจ ื ืืฆื ืืื ืึทื ืื ื ืืืขืจ ืคืื ืืขื ืืฉื ืกืืืืึทืืืืื ืืึทืกืื ืืจืืขืื ืืืืฃ ืกืคึผืึทืจืง ืงืขื ืขื ืืืื ืืืืึทื ืฆื ืื ืืื ืฆืข ืืจืืคึผืข. ืืืฉื, ืืื ืึท ืกืขืืื ืึทืจ, ืืืขื ืึทืืขืืขื ืคึผืจืึผืืื ืขืคึผืขืก ืืื ืืขืจ ืืขืืืืงืขืจ ืฆืืื ืืื ืจืืคึผืืืื ื ืึธื ืืื ืืืขืจ ืืขืจืขืจ. ืืื ืืึธืก ืืื ื ืืฉื ืึท ืคึผืืึทืฅ - ืืื ืึทืจืืืฃ ืฆื 40 ืืขื ืืฉื. ืขืก ืืขื ืขื ืืืกืืึธืืข ื ืืฉื ืคืืืข ืงืึธืืคึผืึทื ืืขืก ืืื ืืขืจ ืืืขืื ืืืึธืก ืืึธืื ืึทืืึท ืึท ื ืืฆื ืคืึทื.
ืืขืจื ืึธื, ืืื ืืืขื ืืึธืื ืืืจ ืืื ืืื ืืืึธืก ืืืจ ืืึธืื ืืืืกืืขืงืืืื ืืืืขืจ ืงืึทื ืคืืืืขืจ ืคึผืึทืจืึทืืขืืขืจืก.
ืืื ืก ืึธื ืืืืื ืคืื ืื ืึธื ืืืื. ืกืคึผืึทืจืง ืืื 3 ืึธืคึผืฆืืขืก ืฆื ืืืืคื ืืืืฃ ืึท ืงื ืืื: ืกืืึทื ืืึทืืึธื ืข, ื ืืฆื Mesos ืืื ื ืืฆื YARN. ืืืจ ืืึทืฉืืึธืกื ืฆื ืงืืืึทืื ืื ืืจืื ืึธืคึผืฆืืข ืืืืึทื ืขืก ืืื ืืขืืืขื ืืื ืขื ืคึฟืึทืจ ืืื ืื. ืืืจ ืืึธืื ืฉืืื ืึท ืืึธืึธืึธืคึผ ืงื ืืื. ืืื ืืืขืจืข ืคึผืึทืจืืืกืึทืคึผืึทื ืฅ ืืขื ืขื ืฉืืื ืืื ืืึทืงืึทื ื ืืื ืืืึทื ืึทืจืงืึทืืขืงืืฉืขืจ. ืืื ืก ื ืืฆื YARN.
spark.master=yarnืืืืึทืืขืจ ืืขืจ ืืฉืืงืึทืืืข. ืืขืืขืจ ืคืื ืื 3 ืืืคึผืืืืืึทื ื ืึธืคึผืฆืืขืก ืืื 2 ืืืคึผืืืืืึทื ื ืึธืคึผืฆืืขืก: ืงืืืขื ื ืืื ืงื ืืื. ืืืืืจื ืืื ืคืึทืจืฉืืื ืคึฟืึทืจืืื ืืื ืืขื ืืืืฃ ืืขืจ ืืื ืืขืจื ืขืฅ, ืืืจ ืงืขื ืขื ืคืึทืจืขื ืืืงื ืึทื ืืขืจ ืงืืืขื ื ืืื ืคึผืึทืกืืง ืคึฟืึทืจ ืื ืืขืจืึทืงืืืื ืึทืจืืขื - ืคึฟืึทืจ ืืืึทืฉืคึผืื, ืืืจื ืืืฉืืคึผืืืขืจ ืืขืคื, ืืื ืงื ืืื ืืื ืืขืจ ืคึผืึทืกืืง ืคึฟืึทืจ ืคึผืจืึธืืืงืฆืืข ืกืึทืืืฉืึทื ื. ืืื ืืื ืืืขืจ ืคืึทื, ืืืจ ืืขื ืขื ืืื ืืขืจืขืกืืจื ืืื ืื ืืขืจืึทืงืืืื ืึทืจืืขื, ืืขืจืืืขืจ:
spark.deploy-mode=clientืืื ืึทืืืขืืืื, ืคึฟืื ืืืฆื ืืืืฃ Spark ืืืขื ืขืคืขืก ืึทืจืืขื ืืืืฃ YARN, ืึธืืขืจ ืืึธืก ืืื ื ืืฉื ืืขื ืื ืคึฟืึทืจ ืืื ืื. ืืื ื ืืืจ ืืึธืื ืึท ืคึผืจืึธืืจืึทื ืืืขืื ืืจืืืก ืืึทืื, ืืื ืื ืคึผืึทืจืืืกืึทืคึผืึทื ืฅ ืืื ื ืืฉื ืืึธืื ืืขื ืื ืคืื ืืืึธืก ืืื ืืืงืืืขื ืืื ืื ืคืจืืืืืืขืจืง ืคืื ืึท ืืืืึทื ืกืืืืกืื ื ืคืื ืจืขืกืืจืกื. ืืื ืืขืืึธืื ืืืจ ืืขืคืื ืขื ืึท ืืฉืืงืึทืืืข ืืึทื - ืืื ืึทืืืฉ ืืืื ืึทืืึทืงืืืฉืึทื. ืืื ืงืืจืฅ, ืื ืคืื ื ืืื ืืึธืก: ืืืื ืืืจ ืืึธืื ืึท ืฉืืืขืจ ืึทืจืืขื ืืื ืืขืจ ืงื ืืื ืืื ืคืจืื (ืืืฉื, ืืื ืืขืจ ืืึธืจืื), ื ืืฆื ืืขื ืึธืคึผืฆืืข ืกืคึผืึทืจืง ืงืขื ืขื ืืขืื ืืืจ ื ืึธื ืจืขืกืืจืกื. ื ืืืืืง ืืืขืจื ืืึธืจืื ืืืืกืืขืจืขืื ื ืืืื ืึท ืืืืจืข ืคืึธืจืืืืข. ืืืจ ืืืขืื ื ืืฉื ืืืื ืืื ืืขืืึทืืืก - ืขืก ืึทืจืืขื ืืื.
spark.dynamicAllocation.enabled=trueืืืจ ืฉืืขืื ืืขื ืคึผืึทืจืึทืืขืืขืจ, ืืื ืืื ืกืืึทืจืืึทืคึผ ืกืคึผืึทืจืง ืงืจืึทืฉื ืืื ืืื ื ืืฉื ืึธื ืืืืื. ืึทื ืก ืจืขืื, ืืืืึทื ืืื ืืขืืื ืฆื ืืืืขื ืขื ืขืก ืืขืจ ืงืขืจืคืึทืื. ืขืก ืฉืืืื ืึทื ืึผืื ืึทืืฅ ืืึธื ืืืื ืืื, ืืืจ ืืืื ืืึทืจืคึฟื ืฆื ืืขืื ืึทื ื ืึธื ืคึผืึทืจืึทืืขืืขืจ.
spark.shuffle.service.enabled=trueืคืืจืืืืก ืืื ืขืก ืืืจืฃ? ืืืขื ืืื ืืืขืจ ืึทืจืืขื ืืึทืจืฃ ื ืื ืืขืจ ืึทืืื ืคืืืข ืจืขืกืืจืกื, ืกืคึผืึทืจืง ืืึธื ืืื ืฆืืจืืงืงืืืขื ืฆื ืื ืคึผืจืึธืกื ืืขืงื. ืื ืืขืจืกื ืฆืืื-ืงืึทื ืกืืืื ื ืืื ืข ืืื ืึผืืขื ืงืืื MapReduce ืึทืจืืขื ืืื ืื ืฉืืคืคืืข ืืื ืข. ืืขืจ ืคึผืึทืจืึทืืขืืขืจ ืึทืืึทืื ืืืจ ืฆื ืจืึทืืขืืืขื ืื ืืึทืื ืืืึธืก ืืขื ืขื ืืืฉืขื ืขืจืืืืึทื ืืื ืืขื ืืื ืข ืืื ืืขืืืื ื ืื ืขืงืกืึทืงืืืืขืจื ืึทืงืึธืจืืื ืืื. ืืื ืืขืจ ืขืงืกืึทืงืืืืขืจ ืืื ืืขืจ ืคึผืจืึธืฆืขืก ืืืึธืก ืงืึทืืงืืึทืืืืฅ ืึทืืฅ ืืืืฃ ืื ืึทืจืืขืืขืจ. ืขืก ืืื ืึท ืืืืขืจ ื ืืืขืจ ืคืื ืคึผืจืึทืกืขืกืขืจ ืงืึธืจืขืก ืืื ืึท ืืืืขืจ ืกืืืข ืคืื โโืืึผืจืื.
ืืขืจ ืคึผืึทืจืึทืืขืืขืจ ืืื ืฆืืืขืืขืื. ืึทืืฅ ืืึธื ืืืืกืืขืืขื ืฆื ืึทืจืืขืื. ืขืก ืืื ืืขืืืขื ืืืืขืจืงื ืึทื ืคึผืึทืจืืืกืึทืคึผืึทื ืฅ ืืขื ืขื ืคืืงืืืฉ ืืขืืขืื ืืขืจ ืจืขืกืืจืกื ืืืขื ืืื ืืืจืฃ ืืื. ืืืขืจ ื ืื ื ืคืจืืืืขื ืืื ืืืืคืืขืฉืืื ืขื - ืืืื ืืืื ืืื ืืืืคืืขืืืขืงื ืื ืืขืจืข ืืืืืืืืืืขืจ ืืื ืืืื ืืืื ืืขืืืืื ื ืืฆื ืกืคืืจืง, ืืืขืจ ืืืจื ืืื ืืืขืก ืืขืืืขื ืคืืจื ืืืขื, ืืื ืืื ืืขื ืขื ืืขืืืขื ืืืืืืืงืืขื. ืืื ืงืขื ืขื ืืืื ืคืืจืฉืืื ืขื. ืืืจ ืื ืืขืืืืื ืงืืงื ืืื ืื ืืึทืงืืืืขื ืืืืฉืึทื. ืขืก ืคืืจืงืขืจื ืืืืก ืึทื ืขืก ืืขื ืขื ืึท ื ืืืขืจ ืคืื ืื ืืขืจืข ืคึผืึทืจืึทืืขืืขืจืก ืืืึธืก ืงืขื ืขื ืืืื ืืขืืืืื ื ืฆื ืืฉืคึผืขื ืืืืฃ ืืขื ืคึผืจืึธืฆืขืก. ืคึฟืึทืจ ืืืึทืฉืคึผืื, ืืืื ืืขืจ ืขืงืกืึทืงืืืืขืจ ืืื ืืื ืกืืึทื ืืืื ืืึธืืข, ื ืึธื ืืืึธืก ืฆืืื ืงืขื ืขื ืืืื ืืขื ืืืขื ืคืื ืขืก ืจืขืกืืจืกื?
spark.dynamicAllocation.executorIdleTimeout=120sืืื ืืื ืืืขืจ ืคืึทื, ืืืื ืืืื ืขืงืกืึทืงืืืืขืจื ืืึธื ืืึธืจื ืืฉื ืคึฟืึทืจ ืฆืืืื ืืื ืื, ืืืืข ืฆืืจืืงืงืืืขื ืืื ืฆื ืืขืจ ืคึผืจืึธืกื ืืขืงื. ืืืขืจ ืืขื ืคึผืึทืจืึทืืขืืขืจ ืืื ื ืื ืฉืืขื ืืืง ืืขื ืื. ืขืก ืืื ืืขืืืขื ืงืืึธืจ ืึทื ืืขืจ ืืขื ืืฉ ืืื ื ืืฉื ืืื ืขืคึผืขืก ืคึฟืึทืจ ืึท ืืึทื ื ืฆืืึทื, ืืื ืื ืจืขืกืืจืกื ืืขื ืขื ื ืืฉื ืคืจืื. ืขืก ืคืืจืงืขืจื ืืืืก ืึทื ืขืก ืืื ืืืื ืึท ืกืคึผืขืฆืืขื ืคึผืึทืจืึทืืขืืขืจ - ื ืึธื ืืืึธืก ืืึธื ืฆื ืืืืกืงืืืึทืื ืขืงืกืขืงืืืึธืจืก ืืืึธืก ืึทื ืืืึทืืื ืงืึทืฉื ืืึทืื. ืืืจื ืคืขืืืงืืึทื, ืืขื ืคึผืึทืจืึทืืขืืขืจ ืืื ืืขืืืขื ืืืขื ืืืงืืึทื! ืืืจ ืงืขืจืขืงืืึทื ืขืก.
spark.dynamicAllocation.cachedExecutorIdleTimeout=600sืึทื ืืื, ืืืื ืืืื ืขืงืกืึทืงืืืืขืจื ืืึธื ืืึธืจื ืืฉื ืคึฟืึทืจ 5 ืืื ืื, ืืขืื ืืื ืฆื ืืขืจ ืคึผืจืึธืกื ืืขืงื. ืืื ืืขื ืืึธืืข, ืื ืืืืงืืึทื ืคืื ืจืืืืกืื ื ืืื ืึทืจืืืกืืขืื ืจืขืกืืจืกื ืคึฟืึทืจ ืึท ืืจืืืก ื ืืืขืจ ืคืื ื ืืฆืขืจืก ืืื ืืขืืืืจื ืืืึทืืืฉ. ืื ืกืืืข ืคืื โโืืืืฆืืคืจืืื ืงืืื ืืื ืืืงืจืืกื. ืึธืืขืจ ืืืจ ืืึทืฉืืึธืกื ืฆื ืืืื ืืืืึทืืขืจ ืืื ืืึทืืจืขื ืขืฆื ืื ืืึทืงืกืืืื ื ืืืขืจ ืคืื ืขืงืกืึทืงืืืืขืจื ืคึผืขืจ ืึทืคึผืืึทืงืืืฉืึทื - ืืืืกืืงืื ืคึผืขืจ ืคึผืจืึธืืจืึทื ืืึทืืืืืืงืืขืจ.
spark.dynamicAllocation.maxExecutors=19ืืืฆื, ืคึฟืึทืจืฉืืืื ืืื, ืืฒึทื ืขื ืืืืฃ ืืขืจ ืึทื ืืขืจืขืจ ืืืื ื ืืฉื ืฆืืคึฟืจืืื โ "ืืขืจ ืืฉืืื ืืื ืืืืืืง, ืืื ืืื ืืึธื ื ืึธืจ 19 ืขืงืืขืงืืืึธืจืก", ืึธืืขืจ ืืืึธืก ืงืขื ืกืื ืืึธื, ืืืจ ืืึทืจืคึฟื ืึท ืืื ืจืืืืืง ืืืึธื. ืืข ืงืึธื ื ืืฉื ืึทืืขืืขื ืืืืงืืขื ืืึทืื.
ืืื ื ืึธื ืึท ืงืืืื ืืขืฉืืืืข ืฉืืื ืฆื ืื ืกืคึผืขืกืืคืืงืก ืคืื ืืื ืืืขืจ ืคืึทื. ืขืคืขืก, ืขืืืขืืข ืืขื ืืฉื ืืขื ืขื ืฉืคึผืขื ืคึฟืึทืจ ืึท ืคึผืจืึทืงืืืฉ ืืขืงืฆืืข, ืืื ืคึฟืึทืจ ืขืืืขืืข ืกืืื ืกืคึผืึทืจืง ืืื ื ืืฉื ืึธื ืืืืื ืคึฟืึทืจ ืืื. ืืืจ ืืึธืื ืืขืงืืงื ืืืืฃ ืื ืกืืืข ืคืื โโืคืจืื ืจืขืกืืจืกื - ืขืก ืืืื ื ืฆื ืืืื ืืึธืจื. ืึธื ืฆืื ืื ืืึธื ืึธื ืืืืื. ืฆืื ืืืืง, ืืื ืืขืจ ืฆืืื, ืื ืืึทืงืืืืขื ืืืืฉืึทื ืืื ืฉืืื ืฆืืืขืืืืื ืฆื ืื ืกืืืงืึธืจืืขืงืก ืขืจืืขืฅ, ืืื ืืืจ ืืขืืขื ืงื ืึทื ืืืขื ืืึธื ืืฉืื ื, ืกืคึผืึทืจืง ืืืื ืคึฟืึทืจ ืึท ืคึผืึธืจื ืืืืฃ ืืืึธืก ืฆื ืึธื ืืืืื. ืืืื ืืขืจ ืขืจืฉืืขืจ ืคึผืึธืจื ืืื ืื ืงืืื ืืื ืคืึทืจื ืืืขื, ืขืก ืืืืืขืื ืฆื ืืขืจ ืืืืึทืืขืจ ืืื ืกืืจ. ืืืื ืขืก ืืื ืคืจืื, ืขืก ืงืึทืคึผืืฉืขืจื. ืืื ืขืก ืืื ืึท ืคึผืึทืจืึทืืขืืขืจ ืืืึธืก ืื ืืืงืืืฅ ืื ืืึทืงืกืืืื ื ืืืขืจ ืคืื ืคืจืืืื ืคึฟืึทืจ ืืขื. ืื ืคืขืืืงืืึทื ืืื 16. ืื ื ืืืขืจ ืืื ืืืืื ืืงืขืจ ืืื ืื ื ืืืขืจ ืคืื ืืขื ืืฉื ืืื ืืื ืืืขืจ ืืจืืคึผืข ืืื ืงืืึทืก. ืึทืงืงืึธืจืืื ืืื, ื ืึธื 16 ืคืจืืืื, ืกืคึผืึทืจืง ืืขืืขืื ืึทืจืืืฃ ืืื ืืขืืืื ืึทื ืืื ืงืขื ื ืืฉื ืึธื ืืืืื. ืืืจ ืืึธืื ืงืขืจืขืงืืึทื ืืขื ืคึผืึทืจืึทืืขืืขืจ.
spark.port.maxRetries=50ืืืืึทืืขืจ ืืื ืืืขื ืืึธืื ืืืจ ืืืขืื ืขืืืขืืข ืกืขืืืื ืืก ืืืึธืก ืืขื ืขื ื ืืฉื ืืืืขืจ ืฉืืึทืืืช ืฆื ืื ืกืคึผืขืกืืคืืงืก ืคืื ืืื ืืืขืจ ืคืึทื.
ืฆื ืึธื ืืืืื ืกืคึผืึทืจืง ืคืึทืกืืขืจ, ืขืก ืืื ืจืขืงืึทืืขื ืืื ืฆื ืึทืจืงืืืื ืื ืืืฉืึทืจื ืืขืงืข ืืื ืื SPARK_HOME ืืืื ืืืขืืืืืึทืืขืจ ืืื ืฉืืขืื ืขืก ืืืืฃ HDFS. ืืขืืื ื ืฐืข ื ืข ืจ ื ื ื ืฐืืกื ื ืฆืฒื , ืืืืืืข ื ื ื ืืืืืง ืข ืืืฉืืจื ืืงืขืก , ืืืจ ื ืืจืืขืืขืจ .
spark.yarn.archive=hdfs:///tmp/spark-archive.zipืขืก ืืื ืืืื ืจืขืงืึทืืขื ืืื ืฆื ื ืืฆื ืงืจืืึธ ืืื ืึท ืกืืจืืึทืืืืขืจ ืคึฟืึทืจ ืคืึทืกืืขืจ ืึธืคึผืขืจืึทืฆืืข. ืขืก ืืื ืืขืจ ืึธืคึผืืืืืืขื ืืื ืื ืคืขืืืงืืึทื.
spark.serializer=org.apache.spark.serializer.KryoSerializerืืื ืขืก ืืื ืืืื ืึท ืืึทื ื-ืฉืืืืขื ืืืง ืคึผืจืึธืืืขื ืืื Spark ืึทื ืขืก ืึธืคื ืงืจืึทืฉืื ืคืื ืืึผืจืื. ืึธืคื ืืึธืก ืืึทืคึผืึทื ื ืืื ืืขื ืืึธืืขื ื ืืืขื ืื ืึทืจืืขืืขืจ ืืึธืื ืงืึทืืงืืึทืืืืืื ืึทืืฅ ืืื ืฉืืงื ืื ืจืขืืืืืึทื ืฆื ืื ืฉืึธืคืขืจ. ืืืจ ืืขืืืื ืืขื ืคึผืึทืจืึทืืขืืขืจ ืืจืขืกืขืจืข ืคึฟืึทืจ ืืื. ืืืจื ืคืขืืืงืืึทื, ืขืก ืืื 1GB, ืืืจ ืืขืืืื ืขืก 3.
spark.driver.maxResultSize=3072ืืื ืืขืกืึธืฃ, ืืื ืึท ืคืึทืจืืืึทืกื. ืืื ืฆื ืืขืจืืืึทื ืืืงื Spark ืฆื ืืืขืจืกืืข 2.1 ืืืืฃ HortonWorks ืคืึทืจืฉืคึผืจืืืืื ื - HDP 2.5.3.0. ืื ืืืขืจืกืืข ืคืื โโโโืืืคึผ ืึผืืื ืึท ืคืึทืจ-ืืื ืกืืึทืืืจื ืืืขืจืกืืข 2.0, ืึธืืขืจ ืืืจ ืึทืืึธื ืืึทืฉืืึธืกื ืคึฟืึทืจ ืืื ืึทื ืกืคึผืึทืจืง ืืื ืืขืืืขืืึธืคึผืื ื ืืึทื ืฅ ืึทืงืืืืืื, ืืื ืืขืืขืจ ื ืืึท ืืืขืจืกืืข ืคืืงืกืื ืขืืืขืืข ืืึทืื ืคึผืืืก ืืื ื ืึธื ืคึฟืขืึดืงืืืื, ืึทืจืืึทื ืืขืจืขืื ื ืคึฟืึทืจ ืื ืคึผืืืืึธื ืึทืคึผื, ืึทืืื ืืืจ ืืึทืฉืืึธืกื ืืืึธืก ืืึทืจืฃ ืฆื ืืืื ืืขืืื ืืื ืึท ืืขืจืืืึทื ืืืงื.
ืืึทืื ืืึธืืืื ืื ืืืขืจืกืืข ืคืื โโโโืืขืจ ืืึทืึทืืืขืจ ืืืขืืืืืื ืคึฟืึทืจ Hadoop 2.7. ืึทื ืืืคึผ ืขืก ืืื ืฉืืขืื ืขืก ืืื ืื HDP ืืขืงืข. ืืืจ ืืึธืื ืืื ืกืืึทืืืจื ืื ืกืืืืื ืงืก ืืื ืืืจืฃ. ืืืจ ืงืึทืืขืจ ืขืก - ืขืก ืืื ื ืืฉื ืึธื ืืืืื. ืฉืจืืืื ืืืืขืจ ื ืืืื ืข ืืขืืช.
java.lang.NoClassDefFoundError: com/sun/jersey/api/client/config/ClientConfigื ืึธื ืืึธืืืื ื, ืืืจ ืืขืคืื ืขื ืึทื ืกืคึผืึทืจืง ืืึทืฉืืึธืกื ื ืืฉื ืฆื ืืืึทืจืื ืืื Hadoop ืืื ืืขืืืืจื, ืืื ืืึทืฉืืึธืกื ืฆื ื ืืฆื ืื ื ืืึทืข ืืืขืจืกืืข ืคืื โโืืืฉืขืจืื. ืืื ืืื ืืขื ืื ืืื ืืขืืขืจ ืื ืืขืจืข ืืืขืื ืืขื ืืขืืข ืืื JIRA. ืื ืืืืืื ื ืืื ืืขืืืขื ืฆื ืึธืคึผืืึธืืืจื . ืึธืจื ืืขื ืืื ืื ืืืฉืึทืจื ืืขืงืข ืืื SPARK_HOME, ืคืึทืจืฉืืขืกืืขื ืขืก ืืืืืขืจ ืืื ืืคึผืืึธืึทื ืขืก ืฆื HDFS.
ืืืจ ืืึทืงืืืขื ืึทืจืื ืืขื ืืขืืช, ืึธืืขืจ ืึท ื ืืึทืข ืืื ืืึทื ืฅ ืกืืจืืืืืื ื ืืขืืช ืืื ืืืืคืืขืฉืืื ืขื.
org.apache.spark.SparkException: Yarn application has already ended! It might have been killed or unable to launch application masterืืื ืืขืจ ืืขืืืืงืขืจ ืฆืืื, ืืืจ ืคึผืจืืืืจื ืฆื ืืืืคื ืืืขืจืกืืข 2.0 - ืึทืืฅ ืืื ืืื. ืคึผืจืึผืืื ืฆื ืืจืขืคื ืืืึธืก ืก 'ืืืื ืืืืฃ. ืืืจ ืืึธืื ืืขืงืืงื ืืื ืื ืืึธืืก ืคืื ืืขื ืึทืคึผืืึทืงืืืฉืึทื ืืื ืืขืืขื ืขืคึผืขืก ืืื ืืึธืก:
/usr/hdp/${hdp.version}/hadoop/lib/hadoop-lzo-0.6.0.${hdp.version}.jarืืื ืึทืืืขืืืื, ืคึฟืึทืจ ืขืืืขืืข ืกืืื hdp.version ืืื ื ืืฉื ืืึทืืื. ื ืึธื ืืืืืื ื, ืืืจ ืืขืคึฟืื ืขื ืึท ืืืืืื ื. ืืืจ ืืึทืจืคึฟื ืฆื ืืืื ืฆื ืื YARN ืกืขืืืื ืืก ืืื Ambari ืืื ืืืืื ืึท ืคึผืึทืจืึทืืขืืขืจ ืฆื ืื ืื ืื ืืึทืจื ืคึผืืึทืฅ:
hdp.version=2.5.3.0-37ืืึธืก ืืึทืืืฉ ืืึธื ืืขืืึธืืคึฟื, ืืื ืคึฟืื ืงื ืืึธื ืืื ืืขื ืืืขื. ืืืจ ืืขืกืืขื ืขืืืขืืข ืคืื โโืืื ืืืขืจ ืืืฉืืคึผืืืขืจ ืืึทืคึผืืึทืคึผืก. ืึทืืฅ ืึทืจืืขื. ืืืจ ืืขื ืขื ืืจืืื ืคึฟืึทืจ ืืขืจ ืขืจืฉืืขืจ ืกืคึผืึทืจืง ืืขืงืฆืืข ืฉืืช (ืืึธืจืื)!
DUP. ืืขืฉืึทืก ืื ืืขืงืฆืืข, ืื ืื ืืขืจ ืคึผืจืึธืืืขื ืืขืงืืืขื ืฆื ืืืื. ืืื ืขืืืขืืข ืคืื ื, YARN ืคืืจืฉืืืคื ืฆืืฉืืขืื ืงืึทื ืืืื ืขืจื ืคึฟืึทืจ ืกืคึผืึทืจืง. ืืื YARN, ืขืก ืืื ื ืืืืืง ืฆื ืคืึทืจืจืืืื ืืขื ืคึผืึทืจืึทืืขืืขืจ, ืืืึธืก ืืื ืกืืึทื ืืึทืจื 0.2:
yarn.scheduler.capacity.maximum-am-resource-percent=0.8
ืึทื ืืื, ืืืืื 20% ืคืื ืจืขืกืืจืกื ืื ืืืื ืืื ืื ืคืึทืจืฉืคึผืจืืืืื ื ืคืื ืจืขืกืืจืกื. ื ืึธื ืืฉืึทื ืืื ื ืื ืคึผืึทืจืึทืืขืืขืจืก, ืืืจ ืจืืืึธืืืื ืืึทืจื. ืืขืจ ืคึผืจืึธืืืขื ืืื ืกืึทืืืื ืืื ืื ืจืขืฉื ืคืื ืื ืคึผืึทืจืืืกืึทืคึผืึทื ืฅ ืืขื ืขื ืืืื ืืืืืืช ืฆื ืืืืคื ืึธื ืฆืื ืื ืงืึธื ืืขืงืกื.
ืืงืืจ: www.habr.com