āĻšāĻžāĻŦāĻ°, āĻšā§āĻ¯āĻžāĻ˛ā§! āĻāĻ¤āĻāĻžāĻ˛
āĻāĻŽāĻ°āĻž āĻ¸ā§āĻĒāĻžāĻ°ā§āĻ āĻŦā§āĻ¯āĻŦāĻšāĻžāĻ° āĻāĻŋāĻāĻžāĻŦā§ āĻāĻāĻāĻŋ āĻ¸āĻžāĻŽāĻžāĻ¨ā§āĻ¯ āĻā§āĻŽāĻŋāĻāĻž. āĻāĻŽāĻžāĻĻā§āĻ° āĻ¤āĻŋāĻ¨ āĻŽāĻžāĻ¸ā§āĻ° āĻāĻāĻāĻŋ āĻĒā§āĻ°ā§āĻā§āĻ°āĻžāĻŽ āĻāĻā§
āĻāĻŽāĻžāĻĻā§āĻ° āĻŦā§āĻ¯āĻŦāĻšāĻžāĻ°ā§āĻ° āĻŦāĻŋāĻļā§āĻˇāĻ¤ā§āĻŦ āĻšāĻ˛ āĻ¸ā§āĻĒāĻžāĻ°ā§āĻ-āĻ āĻāĻāĻ¸āĻžāĻĨā§ āĻāĻžāĻ āĻāĻ°āĻž āĻ˛ā§āĻā§āĻ° āĻ¸āĻāĻā§āĻ¯āĻž āĻ¸āĻŽāĻā§āĻ° āĻā§āĻˇā§āĻ ā§āĻ° āĻ¸āĻŽāĻžāĻ¨ āĻšāĻ¤ā§ āĻĒāĻžāĻ°ā§āĨ¤ āĻāĻĻāĻžāĻšāĻ°āĻŖāĻ¸ā§āĻŦāĻ°ā§āĻĒ, āĻāĻāĻāĻŋ āĻ¸ā§āĻŽāĻŋāĻ¨āĻžāĻ°ā§, āĻ¯āĻāĻ¨ āĻ¸āĻŦāĻžāĻ āĻāĻāĻ āĻ¸āĻŽāĻ¯āĻŧā§ āĻāĻŋāĻā§ āĻā§āĻˇā§āĻāĻž āĻāĻ°ā§ āĻāĻŦāĻ āĻāĻŽāĻžāĻĻā§āĻ° āĻļāĻŋāĻā§āĻˇāĻā§āĻ° āĻĒāĻ°ā§ āĻĒā§āĻ¨āĻ°āĻžāĻŦā§āĻ¤ā§āĻ¤āĻŋ āĻāĻ°ā§āĨ¤ āĻāĻŦāĻ āĻāĻāĻŋ āĻ āĻ¨ā§āĻ āĻāĻŋāĻā§ āĻ¨āĻ¯āĻŧ - āĻāĻāĻ¨āĻ āĻāĻāĻ¨āĻ 40 āĻāĻ¨ āĻĒāĻ°ā§āĻ¯āĻ¨ā§āĻ¤āĨ¤ āĻŦāĻŋāĻļā§āĻŦā§ āĻ¸āĻŽā§āĻāĻŦāĻ¤ āĻāĻŽāĻ¨ āĻ āĻ¨ā§āĻ āĻā§āĻŽā§āĻĒāĻžāĻ¨āĻŋ āĻ¨ā§āĻ āĻ¯āĻžāĻ°āĻž āĻāĻ āĻ§āĻ°āĻ¨ā§āĻ° āĻŦā§āĻ¯āĻŦāĻšāĻžāĻ°ā§āĻ° āĻā§āĻˇā§āĻ¤ā§āĻ°ā§ āĻŽā§āĻā§āĻŽā§āĻāĻŋ āĻšāĻ¯āĻŧāĨ¤
āĻĒāĻ°āĻŦāĻ°ā§āĻ¤ā§, āĻāĻŽāĻŋ āĻāĻĒāĻ¨āĻžāĻā§ āĻŦāĻ˛āĻŦ āĻāĻŋāĻāĻžāĻŦā§ āĻāĻŦāĻ āĻā§āĻ¨ āĻāĻŽāĻ°āĻž āĻ¨āĻŋāĻ°ā§āĻĻāĻŋāĻˇā§āĻ āĻāĻ¨āĻĢāĻŋāĻāĻžāĻ° āĻĒāĻ°āĻžāĻŽāĻŋāĻ¤āĻŋ āĻ¨āĻŋāĻ°ā§āĻŦāĻžāĻāĻ¨ āĻāĻ°ā§āĻāĻŋāĨ¤
āĻāĻāĻĻāĻŽ āĻā§āĻĄāĻŧāĻž āĻĨā§āĻā§ āĻļā§āĻ°ā§ āĻāĻ°āĻž āĻ¯āĻžāĻāĨ¤ āĻ¸ā§āĻĒāĻžāĻ°ā§āĻā§āĻ° āĻāĻāĻāĻŋ āĻā§āĻ˛āĻžāĻ¸ā§āĻāĻžāĻ°ā§ āĻāĻžāĻ˛āĻžāĻ¨ā§āĻ° āĻāĻ¨ā§āĻ¯ 3āĻāĻŋ āĻŦāĻŋāĻāĻ˛ā§āĻĒ āĻ°āĻ¯āĻŧā§āĻā§: āĻ¸ā§āĻŦāĻ¤āĻ¨ā§āĻ¤ā§āĻ°, āĻŽā§āĻ¸ā§āĻ¸ āĻŦā§āĻ¯āĻŦāĻšāĻžāĻ° āĻāĻ°ā§ āĻāĻŦāĻ āĻāĻ¯āĻŧāĻžāĻ°āĻ¨ āĻŦā§āĻ¯āĻŦāĻšāĻžāĻ° āĻāĻ°ā§āĨ¤ āĻāĻŽāĻ°āĻž āĻ¤ā§āĻ¤ā§āĻ¯āĻŧ āĻŦāĻŋāĻāĻ˛ā§āĻĒ āĻŦā§āĻā§ āĻ¨ā§āĻāĻ¯āĻŧāĻžāĻ° āĻ¸āĻŋāĻĻā§āĻ§āĻžāĻ¨ā§āĻ¤ āĻ¨āĻŋāĻ¯āĻŧā§āĻāĻŋ āĻāĻžāĻ°āĻŖ āĻāĻāĻŋ āĻāĻŽāĻžāĻĻā§āĻ° āĻāĻžāĻā§ āĻŦā§āĻ§āĻāĻŽā§āĻ¯ āĻāĻŋāĻ˛āĨ¤ āĻāĻŽāĻ°āĻž āĻāĻ¤āĻŋāĻŽāĻ§ā§āĻ¯ā§ āĻāĻāĻāĻŋ hadoop āĻā§āĻ˛āĻžāĻ¸ā§āĻāĻžāĻ° āĻāĻā§. āĻāĻŽāĻžāĻĻā§āĻ° āĻ āĻāĻļāĻā§āĻ°āĻšāĻŖāĻāĻžāĻ°ā§āĻ°āĻž āĻāĻ¤āĻŋāĻŽāĻ§ā§āĻ¯ā§ āĻāĻ° āĻ¸ā§āĻĨāĻžāĻĒāĻ¤ā§āĻ¯ā§āĻ° āĻ¸āĻžāĻĨā§ āĻāĻžāĻ˛āĻāĻžāĻŦā§ āĻĒāĻ°āĻŋāĻāĻŋāĻ¤āĨ¤ āĻāĻ° āĻ¸ā§āĻ¤āĻž āĻŦā§āĻ¯āĻŦāĻšāĻžāĻ° āĻāĻ°āĻž āĻ¯āĻžāĻ.
spark.master=yarn
āĻāĻ°āĻ āĻāĻāĻ°ā§āĻˇāĻŖā§āĻ¯āĻŧāĨ¤ āĻāĻ 3āĻāĻŋ āĻ¸ā§āĻĨāĻžāĻĒāĻ¨āĻžāĻ° āĻŦāĻŋāĻāĻ˛ā§āĻĒāĻā§āĻ˛āĻŋāĻ° āĻĒā§āĻ°āĻ¤āĻŋāĻāĻŋāĻ¤ā§ 2āĻāĻŋ āĻ¸ā§āĻĨāĻžāĻĒāĻ¨āĻžāĻ° āĻŦāĻŋāĻāĻ˛ā§āĻĒ āĻ°āĻ¯āĻŧā§āĻā§: āĻā§āĻ˛āĻžāĻ¯āĻŧā§āĻ¨ā§āĻ āĻāĻŦāĻ āĻā§āĻ˛āĻžāĻ¸ā§āĻāĻžāĻ°ā§ˇ āĻāĻŋāĻ¤ā§āĻ¤āĻŋāĻ
spark.deploy-mode=client
āĻ¸āĻžāĻ§āĻžāĻ°āĻŖāĻāĻžāĻŦā§, āĻāĻāĻ¨ āĻĨā§āĻā§ āĻ¸ā§āĻĒāĻžāĻ°ā§āĻ āĻā§āĻ¨āĻāĻāĻžāĻŦā§ āĻāĻ¯āĻŧāĻžāĻ°ā§āĻ¨ā§ āĻāĻžāĻ āĻāĻ°āĻŦā§, āĻ¤āĻŦā§ āĻāĻāĻŋ āĻāĻŽāĻžāĻĻā§āĻ° āĻāĻ¨ā§āĻ¯ āĻ¯āĻĨā§āĻˇā§āĻ āĻāĻŋāĻ˛ āĻ¨āĻžāĨ¤ āĻ¯ā§āĻšā§āĻ¤ā§ āĻāĻŽāĻžāĻĻā§āĻ° āĻāĻžāĻā§ āĻŦāĻŋāĻ āĻĄā§āĻāĻž āĻ¸āĻŽā§āĻĒāĻ°ā§āĻā§ āĻāĻāĻāĻŋ āĻĒā§āĻ°ā§āĻā§āĻ°āĻžāĻŽ āĻ°āĻ¯āĻŧā§āĻā§, āĻ¤āĻžāĻ āĻāĻāĻ¨āĻ āĻāĻāĻ¨āĻ āĻ āĻāĻļāĻā§āĻ°āĻšāĻŖāĻāĻžāĻ°ā§āĻĻā§āĻ° āĻāĻžāĻā§ āĻ¸āĻŽā§āĻĒāĻĻā§āĻ° āĻ¸āĻŽāĻžāĻ¨ āĻ āĻāĻļā§āĻ° āĻāĻžāĻ āĻžāĻŽā§āĻ° āĻŽāĻ§ā§āĻ¯ā§ āĻ¯āĻž āĻĒā§āĻ°āĻžāĻĒā§āĻ¤ āĻšāĻ¯āĻŧā§āĻāĻŋāĻ˛ āĻ¤āĻž āĻ¯āĻĨā§āĻˇā§āĻ āĻāĻŋāĻ˛ āĻ¨āĻžāĨ¤ āĻāĻŦāĻ āĻ¤āĻžāĻ°āĻĒāĻ°ā§ āĻāĻŽāĻ°āĻž āĻāĻāĻāĻŋ āĻāĻāĻ°ā§āĻˇāĻŖā§āĻ¯āĻŧ āĻāĻŋāĻ¨āĻŋāĻ¸ āĻā§āĻāĻā§ āĻĒā§āĻ¯āĻŧā§āĻāĻŋ - āĻāĻ¤āĻŋāĻļā§āĻ˛ āĻ¸āĻŽā§āĻĒāĻĻ āĻŦāĻ°āĻžāĻĻā§āĻĻāĨ¤ āĻ¸āĻāĻā§āĻˇā§āĻĒā§, āĻĒāĻ¯āĻŧā§āĻ¨ā§āĻāĻāĻŋ āĻšāĻ˛: āĻ¯āĻĻāĻŋ āĻāĻĒāĻ¨āĻžāĻ° āĻāĻāĻāĻŋ āĻāĻ āĻŋāĻ¨ āĻāĻžāĻ āĻĨāĻžāĻā§ āĻāĻŦāĻ āĻā§āĻ˛āĻžāĻ¸ā§āĻāĻžāĻ°āĻāĻŋ āĻŦāĻŋāĻ¨āĻžāĻŽā§āĻ˛ā§āĻ¯ā§ āĻĨāĻžāĻā§ (āĻāĻĻāĻžāĻšāĻ°āĻŖāĻ¸ā§āĻŦāĻ°ā§āĻĒ, āĻ¸āĻāĻžāĻ˛ā§), āĻ¤āĻŦā§ āĻāĻ āĻŦāĻŋāĻāĻ˛ā§āĻĒāĻāĻŋ āĻŦā§āĻ¯āĻŦāĻšāĻžāĻ° āĻāĻ°ā§ āĻ¸ā§āĻĒāĻžāĻ°ā§āĻ āĻāĻĒāĻ¨āĻžāĻā§ āĻ āĻ¤āĻŋāĻ°āĻŋāĻā§āĻ¤ āĻ¸āĻāĻ¸ā§āĻĨāĻžāĻ¨ āĻĻāĻŋāĻ¤ā§ āĻĒāĻžāĻ°ā§āĨ¤ āĻāĻāĻāĻŋ āĻ§ā§āĻ°ā§āĻ¤ āĻ¸ā§āĻ¤ā§āĻ° āĻ āĻ¨ā§āĻ¯āĻžāĻ¯āĻŧā§ āĻ¸ā§āĻāĻžāĻ¨ā§ āĻĒā§āĻ°āĻ¯āĻŧā§āĻāĻ¨ā§āĻ¯āĻŧāĻ¤āĻž āĻāĻŖāĻ¨āĻž āĻāĻ°āĻž āĻšāĻ¯āĻŧāĨ¤ āĻāĻŽāĻ°āĻž āĻŦāĻŋāĻļāĻĻā§ āĻ¯āĻžāĻŦ āĻ¨āĻž - āĻāĻāĻŋ āĻāĻžāĻ˛ āĻāĻžāĻ āĻāĻ°ā§āĨ¤
spark.dynamicAllocation.enabled=true
āĻāĻŽāĻ°āĻž āĻāĻ āĻĒā§āĻ¯āĻžāĻ°āĻžāĻŽāĻŋāĻāĻžāĻ° āĻ¸ā§āĻ āĻāĻ°ā§āĻāĻŋ, āĻāĻŦāĻ āĻ¸ā§āĻāĻžāĻ°ā§āĻāĻāĻĒā§āĻ° āĻ¸āĻŽāĻ¯āĻŧ āĻ¸ā§āĻĒāĻžāĻ°ā§āĻ āĻā§āĻ°ā§āĻ¯āĻžāĻļ āĻšāĻ¯āĻŧā§ āĻā§āĻā§ āĻāĻŦāĻ āĻļā§āĻ°ā§ āĻšāĻ¯āĻŧāĻ¨āĻŋāĨ¤ āĻāĻāĻž āĻ āĻŋāĻ, āĻāĻžāĻ°āĻŖ āĻāĻŽāĻžāĻā§ āĻĒāĻĄāĻŧāĻ¤ā§ āĻšāĻ¯āĻŧā§āĻāĻŋāĻ˛
spark.shuffle.service.enabled=true
āĻāĻāĻž āĻā§āĻ¨ āĻĒā§āĻ°āĻ¯āĻŧā§āĻāĻ¨? āĻ¯āĻāĻ¨ āĻāĻŽāĻžāĻĻā§āĻ° āĻāĻžāĻā§āĻ° āĻāĻ¨ā§āĻ¯ āĻāĻ¤āĻā§āĻ˛āĻŋ āĻ¸āĻāĻ¸ā§āĻĨāĻžāĻ¨ āĻĒā§āĻ°āĻ¯āĻŧā§āĻāĻ¨ āĻšāĻ¯āĻŧ āĻ¨āĻž, āĻ¤āĻāĻ¨ āĻ¸ā§āĻĒāĻžāĻ°ā§āĻā§āĻ° āĻāĻāĻŋāĻ¤ āĻ¸ā§āĻā§āĻ˛āĻŋāĻā§ āĻ¸āĻžāĻ§āĻžāĻ°āĻŖ āĻĒā§āĻ˛ā§ āĻĢāĻŋāĻ°āĻŋāĻ¯āĻŧā§ āĻĻā§āĻāĻ¯āĻŧāĻžāĨ¤ āĻĒā§āĻ°āĻžāĻ¯āĻŧ āĻ¯ā§āĻā§āĻ¨ā§ MapReduce āĻāĻžāĻ¸ā§āĻā§āĻ° āĻ¸āĻŦāĻā§āĻ¯āĻŧā§ āĻ¸āĻŽāĻ¯āĻŧāĻ¸āĻžāĻĒā§āĻā§āĻˇ āĻĒāĻ°ā§āĻ¯āĻžāĻ¯āĻŧ āĻšāĻ˛ āĻļāĻžāĻĢā§āĻ˛ āĻ¸ā§āĻā§āĻāĨ¤ āĻāĻ āĻĒāĻ°āĻžāĻŽāĻŋāĻ¤āĻŋāĻāĻŋ āĻāĻĒāĻ¨āĻžāĻā§ āĻāĻ āĻĒāĻ°ā§āĻ¯āĻžāĻ¯āĻŧā§ āĻāĻ¤ā§āĻĒāĻ¨ā§āĻ¨ āĻĄā§āĻāĻž āĻ¸āĻāĻ°āĻā§āĻˇāĻŖ āĻāĻ°āĻ¤ā§ āĻāĻŦāĻ āĻ¸ā§āĻ āĻ āĻ¨ā§āĻ¯āĻžāĻ¯āĻŧā§ āĻ¨āĻŋāĻ°ā§āĻŦāĻžāĻšāĻāĻĻā§āĻ° āĻŽā§āĻā§āĻ¤āĻŋ āĻĻāĻŋāĻ¤ā§ āĻĻā§āĻ¯āĻŧāĨ¤ āĻāĻŦāĻ āĻ¨āĻŋāĻ°ā§āĻŦāĻžāĻšāĻ āĻšāĻ˛ āĻ¸ā§āĻ āĻĒā§āĻ°āĻā§āĻ°āĻŋāĻ¯āĻŧāĻž āĻ¯āĻž āĻāĻ°ā§āĻŽā§āĻ° āĻāĻĒāĻ° āĻ¸āĻŦāĻāĻŋāĻā§ āĻāĻŖāĻ¨āĻž āĻāĻ°ā§āĨ¤ āĻāĻāĻŋāĻ¤ā§ āĻāĻāĻāĻŋ āĻ¨āĻŋāĻ°ā§āĻĻāĻŋāĻˇā§āĻ āĻ¸āĻāĻā§āĻ¯āĻ āĻĒā§āĻ°āĻ¸ā§āĻ¸āĻ° āĻā§āĻ° āĻāĻŦāĻ āĻāĻāĻāĻŋ āĻ¨āĻŋāĻ°ā§āĻĻāĻŋāĻˇā§āĻ āĻĒāĻ°āĻŋāĻŽāĻžāĻŖ āĻŽā§āĻŽāĻ°āĻŋ āĻ°āĻ¯āĻŧā§āĻā§āĨ¤
āĻāĻ āĻĒā§āĻ¯āĻžāĻ°āĻžāĻŽāĻŋāĻāĻžāĻ° āĻ¯ā§āĻ āĻāĻ°āĻž āĻšāĻ¯āĻŧā§āĻā§. āĻ¸āĻŦāĻāĻŋāĻā§ āĻāĻžāĻ āĻŦāĻ˛ā§ āĻŽāĻ¨ā§ āĻšāĻā§āĻā§. āĻāĻāĻŋ āĻ˛āĻā§āĻˇāĻŖā§āĻ¯āĻŧ āĻšāĻ¯āĻŧā§ āĻāĻ ā§ āĻ¯ā§ āĻ āĻāĻļāĻā§āĻ°āĻšāĻŖāĻāĻžāĻ°ā§āĻĻā§āĻ° āĻ¯āĻāĻ¨ āĻ¤āĻžāĻĻā§āĻ° āĻĒā§āĻ°āĻ¯āĻŧā§āĻāĻ¨ āĻ¤āĻāĻ¨ āĻ¤āĻžāĻĻā§āĻ° āĻāĻ°āĻ āĻ¸āĻāĻ¸ā§āĻĨāĻžāĻ¨ āĻĻā§āĻāĻ¯āĻŧāĻž āĻšāĻ¯āĻŧā§āĻāĻŋāĻ˛āĨ¤ āĻāĻŋāĻ¨ā§āĻ¤ā§ āĻāĻ°ā§āĻāĻāĻŋ āĻ¸āĻŽāĻ¸ā§āĻ¯āĻž āĻĻā§āĻāĻž āĻĻāĻŋāĻ¯āĻŧā§āĻā§ - āĻāĻŋāĻā§ āĻ¸āĻŽāĻ¯āĻŧā§ āĻ āĻ¨ā§āĻ¯āĻžāĻ¨ā§āĻ¯ āĻ āĻāĻļāĻā§āĻ°āĻšāĻŖāĻāĻžāĻ°ā§āĻ°āĻž āĻā§āĻā§ āĻāĻ ā§āĻāĻŋāĻ˛ āĻāĻŦāĻ āĻ¸ā§āĻĒāĻžāĻ°ā§āĻ āĻŦā§āĻ¯āĻŦāĻšāĻžāĻ° āĻāĻ°āĻ¤ā§ āĻā§āĻ¯āĻŧā§āĻāĻŋāĻ˛, āĻāĻŋāĻ¨ā§āĻ¤ā§ āĻ¸ā§āĻāĻžāĻ¨ā§ āĻ¸āĻŦāĻāĻŋāĻā§āĻ āĻŦā§āĻ¯āĻ¸ā§āĻ¤ āĻāĻŋāĻ˛ āĻāĻŦāĻ āĻ¤āĻžāĻ°āĻž āĻ āĻ¸āĻ¨ā§āĻ¤ā§āĻˇā§āĻ āĻāĻŋāĻ˛āĨ¤ āĻ¸ā§āĻā§āĻ˛ā§ āĻŦā§āĻāĻž āĻ¯āĻžāĻ¯āĻŧāĨ¤ āĻāĻŽāĻ°āĻž āĻĄāĻā§āĻŽā§āĻ¨ā§āĻā§āĻļāĻ¨ āĻĻā§āĻāĻ¤ā§ āĻļā§āĻ°ā§. āĻāĻāĻŋ āĻĒā§āĻ°āĻŽāĻžāĻŖāĻŋāĻ¤ āĻšāĻ¯āĻŧā§āĻā§ āĻ¯ā§ āĻĒā§āĻ°āĻā§āĻ°āĻŋāĻ¯āĻŧāĻžāĻāĻŋāĻā§ āĻĒā§āĻ°āĻāĻžāĻŦāĻŋāĻ¤ āĻāĻ°āĻ¤ā§ āĻŦā§āĻ¯āĻŦāĻšāĻžāĻ° āĻāĻ°āĻž āĻ¯ā§āĻ¤ā§ āĻĒāĻžāĻ°ā§ āĻāĻŽāĻ¨ āĻ āĻ¨ā§āĻāĻā§āĻ˛āĻŋ āĻĒāĻ°āĻžāĻŽāĻŋāĻ¤āĻŋ āĻ°āĻ¯āĻŧā§āĻā§āĨ¤ āĻāĻĻāĻžāĻšāĻ°āĻŖāĻ¸ā§āĻŦāĻ°ā§āĻĒ, āĻ¯āĻĻāĻŋ āĻ¨āĻŋāĻ°ā§āĻŦāĻžāĻšāĻ āĻ¸ā§āĻā§āĻ¯āĻžāĻ¨ā§āĻĄāĻŦāĻžāĻ āĻŽā§āĻĄā§ āĻĨāĻžāĻā§, āĻ¤āĻžāĻšāĻ˛ā§ āĻāĻ¤ āĻ¸āĻŽāĻ¯āĻŧā§āĻ° āĻĒāĻ°ā§ āĻāĻāĻŋ āĻĨā§āĻā§ āĻ¸āĻāĻ¸ā§āĻĨāĻžāĻ¨ āĻ¨ā§āĻāĻ¯āĻŧāĻž āĻ¯ā§āĻ¤ā§ āĻĒāĻžāĻ°ā§?
spark.dynamicAllocation.executorIdleTimeout=120s
āĻāĻŽāĻžāĻĻā§āĻ° āĻā§āĻˇā§āĻ¤ā§āĻ°ā§, āĻ¯āĻĻāĻŋ āĻāĻĒāĻ¨āĻžāĻ° āĻ¨āĻŋāĻ°ā§āĻŦāĻžāĻšāĻāĻ°āĻž āĻĻā§āĻ āĻŽāĻŋāĻ¨āĻŋāĻā§āĻ° āĻāĻ¨ā§āĻ¯ āĻāĻŋāĻā§āĻ āĻ¨āĻž āĻāĻ°ā§āĻ¨, āĻ¤āĻžāĻšāĻ˛ā§ āĻ āĻ¨ā§āĻā§āĻ°āĻš āĻāĻ°ā§ āĻ¤āĻžāĻĻā§āĻ° āĻ¸āĻžāĻ§āĻžāĻ°āĻŖ āĻĒā§āĻ˛ā§ āĻĢāĻŋāĻ°āĻŋāĻ¯āĻŧā§ āĻĻāĻŋāĻ¨āĨ¤ āĻāĻŋāĻ¨ā§āĻ¤ā§ āĻāĻ āĻĒāĻ°āĻžāĻŽāĻŋāĻ¤āĻŋ āĻ¸āĻŦāĻ¸āĻŽāĻ¯āĻŧ āĻ¯āĻĨā§āĻˇā§āĻ āĻāĻŋāĻ˛ āĻ¨āĻžāĨ¤ āĻāĻāĻž āĻ¸ā§āĻĒāĻˇā§āĻ āĻ¯ā§ āĻŦā§āĻ¯āĻā§āĻ¤āĻŋāĻāĻŋ āĻĻā§āĻ°ā§āĻāĻĻāĻŋāĻ¨ āĻ§āĻ°ā§ āĻāĻŋāĻā§ āĻāĻ°āĻā§ āĻ¨āĻž, āĻāĻŦāĻ āĻ¸āĻŽā§āĻĒāĻĻ āĻŽā§āĻā§āĻ¤ āĻāĻ°āĻž āĻšāĻā§āĻā§ āĻ¨āĻžāĨ¤ āĻāĻāĻŋ āĻĒā§āĻ°āĻŽāĻžāĻŖāĻŋāĻ¤ āĻšāĻ¯āĻŧā§āĻā§ āĻ¯ā§ āĻāĻāĻāĻŋ āĻŦāĻŋāĻļā§āĻˇ āĻĒāĻ°āĻžāĻŽāĻŋāĻ¤āĻŋāĻ āĻ°āĻ¯āĻŧā§āĻā§ - āĻāĻ¤ āĻ¸āĻŽāĻ¯āĻŧā§āĻ° āĻĒāĻ°ā§ āĻā§āĻ¯āĻžāĻļā§ āĻĄā§āĻāĻž āĻ§āĻžāĻ°āĻŖ āĻāĻ°ā§ āĻ¨āĻŋāĻ°ā§āĻŦāĻžāĻšāĻ āĻ¨āĻŋāĻ°ā§āĻŦāĻžāĻāĻ¨ āĻāĻ°āĻ¤ā§ āĻšāĻŦā§āĨ¤ āĻĄāĻŋāĻĢāĻ˛ā§āĻāĻ°ā§āĻĒā§, āĻāĻ āĻĒāĻ°āĻžāĻŽāĻŋāĻ¤āĻŋ āĻ āĻ¸ā§āĻŽ āĻāĻŋāĻ˛! āĻāĻŽāĻ°āĻž āĻ¤āĻž āĻ¸āĻāĻļā§āĻ§āĻ¨ āĻāĻ°ā§āĻāĻŋāĨ¤
spark.dynamicAllocation.cachedExecutorIdleTimeout=600s
āĻ āĻ°ā§āĻĨāĻžā§, āĻ¯āĻĻāĻŋ āĻāĻĒāĻ¨āĻžāĻ° āĻ¨āĻŋāĻ°ā§āĻŦāĻžāĻšāĻ 5 āĻŽāĻŋāĻ¨āĻŋāĻā§āĻ° āĻāĻ¨ā§āĻ¯ āĻāĻŋāĻā§āĻ āĻ¨āĻž āĻāĻ°ā§āĻ¨, āĻ¤āĻžāĻšāĻ˛ā§ āĻ¤āĻžāĻĻā§āĻ° āĻ¸āĻžāĻ§āĻžāĻ°āĻŖ āĻĒā§āĻ˛ā§ āĻĻāĻŋāĻ¨āĨ¤ āĻāĻ āĻŽā§āĻĄā§, āĻŦāĻŋāĻĒā§āĻ˛ āĻ¸āĻāĻā§āĻ¯āĻ āĻŦā§āĻ¯āĻŦāĻšāĻžāĻ°āĻāĻžāĻ°ā§āĻ° āĻāĻ¨ā§āĻ¯ āĻ°āĻŋāĻ˛āĻŋāĻ āĻāĻŦāĻ āĻ°āĻŋāĻ˛āĻŋāĻ āĻāĻ°āĻžāĻ° āĻāĻ¤āĻŋ āĻļāĻžāĻ˛ā§āĻ¨ āĻšāĻ¯āĻŧā§ āĻāĻ ā§āĻā§āĨ¤ āĻ āĻ¸āĻ¨ā§āĻ¤ā§āĻˇā§āĻ° āĻĒāĻ°āĻŋāĻŽāĻžāĻŖ āĻāĻŽā§āĻā§āĨ¤ āĻāĻŋāĻ¨ā§āĻ¤ā§ āĻāĻŽāĻ°āĻž āĻāĻ°āĻ āĻāĻāĻŋāĻ¯āĻŧā§ āĻ¯āĻžāĻāĻ¯āĻŧāĻžāĻ° āĻ¸āĻŋāĻĻā§āĻ§āĻžāĻ¨ā§āĻ¤ āĻ¨āĻŋāĻ¯āĻŧā§āĻāĻŋ āĻāĻŦāĻ āĻĒā§āĻ°āĻ¤āĻŋ āĻ ā§āĻ¯āĻžāĻĒā§āĻ˛āĻŋāĻā§āĻļāĻ¨ā§āĻ° āĻ¸āĻ°ā§āĻŦā§āĻā§āĻ āĻ¸āĻāĻā§āĻ¯āĻ āĻ¨āĻŋāĻ°ā§āĻŦāĻžāĻšāĻāĻā§ āĻ¸ā§āĻŽāĻŋāĻ¤ āĻāĻ°āĻžāĻ° āĻ¸āĻŋāĻĻā§āĻ§āĻžāĻ¨ā§āĻ¤ āĻ¨āĻŋāĻ¯āĻŧā§āĻāĻŋ - āĻŽā§āĻ˛āĻ¤ āĻĒā§āĻ°āĻ¤āĻŋ āĻĒā§āĻ°ā§āĻā§āĻ°āĻžāĻŽ āĻ āĻāĻļāĻā§āĻ°āĻšāĻŖāĻāĻžāĻ°ā§āĻ° āĻāĻ¨ā§āĻ¯āĨ¤
spark.dynamicAllocation.maxExecutors=19
āĻāĻāĻ¨, āĻ āĻŦāĻļā§āĻ¯āĻ, āĻ āĻ¨ā§āĻ¯ āĻĻāĻŋāĻā§ āĻ āĻ¸āĻ¨ā§āĻ¤ā§āĻˇā§āĻ āĻ˛ā§āĻ āĻ°āĻ¯āĻŧā§āĻā§ - "āĻā§āĻ˛āĻžāĻ¸ā§āĻāĻžāĻ°āĻāĻŋ āĻ¨āĻŋāĻˇā§āĻā§āĻ°āĻŋāĻ¯āĻŧ, āĻāĻŦāĻ āĻāĻŽāĻžāĻ° āĻāĻžāĻā§ āĻŽāĻžāĻ¤ā§āĻ° 19 āĻāĻ¨ āĻ¨āĻŋāĻ°ā§āĻŦāĻžāĻšāĻ āĻ°āĻ¯āĻŧā§āĻā§," āĻ¤āĻŦā§ āĻāĻĒāĻ¨āĻŋ āĻā§ āĻāĻ°āĻ¤ā§ āĻĒāĻžāĻ°ā§āĻ¨? āĻāĻŽāĻžāĻĻā§āĻ° āĻāĻŋāĻā§ āĻ§āĻ°āĻŖā§āĻ° āĻ¸āĻ āĻŋāĻ āĻāĻžāĻ°āĻ¸āĻžāĻŽā§āĻ¯ āĻĻāĻ°āĻāĻžāĻ°āĨ¤ āĻāĻĒāĻ¨āĻŋ āĻ¸āĻŦāĻžāĻāĻā§ āĻā§āĻļāĻŋ āĻāĻ°āĻ¤ā§ āĻĒāĻžāĻ°āĻŦā§āĻ¨ āĻ¨āĻžāĨ¤
āĻāĻŦāĻ āĻāĻŽāĻžāĻĻā§āĻ° āĻŽāĻžāĻŽāĻ˛āĻžāĻ° āĻ¸ā§āĻĒā§āĻ¸āĻŋāĻĢāĻŋāĻā§āĻļāĻ¨ āĻ¸āĻŽā§āĻĒāĻ°ā§āĻāĻŋāĻ¤ āĻāĻ°āĻ āĻāĻāĻāĻŋ āĻā§āĻ āĻāĻ˛ā§āĻĒāĨ¤ āĻāĻāĻ°āĻāĻŽ, āĻŦā§āĻļ āĻāĻŋāĻā§ āĻ˛ā§āĻ āĻāĻāĻāĻŋ āĻŦā§āĻ¯āĻŦāĻšāĻžāĻ°āĻŋāĻ āĻĒāĻžāĻ ā§āĻ° āĻāĻ¨ā§āĻ¯ āĻĻā§āĻ°ā§ āĻāĻ°ā§āĻāĻŋāĻ˛ āĻāĻŦāĻ āĻāĻŋāĻā§ āĻāĻžāĻ°āĻŖā§ āĻ¤āĻžāĻĻā§āĻ° āĻāĻ¨ā§āĻ¯ āĻ¸ā§āĻĒāĻžāĻ°ā§āĻ āĻļā§āĻ°ā§ āĻšāĻ¯āĻŧāĻ¨āĻŋāĨ¤ āĻāĻŽāĻ°āĻž āĻŦāĻŋāĻ¨āĻžāĻŽā§āĻ˛ā§āĻ¯ā§ āĻ¸āĻŽā§āĻĒāĻĻā§āĻ° āĻĒāĻ°āĻŋāĻŽāĻžāĻŖ āĻĻā§āĻā§āĻāĻŋ - āĻāĻāĻŋ āĻāĻā§ āĻŦāĻ˛ā§ āĻŽāĻ¨ā§ āĻšāĻ¯āĻŧāĨ¤ āĻ¸ā§āĻĒāĻžāĻ°ā§āĻ āĻļā§āĻ°ā§ āĻāĻ°āĻž āĻāĻāĻŋāĻ¤āĨ¤ āĻ¸ā§āĻāĻžāĻā§āĻ¯āĻŦāĻļāĻ¤, āĻ¤āĻ¤āĻā§āĻˇāĻŖā§ āĻĄāĻā§āĻŽā§āĻ¨ā§āĻā§āĻļāĻ¨āĻāĻŋ āĻāĻ¤āĻŋāĻŽāĻ§ā§āĻ¯ā§āĻ āĻā§āĻĨāĻžāĻ āĻ¸āĻžāĻŦāĻāĻ°ā§āĻā§āĻā§āĻ¸ā§ āĻ¯ā§āĻ āĻāĻ°āĻž āĻšāĻ¯āĻŧā§āĻā§, āĻāĻŦāĻ āĻāĻŽāĻ°āĻž āĻŽāĻ¨ā§ āĻ°ā§āĻā§āĻāĻŋāĻ˛āĻžāĻŽ āĻ¯ā§ āĻāĻžāĻ˛ā§ āĻāĻ°āĻžāĻ° āĻ¸āĻŽāĻ¯āĻŧ, āĻ¸ā§āĻĒāĻžāĻ°ā§āĻ āĻāĻāĻāĻŋ āĻŦāĻ¨ā§āĻĻāĻ° āĻā§āĻāĻā§ āĻ¯āĻž āĻļā§āĻ°ā§ āĻšāĻŦā§āĨ¤ āĻ¯āĻĻāĻŋ āĻ°ā§āĻā§āĻā§āĻ° āĻĒā§āĻ°āĻĨāĻŽ āĻĒā§āĻ°ā§āĻāĻāĻŋ āĻŦā§āĻ¯āĻ¸ā§āĻ¤ āĻĨāĻžāĻā§, āĻ¤āĻŦā§ āĻāĻāĻŋ āĻā§āĻ°āĻŽāĻžāĻ¨ā§āĻ¸āĻžāĻ°ā§ āĻĒāĻ°āĻŦāĻ°ā§āĻ¤ā§āĻ¤ā§ āĻāĻ˛ā§ āĻ¯āĻžāĻ¯āĻŧāĨ¤ āĻ¯āĻĻāĻŋ āĻāĻāĻŋ āĻŦāĻŋāĻ¨āĻžāĻŽā§āĻ˛ā§āĻ¯ā§ āĻšāĻ¯āĻŧ, āĻāĻāĻŋ āĻā§āĻ¯āĻžāĻĒāĻāĻžāĻ° āĻāĻ°ā§āĨ¤ āĻāĻŦāĻ āĻāĻāĻāĻŋ āĻĒā§āĻ¯āĻžāĻ°āĻžāĻŽāĻŋāĻāĻžāĻ° āĻ°āĻ¯āĻŧā§āĻā§ āĻ¯āĻž āĻāĻāĻŋāĻ° āĻāĻ¨ā§āĻ¯ āĻ¸āĻ°ā§āĻŦāĻžāĻ§āĻŋāĻ āĻ¸āĻāĻā§āĻ¯āĻ āĻĒā§āĻ°āĻā§āĻˇā§āĻāĻž āĻ¨āĻŋāĻ°ā§āĻĻā§āĻļ āĻāĻ°ā§āĨ¤ āĻĄāĻŋāĻĢāĻ˛ā§āĻ āĻšāĻ˛ 16āĨ¤ āĻ¸āĻāĻā§āĻ¯āĻžāĻāĻŋ āĻā§āĻ˛āĻžāĻ¸ā§ āĻāĻŽāĻžāĻĻā§āĻ° āĻā§āĻ°ā§āĻĒā§āĻ° āĻ˛ā§āĻā§āĻ° āĻ¸āĻāĻā§āĻ¯āĻžāĻ° āĻā§āĻ¯āĻŧā§ āĻāĻŽāĨ¤ āĻ¤āĻĻāĻ¨ā§āĻ¸āĻžāĻ°ā§, 16 āĻāĻŋ āĻĒā§āĻ°āĻā§āĻˇā§āĻāĻžāĻ° āĻĒāĻ°ā§, āĻ¸ā§āĻĒāĻžāĻ°ā§āĻ āĻšāĻžāĻ˛ āĻā§āĻĄāĻŧā§ āĻĻāĻŋāĻ¯āĻŧā§ āĻŦāĻ˛ā§āĻāĻŋāĻ˛ āĻ¯ā§ āĻāĻŽāĻŋ āĻļā§āĻ°ā§ āĻāĻ°āĻ¤ā§ āĻĒāĻžāĻ°āĻŋāĻ¨āĻŋāĨ¤ āĻāĻŽāĻ°āĻž āĻāĻ āĻĒāĻ°āĻžāĻŽāĻŋāĻ¤āĻŋ āĻ¸āĻāĻļā§āĻ§āĻ¨ āĻāĻ°ā§āĻāĻŋāĨ¤
spark.port.maxRetries=50
āĻāĻ°āĻĒāĻ°ā§ āĻāĻŽāĻŋ āĻāĻĒāĻ¨āĻžāĻā§ āĻāĻŽāĻ¨ āĻāĻŋāĻā§ āĻ¸ā§āĻāĻŋāĻāĻ¸ āĻ¸āĻŽā§āĻĒāĻ°ā§āĻā§ āĻŦāĻ˛āĻŦ āĻ¯āĻž āĻāĻŽāĻžāĻĻā§āĻ° āĻā§āĻ¸ā§āĻ° āĻ¨āĻŋāĻ°ā§āĻĻāĻŋāĻˇā§āĻāĻ¤āĻžāĻ° āĻ¸āĻžāĻĨā§ āĻā§āĻŦ āĻŦā§āĻļāĻŋ āĻ¸āĻŽā§āĻĒāĻ°ā§āĻāĻŋāĻ¤ āĻ¨āĻ¯āĻŧāĨ¤
āĻĻā§āĻ°ā§āĻ¤ āĻ¸ā§āĻĒāĻžāĻ°ā§āĻ āĻļā§āĻ°ā§ āĻāĻ°āĻ¤ā§, SPARK_HOME āĻšā§āĻŽ āĻĄāĻŋāĻ°ā§āĻā§āĻāĻ°āĻŋāĻ¤ā§ āĻ āĻŦāĻ¸ā§āĻĨāĻŋāĻ¤ āĻāĻžāĻ° āĻĢā§āĻ˛ā§āĻĄāĻžāĻ°āĻāĻŋāĻā§ āĻ¸āĻāĻ°āĻā§āĻˇāĻŖāĻžāĻāĻžāĻ°āĻā§āĻā§āĻ¤ āĻāĻ°āĻžāĻ° āĻāĻŦāĻ HDFS-āĻ āĻ°āĻžāĻāĻžāĻ° āĻĒāĻ°āĻžāĻŽāĻ°ā§āĻļ āĻĻā§āĻāĻ¯āĻŧāĻž āĻšāĻ¯āĻŧā§ˇ āĻ¤āĻžāĻšāĻ˛ā§ āĻ¸ā§ āĻļā§āĻ°āĻŽāĻŋāĻāĻĻā§āĻ° āĻĻāĻŋāĻ¯āĻŧā§ āĻāĻ¸āĻŦ āĻāĻžāĻ°ā§āĻ¨āĻŋāĻ āĻ˛ā§āĻĄ āĻāĻ°ā§ āĻ¸āĻŽāĻ¯āĻŧ āĻ¨āĻˇā§āĻ āĻāĻ°āĻŦā§ āĻ¨āĻžāĨ¤
spark.yarn.archive=hdfs:///tmp/spark-archive.zip
āĻĻā§āĻ°ā§āĻ¤ āĻ āĻĒāĻžāĻ°ā§āĻļāĻ¨ā§āĻ° āĻāĻ¨ā§āĻ¯ āĻā§āĻ°āĻžāĻāĻāĻā§ āĻ¸āĻŋāĻ°āĻŋāĻ¯āĻŧāĻžāĻ˛āĻžāĻāĻāĻžāĻ° āĻšāĻŋāĻ¸ā§āĻŦā§ āĻŦā§āĻ¯āĻŦāĻšāĻžāĻ° āĻāĻ°āĻžāĻ° āĻĒāĻ°āĻžāĻŽāĻ°ā§āĻļ āĻĻā§āĻāĻ¯āĻŧāĻž āĻšāĻ¯āĻŧāĨ¤ āĻāĻāĻŋ āĻĄāĻŋāĻĢāĻ˛ā§āĻ āĻāĻ āĻ¤ā§āĻ˛āĻ¨āĻžāĻ¯āĻŧ āĻāĻ°ā§ āĻ āĻĒā§āĻāĻŋāĻŽāĻžāĻāĻ āĻāĻ°āĻž āĻšāĻ¯āĻŧ.
spark.serializer=org.apache.spark.serializer.KryoSerializer
āĻāĻŦāĻ āĻ¸ā§āĻĒāĻžāĻ°ā§āĻā§āĻ° āĻ¸āĻžāĻĨā§ āĻāĻāĻāĻŋ āĻĻā§āĻ°ā§āĻāĻ¸ā§āĻĨāĻžāĻ¯āĻŧā§ āĻ¸āĻŽāĻ¸ā§āĻ¯āĻžāĻ āĻ°āĻ¯āĻŧā§āĻā§ āĻ¯ā§ āĻāĻāĻŋ āĻĒā§āĻ°āĻžāĻ¯āĻŧāĻļāĻ āĻ¸ā§āĻŽā§āĻ¤āĻŋ āĻĨā§āĻā§ āĻā§āĻ°āĻžāĻļ āĻšāĻ¯āĻŧā§ āĻ¯āĻžāĻ¯āĻŧāĨ¤ āĻĒā§āĻ°āĻžāĻ¯āĻŧāĻļāĻ āĻāĻ āĻŽā§āĻšā§āĻ°ā§āĻ¤ā§ āĻāĻā§ āĻ¯āĻāĻ¨ āĻāĻ°ā§āĻŽā§āĻ°āĻž āĻ¸āĻŦāĻāĻŋāĻā§ āĻāĻŖāĻ¨āĻž āĻāĻ°ā§ āĻĢāĻ˛āĻžāĻĢāĻ˛āĻāĻŋ āĻĄā§āĻ°āĻžāĻāĻāĻžāĻ°āĻā§ āĻĒāĻžāĻ āĻžāĻ¯āĻŧāĨ¤ āĻāĻŽāĻ°āĻž āĻ¨āĻŋāĻā§āĻĻā§āĻ° āĻāĻ¨ā§āĻ¯ āĻāĻ āĻĒāĻ°āĻžāĻŽāĻŋāĻ¤āĻŋ āĻŦāĻĄāĻŧ āĻāĻ°āĻž. āĻĄāĻŋāĻĢāĻ˛ā§āĻāĻ°ā§āĻĒā§, āĻāĻāĻŋ 1GB, āĻāĻŽāĻ°āĻž āĻāĻāĻŋ 3 āĻāĻ°ā§āĻāĻŋāĨ¤
spark.driver.maxResultSize=3072
āĻāĻŦāĻ āĻ āĻŦāĻļā§āĻˇā§, āĻāĻāĻāĻŋ āĻĄā§āĻāĻžāĻ°ā§āĻ āĻšāĻŋāĻ¸āĻžāĻŦā§āĨ¤ HortonWorks āĻĄāĻŋāĻ¸ā§āĻā§āĻ°āĻŋāĻŦāĻŋāĻāĻļāĻ¨ - HDP 2.1-āĻāĻ° āĻ¸āĻāĻ¸ā§āĻāĻ°āĻŖ 2.5.3.0-āĻ āĻ¸ā§āĻĒāĻžāĻ°ā§āĻ āĻā§āĻāĻžāĻŦā§ āĻāĻĒāĻĄā§āĻ āĻāĻ°āĻŦā§āĻ¨āĨ¤ HDP-āĻāĻ° āĻāĻ āĻ¸āĻāĻ¸ā§āĻāĻ°āĻŖā§ āĻāĻāĻāĻŋ āĻāĻā§ āĻĨā§āĻā§ āĻāĻ¨āĻ¸ā§āĻāĻ˛ āĻāĻ°āĻž āĻ¸āĻāĻ¸ā§āĻāĻ°āĻŖ 2.0 āĻ°āĻ¯āĻŧā§āĻā§, āĻāĻŋāĻ¨ā§āĻ¤ā§ āĻāĻŽāĻ°āĻž āĻāĻāĻŦāĻžāĻ° āĻ¨āĻŋāĻā§āĻĻā§āĻ° āĻāĻ¨ā§āĻ¯ āĻ¸āĻŋāĻĻā§āĻ§āĻžāĻ¨ā§āĻ¤ āĻ¨āĻŋāĻ¯āĻŧā§āĻāĻŋāĻ˛āĻžāĻŽ āĻ¯ā§ āĻ¸ā§āĻĒāĻžāĻ°ā§āĻ āĻŦā§āĻļ āĻ¸āĻā§āĻ°āĻŋāĻ¯āĻŧāĻāĻžāĻŦā§ āĻŦāĻŋāĻāĻžāĻļ āĻāĻ°āĻā§, āĻāĻŦāĻ āĻĒā§āĻ°āĻ¤āĻŋāĻāĻŋ āĻ¨āĻ¤ā§āĻ¨ āĻ¸āĻāĻ¸ā§āĻāĻ°āĻŖ āĻāĻŋāĻā§ āĻŦāĻžāĻ āĻ¸āĻāĻļā§āĻ§āĻ¨ āĻāĻ°ā§ āĻāĻŦāĻ āĻĒāĻžāĻāĻĨāĻ¨ API āĻ¸āĻš āĻ āĻ¤āĻŋāĻ°āĻŋāĻā§āĻ¤ āĻŦā§āĻļāĻŋāĻˇā§āĻā§āĻ¯ āĻĒā§āĻ°āĻĻāĻžāĻ¨ āĻāĻ°ā§, āĻ¤āĻžāĻ āĻāĻŽāĻ°āĻž āĻ¸āĻŋāĻĻā§āĻ§āĻžāĻ¨ā§āĻ¤ āĻ¨āĻŋāĻ¯āĻŧā§āĻāĻŋ, āĻā§ āĻāĻ°āĻž āĻĻāĻ°āĻāĻžāĻ° āĻāĻ°āĻž āĻāĻāĻāĻŋ āĻāĻĒāĻĄā§āĻ.
Hadoop 2.7 āĻāĻ° āĻāĻ¨ā§āĻ¯ āĻ āĻĢāĻŋāĻ¸āĻŋāĻ¯āĻŧāĻžāĻ˛ āĻāĻ¯āĻŧā§āĻŦāĻ¸āĻžāĻāĻ āĻĨā§āĻā§ āĻ¸āĻāĻ¸ā§āĻāĻ°āĻŖāĻāĻŋ āĻĄāĻžāĻāĻ¨āĻ˛ā§āĻĄ āĻāĻ°āĻž āĻšāĻ¯āĻŧā§āĻā§āĨ¤ āĻāĻāĻŋ āĻāĻ¨āĻāĻŋāĻĒ āĻāĻ°ā§āĻ¨ āĻāĻŦāĻ HDP āĻĢā§āĻ˛ā§āĻĄāĻžāĻ°ā§ āĻ°āĻžāĻā§āĻ¨āĨ¤ āĻāĻŽāĻ°āĻž āĻĒā§āĻ°āĻ¯āĻŧā§āĻāĻ¨ āĻ āĻ¨ā§āĻ¸āĻžāĻ°ā§ āĻ¸āĻŋāĻŽāĻ˛āĻŋāĻā§āĻāĻā§āĻ˛āĻŋ āĻāĻ¨āĻ¸ā§āĻāĻ˛ āĻāĻ°ā§āĻāĻŋāĨ¤ āĻāĻŽāĻ°āĻž āĻāĻāĻŋ āĻāĻžāĻ˛ā§ āĻāĻ°āĻŋ - āĻāĻāĻŋ āĻļā§āĻ°ā§ āĻšāĻ¯āĻŧ āĻ¨āĻžāĨ¤ āĻāĻāĻāĻŋ āĻā§āĻŦ āĻ āĻ¸ā§āĻĒāĻˇā§āĻ āĻ¤ā§āĻ°ā§āĻāĻŋ āĻ˛āĻŋāĻā§āĻā§āĻ¨.
java.lang.NoClassDefFoundError: com/sun/jersey/api/client/config/ClientConfig
āĻā§āĻāĻ˛ āĻāĻ°āĻžāĻ° āĻĒāĻ°ā§, āĻāĻŽāĻ°āĻž āĻāĻžāĻ¨āĻ¤ā§ āĻĒā§āĻ°ā§āĻāĻŋ āĻ¯ā§ āĻ¸ā§āĻĒāĻžāĻ°ā§āĻ āĻšā§āĻ¯āĻžāĻĄā§āĻĒā§āĻ° āĻāĻ¨ā§āĻŽ āĻ¨āĻž āĻšāĻāĻ¯āĻŧāĻž āĻĒāĻ°ā§āĻ¯āĻ¨ā§āĻ¤ āĻ
āĻĒā§āĻā§āĻˇāĻž āĻ¨āĻž āĻāĻ°āĻžāĻ° āĻ¸āĻŋāĻĻā§āĻ§āĻžāĻ¨ā§āĻ¤ āĻ¨āĻŋāĻ¯āĻŧā§āĻā§ āĻāĻŦāĻ āĻāĻžāĻ°ā§āĻ¸āĻŋāĻ° āĻ¨āĻ¤ā§āĻ¨ āĻ¸āĻāĻ¸ā§āĻāĻ°āĻŖ āĻŦā§āĻ¯āĻŦāĻšāĻžāĻ° āĻāĻ°āĻžāĻ° āĻ¸āĻŋāĻĻā§āĻ§āĻžāĻ¨ā§āĻ¤ āĻ¨āĻŋāĻ¯āĻŧā§āĻā§āĨ¤ āĻ¤āĻžāĻ°āĻž āĻ¨āĻŋāĻā§āĻ°āĻžāĻ āĻāĻŋāĻ°āĻžāĻ¤ā§ āĻāĻ āĻŦāĻŋāĻˇāĻ¯āĻŧāĻāĻŋ āĻ¨āĻŋāĻ¯āĻŧā§ āĻāĻā§ āĻ
āĻĒāĻ°ā§āĻ° āĻ¸āĻžāĻĨā§ āĻ¤āĻ°ā§āĻ āĻāĻ°ā§āĨ¤ āĻ¸āĻŽāĻžāĻ§āĻžāĻ¨ āĻāĻŋāĻ˛ āĻĄāĻžāĻāĻ¨āĻ˛ā§āĻĄ āĻāĻ°āĻž
āĻāĻŽāĻ°āĻž āĻāĻ āĻ¤ā§āĻ°ā§āĻāĻŋāĻ° āĻāĻžāĻāĻžāĻāĻžāĻāĻŋ āĻĒā§āĻ¯āĻŧā§āĻāĻŋāĻ˛āĻžāĻŽ, āĻāĻŋāĻ¨ā§āĻ¤ā§ āĻāĻāĻāĻŋ āĻ¨āĻ¤ā§āĻ¨ āĻāĻŦāĻ āĻŦāĻ°āĻ āĻ¸ā§āĻŦāĻŋāĻ¨ā§āĻ¯āĻ¸ā§āĻ¤ āĻāĻāĻāĻŋ āĻāĻĻā§āĻā§āĻ¤ āĻšāĻ¯āĻŧā§āĻā§.
org.apache.spark.SparkException: Yarn application has already ended! It might have been killed or unable to launch application master
āĻāĻāĻ āĻ¸āĻŽāĻ¯āĻŧā§, āĻāĻŽāĻ°āĻž 2.0 āĻ¸āĻāĻ¸ā§āĻāĻ°āĻŖ āĻāĻžāĻ˛āĻžāĻ¨ā§āĻ° āĻā§āĻˇā§āĻāĻž āĻāĻ°āĻŋ - āĻ¸āĻŦāĻāĻŋāĻā§ āĻ āĻŋāĻ āĻāĻā§āĨ¤ āĻāĻŋ āĻāĻāĻā§ āĻ āĻ¨ā§āĻŽāĻžāĻ¨ āĻāĻ°āĻžāĻ° āĻā§āĻˇā§āĻāĻž āĻāĻ°ā§āĻ¨. āĻāĻŽāĻ°āĻž āĻāĻ āĻ ā§āĻ¯āĻžāĻĒā§āĻ˛āĻŋāĻā§āĻļāĻ¨āĻāĻŋāĻ° āĻ˛āĻāĻā§āĻ˛āĻŋ āĻĻā§āĻā§āĻāĻŋ āĻāĻŦāĻ āĻāĻ°āĻāĻŽ āĻāĻŋāĻā§ āĻĻā§āĻā§āĻāĻŋ:
/usr/hdp/${hdp.version}/hadoop/lib/hadoop-lzo-0.6.0.${hdp.version}.jar
āĻ¸āĻžāĻ§āĻžāĻ°āĻŖāĻāĻžāĻŦā§, āĻāĻŋāĻā§ āĻāĻžāĻ°āĻŖā§ hdp.version āĻ¸āĻŽāĻžāĻ§āĻžāĻ¨ āĻšāĻ¯āĻŧāĻ¨āĻŋāĨ¤ āĻā§āĻāĻ˛ āĻāĻ°āĻžāĻ° āĻĒāĻ°ā§, āĻāĻŽāĻ°āĻž āĻāĻāĻāĻŋ āĻ¸āĻŽāĻžāĻ§āĻžāĻ¨ āĻā§āĻāĻā§ āĻĒā§āĻ¯āĻŧā§āĻāĻŋāĨ¤ āĻāĻĒāĻ¨āĻžāĻā§ Ambari-āĻ YARN āĻ¸ā§āĻāĻŋāĻāĻ¸ā§ āĻ¯ā§āĻ¤ā§ āĻšāĻŦā§ āĻāĻŦāĻ āĻ¸ā§āĻāĻžāĻ¨ā§ āĻāĻžāĻ¸ā§āĻāĻŽ āĻ¸ā§āĻ¤āĻž-āĻ¸āĻžāĻāĻā§ āĻāĻāĻāĻŋ āĻĒā§āĻ¯āĻžāĻ°āĻžāĻŽāĻŋāĻāĻžāĻ° āĻ¯ā§āĻ āĻāĻ°āĻ¤ā§ āĻšāĻŦā§:
hdp.version=2.5.3.0-37
āĻāĻ āĻāĻžāĻĻā§ āĻ¸āĻžāĻšāĻžāĻ¯ā§āĻ¯, āĻāĻŦāĻ āĻ¸ā§āĻĒāĻžāĻ°ā§āĻ āĻŦāĻ¨ā§āĻ§ āĻā§āĻ°āĻšāĻŖ. āĻāĻŽāĻ°āĻž āĻāĻŽāĻžāĻĻā§āĻ° āĻā§āĻĒāĻŋāĻāĻžāĻ° āĻ˛ā§āĻ¯āĻžāĻĒāĻāĻĒā§āĻ° āĻŦā§āĻļ āĻāĻ¯āĻŧā§āĻāĻāĻŋ āĻĒāĻ°ā§āĻā§āĻˇāĻž āĻāĻ°ā§āĻāĻŋāĨ¤ āĻ¸āĻŦāĻāĻŋāĻā§ āĻāĻžāĻ āĻāĻ°āĻā§āĨ¤ āĻāĻŽāĻ°āĻž āĻļāĻ¨āĻŋāĻŦāĻžāĻ° (āĻāĻāĻžāĻŽā§āĻāĻžāĻ˛) āĻĒā§āĻ°āĻĨāĻŽ āĻ¸ā§āĻĒāĻžāĻ°ā§āĻ āĻĒāĻžāĻ ā§āĻ° āĻāĻ¨ā§āĻ¯ āĻĒā§āĻ°āĻ¸ā§āĻ¤ā§āĻ¤!
āĻāĻāĻĒāĻŋāĻĄāĻŋ. āĻĒāĻžāĻ ā§āĻ° āĻ¸āĻŽāĻ¯āĻŧ, āĻāĻ°ā§āĻāĻāĻŋ āĻ¸āĻŽāĻ¸ā§āĻ¯āĻž āĻĒā§āĻ°āĻāĻžāĻļā§āĻ¯ā§ āĻāĻ˛āĨ¤ āĻāĻŋāĻā§ āĻ¸āĻŽāĻ¯āĻŧā§, āĻāĻ¯āĻŧāĻžāĻ°ā§āĻ¨ āĻ¸ā§āĻĒāĻžāĻ°ā§āĻā§āĻ° āĻāĻ¨ā§āĻ¯ āĻĒāĻžāĻ¤ā§āĻ° āĻ¸āĻ°āĻŦāĻ°āĻžāĻš āĻāĻ°āĻž āĻŦāĻ¨ā§āĻ§ āĻāĻ°ā§ āĻĻāĻŋāĻ¯āĻŧā§āĻā§āĨ¤ āĻāĻ¯āĻŧāĻžāĻ°āĻ¨ā§ āĻĒā§āĻ¯āĻžāĻ°āĻžāĻŽāĻŋāĻāĻžāĻ°āĻāĻŋ āĻ¸āĻāĻļā§āĻ§āĻ¨ āĻāĻ°āĻž āĻĒā§āĻ°āĻ¯āĻŧā§āĻāĻ¨ āĻāĻŋāĻ˛, āĻ¯āĻž āĻĄāĻŋāĻĢāĻ˛ā§āĻāĻ°ā§āĻĒā§ 0.2 āĻāĻŋāĻ˛:
yarn.scheduler.capacity.maximum-am-resource-percent=0.8
āĻ
āĻ°ā§āĻĨāĻžā§ āĻ¸āĻŽā§āĻĒāĻĻā§āĻ° āĻŽāĻžāĻ¤ā§āĻ° 20% āĻ¸āĻŽā§āĻĒāĻĻ āĻŦāĻŖā§āĻāĻ¨ā§ āĻ
āĻāĻļāĻā§āĻ°āĻšāĻŖ āĻāĻ°ā§āĻā§āĨ¤ āĻĒāĻ°āĻžāĻŽāĻŋāĻ¤āĻŋ āĻĒāĻ°āĻŋāĻŦāĻ°ā§āĻ¤āĻ¨ āĻāĻ°āĻžāĻ° āĻĒāĻ°, āĻāĻŽāĻ°āĻž āĻ¸ā§āĻ¤āĻž āĻĒā§āĻ¨āĻ°āĻžāĻ¯āĻŧ āĻ˛ā§āĻĄ āĻāĻ°ā§āĻāĻŋāĨ¤ āĻ¸āĻŽāĻ¸ā§āĻ¯āĻžāĻāĻŋ āĻ¸āĻŽāĻžāĻ§āĻžāĻ¨ āĻāĻ°āĻž āĻšāĻ¯āĻŧā§āĻā§ āĻāĻŦāĻ āĻŦāĻžāĻāĻŋ āĻ
āĻāĻļāĻā§āĻ°āĻšāĻŖāĻāĻžāĻ°ā§āĻ°āĻžāĻ āĻ¸ā§āĻĒāĻžāĻ°ā§āĻ āĻĒā§āĻ°āĻ¸āĻā§āĻ āĻāĻžāĻ˛āĻžāĻ¤ā§ āĻ¸āĻā§āĻˇāĻŽ āĻšāĻ¯āĻŧā§āĻāĻŋāĻ˛āĨ¤
āĻāĻ¤ā§āĻ¸: www.habr.com