কুবারনেটসে অ্যাপাচি স্পার্ক চলছে

প্রিয় পাঠক, শুভ বিকাল। আজ আমরা Apache Spark এবং এর বিকাশের সম্ভাবনা সম্পর্কে একটু কথা বলব।

বিগ ডেটার আধুনিক বিশ্বে, অ্যাপাচি স্পার্ক হল ব্যাচ ডেটা প্রসেসিং কাজগুলি বিকাশের জন্য প্রকৃত মান। এছাড়াও, এটি স্ট্রিমিং অ্যাপ্লিকেশন তৈরি করতেও ব্যবহৃত হয় যা মাইক্রো ব্যাচ ধারণায় কাজ করে, ছোট অংশে ডেটা প্রক্রিয়াকরণ এবং শিপিং করে (স্পার্ক স্ট্রাকচার্ড স্ট্রিমিং)। এবং ঐতিহ্যগতভাবে এটি সামগ্রিক হ্যাডুপ স্ট্যাকের অংশ, রিসোর্স ম্যানেজার হিসাবে ইয়ারন (বা কিছু ক্ষেত্রে অ্যাপাচি মেসোস) ব্যবহার করে। 2020 সাল নাগাদ, শালীন Hadoop বিতরণের অভাবের কারণে বেশিরভাগ কোম্পানির জন্য এটির ঐতিহ্যগত আকারে এর ব্যবহার প্রশ্নবিদ্ধ - HDP এবং CDH এর বিকাশ বন্ধ হয়ে গেছে, CDH ভালভাবে বিকশিত হয়নি এবং এর উচ্চ খরচ রয়েছে, এবং বাকি Hadoop সরবরাহকারীরা হয় অস্তিত্ব বন্ধ বা একটি ম্লান ভবিষ্যত আছে. অতএব, Kubernetes ব্যবহার করে Apache Spark চালু করা সম্প্রদায় এবং বৃহৎ কোম্পানিগুলির মধ্যে আগ্রহ বাড়ছে - ব্যক্তিগত এবং পাবলিক ক্লাউডে কনটেইনার অর্কেস্ট্রেশন এবং রিসোর্স ম্যানেজমেন্টের একটি মান হয়ে উঠেছে, এটি YARN-এ স্পার্ক টাস্কগুলির অসুবিধাজনক রিসোর্স শিডিউলিংয়ের সমস্যা সমাধান করে এবং প্রদান করে। সমস্ত আকার এবং স্ট্রাইপের কোম্পানিগুলির জন্য অনেকগুলি বাণিজ্যিক এবং উন্মুক্ত বিতরণ সহ একটি অবিচ্ছিন্নভাবে বিকাশমান প্ল্যাটফর্ম৷ উপরন্তু, জনপ্রিয়তার পরিপ্রেক্ষিতে, বেশিরভাগই ইতিমধ্যে তাদের নিজস্ব কয়েকটি ইনস্টলেশন অর্জন করতে পেরেছে এবং এর ব্যবহারে তাদের দক্ষতা বাড়িয়েছে, যা সরলকরণকে সহজ করে তোলে।

সংস্করণ 2.3.0 দিয়ে শুরু করে, Apache Spark একটি Kubernetes ক্লাস্টারে কাজগুলি চালানোর জন্য অফিসিয়াল সমর্থন অর্জন করেছে এবং আজ, আমরা এই পদ্ধতির বর্তমান পরিপক্কতা, এটির ব্যবহারের জন্য বিভিন্ন বিকল্প এবং বাস্তবায়নের সময় যে সমস্যাগুলি সম্মুখীন হবে সেগুলি সম্পর্কে কথা বলব৷

প্রথমত, আসুন Apache Spark-এর উপর ভিত্তি করে কাজ এবং অ্যাপ্লিকেশন বিকাশের প্রক্রিয়াটি দেখি এবং সাধারণ ক্ষেত্রে হাইলাইট করি যেখানে আপনাকে একটি Kubernetes ক্লাস্টারে একটি টাস্ক চালাতে হবে। এই পোস্টটি প্রস্তুত করার সময়, OpenShift একটি বিতরণ হিসাবে ব্যবহৃত হয় এবং এর কমান্ড লাইন ইউটিলিটি (oc) এর সাথে প্রাসঙ্গিক কমান্ড দেওয়া হবে। অন্যান্য Kubernetes ডিস্ট্রিবিউশনের জন্য, স্ট্যান্ডার্ড Kubernetes কমান্ড লাইন ইউটিলিটি (kubectl) বা তাদের অ্যানালগগুলি (উদাহরণস্বরূপ, oc adm নীতির জন্য) থেকে সংশ্লিষ্ট কমান্ডগুলি ব্যবহার করা যেতে পারে।

প্রথম ব্যবহারের ক্ষেত্রে - স্পার্ক-সাবমিট

কাজ এবং অ্যাপ্লিকেশনগুলির বিকাশের সময়, ডেভেলপারকে ডেটা ট্রান্সফরমেশন ডিবাগ করার জন্য কাজগুলি চালাতে হবে। তাত্ত্বিকভাবে, স্টাবগুলি এই উদ্দেশ্যে ব্যবহার করা যেতে পারে, তবে শেষ সিস্টেমের বাস্তব (যদিও পরীক্ষা) দৃষ্টান্তগুলির অংশগ্রহণের সাথে বিকাশ এই শ্রেণীর কাজগুলিতে দ্রুত এবং ভাল হতে প্রমাণিত হয়েছে। ক্ষেত্রে যখন আমরা শেষ সিস্টেমের বাস্তব দৃষ্টান্তগুলিতে ডিবাগ করি, দুটি পরিস্থিতিতে সম্ভব:

• ডেভেলপার স্থানীয়ভাবে স্বতন্ত্র মোডে একটি স্পার্ক টাস্ক চালায়;

  

• একজন ডেভেলপার একটি টেস্ট লুপে কুবারনেটস ক্লাস্টারে একটি স্পার্ক টাস্ক চালায়।

  

প্রথম বিকল্পটির অস্তিত্বের অধিকার রয়েছে, তবে এতে বেশ কয়েকটি অসুবিধা রয়েছে:

• প্রতিটি বিকাশকারীকে অবশ্যই কর্মক্ষেত্র থেকে তার প্রয়োজনীয় শেষ সিস্টেমের সমস্ত দৃষ্টান্তে অ্যাক্সেস সরবরাহ করতে হবে;
• ওয়ার্কিং মেশিনের ডেভেলপ করা টাস্ক চালানোর জন্য পর্যাপ্ত পরিমাণ রিসোর্স প্রয়োজন।

দ্বিতীয় বিকল্পটিতে এই অসুবিধাগুলি নেই, যেহেতু একটি কুবারনেটস ক্লাস্টার ব্যবহার আপনাকে কাজগুলি চালানোর জন্য প্রয়োজনীয় রিসোর্স পুল বরাদ্দ করতে এবং এটিকে শেষ সিস্টেমের দৃষ্টান্তগুলিতে প্রয়োজনীয় অ্যাক্সেস প্রদান করতে দেয়, নমনীয়ভাবে কুবারনেটেস রোল মডেল ব্যবহার করে এটিতে অ্যাক্সেস প্রদান করে উন্নয়ন দলের সকল সদস্য। আসুন এটিকে প্রথম ব্যবহারের ক্ষেত্রে হাইলাইট করি - একটি টেস্ট লুপে কুবারনেটস ক্লাস্টারে একটি স্থানীয় বিকাশকারী মেশিন থেকে স্পার্ক কাজগুলি চালু করা।

স্থানীয়ভাবে চালানোর জন্য স্পার্ক সেট আপ করার প্রক্রিয়া সম্পর্কে আরও কথা বলা যাক। স্পার্ক ব্যবহার শুরু করতে আপনাকে এটি ইনস্টল করতে হবে:

mkdir /opt/spark
cd /opt/spark
wget http://mirror.linux-ia64.org/apache/spark/spark-2.4.5/spark-2.4.5.tgz
tar zxvf spark-2.4.5.tgz
rm -f spark-2.4.5.tgz

আমরা কুবারনেটসের সাথে কাজ করার জন্য প্রয়োজনীয় প্যাকেজ সংগ্রহ করি:

cd spark-2.4.5/
./build/mvn -Pkubernetes -DskipTests clean package

একটি সম্পূর্ণ বিল্ড করতে অনেক সময় লাগে, এবং ডকার ইমেজ তৈরি করতে এবং একটি কুবারনেটস ক্লাস্টারে চালানোর জন্য, আপনার সত্যিই শুধুমাত্র "অ্যাসেম্বলি/" ডিরেক্টরি থেকে জার ফাইল দরকার, তাই আপনি শুধুমাত্র এই সাবপ্রজেক্টটি তৈরি করতে পারেন:

./build/mvn -f ./assembly/pom.xml -Pkubernetes -DskipTests clean package

Kubernetes-এ স্পার্ক কাজ চালানোর জন্য, আপনাকে একটি বেস ইমেজ হিসাবে ব্যবহার করার জন্য একটি ডকার ইমেজ তৈরি করতে হবে। এখানে 2টি সম্ভাব্য পন্থা রয়েছে:

• জেনারেট করা ডকার ইমেজে এক্সিকিউটেবল স্পার্ক টাস্ক কোড রয়েছে;
• তৈরি করা ছবিতে শুধুমাত্র স্পার্ক এবং প্রয়োজনীয় নির্ভরতা রয়েছে, এক্সিকিউটেবল কোডটি দূরবর্তীভাবে হোস্ট করা হয় (উদাহরণস্বরূপ, HDFS-এ)।

প্রথমে, স্পার্ক টাস্কের একটি পরীক্ষামূলক উদাহরণ সহ একটি ডকার ইমেজ তৈরি করা যাক। ডকার ইমেজ তৈরি করতে, স্পার্কের "ডকার-ইমেজ-টুল" নামে একটি ইউটিলিটি রয়েছে। এর সাহায্য অধ্যয়ন করা যাক:

./bin/docker-image-tool.sh --help

এর সাহায্যে, আপনি ডকার ইমেজ তৈরি করতে এবং দূরবর্তী রেজিস্ট্রিগুলিতে আপলোড করতে পারেন, তবে ডিফল্টরূপে এর বেশ কয়েকটি অসুবিধা রয়েছে:

• ব্যর্থ ছাড়া একবারে 3টি ডকার ইমেজ তৈরি করে - স্পার্ক, পাইস্পার্ক এবং আর এর জন্য;
• আপনাকে একটি ছবির নাম নির্দিষ্ট করার অনুমতি দেয় না।

অতএব, আমরা নীচে দেওয়া এই ইউটিলিটির একটি পরিবর্তিত সংস্করণ ব্যবহার করব:

vi bin/docker-image-tool-upd.sh

#!/usr/bin/env bash

function error {
  echo "$@" 1>&2
  exit 1
}

if [ -z "${SPARK_HOME}" ]; then
  SPARK_HOME="$(cd "`dirname "$0"`"/..; pwd)"
fi
. "${SPARK_HOME}/bin/load-spark-env.sh"

function image_ref {
  local image="$1"
  local add_repo="${2:-1}"
  if [ $add_repo = 1 ] && [ -n "$REPO" ]; then
    image="$REPO/$image"
  fi
  if [ -n "$TAG" ]; then
    image="$image:$TAG"
  fi
  echo "$image"
}

function build {
  local BUILD_ARGS
  local IMG_PATH

  if [ ! -f "$SPARK_HOME/RELEASE" ]; then
    IMG_PATH=$BASEDOCKERFILE
    BUILD_ARGS=(
      ${BUILD_PARAMS}
      --build-arg
      img_path=$IMG_PATH
      --build-arg
      datagram_jars=datagram/runtimelibs
      --build-arg
      spark_jars=assembly/target/scala-$SPARK_SCALA_VERSION/jars
    )
  else
    IMG_PATH="kubernetes/dockerfiles"
    BUILD_ARGS=(${BUILD_PARAMS})
  fi

  if [ -z "$IMG_PATH" ]; then
    error "Cannot find docker image. This script must be run from a runnable distribution of Apache Spark."
  fi

  if [ -z "$IMAGE_REF" ]; then
    error "Cannot find docker image reference. Please add -i arg."
  fi

  local BINDING_BUILD_ARGS=(
    ${BUILD_PARAMS}
    --build-arg
    base_img=$(image_ref $IMAGE_REF)
  )
  local BASEDOCKERFILE=${BASEDOCKERFILE:-"$IMG_PATH/spark/docker/Dockerfile"}

  docker build $NOCACHEARG "${BUILD_ARGS[@]}" 
    -t $(image_ref $IMAGE_REF) 
    -f "$BASEDOCKERFILE" .
}

function push {
  docker push "$(image_ref $IMAGE_REF)"
}

function usage {
  cat <<EOF
Usage: $0 [options] [command]
Builds or pushes the built-in Spark Docker image.

Commands:
  build       Build image. Requires a repository address to be provided if the image will be
              pushed to a different registry.
  push        Push a pre-built image to a registry. Requires a repository address to be provided.

Options:
  -f file               Dockerfile to build for JVM based Jobs. By default builds the Dockerfile shipped with Spark.
  -p file               Dockerfile to build for PySpark Jobs. Builds Python dependencies and ships with Spark.
  -R file               Dockerfile to build for SparkR Jobs. Builds R dependencies and ships with Spark.
  -r repo               Repository address.
  -i name               Image name to apply to the built image, or to identify the image to be pushed.  
  -t tag                Tag to apply to the built image, or to identify the image to be pushed.
  -m                    Use minikube's Docker daemon.
  -n                    Build docker image with --no-cache
  -b arg      Build arg to build or push the image. For multiple build args, this option needs to
              be used separately for each build arg.

Using minikube when building images will do so directly into minikube's Docker daemon.
There is no need to push the images into minikube in that case, they'll be automatically
available when running applications inside the minikube cluster.

Check the following documentation for more information on using the minikube Docker daemon:

  https://kubernetes.io/docs/getting-started-guides/minikube/#reusing-the-docker-daemon

Examples:
  - Build image in minikube with tag "testing"
    $0 -m -t testing build

  - Build and push image with tag "v2.3.0" to docker.io/myrepo
    $0 -r docker.io/myrepo -t v2.3.0 build
    $0 -r docker.io/myrepo -t v2.3.0 push
EOF
}

if [[ "$@" = *--help ]] || [[ "$@" = *-h ]]; then
  usage
  exit 0
fi

REPO=
TAG=
BASEDOCKERFILE=
NOCACHEARG=
BUILD_PARAMS=
IMAGE_REF=
while getopts f:mr:t:nb:i: option
do
 case "${option}"
 in
 f) BASEDOCKERFILE=${OPTARG};;
 r) REPO=${OPTARG};;
 t) TAG=${OPTARG};;
 n) NOCACHEARG="--no-cache";;
 i) IMAGE_REF=${OPTARG};;
 b) BUILD_PARAMS=${BUILD_PARAMS}" --build-arg "${OPTARG};;
 esac
done

case "${@: -1}" in
  build)
    build
    ;;
  push)
    if [ -z "$REPO" ]; then
      usage
      exit 1
    fi
    push
    ;;
  *)
    usage
    exit 1
    ;;
esac

এটির সাহায্যে, আমরা স্পার্ক ব্যবহার করে Pi গণনা করার জন্য একটি পরীক্ষামূলক কাজ সম্বলিত একটি মৌলিক স্পার্ক ইমেজ একত্রিত করি (এখানে {docker-registry-url} হল আপনার ডকার ইমেজ রেজিস্ট্রির URL, {repo} হল রেজিস্ট্রির ভিতরের সংগ্রহস্থলের নাম, যা OpenShift , {image-name} — ছবির নামের সাথে মিলে যায় (যদি ছবিগুলির তিন-স্তরের বিভাজন ব্যবহার করা হয়, উদাহরণস্বরূপ, Red Hat OpenShift ছবির সমন্বিত রেজিস্ট্রি হিসাবে), {tag} — এর ট্যাগ ছবির সংস্করণ):

./bin/docker-image-tool-upd.sh -f resource-managers/kubernetes/docker/src/main/dockerfiles/spark/Dockerfile -r {docker-registry-url}/{repo} -i {image-name} -t {tag} build

কনসোল ইউটিলিটি ব্যবহার করে OKD ক্লাস্টারে লগ ইন করুন (এখানে {OKD-API-URL} হল OKD ক্লাস্টার API URL):

oc login {OKD-API-URL}

আসুন ডকার রেজিস্ট্রিতে অনুমোদনের জন্য বর্তমান ব্যবহারকারীর টোকেন পান:

oc whoami -t

OKD ক্লাস্টারের অভ্যন্তরীণ ডকার রেজিস্ট্রিতে লগ ইন করুন (আমরা পাসওয়ার্ড হিসাবে পূর্ববর্তী কমান্ড ব্যবহার করে প্রাপ্ত টোকেন ব্যবহার করি):

docker login {docker-registry-url}

আসুন ডকার রেজিস্ট্রি ওকেডিতে একত্রিত ডকার চিত্রটি আপলোড করি:

./bin/docker-image-tool-upd.sh -r {docker-registry-url}/{repo} -i {image-name} -t {tag} push

আসুন পরীক্ষা করি যে একত্রিত চিত্রটি OKD তে উপলব্ধ। এটি করার জন্য, সংশ্লিষ্ট প্রকল্পের চিত্রগুলির একটি তালিকা সহ ব্রাউজারে URL খুলুন (এখানে {project} OpenShift ক্লাস্টারের ভিতরে প্রকল্পের নাম, {OKD-WEBUI-URL} হল OpenShift ওয়েব কনসোলের URL ) - https://{OKD-WEBUI-URL}/console /project/{project}/browse/images/{image-name}।

কাজগুলি চালানোর জন্য, রুট হিসাবে পডগুলি চালানোর বিশেষাধিকার সহ একটি পরিষেবা অ্যাকাউন্ট তৈরি করতে হবে (আমরা এই বিষয়টি পরে আলোচনা করব):

oc create sa spark -n {project}
oc adm policy add-scc-to-user anyuid -z spark -n {project}

OKD ক্লাস্টারে একটি স্পার্ক টাস্ক প্রকাশ করতে স্পার্ক-সাবমিট কমান্ডটি চালানো যাক, তৈরি পরিষেবা অ্যাকাউন্ট এবং ডকার ইমেজ নির্দিষ্ট করে:

 /opt/spark/bin/spark-submit --name spark-test --class org.apache.spark.examples.SparkPi --conf spark.executor.instances=3 --conf spark.kubernetes.authenticate.driver.serviceAccountName=spark --conf spark.kubernetes.namespace={project} --conf spark.submit.deployMode=cluster --conf spark.kubernetes.container.image={docker-registry-url}/{repo}/{image-name}:{tag} --conf spark.master=k8s://https://{OKD-API-URL}  local:///opt/spark/examples/target/scala-2.11/jars/spark-examples_2.11-2.4.5.jar

এখানে:

—নাম — সেই কাজের নাম যা কুবারনেটস পডের নাম গঠনে অংশগ্রহণ করবে;

—class — এক্সিকিউটেবল ফাইলের ক্লাস, টাস্ক শুরু হলে বলা হয়;

—conf — স্পার্ক কনফিগারেশন পরামিতি;

spark.executor.instances — চালু করার জন্য স্পার্ক নির্বাহকদের সংখ্যা;

spark.kubernetes.authenticate.driver.serviceAccountName - পড চালু করার সময় ব্যবহৃত Kubernetes পরিষেবা অ্যাকাউন্টের নাম (Kubernetes API-এর সাথে ইন্টারঅ্যাক্ট করার সময় নিরাপত্তা প্রসঙ্গ এবং ক্ষমতা নির্ধারণ করতে);

spark.kubernetes.namespace — Kubernetes নামস্থান যেখানে ড্রাইভার এবং এক্সিকিউটর পড চালু করা হবে;

spark.submit.deployMode — স্পার্ক চালু করার পদ্ধতি (স্ট্যান্ডার্ড স্পার্ক-সাবমিটের জন্য "ক্লাস্টার" ব্যবহার করা হয়, স্পার্ক অপারেটর এবং স্পার্ক "ক্লায়েন্ট" এর পরবর্তী সংস্করণগুলির জন্য);

spark.kubernetes.container.image - ডকার ইমেজ পড চালু করতে ব্যবহৃত হয়;

spark.master — Kubernetes API URL (বহিরাগত নির্দিষ্ট করা হয়েছে তাই স্থানীয় মেশিন থেকে অ্যাক্সেস ঘটে);

local:// হল ডকার ইমেজের ভিতরে স্পার্ক এক্সিকিউটেবলের পথ।

আমরা সংশ্লিষ্ট OKD প্রকল্পে যাই এবং তৈরি করা পডগুলি অধ্যয়ন করি - https://{OKD-WEBUI-URL}/console/project/{project}/browse/pods৷

উন্নয়ন প্রক্রিয়া সহজ করার জন্য, আরেকটি বিকল্প ব্যবহার করা যেতে পারে, যেখানে স্পার্কের একটি সাধারণ বেস ইমেজ তৈরি করা হয়, যা চালানোর জন্য সমস্ত কাজ দ্বারা ব্যবহৃত হয় এবং এক্সিকিউটেবল ফাইলগুলির স্ন্যাপশটগুলি বহিরাগত স্টোরেজে (উদাহরণস্বরূপ, হাডুপ) প্রকাশ করা হয় এবং কল করার সময় নির্দিষ্ট করা হয়। একটি লিঙ্ক হিসাবে স্পার্ক-জমা দিন। এই ক্ষেত্রে, আপনি ডকার ইমেজ পুনর্নির্মাণ ছাড়াই স্পার্ক টাস্কের বিভিন্ন সংস্করণ চালাতে পারেন, উদাহরণ স্বরূপ, ছবি প্রকাশ করতে WebHDFS ব্যবহার করে। আমরা একটি ফাইল তৈরি করার জন্য একটি অনুরোধ পাঠাই (এখানে {host} হল WebHDFS পরিষেবার হোস্ট, {port} হল WebHDFS পরিষেবার পোর্ট, {path-to-file-on-hdfs} হল ফাইলটির পছন্দসই পথ HDFS এ):

curl -i -X PUT "http://{host}:{port}/webhdfs/v1/{path-to-file-on-hdfs}?op=CREATE

আপনি এইরকম একটি প্রতিক্রিয়া পাবেন (এখানে {অবস্থান} হল ইউআরএল যা ফাইল ডাউনলোড করতে ব্যবহার করতে হবে):

HTTP/1.1 307 TEMPORARY_REDIRECT
Location: {location}
Content-Length: 0

এইচডিএফএস-এ স্পার্ক এক্সিকিউটেবল ফাইল লোড করুন (এখানে {পাথ-টু-লোকাল-ফাইল} বর্তমান হোস্টে স্পার্ক এক্সিকিউটেবল ফাইলের পথ):

curl -i -X PUT -T {path-to-local-file} "{location}"

এর পরে, আমরা এইচডিএফএস-এ আপলোড করা স্পার্ক ফাইলটি ব্যবহার করে স্পার্ক-সাবমিট করতে পারি (এখানে {class-name} হল সেই ক্লাসের নাম যা কাজটি সম্পূর্ণ করার জন্য চালু করতে হবে):

/opt/spark/bin/spark-submit --name spark-test --class {class-name} --conf spark.executor.instances=3 --conf spark.kubernetes.authenticate.driver.serviceAccountName=spark --conf spark.kubernetes.namespace={project} --conf spark.submit.deployMode=cluster --conf spark.kubernetes.container.image={docker-registry-url}/{repo}/{image-name}:{tag} --conf spark.master=k8s://https://{OKD-API-URL}  hdfs://{host}:{port}/{path-to-file-on-hdfs}

এটি লক্ষ করা উচিত যে HDFS অ্যাক্সেস করতে এবং কাজটি নিশ্চিত করতে, আপনাকে Dockerfile এবং entrypoint.sh স্ক্রিপ্ট পরিবর্তন করতে হতে পারে - /opt/spark/jars ডিরেক্টরিতে নির্ভরশীল লাইব্রেরিগুলি কপি করতে ডকারফাইলে একটি নির্দেশনা যোগ করুন এবং এন্ট্রিপয়েন্টে SPARK_CLASSPATH-এ HDFS কনফিগারেশন ফাইল অন্তর্ভুক্ত করুন।

দ্বিতীয় ব্যবহারের ক্ষেত্রে - অ্যাপাচি লিভি

আরও, যখন একটি টাস্ক ডেভেলপ করা হয় এবং ফলাফল পরীক্ষা করার প্রয়োজন হয়, তখন এটিকে সিআই/সিডি প্রক্রিয়ার অংশ হিসাবে চালু করার এবং এর সম্পাদনের অবস্থা ট্র্যাক করার প্রশ্ন ওঠে। অবশ্যই, আপনি স্থানীয় স্পার্ক-সাবমিট কল ব্যবহার করে এটি চালাতে পারেন, তবে এটি CI/CD পরিকাঠামোকে জটিল করে তোলে কারণ এটির জন্য CI সার্ভার এজেন্ট/রানারগুলিতে স্পার্ক ইনস্টল এবং কনফিগার করা এবং কুবারনেটস API-তে অ্যাক্সেস সেট আপ করা প্রয়োজন। এই ক্ষেত্রে, লক্ষ্য বাস্তবায়ন একটি কুবারনেটস ক্লাস্টারের মধ্যে হোস্ট করা স্পার্ক টাস্কগুলি চালানোর জন্য একটি REST API হিসাবে Apache Livy ব্যবহার করা বেছে নিয়েছে। এর সাহায্যে, আপনি নিয়মিত CURL অনুরোধগুলি ব্যবহার করে একটি Kubernetes ক্লাস্টারে স্পার্ক কাজগুলি চালাতে পারেন, যেটি যেকোন CI সমাধানের উপর ভিত্তি করে সহজেই প্রয়োগ করা হয়, এবং Kubernetes এপিআই-এর সাথে ইন্টারঅ্যাক্ট করার সময় Kubernetes ক্লাস্টারের অভ্যন্তরে এর প্লেসমেন্ট প্রমাণীকরণের সমস্যা সমাধান করে।

আসুন এটিকে দ্বিতীয় ব্যবহারের ক্ষেত্রে হাইলাইট করি - একটি পরীক্ষা লুপে কুবারনেটস ক্লাস্টারে একটি CI/CD প্রক্রিয়ার অংশ হিসাবে স্পার্ক কাজগুলি চালানো।

Apache Livy সম্পর্কে কিছুটা - এটি একটি HTTP সার্ভার হিসাবে কাজ করে যা একটি ওয়েব ইন্টারফেস এবং একটি RESTful API প্রদান করে যা আপনাকে প্রয়োজনীয় পরামিতিগুলি পাস করে দূরবর্তীভাবে স্পার্ক-সাবমিট চালু করতে দেয়। ঐতিহ্যগতভাবে এটি একটি HDP বিতরণের অংশ হিসাবে পাঠানো হয়েছে, তবে উপযুক্ত ম্যানিফেস্ট এবং ডকার চিত্রগুলির একটি সেট ব্যবহার করে OKD বা অন্য কোন Kubernetes ইনস্টলেশনেও স্থাপন করা যেতে পারে, যেমন এটি - github.com/ttauveron/k8s-big-data-experiments/tree/master/livy-spark-2.3. আমাদের ক্ষেত্রে, নিম্নলিখিত ডকারফাইল থেকে স্পার্ক সংস্করণ 2.4.5 সহ একটি অনুরূপ ডকার চিত্র তৈরি করা হয়েছিল:

FROM java:8-alpine

ENV SPARK_HOME=/opt/spark
ENV LIVY_HOME=/opt/livy
ENV HADOOP_CONF_DIR=/etc/hadoop/conf
ENV SPARK_USER=spark

WORKDIR /opt

RUN apk add --update openssl wget bash && 
    wget -P /opt https://downloads.apache.org/spark/spark-2.4.5/spark-2.4.5-bin-hadoop2.7.tgz && 
    tar xvzf spark-2.4.5-bin-hadoop2.7.tgz && 
    rm spark-2.4.5-bin-hadoop2.7.tgz && 
    ln -s /opt/spark-2.4.5-bin-hadoop2.7 /opt/spark

RUN wget http://mirror.its.dal.ca/apache/incubator/livy/0.7.0-incubating/apache-livy-0.7.0-incubating-bin.zip && 
    unzip apache-livy-0.7.0-incubating-bin.zip && 
    rm apache-livy-0.7.0-incubating-bin.zip && 
    ln -s /opt/apache-livy-0.7.0-incubating-bin /opt/livy && 
    mkdir /var/log/livy && 
    ln -s /var/log/livy /opt/livy/logs && 
    cp /opt/livy/conf/log4j.properties.template /opt/livy/conf/log4j.properties

ADD livy.conf /opt/livy/conf
ADD spark-defaults.conf /opt/spark/conf/spark-defaults.conf
ADD entrypoint.sh /entrypoint.sh

ENV PATH="/opt/livy/bin:${PATH}"

EXPOSE 8998

ENTRYPOINT ["/entrypoint.sh"]
CMD ["livy-server"]

উত্পন্ন চিত্রটি আপনার বিদ্যমান ডকার সংগ্রহস্থলে তৈরি এবং আপলোড করা যেতে পারে, যেমন অভ্যন্তরীণ OKD সংগ্রহস্থল। এটি স্থাপন করতে, নিম্নলিখিত ম্যানিফেস্ট ব্যবহার করুন ({রেজিস্ট্রি-ইউআরএল} - ডকার ইমেজ রেজিস্ট্রির URL, {ছবি-নাম} - ডকার ছবির নাম, {ট্যাগ} - ডকার ইমেজ ট্যাগ, {livy-url} - পছন্দসই URL যেখানে সার্ভার অ্যাক্সেসযোগ্য Livy হবে; "রুট" ম্যানিফেস্ট ব্যবহার করা হয় যদি Red Hat OpenShift কুবারনেটস ডিস্ট্রিবিউশন হিসাবে ব্যবহার করা হয়, অন্যথায় নোডপোর্ট টাইপের সংশ্লিষ্ট ইনগ্রেস বা পরিষেবা ম্যানিফেস্ট ব্যবহার করা হয়):

---
apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    component: livy
  name: livy
spec:
  progressDeadlineSeconds: 600
  replicas: 1
  revisionHistoryLimit: 10
  selector:
    matchLabels:
      component: livy
  strategy:
    rollingUpdate:
      maxSurge: 25%
      maxUnavailable: 25%
    type: RollingUpdate
  template:
    metadata:
      creationTimestamp: null
      labels:
        component: livy
    spec:
      containers:
        - command:
            - livy-server
          env:
            - name: K8S_API_HOST
              value: localhost
            - name: SPARK_KUBERNETES_IMAGE
              value: 'gnut3ll4/spark:v1.0.14'
          image: '{registry-url}/{image-name}:{tag}'
          imagePullPolicy: Always
          name: livy
          ports:
            - containerPort: 8998
              name: livy-rest
              protocol: TCP
          resources: {}
          terminationMessagePath: /dev/termination-log
          terminationMessagePolicy: File
          volumeMounts:
            - mountPath: /var/log/livy
              name: livy-log
            - mountPath: /opt/.livy-sessions/
              name: livy-sessions
            - mountPath: /opt/livy/conf/livy.conf
              name: livy-config
              subPath: livy.conf
            - mountPath: /opt/spark/conf/spark-defaults.conf
              name: spark-config
              subPath: spark-defaults.conf
        - command:
            - /usr/local/bin/kubectl
            - proxy
            - '--port'
            - '8443'
          image: 'gnut3ll4/kubectl-sidecar:latest'
          imagePullPolicy: Always
          name: kubectl
          ports:
            - containerPort: 8443
              name: k8s-api
              protocol: TCP
          resources: {}
          terminationMessagePath: /dev/termination-log
          terminationMessagePolicy: File
      dnsPolicy: ClusterFirst
      restartPolicy: Always
      schedulerName: default-scheduler
      securityContext: {}
      serviceAccount: spark
      serviceAccountName: spark
      terminationGracePeriodSeconds: 30
      volumes:
        - emptyDir: {}
          name: livy-log
        - emptyDir: {}
          name: livy-sessions
        - configMap:
            defaultMode: 420
            items:
              - key: livy.conf
                path: livy.conf
            name: livy-config
          name: livy-config
        - configMap:
            defaultMode: 420
            items:
              - key: spark-defaults.conf
                path: spark-defaults.conf
            name: livy-config
          name: spark-config
---
apiVersion: v1
kind: ConfigMap
metadata:
  name: livy-config
data:
  livy.conf: |-
    livy.spark.deploy-mode=cluster
    livy.file.local-dir-whitelist=/opt/.livy-sessions/
    livy.spark.master=k8s://http://localhost:8443
    livy.server.session.state-retain.sec = 8h
  spark-defaults.conf: 'spark.kubernetes.container.image        "gnut3ll4/spark:v1.0.14"'
---
apiVersion: v1
kind: Service
metadata:
  labels:
    app: livy
  name: livy
spec:
  ports:
    - name: livy-rest
      port: 8998
      protocol: TCP
      targetPort: 8998
  selector:
    component: livy
  sessionAffinity: None
  type: ClusterIP
---
apiVersion: route.openshift.io/v1
kind: Route
metadata:
  labels:
    app: livy
  name: livy
spec:
  host: {livy-url}
  port:
    targetPort: livy-rest
  to:
    kind: Service
    name: livy
    weight: 100
  wildcardPolicy: None

এটি প্রয়োগ করার পরে এবং সফলভাবে পড চালু করার পরে, লিভি গ্রাফিকাল ইন্টারফেস লিঙ্কটিতে উপলব্ধ: http://{livy-url}/ui৷ লিভির সাথে, আমরা আমাদের স্পার্ক টাস্কটি একটি REST অনুরোধ ব্যবহার করে প্রকাশ করতে পারি, উদাহরণস্বরূপ, পোস্টম্যান৷ অনুরোধ সহ একটি সংগ্রহের একটি উদাহরণ নীচে উপস্থাপন করা হয়েছে (লঞ্চ করা টাস্ক পরিচালনার জন্য প্রয়োজনীয় ভেরিয়েবল সহ কনফিগারেশন আর্গুমেন্টগুলি "আর্গস" অ্যারেতে পাস করা যেতে পারে):

{
    "info": {
        "_postman_id": "be135198-d2ff-47b6-a33e-0d27b9dba4c8",
        "name": "Spark Livy",
        "schema": "https://schema.getpostman.com/json/collection/v2.1.0/collection.json"
    },
    "item": [
        {
            "name": "1 Submit job with jar",
            "request": {
                "method": "POST",
                "header": [
                    {
                        "key": "Content-Type",
                        "value": "application/json"
                    }
                ],
                "body": {
                    "mode": "raw",
                    "raw": "{nt"file": "local:///opt/spark/examples/target/scala-2.11/jars/spark-examples_2.11-2.4.5.jar", nt"className": "org.apache.spark.examples.SparkPi",nt"numExecutors":1,nt"name": "spark-test-1",nt"conf": {ntt"spark.jars.ivy": "/tmp/.ivy",ntt"spark.kubernetes.authenticate.driver.serviceAccountName": "spark",ntt"spark.kubernetes.namespace": "{project}",ntt"spark.kubernetes.container.image": "{docker-registry-url}/{repo}/{image-name}:{tag}"nt}n}"
                },
                "url": {
                    "raw": "http://{livy-url}/batches",
                    "protocol": "http",
                    "host": [
                        "{livy-url}"
                    ],
                    "path": [
                        "batches"
                    ]
                }
            },
            "response": []
        },
        {
            "name": "2 Submit job without jar",
            "request": {
                "method": "POST",
                "header": [
                    {
                        "key": "Content-Type",
                        "value": "application/json"
                    }
                ],
                "body": {
                    "mode": "raw",
                    "raw": "{nt"file": "hdfs://{host}:{port}/{path-to-file-on-hdfs}", nt"className": "{class-name}",nt"numExecutors":1,nt"name": "spark-test-2",nt"proxyUser": "0",nt"conf": {ntt"spark.jars.ivy": "/tmp/.ivy",ntt"spark.kubernetes.authenticate.driver.serviceAccountName": "spark",ntt"spark.kubernetes.namespace": "{project}",ntt"spark.kubernetes.container.image": "{docker-registry-url}/{repo}/{image-name}:{tag}"nt},nt"args": [ntt"HADOOP_CONF_DIR=/opt/spark/hadoop-conf",ntt"MASTER=k8s://https://kubernetes.default.svc:8443"nt]n}"
                },
                "url": {
                    "raw": "http://{livy-url}/batches",
                    "protocol": "http",
                    "host": [
                        "{livy-url}"
                    ],
                    "path": [
                        "batches"
                    ]
                }
            },
            "response": []
        }
    ],
    "event": [
        {
            "listen": "prerequest",
            "script": {
                "id": "41bea1d0-278c-40c9-ad42-bf2e6268897d",
                "type": "text/javascript",
                "exec": [
                    ""
                ]
            }
        },
        {
            "listen": "test",
            "script": {
                "id": "3cdd7736-a885-4a2d-9668-bd75798f4560",
                "type": "text/javascript",
                "exec": [
                    ""
                ]
            }
        }
    ],
    "protocolProfileBehavior": {}
}

আসুন সংগ্রহ থেকে প্রথম অনুরোধটি কার্যকর করা যাক, OKD ইন্টারফেসে যান এবং পরীক্ষাটি সফলভাবে চালু হয়েছে কিনা দেখুন - https://{OKD-WEBUI-URL}/console/project/{project}/browse/pods৷ একই সময়ে, লিভি ইন্টারফেসে একটি সেশন উপস্থিত হবে (http://{livy-url}/ui), যার মধ্যে, Livy API বা গ্রাফিক্যাল ইন্টারফেস ব্যবহার করে, আপনি টাস্কের অগ্রগতি ট্র্যাক করতে এবং সেশনটি অধ্যয়ন করতে পারেন। লগ

এখন দেখা যাক কিভাবে লিভি কাজ করে। এটি করার জন্য, আসুন লিভি সার্ভারের সাথে পডের ভিতরে থাকা লিভি কন্টেইনারের লগগুলি পরীক্ষা করি - https://{OKD-WEBUI-URL}/console/project/{project}/browse/pods/{livy-pod-name }?tab=logs. তাদের থেকে আমরা দেখতে পাচ্ছি যে "livy" নামের একটি পাত্রে Livy REST API কল করার সময়, একটি স্পার্ক-সাবমিট কার্যকর করা হয়, যা আমরা উপরে ব্যবহার করেছি (এখানে {livy-pod-name} তৈরি করা পডের নাম। লিভি সার্ভারের সাথে)। সংগ্রহটি একটি দ্বিতীয় ক্যোয়ারীও প্রবর্তন করে যা আপনাকে এমন কাজগুলি চালানোর অনুমতি দেয় যা একটি লিভি সার্ভার ব্যবহার করে দূরবর্তীভাবে একটি স্পার্ক এক্সিকিউটেবল হোস্ট করে।

তৃতীয় ব্যবহারের ক্ষেত্রে - স্পার্ক অপারেটর

এখন যেহেতু কাজটি পরীক্ষা করা হয়েছে, এটি নিয়মিত চালানোর প্রশ্ন উঠেছে। একটি Kubernetes ক্লাস্টারে নিয়মিতভাবে কাজ চালানোর নেটিভ উপায় হল ক্রোনজব সত্তা এবং আপনি এটি ব্যবহার করতে পারেন, কিন্তু এই মুহূর্তে কুবারনেটসে অ্যাপ্লিকেশন পরিচালনা করার জন্য অপারেটরদের ব্যবহার খুবই জনপ্রিয় এবং স্পার্কের জন্য একটি মোটামুটি পরিপক্ক অপারেটর রয়েছে, যা এন্টারপ্রাইজ-স্তরের সমাধানগুলিতে ব্যবহৃত হয় (উদাহরণস্বরূপ, লাইটবেন্ড ফাস্টডেটা প্ল্যাটফর্ম)। আমরা এটি ব্যবহার করার পরামর্শ দিচ্ছি - স্পার্কের বর্তমান স্থিতিশীল সংস্করণে (2.4.5) কুবারনেটসে স্পার্ক কাজগুলি চালানোর জন্য বরং সীমিত কনফিগারেশন বিকল্প রয়েছে, যখন পরবর্তী প্রধান সংস্করণ (3.0.0) কুবারনেটসের জন্য সম্পূর্ণ সমর্থন ঘোষণা করে, তবে এটির প্রকাশের তারিখ অজানা রয়ে গেছে। . স্পার্ক অপারেটর গুরুত্বপূর্ণ কনফিগারেশন বিকল্পগুলি যোগ করে (উদাহরণস্বরূপ, স্পার্ক পডগুলিতে হ্যাডুপ অ্যাক্সেস কনফিগারেশন সহ একটি কনফিগম্যাপ মাউন্ট করা) এবং একটি নিয়মিত নির্ধারিত কাজ চালানোর ক্ষমতা যোগ করে এই ত্রুটির জন্য ক্ষতিপূরণ দেয়।

আসুন এটিকে তৃতীয় ব্যবহারের ক্ষেত্রে হাইলাইট করি - একটি প্রোডাকশন লুপে কুবারনেটস ক্লাস্টারে নিয়মিতভাবে স্পার্ক টাস্ক চালান।

স্পার্ক অপারেটর হল ওপেন সোর্স এবং Google ক্লাউড প্ল্যাটফর্মের মধ্যে বিকাশ করা হয়েছে - github.com/GoogleCloudPlatform/spark-on-k8s-operator. এর ইনস্টলেশন 3 উপায়ে করা যেতে পারে:

1. লাইটবেন্ড ফাস্টডেটা প্ল্যাটফর্ম/ক্লাউডফ্লো ইনস্টলেশনের অংশ হিসাবে;
2. হেলম ব্যবহার করা:

   helm repo add incubator http://storage.googleapis.com/kubernetes-charts-incubator
   helm install incubator/sparkoperator --namespace spark-operator
   	

3. অফিসিয়াল রিপোজিটরি থেকে ম্যানিফেস্ট ব্যবহার করা হচ্ছে (https://github.com/GoogleCloudPlatform/spark-on-k8s-operator/tree/master/manifest)। নিম্নলিখিতগুলি লক্ষ্য করার মতো - ক্লাউডফ্লোতে API সংস্করণ v1beta1 সহ একটি অপারেটর অন্তর্ভুক্ত রয়েছে। যদি এই ধরনের ইনস্টলেশন ব্যবহার করা হয়, স্পার্ক অ্যাপ্লিকেশন ম্যানিফেস্ট বিবরণগুলি উপযুক্ত API সংস্করণ সহ গিট-এর উদাহরণ ট্যাগের উপর ভিত্তি করে হওয়া উচিত, উদাহরণস্বরূপ, "v1beta1-0.9.0-2.4.0"। অপারেটরের সংস্করণ "সংস্করণ" অভিধানে অপারেটরে অন্তর্ভুক্ত CRD-এর বিবরণে পাওয়া যাবে:

   oc get crd sparkapplications.sparkoperator.k8s.io -o yaml
   	

অপারেটরটি সঠিকভাবে ইনস্টল করা থাকলে, স্পার্ক অপারেটরের সাথে একটি সক্রিয় পড সংশ্লিষ্ট প্রকল্পে উপস্থিত হবে (উদাহরণস্বরূপ, ক্লাউডফ্লো ইনস্টলেশনের জন্য ক্লাউডফ্লো স্পেসে ক্লাউডফ্লো-এফডিপি-স্পার্কঅপারেটর) এবং "স্পার্কঅ্যাপ্লিকেশনস" নামে একটি সংশ্লিষ্ট কুবারনেটস রিসোর্স টাইপ প্রদর্শিত হবে। . আপনি নিম্নলিখিত কমান্ডের সাহায্যে উপলব্ধ স্পার্ক অ্যাপ্লিকেশনগুলি অন্বেষণ করতে পারেন:

oc get sparkapplications -n {project}

স্পার্ক অপারেটর ব্যবহার করে কাজ চালানোর জন্য আপনাকে 3টি জিনিস করতে হবে:

• একটি ডকার ইমেজ তৈরি করুন যাতে সমস্ত প্রয়োজনীয় লাইব্রেরি, সেইসাথে কনফিগারেশন এবং এক্সিকিউটেবল ফাইলগুলি অন্তর্ভুক্ত থাকে। টার্গেট ছবিতে, এটি একটি চিত্র যা CI/CD পর্যায়ে তৈরি করা হয়েছে এবং একটি পরীক্ষা ক্লাস্টারে পরীক্ষা করা হয়েছে;
• কুবারনেটস ক্লাস্টার থেকে অ্যাক্সেসযোগ্য একটি রেজিস্ট্রিতে একটি ডকার চিত্র প্রকাশ করুন;
• "SparkApplication" টাইপ এবং লঞ্চ করা টাস্কের বিবরণ সহ একটি ম্যানিফেস্ট তৈরি করুন। অফিসিয়াল রিপোজিটরিতে উদাহরণ ম্যানিফেস্ট পাওয়া যায় (যেমন github.com/GoogleCloudPlatform/spark-on-k8s-operator/blob/v1beta1-0.9.0-2.4.0/examples/spark-pi.yaml) ইশতেহার সম্পর্কে নোট করার জন্য গুরুত্বপূর্ণ পয়েন্ট আছে:
  1. "apiVersion" অভিধানে অবশ্যই অপারেটর সংস্করণের সাথে সংশ্লিষ্ট API সংস্করণ নির্দেশ করতে হবে;
  2. "metadata.namespace" অভিধানটি অবশ্যই নামস্থান নির্দেশ করবে যেখানে অ্যাপ্লিকেশনটি চালু করা হবে;
  3. "spec.image" অভিধানে অবশ্যই একটি অ্যাক্সেসযোগ্য রেজিস্ট্রিতে তৈরি ডকার ইমেজের ঠিকানা থাকতে হবে;
  4. "spec.mainClass" অভিধানে অবশ্যই স্পার্ক টাস্ক ক্লাস থাকতে হবে যা প্রক্রিয়া শুরু হলে চালানোর প্রয়োজন হয়;
  5. "spec.mainApplicationFile" অভিধানে অবশ্যই এক্সিকিউটেবল জার ফাইলের পাথ থাকতে হবে;
  6. "spec.sparkVersion" অভিধানটি অবশ্যই স্পার্কের ব্যবহৃত সংস্করণটি নির্দেশ করবে;
  7. "spec.driver.serviceAccount" অভিধানে অবশ্যই সংশ্লিষ্ট Kubernetes নামস্থানের মধ্যে পরিষেবা অ্যাকাউন্ট উল্লেখ করতে হবে যা অ্যাপ্লিকেশন চালানোর জন্য ব্যবহার করা হবে;
  8. "spec.executor" অভিধানে অবশ্যই অ্যাপ্লিকেশনের জন্য বরাদ্দকৃত সম্পদের সংখ্যা নির্দেশ করতে হবে;
  9. "spec.volumeMounts" অভিধানে অবশ্যই স্থানীয় ডিরেক্টরি নির্দিষ্ট করতে হবে যেখানে স্থানীয় স্পার্ক টাস্ক ফাইল তৈরি করা হবে।

একটি ম্যানিফেস্ট তৈরি করার একটি উদাহরণ (এখানে {spark-service-account} স্পার্ক কাজ চালানোর জন্য কুবারনেটস ক্লাস্টারের মধ্যে একটি পরিষেবা অ্যাকাউন্ট):

apiVersion: "sparkoperator.k8s.io/v1beta1"
kind: SparkApplication
metadata:
  name: spark-pi
  namespace: {project}
spec:
  type: Scala
  mode: cluster
  image: "gcr.io/spark-operator/spark:v2.4.0"
  imagePullPolicy: Always
  mainClass: org.apache.spark.examples.SparkPi
  mainApplicationFile: "local:///opt/spark/examples/jars/spark-examples_2.11-2.4.0.jar"
  sparkVersion: "2.4.0"
  restartPolicy:
    type: Never
  volumes:
    - name: "test-volume"
      hostPath:
        path: "/tmp"
        type: Directory
  driver:
    cores: 0.1
    coreLimit: "200m"
    memory: "512m"
    labels:
      version: 2.4.0
    serviceAccount: {spark-service-account}
    volumeMounts:
      - name: "test-volume"
        mountPath: "/tmp"
  executor:
    cores: 1
    instances: 1
    memory: "512m"
    labels:
      version: 2.4.0
    volumeMounts:
      - name: "test-volume"
        mountPath: "/tmp"

এই ম্যানিফেস্টটি একটি পরিষেবা অ্যাকাউন্ট নির্দিষ্ট করে যার জন্য, ম্যানিফেস্ট প্রকাশ করার আগে, আপনাকে অবশ্যই প্রয়োজনীয় ভূমিকা বাইন্ডিং তৈরি করতে হবে যা স্পার্ক অ্যাপ্লিকেশনের জন্য Kubernetes API এর সাথে ইন্টারঅ্যাক্ট করার জন্য প্রয়োজনীয় অ্যাক্সেসের অধিকার প্রদান করে (যদি প্রয়োজন হয়)। আমাদের ক্ষেত্রে, অ্যাপ্লিকেশনটির পড তৈরির অধিকার প্রয়োজন। আসুন প্রয়োজনীয় ভূমিকা বাঁধাই তৈরি করি:

oc adm policy add-role-to-user edit system:serviceaccount:{project}:{spark-service-account} -n {project}

এটিও লক্ষণীয় যে এই ম্যানিফেস্ট স্পেসিফিকেশনটিতে একটি "hadoopConfigMap" প্যারামিটার অন্তর্ভুক্ত থাকতে পারে, যা আপনাকে ডকার ইমেজে সংশ্লিষ্ট ফাইলটি প্রথমে না রেখেই Hadoop কনফিগারেশনের সাথে একটি ConfigMap নির্দিষ্ট করতে দেয়। এটি নিয়মিত কাজ চালানোর জন্যও উপযুক্ত - "শিডিউল" প্যারামিটার ব্যবহার করে, একটি প্রদত্ত কাজ চালানোর জন্য একটি সময়সূচী নির্দিষ্ট করা যেতে পারে।

এর পরে, আমরা আমাদের ম্যানিফেস্টটি spark-pi.yaml ফাইলে সংরক্ষণ করি এবং এটি আমাদের Kubernetes ক্লাস্টারে প্রয়োগ করি:

oc apply -f spark-pi.yaml

এটি "sparkapplications" ধরনের একটি বস্তু তৈরি করবে:

oc get sparkapplications -n {project}
> NAME       AGE
> spark-pi   22h

এই ক্ষেত্রে, একটি অ্যাপ্লিকেশন সহ একটি পড তৈরি করা হবে, যার স্থিতি তৈরি করা "স্পার্ক অ্যাপ্লিকেশন" এ প্রদর্শিত হবে। আপনি নিম্নলিখিত কমান্ড দিয়ে এটি দেখতে পারেন:

oc get sparkapplications spark-pi -o yaml -n {project}

কাজটি শেষ হলে, POD "সম্পূর্ণ" স্থিতিতে চলে যাবে, যা "sparkapplications"-এও আপডেট হবে। অ্যাপ্লিকেশন লগগুলি ব্রাউজারে বা নিম্নলিখিত কমান্ড ব্যবহার করে দেখা যেতে পারে (এখানে {sparkapplications-pod-name} চলমান টাস্কের পডের নাম):

oc logs {sparkapplications-pod-name} -n {project}

স্পার্ক কাজগুলিও বিশেষায়িত sparkctl ইউটিলিটি ব্যবহার করে পরিচালনা করা যেতে পারে। এটি ইনস্টল করতে, এর উত্স কোড দিয়ে সংগ্রহস্থলটি ক্লোন করুন, Go ইনস্টল করুন এবং এই ইউটিলিটি তৈরি করুন:

git clone https://github.com/GoogleCloudPlatform/spark-on-k8s-operator.git
cd spark-on-k8s-operator/
wget https://dl.google.com/go/go1.13.3.linux-amd64.tar.gz
tar -xzf go1.13.3.linux-amd64.tar.gz
sudo mv go /usr/local
mkdir $HOME/Projects
export GOROOT=/usr/local/go
export GOPATH=$HOME/Projects
export PATH=$GOPATH/bin:$GOROOT/bin:$PATH
go -version
cd sparkctl
go build -o sparkctl
sudo mv sparkctl /usr/local/bin

চলুন চলমান স্পার্ক টাস্কগুলির তালিকা পরীক্ষা করি:

sparkctl list -n {project}

স্পার্ক টাস্কের জন্য একটি বর্ণনা তৈরি করা যাক:

vi spark-app.yaml

apiVersion: "sparkoperator.k8s.io/v1beta1"
kind: SparkApplication
metadata:
  name: spark-pi
  namespace: {project}
spec:
  type: Scala
  mode: cluster
  image: "gcr.io/spark-operator/spark:v2.4.0"
  imagePullPolicy: Always
  mainClass: org.apache.spark.examples.SparkPi
  mainApplicationFile: "local:///opt/spark/examples/jars/spark-examples_2.11-2.4.0.jar"
  sparkVersion: "2.4.0"
  restartPolicy:
    type: Never
  volumes:
    - name: "test-volume"
      hostPath:
        path: "/tmp"
        type: Directory
  driver:
    cores: 1
    coreLimit: "1000m"
    memory: "512m"
    labels:
      version: 2.4.0
    serviceAccount: spark
    volumeMounts:
      - name: "test-volume"
        mountPath: "/tmp"
  executor:
    cores: 1
    instances: 1
    memory: "512m"
    labels:
      version: 2.4.0
    volumeMounts:
      - name: "test-volume"
        mountPath: "/tmp"

আসুন sparkctl ব্যবহার করে বর্ণিত কাজটি চালাই:

sparkctl create spark-app.yaml -n {project}

চলুন চলমান স্পার্ক টাস্কগুলির তালিকা পরীক্ষা করি:

sparkctl list -n {project}

আসুন একটি চালু করা স্পার্ক টাস্কের ইভেন্টের তালিকা পরীক্ষা করি:

sparkctl event spark-pi -n {project} -f

চলমান স্পার্ক টাস্কের অবস্থা পরীক্ষা করা যাক:

sparkctl status spark-pi -n {project}

উপসংহারে, আমি কুবারনেটসে স্পার্কের বর্তমান স্থিতিশীল সংস্করণ (2.4.5) ব্যবহার করার আবিষ্কৃত অসুবিধাগুলি বিবেচনা করতে চাই:

1. প্রথম এবং, সম্ভবত, প্রধান অসুবিধা হল ডেটা স্থানীয়তার অভাব। ইয়ারনের সমস্ত ত্রুটি থাকা সত্ত্বেও, এটি ব্যবহার করার সুবিধাও ছিল, উদাহরণস্বরূপ, ডেটাতে কোড সরবরাহ করার নীতি (ডাটা থেকে কোডের পরিবর্তে)। এর জন্য ধন্যবাদ, স্পার্ক কাজগুলি নোডগুলিতে সম্পাদিত হয়েছিল যেখানে গণনার সাথে জড়িত ডেটা অবস্থিত ছিল এবং নেটওয়ার্কে ডেটা সরবরাহ করতে যে সময় লেগেছিল তা উল্লেখযোগ্যভাবে হ্রাস পেয়েছে। Kubernetes ব্যবহার করার সময়, আমরা নেটওয়ার্ক জুড়ে একটি কাজের সাথে জড়িত ডেটা স্থানান্তর করার প্রয়োজনের সম্মুখীন হই। সেগুলি যথেষ্ট বড় হলে, টাস্ক এক্সিকিউশনের সময় উল্লেখযোগ্যভাবে বৃদ্ধি পেতে পারে, এবং তাদের অস্থায়ী স্টোরেজের জন্য স্পার্ক টাস্ক ইনস্ট্যান্সে বরাদ্দ করা মোটামুটি বড় পরিমাণ ডিস্কের স্থান প্রয়োজন। এই অসুবিধাটি বিশেষায়িত সফ্টওয়্যার ব্যবহার করে প্রশমিত করা যেতে পারে যা Kubernetes (উদাহরণস্বরূপ, Alluxio) ডেটা স্থানীয়তা নিশ্চিত করে, কিন্তু এর অর্থ হল Kubernetes ক্লাস্টারের নোডগুলিতে ডেটার সম্পূর্ণ অনুলিপি সংরক্ষণ করার প্রয়োজন৷
2. দ্বিতীয় গুরুত্বপূর্ণ অসুবিধা হল নিরাপত্তা। ডিফল্টরূপে, চলমান স্পার্ক টাস্কগুলি সম্পর্কিত নিরাপত্তা-সম্পর্কিত বৈশিষ্ট্যগুলি অক্ষম করা হয়, কারবারোসের ব্যবহার অফিসিয়াল ডকুমেন্টেশনে কভার করা হয় না (যদিও সংশ্লিষ্ট বিকল্পগুলি 3.0.0 সংস্করণে চালু করা হয়েছিল, যার জন্য অতিরিক্ত কাজের প্রয়োজন হবে), এবং নিরাপত্তা ডকুমেন্টেশন স্পার্ক ব্যবহার করে (https://spark.apache.org/docs/2.4.5/security.html) শুধুমাত্র ইয়ারন, মেসোস এবং স্ট্যান্ডঅ্যালোন ক্লাস্টার কী স্টোর হিসাবে উপস্থিত হয়। একই সময়ে, যে ব্যবহারকারীর অধীনে স্পার্ক কাজগুলি চালু করা হয়েছে তাকে সরাসরি নির্দিষ্ট করা যাবে না - আমরা শুধুমাত্র সেই পরিষেবা অ্যাকাউন্টটি নির্দিষ্ট করি যার অধীনে এটি কাজ করবে এবং ব্যবহারকারীকে কনফিগার করা নিরাপত্তা নীতির উপর ভিত্তি করে নির্বাচন করা হয়। এই বিষয়ে, হয় রুট ব্যবহারকারী ব্যবহার করা হয়, যা একটি উত্পাদনশীল পরিবেশে নিরাপদ নয়, অথবা র্যান্ডম ইউআইডি সহ ব্যবহারকারী, যা ডেটাতে অ্যাক্সেসের অধিকার বিতরণ করার সময় অসুবিধাজনক হয় (এটি পডসিকিউরিটি পলিসি তৈরি করে এবং তাদের সাথে লিঙ্ক করে সমাধান করা যেতে পারে। সংশ্লিষ্ট পরিষেবা অ্যাকাউন্ট)। বর্তমানে, সমাধান হল সমস্ত প্রয়োজনীয় ফাইলগুলিকে সরাসরি ডকার ইমেজে স্থাপন করা, অথবা আপনার প্রতিষ্ঠানে গৃহীত গোপনীয়তাগুলি সংরক্ষণ এবং পুনরুদ্ধারের জন্য প্রক্রিয়াটি ব্যবহার করার জন্য স্পার্ক লঞ্চ স্ক্রিপ্টটি পরিবর্তন করা।
3. কুবারনেটস ব্যবহার করে স্পার্ক কাজ চালানো আনুষ্ঠানিকভাবে এখনও পরীক্ষামূলক মোডে রয়েছে এবং ভবিষ্যতে ব্যবহৃত শিল্পকর্মগুলিতে (কনফিগারেশন ফাইল, ডকার বেস ইমেজ এবং লঞ্চ স্ক্রিপ্ট) উল্লেখযোগ্য পরিবর্তন হতে পারে। এবং প্রকৃতপক্ষে, উপাদান প্রস্তুত করার সময়, সংস্করণ 2.3.0 এবং 2.4.5 পরীক্ষা করা হয়েছিল, আচরণ উল্লেখযোগ্যভাবে ভিন্ন ছিল।

আসুন আপডেটের জন্য অপেক্ষা করা যাক - স্পার্কের একটি নতুন সংস্করণ (3.0.0) সম্প্রতি প্রকাশিত হয়েছে, যা কুবারনেটসে স্পার্কের কাজে উল্লেখযোগ্য পরিবর্তন এনেছে, তবে এই সংস্থান ব্যবস্থাপকের জন্য সমর্থনের পরীক্ষামূলক অবস্থা বজায় রেখেছে। সম্ভবত পরবর্তী আপডেটগুলি আপনার সিস্টেমের নিরাপত্তার জন্য ভয় না করে এবং কার্যকরী উপাদানগুলি স্বাধীনভাবে পরিবর্তন করার প্রয়োজন ছাড়াই YARN ত্যাগ করা এবং কুবারনেটে স্পার্ক কাজগুলি চালানোর সম্পূর্ণ সুপারিশ করা সম্ভব করে তুলবে।

ফিন

উত্স: www.habr.com