YARN-এ স্পার্ক কনফিগার করা হচ্ছে

হাবর, হ্যালো! গতকাল Apache Spark নিবেদিত সাক্ষাৎ, Rambler&Co-এর ছেলেদের কাছ থেকে, এই টুল কনফিগার করার সাথে সম্পর্কিত অংশগ্রহণকারীদের কাছ থেকে বেশ অনেক প্রশ্ন ছিল। আমরা তার পদাঙ্ক অনুসরণ করার এবং আমাদের অভিজ্ঞতা শেয়ার করার সিদ্ধান্ত নিয়েছি। বিষয়টি সহজ নয় - তাই আমরা আপনাকে মন্তব্যে আপনার অভিজ্ঞতা শেয়ার করার জন্য আমন্ত্রণ জানাচ্ছি, হয়তো আমরা বুঝতে পারি এবং কিছু ভুল ব্যবহার করতে পারি।

আমরা স্পার্ক ব্যবহার কিভাবে একটি সামান্য ভূমিকা. আমাদের তিন মাসের একটি প্রোগ্রাম আছে "বিগ ডেটা বিশেষজ্ঞ", এবং দ্বিতীয় মডিউল জুড়ে আমাদের অংশগ্রহণকারীরা এই যন্ত্রটিতে কাজ করে। তদনুসারে, আমাদের কাজ, সংগঠক হিসাবে, এই ধরনের ক্ষেত্রে ব্যবহারের জন্য ক্লাস্টার প্রস্তুত করা।

আমাদের ব্যবহারের বিশেষত্ব হল স্পার্ক-এ একসাথে কাজ করা লোকের সংখ্যা সমগ্র গোষ্ঠীর সমান হতে পারে। উদাহরণস্বরূপ, একটি সেমিনারে, যখন সবাই একই সময়ে কিছু চেষ্টা করে এবং আমাদের শিক্ষকের পরে পুনরাবৃত্তি করে। এবং এটি অনেক কিছু নয় - কখনও কখনও 40 জন পর্যন্ত। বিশ্বে সম্ভবত এমন অনেক কোম্পানি নেই যারা এই ধরনের ব্যবহারের ক্ষেত্রে মুখোমুখি হয়।

পরবর্তী, আমি আপনাকে বলব কিভাবে এবং কেন আমরা নির্দিষ্ট কনফিগার পরামিতি নির্বাচন করেছি।

একদম গোড়া থেকে শুরু করা যাক। স্পার্কের একটি ক্লাস্টারে চালানোর জন্য 3টি বিকল্প রয়েছে: স্বতন্ত্র, মেসোস ব্যবহার করে এবং ইয়ারন ব্যবহার করে। আমরা তৃতীয় বিকল্প বেছে নেওয়ার সিদ্ধান্ত নিয়েছি কারণ এটি আমাদের কাছে বোধগম্য ছিল। আমরা ইতিমধ্যে একটি hadoop ক্লাস্টার আছে. আমাদের অংশগ্রহণকারীরা ইতিমধ্যে এর স্থাপত্যের সাথে ভালভাবে পরিচিত। এর সুতা ব্যবহার করা যাক.

spark.master=yarn

আরও আকর্ষণীয়। এই 3টি স্থাপনার বিকল্পগুলির প্রতিটিতে 2টি স্থাপনার বিকল্প রয়েছে: ক্লায়েন্ট এবং ক্লাস্টার৷ ভিত্তিক ডকুমেন্টেশন এবং ইন্টারনেটে বিভিন্ন লিঙ্ক, আমরা উপসংহারে পৌঁছাতে পারি যে ক্লায়েন্ট ইন্টারেক্টিভ কাজের জন্য উপযুক্ত - উদাহরণস্বরূপ, জুপিটার নোটবুকের মাধ্যমে, এবং ক্লাস্টার উত্পাদন সমাধানের জন্য আরও উপযুক্ত। আমাদের ক্ষেত্রে, আমরা ইন্টারেক্টিভ কাজে আগ্রহী ছিলাম, তাই:

spark.deploy-mode=client

সাধারণভাবে, এখন থেকে স্পার্ক কোনওভাবে ইয়ার্নে কাজ করবে, তবে এটি আমাদের জন্য যথেষ্ট ছিল না। যেহেতু আমাদের কাছে বিগ ডেটা সম্পর্কে একটি প্রোগ্রাম রয়েছে, তাই কখনও কখনও অংশগ্রহণকারীদের কাছে সম্পদের সমান অংশের কাঠামোর মধ্যে যা প্রাপ্ত হয়েছিল তা যথেষ্ট ছিল না। এবং তারপরে আমরা একটি আকর্ষণীয় জিনিস খুঁজে পেয়েছি - গতিশীল সম্পদ বরাদ্দ। সংক্ষেপে, পয়েন্টটি হল: যদি আপনার একটি কঠিন কাজ থাকে এবং ক্লাস্টারটি বিনামূল্যে থাকে (উদাহরণস্বরূপ, সকালে), তবে এই বিকল্পটি ব্যবহার করে স্পার্ক আপনাকে অতিরিক্ত সংস্থান দিতে পারে। একটি ধূর্ত সূত্র অনুযায়ী সেখানে প্রয়োজনীয়তা গণনা করা হয়। আমরা বিশদে যাব না - এটি ভাল কাজ করে।

spark.dynamicAllocation.enabled=true

আমরা এই প্যারামিটার সেট করেছি, এবং স্টার্টআপের সময় স্পার্ক ক্র্যাশ হয়ে গেছে এবং শুরু হয়নি। এটা ঠিক, কারণ আমাকে পড়তে হয়েছিল ডকুমেন্টেশন আরো সাবধানে. এটি বলে যে সবকিছু ঠিকঠাক হওয়ার জন্য, আপনাকে একটি অতিরিক্ত প্যারামিটার সক্ষম করতে হবে।

spark.shuffle.service.enabled=true

এটা কেন প্রয়োজন? যখন আমাদের কাজের জন্য এতগুলি সংস্থান প্রয়োজন হয় না, তখন স্পার্কের উচিত সেগুলিকে সাধারণ পুলে ফিরিয়ে দেওয়া। প্রায় যেকোনো MapReduce টাস্কের সবচেয়ে সময়সাপেক্ষ পর্যায় হল শাফেল স্টেজ। এই পরামিতিটি আপনাকে এই পর্যায়ে উত্পন্ন ডেটা সংরক্ষণ করতে এবং সেই অনুযায়ী নির্বাহকদের মুক্তি দিতে দেয়। এবং নির্বাহক হল সেই প্রক্রিয়া যা কর্মীর উপর সবকিছু গণনা করে। এটিতে একটি নির্দিষ্ট সংখ্যক প্রসেসর কোর এবং একটি নির্দিষ্ট পরিমাণ মেমরি রয়েছে।

এই প্যারামিটার যোগ করা হয়েছে. সবকিছু কাজ বলে মনে হচ্ছে. এটি লক্ষণীয় হয়ে ওঠে যে অংশগ্রহণকারীদের যখন তাদের প্রয়োজন তখন তাদের আরও সংস্থান দেওয়া হয়েছিল। কিন্তু আরেকটি সমস্যা দেখা দিয়েছে - কিছু সময়ে অন্যান্য অংশগ্রহণকারীরা জেগে উঠেছিল এবং স্পার্ক ব্যবহার করতে চেয়েছিল, কিন্তু সেখানে সবকিছুই ব্যস্ত ছিল এবং তারা অসন্তুষ্ট ছিল। সেগুলো বোঝা যায়। আমরা ডকুমেন্টেশন দেখতে শুরু. এটি প্রমাণিত হয়েছে যে প্রক্রিয়াটিকে প্রভাবিত করতে ব্যবহার করা যেতে পারে এমন অনেকগুলি পরামিতি রয়েছে। উদাহরণস্বরূপ, যদি নির্বাহক স্ট্যান্ডবাই মোডে থাকে, তাহলে কত সময়ের পরে এটি থেকে সংস্থান নেওয়া যেতে পারে?

spark.dynamicAllocation.executorIdleTimeout=120s

আমাদের ক্ষেত্রে, যদি আপনার নির্বাহকরা দুই মিনিটের জন্য কিছুই না করেন, তাহলে অনুগ্রহ করে তাদের সাধারণ পুলে ফিরিয়ে দিন। কিন্তু এই পরামিতি সবসময় যথেষ্ট ছিল না। এটা স্পষ্ট যে ব্যক্তিটি দীর্ঘদিন ধরে কিছু করছে না, এবং সম্পদ মুক্ত করা হচ্ছে না। এটি প্রমাণিত হয়েছে যে একটি বিশেষ পরামিতিও রয়েছে - কত সময়ের পরে ক্যাশে ডেটা ধারণ করে নির্বাহক নির্বাচন করতে হবে। ডিফল্টরূপে, এই পরামিতি অসীম ছিল! আমরা তা সংশোধন করেছি।

spark.dynamicAllocation.cachedExecutorIdleTimeout=600s

অর্থাৎ, যদি আপনার নির্বাহক 5 মিনিটের জন্য কিছুই না করেন, তাহলে তাদের সাধারণ পুলে দিন। এই মোডে, বিপুল সংখ্যক ব্যবহারকারীর জন্য রিলিজ এবং রিলিজ করার গতি শালীন হয়ে উঠেছে। অসন্তোষের পরিমাণ কমেছে। কিন্তু আমরা আরও এগিয়ে যাওয়ার সিদ্ধান্ত নিয়েছি এবং প্রতি অ্যাপ্লিকেশনের সর্বোচ্চ সংখ্যক নির্বাহককে সীমিত করার সিদ্ধান্ত নিয়েছি - মূলত প্রতি প্রোগ্রাম অংশগ্রহণকারীর জন্য।

spark.dynamicAllocation.maxExecutors=19

এখন, অবশ্যই, অন্য দিকে অসন্তুষ্ট লোক রয়েছে - "ক্লাস্টারটি নিষ্ক্রিয়, এবং আমার কাছে মাত্র 19 জন নির্বাহক রয়েছে," তবে আপনি কী করতে পারেন? আমাদের কিছু ধরণের সঠিক ভারসাম্য দরকার। আপনি সবাইকে খুশি করতে পারবেন না।

এবং আমাদের মামলার স্পেসিফিকেশন সম্পর্কিত আরও একটি ছোট গল্প। একরকম, বেশ কিছু লোক একটি ব্যবহারিক পাঠের জন্য দেরী করেছিল এবং কিছু কারণে তাদের জন্য স্পার্ক শুরু হয়নি। আমরা বিনামূল্যে সম্পদের পরিমাণ দেখেছি - এটি আছে বলে মনে হয়। স্পার্ক শুরু করা উচিত। সৌভাগ্যবশত, ততক্ষণে ডকুমেন্টেশনটি ইতিমধ্যেই কোথাও সাবকর্টেক্সে যোগ করা হয়েছে, এবং আমরা মনে রেখেছিলাম যে চালু করার সময়, স্পার্ক একটি বন্দর খোঁজে যা শুরু হবে। যদি রেঞ্জের প্রথম পোর্টটি ব্যস্ত থাকে, তবে এটি ক্রমানুসারে পরবর্তীতে চলে যায়। যদি এটি বিনামূল্যে হয়, এটি ক্যাপচার করে। এবং একটি প্যারামিটার রয়েছে যা এটির জন্য সর্বাধিক সংখ্যক প্রচেষ্টা নির্দেশ করে। ডিফল্ট হল 16। সংখ্যাটি ক্লাসে আমাদের গ্রুপের লোকের সংখ্যার চেয়ে কম। তদনুসারে, 16 টি প্রচেষ্টার পরে, স্পার্ক হাল ছেড়ে দিয়ে বলেছিল যে আমি শুরু করতে পারিনি। আমরা এই পরামিতি সংশোধন করেছি।

spark.port.maxRetries=50

এরপরে আমি আপনাকে এমন কিছু সেটিংস সম্পর্কে বলব যা আমাদের কেসের নির্দিষ্টতার সাথে খুব বেশি সম্পর্কিত নয়।

দ্রুত স্পার্ক শুরু করতে, SPARK_HOME হোম ডিরেক্টরিতে অবস্থিত জার ফোল্ডারটিকে সংরক্ষণাগারভুক্ত করার এবং HDFS-এ রাখার পরামর্শ দেওয়া হয়৷ তাহলে সে শ্রমিকদের দিয়ে এসব জার্নিক লোড করে সময় নষ্ট করবে না।

spark.yarn.archive=hdfs:///tmp/spark-archive.zip

দ্রুত অপারেশনের জন্য ক্রাইওকে সিরিয়ালাইজার হিসেবে ব্যবহার করার পরামর্শ দেওয়া হয়। এটি ডিফল্ট এক তুলনায় আরো অপ্টিমাইজ করা হয়.

spark.serializer=org.apache.spark.serializer.KryoSerializer

এবং স্পার্কের সাথে একটি দীর্ঘস্থায়ী সমস্যাও রয়েছে যে এটি প্রায়শই স্মৃতি থেকে ক্রাশ হয়ে যায়। প্রায়শই এই মুহুর্তে ঘটে যখন কর্মীরা সবকিছু গণনা করে ফলাফলটি ড্রাইভারকে পাঠায়। আমরা নিজেদের জন্য এই পরামিতি বড় করা. ডিফল্টরূপে, এটি 1GB, আমরা এটি 3 করেছি।

spark.driver.maxResultSize=3072

এবং অবশেষে, একটি ডেজার্ট হিসাবে। HortonWorks ডিস্ট্রিবিউশন - HDP 2.1-এর সংস্করণ 2.5.3.0-এ স্পার্ক কীভাবে আপডেট করবেন। HDP-এর এই সংস্করণে একটি আগে থেকে ইনস্টল করা সংস্করণ 2.0 রয়েছে, কিন্তু আমরা একবার নিজেদের জন্য সিদ্ধান্ত নিয়েছিলাম যে স্পার্ক বেশ সক্রিয়ভাবে বিকাশ করছে, এবং প্রতিটি নতুন সংস্করণ কিছু বাগ সংশোধন করে এবং পাইথন API সহ অতিরিক্ত বৈশিষ্ট্য প্রদান করে, তাই আমরা সিদ্ধান্ত নিয়েছি, কী করা দরকার করা একটি আপডেট.

Hadoop 2.7 এর জন্য অফিসিয়াল ওয়েবসাইট থেকে সংস্করণটি ডাউনলোড করা হয়েছে। এটি আনজিপ করুন এবং HDP ফোল্ডারে রাখুন। আমরা প্রয়োজন অনুসারে সিমলিঙ্কগুলি ইনস্টল করেছি। আমরা এটি চালু করি - এটি শুরু হয় না। একটি খুব অস্পষ্ট ত্রুটি লিখেছেন.

java.lang.NoClassDefFoundError: com/sun/jersey/api/client/config/ClientConfig

গুগল করার পরে, আমরা জানতে পেরেছি যে স্পার্ক হ্যাডুপের জন্ম না হওয়া পর্যন্ত অপেক্ষা না করার সিদ্ধান্ত নিয়েছে এবং জার্সির নতুন সংস্করণ ব্যবহার করার সিদ্ধান্ত নিয়েছে। তারা নিজেরাই জিরাতে এই বিষয়টি নিয়ে একে অপরের সাথে তর্ক করে। সমাধান ছিল ডাউনলোড করা জার্সি সংস্করণ 1.17.1. এটিকে SPARK_HOME-এর জার ফোল্ডারে রাখুন, আবার জিপ করুন এবং HDFS-এ আপলোড করুন।

আমরা এই ত্রুটির কাছাকাছি পেয়েছিলাম, কিন্তু একটি নতুন এবং বরং সুবিন্যস্ত একটি উদ্ভূত হয়েছে.

org.apache.spark.SparkException: Yarn application has already ended! It might have been killed or unable to launch application master

একই সময়ে, আমরা 2.0 সংস্করণ চালানোর চেষ্টা করি - সবকিছু ঠিক আছে। কি ঘটছে অনুমান করার চেষ্টা করুন. আমরা এই অ্যাপ্লিকেশনটির লগগুলি দেখেছি এবং এরকম কিছু দেখেছি:

/usr/hdp/${hdp.version}/hadoop/lib/hadoop-lzo-0.6.0.${hdp.version}.jar

সাধারণভাবে, কিছু কারণে hdp.version সমাধান হয়নি। গুগল করার পরে, আমরা একটি সমাধান খুঁজে পেয়েছি। আপনাকে Ambari-এ YARN সেটিংসে যেতে হবে এবং সেখানে কাস্টম সুতা-সাইটে একটি প্যারামিটার যোগ করতে হবে:

hdp.version=2.5.3.0-37

এই জাদু সাহায্য, এবং স্পার্ক বন্ধ গ্রহণ. আমরা আমাদের জুপিটার ল্যাপটপের বেশ কয়েকটি পরীক্ষা করেছি। সবকিছু কাজ করছে। আমরা শনিবার (আগামীকাল) প্রথম স্পার্ক পাঠের জন্য প্রস্তুত!

ইউপিডি. পাঠের সময়, আরেকটি সমস্যা প্রকাশ্যে এল। কিছু সময়ে, ইয়ার্ন স্পার্কের জন্য পাত্র সরবরাহ করা বন্ধ করে দিয়েছে। ইয়ারনে প্যারামিটারটি সংশোধন করা প্রয়োজন ছিল, যা ডিফল্টরূপে 0.2 ছিল:

yarn.scheduler.capacity.maximum-am-resource-percent=0.8

অর্থাৎ সম্পদের মাত্র 20% সম্পদ বণ্টনে অংশগ্রহণ করেছে। পরামিতি পরিবর্তন করার পর, আমরা সুতা পুনরায় লোড করেছি। সমস্যাটি সমাধান করা হয়েছে এবং বাকি অংশগ্রহণকারীরাও স্পার্ক প্রসঙ্গ চালাতে সক্ষম হয়েছিল।

উত্স: www.habr.com