কিভাবে সস্তায় এবং দ্রুত খুব বড় ডেটা সরানো, আপলোড এবং সংহত করা যায়? পুশডাউন অপ্টিমাইজেশান কি?

যেকোনো বড় ডেটা অপারেশনের জন্য প্রচুর কম্পিউটিং শক্তি প্রয়োজন। একটি ডাটাবেস থেকে Hadoop-এ ডেটার একটি সাধারণ সরে যেতে কয়েক সপ্তাহ সময় লাগতে পারে বা বিমানের ডানার মতো খরচ হতে পারে। অপেক্ষা করতে এবং টাকা খরচ করতে চান না? বিভিন্ন প্ল্যাটফর্ম জুড়ে লোড ভারসাম্য. একটি উপায় হল পুশডাউন অপ্টিমাইজেশান।

আমি ইনফরমেটিকা ​​পণ্যের উন্নয়ন ও প্রশাসনের জন্য রাশিয়ার শীর্ষস্থানীয় প্রশিক্ষক আলেক্সি আনানিভকে ইনফরম্যাটিকা বিগ ডেটা ম্যানেজমেন্ট (বিডিএম) এ পুশডাউন অপ্টিমাইজেশন ফাংশন সম্পর্কে কথা বলতে বলেছি। আপনি কি কখনও ইনফরমেটিকা ​​পণ্যের সাথে কাজ করতে শিখেছেন? সম্ভবত, আলেক্সিই আপনাকে পাওয়ার সেন্টারের মূল বিষয়গুলি বলেছিল এবং কীভাবে ম্যাপিং তৈরি করতে হয় তা ব্যাখ্যা করেছিল।

আলেক্সি আনানিয়েভ, ডিআইএস গ্রুপের প্রশিক্ষণ প্রধান

পুশডাউন কি?

আপনারা অনেকেই ইতিমধ্যে ইনফরমেটিকা ​​বিগ ডেটা ম্যানেজমেন্ট (BDM) এর সাথে পরিচিত। পণ্যটি বিভিন্ন উত্স থেকে বড় ডেটা সংহত করতে পারে, এটিকে বিভিন্ন সিস্টেমের মধ্যে স্থানান্তর করতে পারে, এটিতে সহজ অ্যাক্সেস সরবরাহ করে, আপনাকে এটি প্রোফাইল করার অনুমতি দেয় এবং আরও অনেক কিছু।
ডান হাতে, BDM বিস্ময়কর কাজ করতে পারে: কাজগুলি দ্রুত এবং ন্যূনতম কম্পিউটিং সংস্থান সহ সম্পন্ন করা হবে।

তুমি কি সেটাও চাও? বিভিন্ন প্ল্যাটফর্মে কম্পিউটিং লোড বিতরণ করতে BDM-তে পুশডাউন বৈশিষ্ট্যটি ব্যবহার করতে শিখুন। পুশডাউন প্রযুক্তি আপনাকে ম্যাপিংকে একটি স্ক্রিপ্টে পরিণত করতে এবং এই স্ক্রিপ্টটি চালানো হবে এমন পরিবেশ নির্বাচন করতে দেয়। এই পছন্দটি আপনাকে বিভিন্ন প্ল্যাটফর্মের শক্তিগুলিকে একত্রিত করতে এবং তাদের সর্বাধিক কর্মক্ষমতা অর্জন করতে দেয়।

স্ক্রিপ্ট এক্সিকিউশন এনভায়রনমেন্ট কনফিগার করতে, আপনাকে পুশডাউন টাইপ নির্বাচন করতে হবে। স্ক্রিপ্ট সম্পূর্ণভাবে Hadoop এ চালানো যেতে পারে বা আংশিকভাবে উৎস এবং সিঙ্কের মধ্যে বিতরণ করা যেতে পারে। 4টি সম্ভাব্য পুশডাউন প্রকার রয়েছে। ম্যাপিংকে একটি স্ক্রিপ্টে (নেটিভ) পরিণত করার প্রয়োজন নেই। ম্যাপিং যতটা সম্ভব উৎসে (উৎস) বা সম্পূর্ণরূপে উৎসে (সম্পূর্ণ) করা যেতে পারে। ম্যাপিং একটি Hadoop স্ক্রিপ্টে পরিণত করা যেতে পারে (কোনটিই নয়)।

পুশডাউন অপ্টিমাইজেশান

তালিকাভুক্ত 4 প্রকারগুলি বিভিন্ন উপায়ে একত্রিত করা যেতে পারে - সিস্টেমের নির্দিষ্ট প্রয়োজনের জন্য পুশডাউন অপ্টিমাইজ করা যেতে পারে। উদাহরণস্বরূপ, তার নিজস্ব ক্ষমতা ব্যবহার করে একটি ডাটাবেস থেকে ডেটা বের করা প্রায়শই বেশি উপযুক্ত। এবং ডেটা Hadoop ব্যবহার করে রূপান্তর করা হবে, যাতে ডাটাবেস নিজেই ওভারলোড না হয়।

আসুন বিবেচনা করা যাক যখন উৎস এবং গন্তব্য উভয়ই ডাটাবেসে থাকে এবং রূপান্তর কার্যকরী প্ল্যাটফর্ম নির্বাচন করা যেতে পারে: সেটিংসের উপর নির্ভর করে, এটি হবে ইনফরম্যাটিকা, একটি ডাটাবেস সার্ভার বা হাডুপ। এই জাতীয় উদাহরণ আপনাকে এই প্রক্রিয়াটির ক্রিয়াকলাপের প্রযুক্তিগত দিকটি সবচেয়ে সঠিকভাবে বোঝার অনুমতি দেবে। স্বাভাবিকভাবেই, বাস্তব জীবনে, এই পরিস্থিতি তৈরি হয় না, তবে কার্যকারিতা প্রদর্শনের জন্য এটি সবচেয়ে উপযুক্ত।

একটি একক ওরাকল ডাটাবেসে দুটি টেবিল পড়ার জন্য ম্যাপিং নেওয়া যাক। এবং পড়ার ফলাফল একই ডাটাবেসের একটি টেবিলে রেকর্ড করা যাক। ম্যাপিং স্কিমটি এরকম হবে:

ইনফরম্যাটিকা বিডিএম 10.2.1-এ ম্যাপিংয়ের আকারে এটি এইরকম দেখাচ্ছে:

পুশডাউন টাইপ – নেটিভ

যদি আমরা পুশডাউন নেটিভ টাইপ নির্বাচন করি, তাহলে ম্যাপিং ইনফরমেটিকা ​​সার্ভারে সঞ্চালিত হবে। ডেটা ওরাকল সার্ভার থেকে পড়া হবে, ইনফরমেটিকা ​​সার্ভারে স্থানান্তরিত হবে, সেখানে রূপান্তরিত হবে এবং হাদুপে স্থানান্তরিত হবে। অন্য কথায়, আমরা একটি সাধারণ ETL প্রক্রিয়া পাব।

পুশডাউন টাইপ - উত্স

উৎসের ধরন নির্বাচন করার সময়, আমরা ডাটাবেস সার্ভার (DB) এবং Hadoop-এর মধ্যে আমাদের প্রক্রিয়া বিতরণ করার সুযোগ পাই। যখন এই সেটিং দিয়ে একটি প্রক্রিয়া চালানো হয়, টেবিল থেকে ডেটা পুনরুদ্ধারের অনুরোধগুলি ডাটাবেসে পাঠানো হবে। এবং বাকিগুলি Hadoop-এ পদক্ষেপের আকারে সঞ্চালিত হবে।
এক্সিকিউশন ডায়াগ্রামটি দেখতে এরকম হবে:

নীচে রানটাইম পরিবেশ সেট আপ করার একটি উদাহরণ।

এই ক্ষেত্রে, ম্যাপিং দুটি ধাপে সঞ্চালিত হবে। এর সেটিংসে আমরা দেখতে পাব যে এটি একটি স্ক্রিপ্টে পরিণত হয়েছে যা উৎসে পাঠানো হবে। তাছাড়া, সারণী একত্রিত করা এবং তথ্য রূপান্তর করা উৎসে একটি ওভাররাইডেড ক্যোয়ারী আকারে সঞ্চালিত হবে।
নীচের ছবিতে, আমরা বিডিএম-এ একটি অপ্টিমাইজ করা ম্যাপিং এবং উৎসে একটি পুনঃসংজ্ঞায়িত প্রশ্ন দেখতে পাচ্ছি।

এই কনফিগারেশনে Hadoop-এর ভূমিকা ডেটার প্রবাহ পরিচালনা করার জন্য হ্রাস করা হবে - এটি অর্কেস্ট্রেট করা। প্রশ্নের ফলাফল Hadoop এ পাঠানো হবে। পড়া শেষ হলে, Hadoop থেকে ফাইলটি সিঙ্কে লেখা হবে।

পুশডাউন টাইপ - পূর্ণ

আপনি যখন সম্পূর্ণ প্রকার নির্বাচন করেন, ম্যাপিং সম্পূর্ণরূপে একটি ডাটাবেস ক্যোয়ারীতে পরিণত হবে। এবং অনুরোধের ফলাফল Hadoop এ পাঠানো হবে। এই জাতীয় প্রক্রিয়ার একটি চিত্র নীচে উপস্থাপন করা হয়েছে।

একটি উদাহরণ সেটআপ নীচে দেখানো হয়েছে.

ফলস্বরূপ, আমরা আগেরটির মতো একটি অপ্টিমাইজড ম্যাপিং পাব। শুধুমাত্র পার্থক্য হল যে সমস্ত যুক্তি তার সন্নিবেশ ওভাররাইডিং আকারে রিসিভারে স্থানান্তরিত হয়। অপ্টিমাইজড ম্যাপিংয়ের একটি উদাহরণ নীচে উপস্থাপন করা হয়েছে।

এখানে, আগের ক্ষেত্রে যেমন, Hadoop কন্ডাকটরের ভূমিকা পালন করে। তবে এখানে উত্সটি সম্পূর্ণভাবে পড়া হয় এবং তারপরে ডেটা প্রসেসিং লজিক রিসিভার স্তরে সঞ্চালিত হয়।

পুশডাউন টাইপ নাল

ঠিক আছে, শেষ বিকল্পটি হল পুশডাউন টাইপ, যার মধ্যে আমাদের ম্যাপিং একটি Hadoop স্ক্রিপ্টে পরিণত হবে।

অপ্টিমাইজ করা ম্যাপিং এখন এইরকম দেখাবে:

এখানে সোর্স ফাইল থেকে ডেটা প্রথমে Hadoop এ পড়া হবে। তারপর, তার নিজস্ব উপায় ব্যবহার করে, এই দুটি ফাইল একত্রিত করা হবে. এর পরে, ডেটা রূপান্তরিত হবে এবং ডাটাবেসে আপলোড করা হবে।

পুশডাউন অপ্টিমাইজেশনের নীতিগুলি বোঝার মাধ্যমে, আপনি বড় ডেটা নিয়ে কাজ করার জন্য অনেকগুলি প্রক্রিয়া খুব কার্যকরভাবে সংগঠিত করতে পারেন। এইভাবে, বেশ সম্প্রতি, একটি বড় কোম্পানি, মাত্র কয়েক সপ্তাহের মধ্যে, Hadoop-এ স্টোরেজ থেকে বড় ডেটা ডাউনলোড করেছে, যা এটি আগে বেশ কয়েক বছর ধরে সংগ্রহ করেছিল।

উত্স: www.habr.com