যখন আপনি Sber দাঁড়িপাল্লা আছে. Hive এবং GreenPlum এর সাথে Ab Initio ব্যবহার করা

কিছু সময় আগে, আমরা বিগ ডেটা নিয়ে কাজ করার জন্য একটি ETL টুল বেছে নেওয়ার প্রশ্নের সম্মুখীন হয়েছিলাম। পূর্বে ব্যবহৃত ইনফরমেটিকা ​​বিডিএম সমাধান সীমিত কার্যকারিতার কারণে আমাদের জন্য উপযুক্ত নয়। এটির ব্যবহার স্পার্ক-সাবমিট কমান্ড চালু করার জন্য একটি কাঠামোতে হ্রাস করা হয়েছে। বাজারে এমন অনেক অ্যানালগ ছিল না যা নীতিগতভাবে, আমরা প্রতিদিন যে পরিমাণ ডেটা নিয়ে কাজ করি তার সাথে কাজ করতে সক্ষম। শেষ পর্যন্ত আমরা Ab Initio বেছে নিলাম। পাইলট প্রদর্শনের সময়, পণ্যটি খুব উচ্চ ডেটা প্রসেসিং গতি দেখিয়েছিল। রাশিয়ান ভাষায় Ab Initio সম্পর্কে প্রায় কোনও তথ্য নেই, তাই আমরা হাব্রে সম্পর্কে আমাদের অভিজ্ঞতা সম্পর্কে কথা বলার সিদ্ধান্ত নিয়েছি।

Ab Initio এর অনেক ক্লাসিক এবং অস্বাভাবিক রূপান্তর রয়েছে, যার কোডটি নিজস্ব PDL ভাষা ব্যবহার করে প্রসারিত করা যেতে পারে। একটি ছোট ব্যবসার জন্য, এই ধরনের একটি শক্তিশালী টুল সম্ভবত অত্যধিক কম হতে পারে, এবং এর বেশিরভাগ ক্ষমতা ব্যয়বহুল এবং অব্যবহৃত হতে পারে। কিন্তু যদি আপনার স্কেল Sberov-এর কাছাকাছি হয়, তাহলে Ab Initio আপনার কাছে আকর্ষণীয় হতে পারে।

এটি একটি ব্যবসাকে বিশ্বব্যাপী জ্ঞান সঞ্চয় করতে এবং একটি ইকোসিস্টেম বিকাশ করতে এবং একজন বিকাশকারীকে ETL-এ তার দক্ষতা উন্নত করতে, শেলে তার জ্ঞান উন্নত করতে, PDL ভাষা আয়ত্ত করার সুযোগ প্রদান করে, লোডিং প্রক্রিয়াগুলির একটি ভিজ্যুয়াল চিত্র দেয় এবং বিকাশকে সহজ করে তোলে। কার্যকরী উপাদানের প্রাচুর্যের কারণে।

এই পোস্টে আমি Ab Initio এর ক্ষমতা সম্পর্কে কথা বলব এবং Hive এবং GreenPlum এর সাথে এর কাজের তুলনামূলক বৈশিষ্ট্যগুলি প্রদান করব।

• MDW ফ্রেমওয়ার্কের বর্ণনা এবং GreenPlum এর জন্য এর কাস্টমাইজেশনের কাজ
• Hive এবং GreenPlum এর মধ্যে Ab Initio কর্মক্ষমতা তুলনা
• রিয়েল টাইম মোডে GreenPlum-এর সাথে Ab Initio কাজ করা

এই পণ্যটির কার্যকারিতা খুব বিস্তৃত এবং অধ্যয়নের জন্য অনেক সময় প্রয়োজন। যাইহোক, সঠিক কাজের দক্ষতা এবং সঠিক কর্মক্ষমতা সেটিংস সহ, ডেটা প্রক্রিয়াকরণের ফলাফলগুলি খুব চিত্তাকর্ষক। একজন বিকাশকারীর জন্য Ab Initio ব্যবহার করা একটি আকর্ষণীয় অভিজ্ঞতা প্রদান করতে পারে। এটি ETL ডেভেলপমেন্টের উপর একটি নতুন টেক, একটি ভিজ্যুয়াল এনভায়রনমেন্ট এবং স্ক্রিপ্টের মতো ভাষায় ডাউনলোড ডেভেলপমেন্টের মধ্যে একটি হাইব্রিড।

ব্যবসাগুলি তাদের বাস্তুতন্ত্র বিকাশ করছে এবং এই সরঞ্জামটি আগের চেয়ে আরও বেশি কাজে আসে। Ab Initio-এর সাহায্যে, আপনি আপনার বর্তমান ব্যবসা সম্পর্কে জ্ঞান সংগ্রহ করতে পারেন এবং পুরানো এবং নতুন ব্যবসা খোলার জন্য এই জ্ঞান ব্যবহার করতে পারেন। Ab Initio-এর বিকল্পগুলির মধ্যে রয়েছে ভিজ্যুয়াল ডেভেলপমেন্ট এনভায়রনমেন্ট ইনফরমেটিকা ​​বিডিএম এবং নন-ভিজ্যুয়াল ডেভেলপমেন্ট এনভায়রনমেন্ট অ্যাপাচি স্পার্ক।

Ab Initio এর বর্ণনা

Ab Initio, অন্যান্য ETL টুলের মতো, পণ্যের একটি সংগ্রহ।

Ab Initio GDE (গ্রাফিকাল ডেভেলপমেন্ট এনভায়রনমেন্ট) হল ডেভেলপারের জন্য একটি পরিবেশ যেখানে সে ডেটা ট্রান্সফরমেশন কনফিগার করে এবং তীরের আকারে ডেটা প্রবাহের সাথে সংযুক্ত করে। এই ক্ষেত্রে, রূপান্তরের এই ধরনের সেটকে গ্রাফ বলা হয়:

কার্যকরী উপাদানগুলির ইনপুট এবং আউটপুট সংযোগগুলি হল পোর্ট এবং রূপান্তরের মধ্যে গণনা করা ক্ষেত্রগুলি ধারণ করে। তাদের কার্যকর করার ক্রমে তীর আকারে প্রবাহ দ্বারা সংযুক্ত বেশ কয়েকটি গ্রাফকে একটি পরিকল্পনা বলা হয়।

কয়েক শত কার্যকরী উপাদান আছে, যা অনেক. তাদের মধ্যে অনেকেই অত্যন্ত বিশেষায়িত। Ab Initio-এ ক্লাসিক রূপান্তরের ক্ষমতা অন্যান্য ETL টুলের তুলনায় ব্যাপক। উদাহরণস্বরূপ, Join এর একাধিক আউটপুট রয়েছে। ডেটাসেট সংযোগের ফলাফল ছাড়াও, আপনি ইনপুট ডেটাসেটের আউটপুট রেকর্ড পেতে পারেন যার কীগুলি সংযুক্ত করা যায়নি। আপনি প্রত্যাখ্যান, ত্রুটি এবং রূপান্তর ক্রিয়াকলাপের একটি লগও পেতে পারেন, যা পাঠ্য ফাইলের মতো একই কলামে পড়া যায় এবং অন্যান্য রূপান্তরগুলির সাথে প্রক্রিয়া করা যায়:

অথবা, উদাহরণস্বরূপ, আপনি একটি টেবিলের আকারে একটি ডেটা রিসিভারকে বাস্তবায়িত করতে পারেন এবং একই কলামে এটি থেকে ডেটা পড়তে পারেন।

মূল রূপান্তর আছে. উদাহরণস্বরূপ, স্ক্যান রূপান্তরের কার্যকারিতা বিশ্লেষণাত্মক ফাংশনের মতোই রয়েছে। স্ব-ব্যাখ্যামূলক নামগুলির সাথে রূপান্তর রয়েছে: ডেটা তৈরি করুন, এক্সেল পড়ুন, নরমালাইজ করুন, গোষ্ঠীর মধ্যে সাজান, প্রোগ্রাম চালান, এসকিউএল চালান, DB এর সাথে যোগ দিন ইত্যাদি। গ্রাফগুলি রান-টাইম প্যারামিটার ব্যবহার করতে পারে, যার মধ্যে থেকে বা থেকে পরামিতি পাস করার সম্ভাবনা সহ অপারেটিং সিস্টেম গ্রাফে পাস করা প্যারামিটারগুলির একটি তৈরি সেট সহ ফাইলগুলিকে প্যারামিটার সেট (psets) বলা হয়।

প্রত্যাশিত হিসাবে, Ab Initio GDE-এর নিজস্ব সংগ্রহস্থল রয়েছে যার নাম EME (এন্টারপ্রাইজ মেটা এনভায়রনমেন্ট)। বিকাশকারীদের কোডের স্থানীয় সংস্করণগুলির সাথে কাজ করার এবং কেন্দ্রীয় সংগ্রহস্থলে তাদের বিকাশগুলি পরীক্ষা করার সুযোগ রয়েছে।

এক্সিকিউশনের সময় বা গ্রাফ এক্সিকিউট করার পরে, ট্রান্সফরমেশনের সাথে সংযোগকারী যেকোন প্রবাহে ক্লিক করা এবং এই ট্রান্সফরমেশনের মধ্যে পাস করা ডেটার দিকে নজর দেওয়া সম্ভব:

যেকোনো স্ট্রীমে ক্লিক করা এবং ট্র্যাকিং বিশদ দেখতে পাওয়াও সম্ভব - রূপান্তরটি কত সমান্তরালে কাজ করেছে, কোন সমান্তরালে কতগুলি লাইন এবং বাইট লোড হয়েছে:

গ্রাফের কার্য সম্পাদনকে পর্যায়ক্রমে ভাগ করা সম্ভব এবং চিহ্নিত করুন যে কিছু রূপান্তরগুলি প্রথমে (শূন্য পর্যায়ে), পরবর্তীগুলি প্রথম পর্বে, পরবর্তীগুলি দ্বিতীয় পর্বে ইত্যাদি করা দরকার।

প্রতিটি রূপান্তরের জন্য, আপনি তথাকথিত লেআউটটি চয়ন করতে পারেন (যেখানে এটি কার্যকর করা হবে): সমান্তরাল বা সমান্তরাল থ্রেড ছাড়াই, যার সংখ্যা নির্দিষ্ট করা যেতে পারে। একই সময়ে, ট্রান্সফর্মেশন চলার সময় Ab Initio তৈরি করে অস্থায়ী ফাইলগুলি সার্ভার ফাইল সিস্টেম এবং HDFS উভয় ক্ষেত্রেই স্থাপন করা যেতে পারে।

প্রতিটি রূপান্তরে, ডিফল্ট টেমপ্লেটের উপর ভিত্তি করে, আপনি PDL-এ আপনার নিজস্ব স্ক্রিপ্ট তৈরি করতে পারেন, যা কিছুটা শেলের মতো।

PDL-এর সাহায্যে, আপনি রূপান্তরের কার্যকারিতা প্রসারিত করতে পারেন এবং, বিশেষ করে, আপনি গতিশীলভাবে (রানটাইমে) রানটাইম প্যারামিটারের উপর নির্ভর করে নির্বিচারে কোড টুকরা তৈরি করতে পারেন।

Ab Initio-এর শেলের মাধ্যমে OS-এর সাথে সু-বিকশিত ইন্টিগ্রেশনও রয়েছে। বিশেষত, Sberbank linux ksh ব্যবহার করে। আপনি শেলের সাথে ভেরিয়েবল বিনিময় করতে পারেন এবং গ্রাফ পরামিতি হিসাবে ব্যবহার করতে পারেন। আপনি শেল থেকে Ab Initio গ্রাফ এক্সিকিউশন কল করতে পারেন এবং Ab Initio পরিচালনা করতে পারেন।

Ab Initio GDE ছাড়াও, ডেলিভারিতে আরও অনেক পণ্য অন্তর্ভুক্ত রয়েছে। একটি অপারেটিং সিস্টেম বলে দাবি সহ একটি নিজস্ব Co>Operation System আছে। একটি কন্ট্রোল>সেন্টার রয়েছে যেখানে আপনি ডাউনলোড প্রবাহের সময়সূচী এবং নিরীক্ষণ করতে পারেন। Ab Initio GDE-এর অনুমতির চেয়ে আরও আদিম স্তরে উন্নয়ন করার জন্য পণ্য রয়েছে৷

MDW ফ্রেমওয়ার্কের বর্ণনা এবং GreenPlum এর জন্য এর কাস্টমাইজেশনের কাজ

এর পণ্যগুলির সাথে, বিক্রেতা MDW (মেটাডেটা চালিত গুদাম) পণ্য সরবরাহ করে, যা একটি গ্রাফ কনফিগারার যা ডেটা গুদাম বা ডেটা ভল্টের সাধারণ কাজগুলিতে সহায়তা করার জন্য ডিজাইন করা হয়েছে।

এতে কাস্টম (প্রকল্প-নির্দিষ্ট) মেটাডেটা পার্সার এবং বাক্সের বাইরে রেডিমেড কোড জেনারেটর রয়েছে।

ইনপুট হিসাবে, MDW একটি ডেটা মডেল, একটি ডাটাবেসের সাথে সংযোগ স্থাপনের জন্য একটি কনফিগারেশন ফাইল (ওরাকল, টেরাডাটা বা হাইভ) এবং কিছু অন্যান্য সেটিংস গ্রহণ করে। প্রকল্প-নির্দিষ্ট অংশ, উদাহরণস্বরূপ, মডেলটিকে একটি ডাটাবেসে স্থাপন করে। পণ্যের বাইরের অংশটি মডেল টেবিলে ডেটা লোড করে তাদের জন্য গ্রাফ এবং কনফিগারেশন ফাইল তৈরি করে। এই ক্ষেত্রে, গ্রাফগুলি (এবং psets) সত্তা আপডেট করার প্রাথমিক এবং ক্রমবর্ধমান কাজের বিভিন্ন মোডের জন্য তৈরি করা হয়।

Hive এবং RDBMS-এর ক্ষেত্রে, প্রারম্ভিকতা এবং ক্রমবর্ধমান ডেটা আপডেটের জন্য বিভিন্ন গ্রাফ তৈরি করা হয়।

Hive এর ক্ষেত্রে, ইনকামিং ডেল্টা ডেটা Ab Initio Join এর মাধ্যমে সংযুক্ত করা হয় আপডেটের আগে টেবিলে থাকা ডেটার সাথে। MDW-তে ডেটা লোডার (Hive এবং RDBMS উভয় ক্ষেত্রেই) শুধুমাত্র ডেল্টা থেকে নতুন ডেটা সন্নিবেশ করে না, কিন্তু সেই ডেটার প্রাসঙ্গিকতার সময়সীমাও বন্ধ করে যার প্রাথমিক কীগুলি ডেল্টা পেয়েছে। এছাড়াও, আপনাকে ডেটার অপরিবর্তিত অংশটি পুনরায় লিখতে হবে। কিন্তু এটি করতে হবে কারণ Hive এর ডিলিট বা আপডেট অপারেশন নেই।

RDBMS-এর ক্ষেত্রে, ক্রমবর্ধমান ডেটা আপডেট করার জন্য গ্রাফগুলি আরও অনুকূল দেখায়, কারণ RDBMS-এর প্রকৃত আপডেট করার ক্ষমতা রয়েছে।

প্রাপ্ত ব-দ্বীপ ডাটাবেসের মধ্যবর্তী টেবিলে লোড করা হয়। এর পরে, ডেল্টা আপডেটের আগে টেবিলে থাকা ডেটার সাথে সংযুক্ত থাকে। এবং এটি একটি জেনারেটেড এসকিউএল কোয়েরি ব্যবহার করে এসকিউএল ব্যবহার করে করা হয়। এর পরে, ডিলিট+ইনসার্ট এসকিউএল কমান্ড ব্যবহার করে, ডেল্টা থেকে নতুন ডেটা টার্গেট টেবিলে ঢোকানো হয় এবং যে ডেটার প্রাইমারি কীগুলি ডেল্টা প্রাপ্ত হয় তার প্রাসঙ্গিকতার সময়কাল বন্ধ হয়ে যায়।
অপরিবর্তিত ডেটা পুনরায় লেখার প্রয়োজন নেই।

তাই আমরা এই সিদ্ধান্তে উপনীত হয়েছি যে হাইভের ক্ষেত্রে, MDW কে সম্পূর্ণ টেবিলটি পুনরায় লিখতে যেতে হবে কারণ Hive-এর কোনো আপডেট ফাংশন নেই। এবং আপডেট করার সময় ডেটা সম্পূর্ণরূপে পুনঃলিখনের চেয়ে ভাল আর কিছুই নয়। RDBMS-এর ক্ষেত্রে, বিপরীতে, পণ্যের নির্মাতারা এসকিউএল ব্যবহারের জন্য টেবিলের সংযোগ এবং আপডেট করার দায়িত্ব অর্পণ করা প্রয়োজন বলে মনে করেছেন।

Sberbank-এ একটি প্রকল্পের জন্য, আমরা GreenPlum-এর জন্য একটি ডাটাবেস লোডারের একটি নতুন, পুনঃব্যবহারযোগ্য বাস্তবায়ন তৈরি করেছি। এটি টেরাডাটার জন্য MDW তৈরি করা সংস্করণের উপর ভিত্তি করে করা হয়েছিল। এটি টেরডাটা ছিল, ওরাকল নয়, এটি এর জন্য সবচেয়ে কাছাকাছি এবং সেরা এসেছিল, কারণ... এছাড়াও একটি MPP সিস্টেম। টেরাডাটা এবং গ্রীনপ্লামের কাজের পদ্ধতি, সেইসাথে সিনট্যাক্স একই রকম হয়ে উঠেছে।

বিভিন্ন RDBMS-এর মধ্যে MDW-গুরুত্বপূর্ণ পার্থক্যের উদাহরণ নিম্নরূপ। গ্রীনপ্লামে, টেরাডাটার বিপরীতে, টেবিল তৈরি করার সময় আপনাকে একটি ধারা লিখতে হবে

distributed by

টেরাডাটা লিখেছেন:

delete <table> all

, এবং GreenPlum এ তারা লেখে

delete from <table>

ওরাকেলে, অপ্টিমাইজেশনের উদ্দেশ্যে তারা লেখে

delete from t where rowid in (<соединение t с дельтой>)

, এবং Teradata এবং GreenPlum লিখুন

delete from t where exists (select * from delta where delta.pk=t.pk)

আমরা আরও লক্ষ করি যে Ab Initio-এর জন্য GreenPlum-এর সাথে কাজ করার জন্য, Ab Initio ক্লাস্টারের সমস্ত নোডে GreenPlum ক্লায়েন্ট ইনস্টল করা প্রয়োজন ছিল। এর কারণ হল আমরা আমাদের ক্লাস্টারের সমস্ত নোড থেকে একযোগে GreenPlum-এর সাথে সংযুক্ত হয়েছি। এবং গ্রীনপ্লাম থেকে পড়ার জন্য সমান্তরাল হতে এবং প্রতিটি সমান্তরাল Ab Initio থ্রেড গ্রীনপ্লাম থেকে ডেটার নিজস্ব অংশ পড়ার জন্য, আমাদের এসকিউএল কোয়েরির "কোথায়" বিভাগে Ab Initio দ্বারা বোঝানো একটি নির্মাণ স্থাপন করতে হয়েছিল।

where ABLOCAL()

এবং রূপান্তর ডাটাবেস থেকে প্যারামিটার রিডিং নির্দিষ্ট করে এই নির্মাণের মান নির্ধারণ করুন

ablocal_expr=«string_concat("mod(t.", string_filter_out("{$TABLE_KEY}","{}"), ",", (decimal(3))(number_of_partitions()),")=", (decimal(3))(this_partition()))»

, যা কিছু মত কম্পাইল

mod(sk,10)=3

, অর্থাৎ আপনাকে প্রতিটি পার্টিশনের জন্য একটি স্পষ্ট ফিল্টার সহ গ্রীনপ্লামকে প্রম্পট করতে হবে। অন্যান্য ডাটাবেসের জন্য (Teradata, Oracle), Ab Initio এই সমান্তরালকরণ স্বয়ংক্রিয়ভাবে সম্পাদন করতে পারে।

Hive এবং GreenPlum এর মধ্যে Ab Initio কর্মক্ষমতা তুলনা

Sberbank Hive এর সাথে এবং GreenPlum এর সাথে সম্পর্কিত MDW-উত্পন্ন গ্রাফের কর্মক্ষমতা তুলনা করার জন্য একটি পরীক্ষা পরিচালনা করেছে। পরীক্ষার অংশ হিসাবে, Hive-এর ক্ষেত্রে Ab Initio-এর মতো একই ক্লাস্টারে 5টি নোড ছিল এবং GreenPlum-এর ক্ষেত্রে একটি পৃথক ক্লাস্টারে 4টি নোড ছিল। সেগুলো. গ্রীনপ্লামের তুলনায় হাইভের কিছু হার্ডওয়্যার সুবিধা ছিল।

আমরা হাইভ এবং গ্রীনপ্লামে ডেটা আপডেট করার একই কাজ সম্পাদনকারী দুটি জোড়া গ্রাফ বিবেচনা করেছি। একই সময়ে, MDW কনফিগারেশন দ্বারা উত্পন্ন গ্রাফগুলি চালু করা হয়েছিল:

• প্রাথমিক লোড + একটি Hive টেবিলে এলোমেলোভাবে উৎপন্ন ডেটার ক্রমবর্ধমান লোড
• প্রাথমিক লোড + একই গ্রীনপ্লাম টেবিলে এলোমেলোভাবে উৎপন্ন ডেটার ক্রমবর্ধমান লোড

উভয় ক্ষেত্রেই (Hive এবং GreenPlum) তারা একই Ab Initio ক্লাস্টারে 10টি সমান্তরাল থ্রেডে আপলোড চালায়। Ab Initio HDFS-এ গণনার জন্য মধ্যবর্তী ডেটা সংরক্ষণ করেছে (Ab Initio-এর পরিপ্রেক্ষিতে, HDFS ব্যবহার করে MFS লেআউট ব্যবহার করা হয়েছিল)। এলোমেলোভাবে উৎপন্ন ডেটার একটি লাইন উভয় ক্ষেত্রেই 200 বাইট দখল করেছে।

ফলাফল এই মত ছিল:

মধু:

Hive-এ প্রাথমিক লোড হচ্ছে

সারি ঢোকানো হয়েছে
6 000 000
60 000 000
600 000 000

শুরুর সময়কাল
সেকেন্ডে ডাউনলোড হয়
41
203
1 601

Hive এ ক্রমবর্ধমান লোড হচ্ছে

উপলব্ধ সারি সংখ্যা
পরীক্ষার শুরুতে লক্ষ্য টেবিল
6 000 000
60 000 000
600 000 000

প্রয়োগকৃত ডেল্টা লাইনের সংখ্যা
পরীক্ষার সময় লক্ষ্য টেবিল
6 000 000
6 000 000
6 000 000

বৃদ্ধির সময়কাল
সেকেন্ডে ডাউনলোড হয়
88
299
2 541

সবুজ প্লাম:

গ্রীনপ্লামে প্রাথমিক লোড হচ্ছে

সারি ঢোকানো হয়েছে
6 000 000
60 000 000
600 000 000

শুরুর সময়কাল
সেকেন্ডে ডাউনলোড হয়
72
360
3 631

গ্রীনপ্লামে ক্রমবর্ধমান লোড হচ্ছে

উপলব্ধ সারি সংখ্যা
পরীক্ষার শুরুতে লক্ষ্য টেবিল
6 000 000
60 000 000
600 000 000

প্রয়োগকৃত ডেল্টা লাইনের সংখ্যা
পরীক্ষার সময় লক্ষ্য টেবিল
6 000 000
6 000 000
6 000 000

বৃদ্ধির সময়কাল
সেকেন্ডে ডাউনলোড হয়
159
199
321

আমরা দেখতে পাই যে হাইভ এবং গ্রীনপ্লাম উভয় ক্ষেত্রেই প্রাথমিক লোডিংয়ের গতি রৈখিকভাবে ডেটার পরিমাণের উপর নির্ভর করে এবং ভাল হার্ডওয়্যারের কারণে, গ্রীনপ্লামের তুলনায় হাইভের জন্য এটি কিছুটা দ্রুত।

Hive-এ ক্রমবর্ধমান লোডিং টার্গেট টেবিলে উপলব্ধ পূর্বে লোড করা ডেটার ভলিউমের উপরও রৈখিকভাবে নির্ভর করে এবং ভলিউম বাড়ার সাথে সাথে বেশ ধীরে ধীরে এগিয়ে যায়। টার্গেট টেবিলটি সম্পূর্ণরূপে পুনরায় লেখার প্রয়োজনের কারণে এটি ঘটে। এর মানে হল যে বিশাল টেবিলগুলিতে ছোট পরিবর্তনগুলি প্রয়োগ করা হাইভের জন্য একটি ভাল ব্যবহারের ক্ষেত্রে নয়।

গ্রীনপ্লামে ক্রমবর্ধমান লোডিং দুর্বলভাবে লক্ষ্য টেবিলে উপলব্ধ পূর্বে লোড করা ডেটার পরিমাণের উপর নির্ভর করে এবং বেশ দ্রুত এগিয়ে যায়। এসকিউএল জয়নস এবং গ্রীনপ্লাম আর্কিটেকচারের জন্য এটি ঘটেছে, যা ডিলিট অপারেশনের অনুমতি দেয়।

তাই, গ্রীনপ্লাম ডিলিট+ইনসার্ট পদ্ধতি ব্যবহার করে ডেল্টা যোগ করে, কিন্তু হাইভের ডিলিট বা আপডেট অপারেশন নেই, তাই ক্রমবর্ধমান আপডেটের সময় সম্পূর্ণ ডেটা অ্যারে সম্পূর্ণরূপে পুনরায় লিখতে বাধ্য হয়েছিল। গাঢ়ভাবে হাইলাইট করা কক্ষগুলির তুলনা সবচেয়ে বেশি প্রকাশ করে, কারণ এটি সম্পদ-নিবিড় ডাউনলোডগুলি ব্যবহার করার জন্য সবচেয়ে সাধারণ বিকল্পের সাথে মিলে যায়। আমরা দেখছি যে গ্রীনপ্লাম এই পরীক্ষায় হাইভকে 8 বার পরাজিত করেছে।

রিয়েল টাইম মোডে GreenPlum-এর সাথে Ab Initio কাজ করা

এই পরীক্ষায়, আমরা প্রায় রিয়েল টাইমে এলোমেলোভাবে উৎপন্ন ডেটার সাথে গ্রীনপ্লাম টেবিল আপডেট করার Ab Initio-এর ক্ষমতা পরীক্ষা করব। গ্রীনপ্লাম টেবিল dev42_1_db_usl.TESTING_SUBJ_org_finval বিবেচনা করা যাক, যার সাথে আমরা কাজ করব।

আমরা এটির সাথে কাজ করার জন্য তিনটি Ab Initio গ্রাফ ব্যবহার করব:

1) গ্রাফ Create_test_data.mp - 10টি সমান্তরাল থ্রেডে 6 সারি সহ HDFS-এ ডেটা ফাইল তৈরি করে। ডেটা এলোমেলো, এর গঠন আমাদের টেবিলে সন্নিবেশের জন্য সংগঠিত

2) গ্রাফ mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset – 10টি সমান্তরাল থ্রেডে আমাদের টেবিলে ডেটা সন্নিবেশ শুরু করার মাধ্যমে MDW গ্রাফ তৈরি করেছে (গ্রাফ (1) দ্বারা উৎপন্ন টেস্ট ডেটা ব্যবহার করা হয়েছে)

3) গ্রাফ mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset – 10টি সমান্তরাল থ্রেডে 1টি সমান্তরাল থ্রেডে আমাদের টেবিলের ক্রমবর্ধমান আপডেটের জন্য MDW দ্বারা উত্পন্ন একটি গ্রাফ (ডেল্টা) গ্রাফ (XNUMX দ্বারা উত্পন্ন)

নিচের স্ক্রিপ্টটি NRT মোডে রান করা যাক:

• 6 পরীক্ষা লাইন তৈরি করুন
• একটি খালি টেবিলে 6 পরীক্ষার সারি সন্নিবেশ একটি প্রাথমিক লোড সম্পাদন করুন
• ক্রমবর্ধমান ডাউনলোড 5 বার পুনরাবৃত্তি করুন
  • 6 পরীক্ষা লাইন তৈরি করুন
  • টেবিলে 6 পরীক্ষার সারিগুলির একটি ক্রমবর্ধমান সন্নিবেশ সঞ্চালন করুন (এই ক্ষেত্রে, বৈধ_to_ts মেয়াদ শেষ হওয়ার সময়টি পুরানো ডেটাতে সেট করা হয় এবং একই প্রাথমিক কী সহ আরও সাম্প্রতিক ডেটা ঢোকানো হয়)

এই দৃশ্যটি একটি নির্দিষ্ট ব্যবসায়িক সিস্টেমের বাস্তব ক্রিয়াকলাপের মোডকে অনুকরণ করে - নতুন ডেটার একটি মোটামুটি বড় অংশ রিয়েল টাইমে উপস্থিত হয় এবং অবিলম্বে গ্রীনপ্লামে ঢেলে দেওয়া হয়।

এখন স্ক্রিপ্টের লগ দেখি:

2020-06-04 11:49:11 এ Create_test_data.input.pset শুরু করুন
2020-06-04 11:49:37-এ Create_test_data.input.pset শেষ করুন
mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:49:37 এ শুরু করুন
mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:50:42 এ শেষ করুন
2020-06-04 11:50:42 এ Create_test_data.input.pset শুরু করুন
2020-06-04 11:51:06-এ Create_test_data.input.pset শেষ করুন
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:51:06 এ শুরু করুন
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:53:41 এ শেষ করুন
2020-06-04 11:53:41 এ Create_test_data.input.pset শুরু করুন
2020-06-04 11:54:04-এ Create_test_data.input.pset শেষ করুন
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:54:04 এ শুরু করুন
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:56:51 এ শেষ করুন
2020-06-04 11:56:51 এ Create_test_data.input.pset শুরু করুন
2020-06-04 11:57:14-এ Create_test_data.input.pset শেষ করুন
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:57:14 এ শুরু করুন
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:59:55 এ শেষ করুন
2020-06-04 11:59:55 এ Create_test_data.input.pset শুরু করুন
2020-06-04 12:00:23-এ Create_test_data.input.pset শেষ করুন
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 12:00:23 এ শুরু করুন
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 12:03:23 এ শেষ করুন
2020-06-04 12:03:23 এ Create_test_data.input.pset শুরু করুন
2020-06-04 12:03:49-এ Create_test_data.input.pset শেষ করুন
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 12:03:49 এ শুরু করুন
mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 12:06:46 এ শেষ করুন

এই ছবিটি দেখা যাচ্ছে:

চিত্রলেখ
সময় শুরু
ফিনিস সময়
লম্বা

Create_test_data.input.pset
04.06.2020: 11: 49: 11
04.06.2020: 11: 49: 37
00:00:26

mdw_load.day_one.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020: 11: 49: 37
04.06.2020: 11: 50: 42
00:01:05

Create_test_data.input.pset
04.06.2020: 11: 50: 42
04.06.2020: 11: 51: 06
00:00:24

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020: 11: 51: 06
04.06.2020: 11: 53: 41
00:02:35

Create_test_data.input.pset
04.06.2020: 11: 53: 41
04.06.2020: 11: 54: 04
00:00:23

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020: 11: 54: 04
04.06.2020: 11: 56: 51
00:02:47

Create_test_data.input.pset
04.06.2020: 11: 56: 51
04.06.2020: 11: 57: 14
00:00:23

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020: 11: 57: 14
04.06.2020: 11: 59: 55
00:02:41

Create_test_data.input.pset
04.06.2020: 11: 59: 55
04.06.2020: 12: 00: 23
00:00:28

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020: 12: 00: 23
04.06.2020: 12: 03: 23
00:03:00

Create_test_data.input.pset
04.06.2020: 12: 03: 23
04.06.2020: 12: 03: 49
00:00:26

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020: 12: 03: 49
04.06.2020: 12: 06: 46
00:02:57

আমরা দেখি যে 6 ইনক্রিমেন্ট লাইন 000 মিনিটে প্রক্রিয়া করা হয়, যা বেশ দ্রুত।
লক্ষ্য টেবিলের ডেটা নিম্নরূপ বিতরণ করা হয়েছে:

select valid_from_ts, valid_to_ts, count(1), min(sk), max(sk) from dev42_1_db_usl.TESTING_SUBJ_org_finval group by valid_from_ts, valid_to_ts order by 1,2;

আপনি গ্রাফগুলি চালু হওয়ার সময় সন্নিবেশিত ডেটার পত্রালাপ দেখতে পারেন।
এর মানে হল আপনি খুব উচ্চ ফ্রিকোয়েন্সি সহ Ab Initio-এ GreenPlum-এ ডেটার ক্রমবর্ধমান লোডিং চালাতে পারেন এবং গ্রীনপ্লামে এই ডেটা সন্নিবেশ করার একটি উচ্চ গতি পর্যবেক্ষণ করতে পারেন। অবশ্যই, এটি সেকেন্ডে একবার চালু করা সম্ভব হবে না, যেহেতু Ab Initio, যেকোনো ETL টুলের মতো, চালু করার সময় "স্টার্ট আপ" করার জন্য সময় প্রয়োজন।

উপসংহার

Ab Initio বর্তমানে Sberbank-এ ইউনিফাইড শব্দার্থিক ডেটা লেয়ার (ESS) তৈরি করতে ব্যবহৃত হয়। এই প্রকল্পটি বিভিন্ন ব্যাঙ্কিং ব্যবসায়িক সংস্থাগুলির রাজ্যের একটি একীভূত সংস্করণ তৈরির সাথে জড়িত। তথ্য বিভিন্ন উত্স থেকে আসে, যার প্রতিলিপি Hadoop এ প্রস্তুত করা হয়। ব্যবসার প্রয়োজনের উপর ভিত্তি করে, একটি ডেটা মডেল প্রস্তুত করা হয় এবং ডেটা রূপান্তরগুলি বর্ণনা করা হয়। Ab Initio ESN-এ তথ্য লোড করে এবং ডাউনলোড করা ডেটা শুধুমাত্র ব্যবসার জন্যই আগ্রহের বিষয় নয়, ডেটা মার্ট তৈরির উৎস হিসেবেও কাজ করে। একই সময়ে, পণ্যটির কার্যকারিতা আপনাকে রিসিভার (হাইভ, গ্রিনপ্লাম, টেরাডাটা, ওরাকল) হিসাবে বিভিন্ন সিস্টেম ব্যবহার করতে দেয়, যা এটির প্রয়োজনীয় বিভিন্ন বিন্যাসে একটি ব্যবসার জন্য সহজেই ডেটা প্রস্তুত করা সম্ভব করে।

Ab Initio-এর ক্ষমতা ব্যাপক; উদাহরণস্বরূপ, অন্তর্ভুক্ত MDW ফ্রেমওয়ার্ক বাক্সের বাইরে প্রযুক্তিগত এবং ব্যবসায়িক ঐতিহাসিক ডেটা তৈরি করা সম্ভব করে তোলে। ডেভেলপারদের জন্য, Ab Initio চাকাকে পুনরায় উদ্ভাবন করা সম্ভব করে না, কিন্তু অনেক বিদ্যমান কার্যকরী উপাদান ব্যবহার করা সম্ভব করে, যেগুলি ডেটা নিয়ে কাজ করার সময় মূলত লাইব্রেরিগুলির প্রয়োজন হয়।

লেখক Sberbank SberProfi DWH/BigData-এর পেশাদার সম্প্রদায়ের একজন বিশেষজ্ঞ। SberProfi DWH/BigData পেশাদার সম্প্রদায় Hadoop ইকোসিস্টেম, Teradata, Oracle DB, GreenPlum, সেইসাথে BI টুল Qlik, SAP BO, Tableau ইত্যাদির মতো ক্ষেত্রে দক্ষতা বিকাশের জন্য দায়ী।

উত্স: www.habr.com