د هر ډول لوی ډیټا عملیات ډیری کمپیوټري ځواک ته اړتیا لري. هډوپ ته د ډیټابیس څخه د ډیټا معمول حرکت کولی شي اونۍ ونیسي یا د الوتکې وزر په څیر لګښت ولري. نه غواړئ انتظار وکړئ او پیسې مصرف کړئ؟ په مختلف پلیټ فارمونو کې بار توازن کړئ. یوه لاره د فشار اصلاح کول دي.
ما د انفارماتیکا محصولاتو پراختیا او ادارې لپاره د روسیې مخکښ روزونکي الیکسي انانییف څخه وغوښتل چې په انفارمیټیکا لوی ډیټا مدیریت (BDM) کې د pushdown اصلاح کولو فعالیت په اړه وغږیږي. ایا تاسو کله هم د انفارمیټیکا محصولاتو سره کار کول زده کړي؟ ډیری احتمال، دا الیکسي و چې تاسو ته یې د پاور سنټر اساسات وویل او تشریح یې کړه چې څنګه نقشه جوړ کړئ.
الیکسي انانییف، د DIS ګروپ د روزنې مشر
pushdown څه شی دی؟
ستاسو څخه ډیری دمخه د انفارمیټیکا لوی ډیټا مدیریت (BDM) سره آشنا یاست. محصول کولی شي د مختلف سرچینو څخه لوی ډیټا مدغم کړي ، دا د مختلف سیسټمونو ترمینځ حرکت وکړي ، دې ته اسانه لاسرسی چمتو کوي ، تاسو ته اجازه درکوي دا پروفایل کړئ او نور ډیر څه.
په ښي لاسونو کې، BDM کولی شي حیرانتیا کار وکړي: کارونه به په چټکۍ سره او د لږو کمپیوټري سرچینو سره بشپړ شي.
ایا تاسو هم دا غواړئ؟ په مختلفو پلیټ فارمونو کې د کمپیوټري بار ویشلو لپاره په BDM کې د پش ډاون فیچر کارولو زده کړئ. د Pushdown ټیکنالوژي تاسو ته اجازه درکوي نقشه په سکریپټ بدله کړئ او هغه چاپیریال غوره کړئ چیرې چې دا سکریپټ به پرمخ ځي. دا انتخاب تاسو ته اجازه درکوي د مختلف پلیټ فارمونو ځواک سره یوځای کړئ او د دوی اعظمي فعالیت ترلاسه کړئ.
د سکریپټ اجرا کولو چاپیریال تنظیم کولو لپاره ، تاسو اړتیا لرئ د فشار ډول غوره کړئ. سکریپټ په بشپړ ډول په هډوپ کې پرمخ وړل کیدی شي یا په جزوي ډول د سرچینې او سنک ترمینځ ویشل کیدی شي. د 4 احتمالي فشار ډولونه شتون لري. نقشه کول اړین ندي چې په سکریپټ (اصلي) بدل شي. نقشه کول د امکان تر حده په سرچینه (سرچینه) یا په بشپړ ډول په سرچینه (بشپړ) کې ترسره کیدی شي. نقشه کول هم په هډوپ سکریپټ کې بدل کیدی شي (هیڅ نه).
Pushdown اصلاح کول
لست شوي 4 ډولونه په مختلفو لارو سره یوځای کیدی شي - pushdown د سیسټم ځانګړو اړتیاو لپاره غوره کیدی شي. د مثال په توګه، دا ډیری وخت د ډیټابیس څخه د خپلو وړتیاو په کارولو سره د معلوماتو استخراج لپاره خورا مناسب دی. او ډاټا به د هډوپ په کارولو سره تبادله شي ، ترڅو پخپله ډیټابیس ډیر نشي.
راځئ چې قضیه په پام کې ونیسو کله چې سرچینه او منزل دواړه په ډیټابیس کې وي، او د بدلون اجرا کولو پلیټ فارم غوره کیدی شي: د ترتیباتو پورې اړه لري، دا به انفارمیټیکا، د ډیټابیس سرور، یا هډوپ وي. دا ډول مثال به تاسو ته اجازه درکړي چې د دې میکانیزم د عملیاتو تخنیکي اړخ په سمه توګه پوه شي. په طبیعي توګه، په ریښتینې ژوند کې، دا وضعیت نه رامینځته کیږي، مګر دا د فعالیت ښودلو لپاره غوره دی.
راځئ چې په یو واحد اوریکل ډیټابیس کې د دوه میزونو لوستلو لپاره نقشه واخلو. او اجازه راکړئ چې د لوستلو پایلې په ورته ډیټابیس کې په جدول کې ثبت شي. د نقشه کولو سکیم به داسې وي:
په Informatica BDM 10.2.1 کې د نقشې کولو په بڼه دا داسې ښکاري:
د Pushdown ډول - اصلي
که موږ د pushdown اصلي ډول وټاکو، نو نقشه به په انفارمیټیکا سرور کې ترسره شي. ډاټا به د اوریکل سرور څخه لوستل کیږي، د انفارمیټیکا سرور ته لیږدول کیږي، هلته بدلیږي او هډوپ ته لیږدول کیږي. په بل عبارت، موږ به د ETL نورمال پروسه ترلاسه کړو.
د Pushdown ډول - سرچینه
کله چې د سرچینې ډول غوره کړئ، موږ فرصت ترلاسه کوو چې زموږ پروسې د ډیټابیس سرور (DB) او Hadoop ترمنځ وویشو. کله چې یوه پروسه د دې ترتیب سره اجرا کیږي، د میزونو څخه د معلوماتو بیرته ترلاسه کولو غوښتنې به ډیټابیس ته واستول شي. او پاتې به په هډوپ کې د ګامونو په بڼه ترسره شي.
د اعدام ډیاګرام به داسې ښکاري:
لاندې د چلولو چاپیریال تنظیم کولو یوه بیلګه ده.
په دې حالت کې، نقشه به په دوو مرحلو کې ترسره شي. د دې په ترتیباتو کې به موږ وګورو چې دا په سکریپټ بدل شوی چې سرچینې ته به لیږل کیږي. سربیره پردې ، د میزونو ترکیب کول او د ډیټا بدلول به په سرچینه کې د تکراري پوښتنې په توګه ترسره شي.
په لاندې انځور کې، موږ په BDM کې یو مطلوب نقشه ګورو، او په سرچینه کې بیا تعریف شوې پوښتنه.
په دې ترتیب کې د هډوپ رول به د ډیټا جریان اداره کولو لپاره کم شي - د هغې تنظیم کول. د پوښتنې پایله به هډوپ ته واستول شي. یوځل چې لوستل بشپړ شي ، د هډوپ فایل به سنک ته ولیکل شي.
د Pushdown ډول - ډک
کله چې تاسو بشپړ ډول وټاکئ، نقشه کول به په بشپړه توګه د ډیټابیس پوښتنې ته واړوي. او د غوښتنې پایله به هډوپ ته واستول شي. د داسې پروسې یو انځور لاندې وړاندې کیږي.
د تنظیم کولو مثال لاندې ښودل شوی.
د پایلې په توګه، موږ به د تیر په څیر یو مطلوب نقشه ترلاسه کړو. یوازینی توپیر دا دی چې ټول منطق د هغې د داخلولو په صورت کې رسیدونکي ته لیږدول کیږي. د مطلوب نقشه کولو یوه بیلګه لاندې وړاندې کیږي.
دلته، لکه څنګه چې په تیرو قضیه کې، هډوپ د کنډکټر رول لوبوي. مګر دلته سرچینه په بشپړ ډول لوستل کیږي، او بیا د معلوماتو پروسس کولو منطق د رسیدونکي په کچه ترسره کیږي.
د Pushdown ډول بې برخې دی
ښه ، وروستی اختیار د پش ډاون ډول دی ، په کوم کې چې زموږ نقشه کول به په هډوپ سکریپټ بدل شي.
مطلوب نقشه به اوس داسې ښکاري:
دلته د سرچینې فایلونو ډاټا به لومړی په هډوپ کې لوستل شي. بیا، د خپل وسیله په کارولو سره، دا دوه فایلونه به یوځای شي. له دې وروسته، ډاټا به بدل شي او ډیټابیس ته به پورته شي.
د پش ډاون اصلاح کولو اصولو په پوهیدو سره ، تاسو کولی شئ د لوی ډیټا سره کار کولو لپاره ډیری پروسې خورا مؤثره تنظیم کړئ. په دې توګه، په دې وروستیو کې، یو لوی شرکت، یوازې په څو اونیو کې، په هډوپ کې د ذخیره کولو څخه لوی ډیټا ډاونلوډ کړ، کوم چې مخکې یې د څو کلونو لپاره راټول کړی و.
سرچینه: www.habr.com