په سکاینګ کې موږ د موازي اندازه کولو په شمول د ایمیزون ریډشیفټ کاروو ، نو موږ دا مقاله د سټیفن گرومول لخوا وموندله ، د dotgo.com بنسټ ایښودونکي ، د intermix.io په زړه پوري. د ژباړې وروسته، د ډیټا انجنیر دانیار بیلخودزایف څخه زموږ لږ تجربه.
په کلستر کې د نوي نوډونو په اضافه کولو سره اندازه کولو ته اجازه ورکوي. د ډیری غوښتنو سره د مقابلې اړتیا کولی شي د نوډونو ډیر چمتو کولو لامل شي. د توافق اندازه کول، لکه څنګه چې د نوي نوډونو اضافه کولو سره مخالف دي، د اړتیا سره سم د کمپیوټر ځواک زیاتوي.
د ایمیزون ریډ شفټ موازي اندازه کول د ریډ شفټ کلسترونو ته د غوښتنې غوښتنې حجمونو اداره کولو لپاره اضافي ظرفیت ورکوي. دا په شاليد کې نوي "موازي" کلسترونو ته د غوښتنو په حرکت کولو سره کار کوي. غوښتنې د WLM تشکیلاتو او مقرراتو پراساس لیږل کیږي.
د موازي اندازه کولو نرخونه د وړیا درجې سره د کریډیټ ماډل پراساس دي. پورتنۍ وړیا کریډیټ، تادیه د هغه وخت پراساس ده چې د موازي اندازه کولو کلستر غوښتنه کوي.
لیکوال په یوه داخلي کلستر کې موازي پیمانه ازموینه کړې. پدې پوسټ کې ، هغه به د ازموینې پایلو په اړه وغږیږي او د پیل کولو څرنګوالي په اړه لارښوونې ورکړي.
د کلستر اړتیاوې
د موازي اندازه کولو کارولو لپاره، ستاسو د ایمیزون ریډ شفټ کلستر باید لاندې اړتیاوې پوره کړي:
پلیټ فارم: EC2-VPC؛
د نوډ ډول: dc2.8xlarge, ds2.8xlarge, dc2.large یا ds2.xlarge;
د نوډونو شمیر: له 2 څخه تر 32 پورې (د واحد نوډ کلسترونه نه ملاتړ کیږي).
د منلو وړ غوښتنې ډولونه
موازي اندازه کول د ټولو ډولونو پوښتنو لپاره مناسب ندي. په لومړۍ نسخه کې، دا یوازې د لوستلو غوښتنې پروسس کوي چې درې شرایط پوره کوي:
- د انتخاب پوښتنې یوازې د لوستلو وړ دي (که څه هم نور ډولونه پلان شوي دي)؛
- پوښتنه د انټرلیویډ ترتیب کولو سټایل سره میز ته اشاره نه کوي؛
- پوښتنه د بهرني جدولونو حواله کولو لپاره د Amazon Redshift Spectrum نه کاروي.
د موازي اندازه کولو کلستر ته د لیږلو لپاره، غوښتنه باید په قطار کې وي. برسېره پردې، د کتار لپاره وړ پوښتنې ، به په موازي پیمانه کلسترونو کې نه چلیږي.
کتارونه او SQA مناسب ترتیب ته اړتیا لري . موږ وړاندیز کوو چې لومړی ستاسو WLM اصلاح کړئ - دا به د موازي اندازه کولو اړتیا کمه کړي. او دا مهم دی ځکه چې موازي اندازه کول یوازې د یو ټاکلي ساعتونو لپاره وړیا دي. AWS ادعا کوي چې موازي اندازه کول به د 97٪ پیرودونکو لپاره وړیا وي، کوم چې موږ د نرخ مسلې ته راوړي.
د موازي اندازه کولو لګښت
AWS د موازي اندازه کولو لپاره د کریډیټ ماډل وړاندیز کوي. هر فعال کلستر په ساعت کې کریډیټ راټولوي، په ورځ کې تر یو ساعت پورې وړیا موازي اندازه کولو کریډیټ.
تاسو یوازې هغه وخت تادیه کوئ کله چې ستاسو د موازي اندازه کولو کلسترونو کارول د کریډیټ مقدار څخه ډیر وي چې تاسو ترلاسه کړي.
لګښت د یو موازي کلستر لپاره چې د وړیا نرخ څخه پورته کارول کیږي د غوښتنې په هره ثانیه کې محاسبه کیږي. تاسو یوازې د خپلو غوښتنو د مودې لپاره چارج کوئ، هرکله چې د موازي اندازه کولو کلستر فعال شي لږترلږه د یوې دقیقې چارج سره. د هرې ثانیې د غوښتنې نرخ د عمومي نرخ اصولو پراساس محاسبه کیږي ، دا دی، دا ستاسو په کلستر کې د نوډ ډول او د نوډونو شمیر پورې اړه لري.
د موازي اندازه کولو پیل کول
د هر WLM کتار لپاره موازي اندازه کول پیل شوي. د AWS Redshift کنسول ته لاړ شئ او د کیڼ نیویګیشن مینو څخه د کاري بار مدیریت غوره کړئ. د لاندې ډراپ ډاون مینو څخه د خپل کلستر WLM پیرامیټر ګروپ غوره کړئ.
تاسو به یو نوی کالم وګورئ چې د هر قطار تر څنګ "د همغږي اندازه کولو حالت" په نوم یادیږي. ډیفالټ "معلول شوی" دی. "ترمیم" کلیک وکړئ او تاسو کولی شئ د هر قطار لپاره تنظیمات بدل کړئ.
شکل بندي
موازي اندازه کول نوي وقف شوي کلسترونو ته د مناسبو غوښتنو په لیږلو سره کار کوي. نوي کلسترونه د اصلي کلستر په څیر ورته اندازه (ډول او د نوډونو شمیر) لري.
د کلسترونو اصلي شمیره چې د موازي اندازه کولو لپاره کارول کیږي یو (1) دی، د دې وړتیا سره چې ټول لس (10) کلسترونو ته تنظیم کړي.
د موازي اندازه کولو لپاره د کلسترونو مجموعه د max_concurrency_scaling_clusters پیرامیټر لخوا ټاکل کیدی شي. د دې پیرامیټر ارزښت زیاتول اضافي بې ځایه کلسترونه چمتو کوي.
څارنه
د AWS Redshift کنسول کې ډیری اضافي ګرافونه شتون لري. د Max Concurrency Scaling Clusters چارټ د وخت په تیریدو سره د max_concurrency_scaling_clusters ارزښت ښیې.
د فعال اندازه کولو کلسترونو شمیر د کارن انٹرفیس کې د "همغږي اندازه کولو فعالیت" برخه کې ښودل کیږي:
د پوښتنو په ټب کې، یو کالم شتون لري چې دا په ګوته کوي چې ایا پوښتنه په اصلي کلستر کې یا د موازي اندازه کولو کلستر کې اجرا شوې وه:
پرته له دې چې یوه ځانګړې پوښتنه په اصلي کلستر کې اجرا شوې وي یا د موازي اندازه کولو کلستر له لارې، دا په stl_query.concurrency_scaling_status کې زیرمه شوې.
د 1 ارزښت په ګوته کوي چې پوښتنه په موازي پیمانه کلستر کې اجرا شوې، پداسې حال کې چې نور ارزښتونه ښیي چې دا په لومړني کلستر کې اعدام شوي.
بېلګه:
د همغږۍ اندازه کولو معلومات په ځینو نورو جدولونو او لیدونو کې هم زیرمه شوي ، لکه SVCS_CONCURRENCY_SCALING_USAGE. برسېره پردې، یو شمیر د کتلاګ میزونه شتون لري چې د موازي اندازه کولو په اړه معلومات ذخیره کوي.
پایلې
لیکوالانو د 18/30/00 په شاوخوا 29.03.2019:3:20 GMT کې په داخلي کلستر کې د یوې کتار لپاره موازي اندازه کول پیل کړل. د max_concurrency_scaling_cluster پیرامیټر په 30/00/29.03.2019 نږدې XNUMX:XNUMX:XNUMX کې XNUMX ته بدل کړل.
د غوښتنې کتار سمولو لپاره، موږ د دې کتار لپاره د سلاټونو شمیر له 15 څخه 5 ته راکم کړ.
لاندې د intermix.io ډشبورډ چارټ دی چې د غوښتنې شمیره ښیي چې د سلاټونو شمیر کمولو وروسته چلیږي او قطار کوي.
موږ ګورو چې په کتار کې د غوښتنو لپاره د انتظار وخت ډیر شوی ، د اعظمي وخت سره د 5 دقیقو څخه ډیر دی.
دلته د AWS کنسول څخه اړوند معلومات دي چې پدې وخت کې څه پیښ شوي:
Redshift درې (3) موازي اندازه کولو کلسترونه لکه څنګه چې ترتیب شوي پیل کړل. داسې ښکاري چې دا کلسترونه لږ کارول شوي، که څه هم زموږ په کلستر کې ډیری غوښتنې په کتار کې وې.
د کارونې ګراف د اندازه کولو فعالیت ګراف سره تړاو لري:
د څو ساعتونو وروسته، لیکوالانو قطار چیک کړ او داسې ښکاري چې 6 غوښتنې په موازي اندازه کولو کې روانې وې. موږ هم په تصادفي ډول د کارن انٹرفیس له لارې دوه غوښتنې ازمویلی. موږ نه دي کتلي چې دا ارزښتونه څنګه وکاروو کله چې څو موازي کلسترونه په یوځل کې فعال وي.
موندنو
موازي اندازه کول کولی شي هغه وخت کم کړي چې غوښتنې په قطار کې د لوړ بارونو په جریان کې مصرف کیږي.
د لومړني ازموینې پایلو پراساس ، دا معلومه شوه چې د بار کولو غوښتنې سره وضعیت تر یوې اندازې ښه شوی. په هرصورت، یوازې موازي اندازه کول ټول د همغږۍ ستونزې حل نه کړي.
دا د پوښتنو ډولونو محدودیتونو له امله دی چې کولی شي موازي پیمانه وکاروي. د مثال په توګه، لیکوالان ډیری میزونه لري چې د مینځلو شوي ترتیب کیلي لري، او زموږ ډیری کاري بار لیکل دي.
که څه هم موازي اندازه کول د WLM ترتیب کولو لپاره یو نړیوال حل ندی، د دې خصوصیت کارول ساده او مستقیم دي.
له همدې امله، لیکوال سپارښتنه کوي چې دا ستاسو د WLM کتارونو لپاره وکاروي. د یو موازي کلستر سره پیل کړئ او د کنسول له لارې د لوړ بار څارنه وکړئ ترڅو معلومه کړئ چې نوي کلسترونه په بشپړه توګه کارول کیږي.
لکه څنګه چې AWS د اضافي پوښتنو ډولونو او جدولونو لپاره ملاتړ اضافه کوي، موازي اندازه کول باید په تدریجي ډول ډیر او اغیزمن شي.
د سکاینګ ډیټا انجینر دانیار بیلخودزایف نظر
موږ په سکاینګ کې هم سمدلاسه د موازي اندازه کولو احتمالي احتمال ولیدل.
فعالیت خورا زړه راښکونکی دی ، په ځانګړي توګه د AWS اټکل په پام کې نیولو سره چې ډیری کارونکي به حتی د دې لپاره اضافي تادیه ونه کړي.دا داسې پیښ شوي چې د اپریل په نیمایي کې موږ د ریډ شفټ کلستر ته د غوښتنو غیر معمولي جریان درلود. د دې دورې په جریان کې، موږ ډیری وختونه د همغږۍ اندازه کولو ته لاره هواره کړه؛ ځینې وختونه اضافي کلستر په ورځ کې 24 ساعته پرته له ځنډه کار کاوه.
دې کار دا ممکنه کړه، که د قطارونو سره ستونزه په بشپړه توګه حل نه شي، نو لږ تر لږه وضعیت د منلو وړ وي.
زموږ مشاهدې په پراخه کچه د intermix.io څخه د هلکانو تاثیراتو سره سمون لري.
موږ دا هم ولیدل چې که څه هم په کتار کې غوښتنې شتون درلود، ټول غوښتنې سمدلاسه موازي کلستر ته نه و لیږل شوي. په ښکاره ډول دا پیښیږي ځکه چې موازي کلستر لاهم د پیل کولو لپاره وخت نیسي. د پایلې په توګه، د لنډ مهاله لوړ بارونو په جریان کې موږ لاهم کوچني قطارونه لرو، او اړوند الارمونه د پیل کولو لپاره وخت لري.
د اپریل په میاشت کې د غیر معمولي بارونو څخه د خلاصون وروسته، موږ لکه څنګه چې AWS تمه درلوده، کله ناکله د کارولو حالت ته ننوتل - په وړیا نورم کې.
تاسو کولی شئ د AWS لګښت اکسپلورر کې خپل موازي اندازه کولو لګښتونه تعقیب کړئ. تاسو اړتیا لرئ خدمت غوره کړئ - Redshift، د کارونې ډول - CS، د بیلګې په توګه USW2-CS:dc2.large.تاسو کولی شئ په روسیه کې د نرخونو په اړه نور ولولئ
سرچینه: www.habr.com