Skyeng تي اسان Amazon Redshift استعمال ڪندا آهيون، جنهن ۾ متوازي اسڪيلنگ شامل آهي، تنهن ڪري اسان اهو مضمون مليو اسٽيفن گرومول جو، dotgo.com جو باني، intermix.io دلچسپ لاءِ. ترجمي کان پوء، ڊيٽا انجنيئر Daniyar Belkhodzhaev کان اسان جي تجربي جو ٿورو.
ڪلستر ۾ نوان نوڊس شامل ڪندي اسڪيلنگ جي اجازت ڏئي ٿي. درخواستن جي چوٽي نمبر کي منهن ڏيڻ جي ضرورت نوڊس جي وڌيڪ فراهمي جي ڪري سگھي ٿي. Concurrency Scaling، نئين نوڊس کي شامل ڪرڻ جي مخالفت جي طور تي، ڪمپيوٽنگ جي طاقت کي ضرورت مطابق وڌائي ٿو.
Amazon Redshift متوازي اسڪيلنگ ريڊ شفٽ ڪلسٽرز کي چوٽي جي درخواست جي مقدار کي سنڀالڻ جي اضافي صلاحيت ڏئي ٿي. اهو پس منظر ۾ نئين "متوازي" ڪلستر ڏانهن درخواستن کي منتقل ڪندي ڪم ڪري ٿو. درخواستون WLM ترتيب ۽ ضابطن جي بنياد تي ترتيب ڏنيون ويون آھن.
متوازي اسڪيلنگ جي قيمت هڪ ڪريڊٽ ماڊل تي ٻڌل آهي مفت درجي سان. مٿي مفت ڪريڊٽ، ادائيگي ان وقت تي ٻڌل آهي جڏهن متوازي اسڪيلنگ ڪلستر درخواستن تي عمل ڪري ٿو.
ليکڪ هڪ اندروني ڪلستر تي متوازي اسڪيلنگ جي آزمائش ڪئي. هن پوسٽ ۾، هو ٽيسٽ جي نتيجن بابت ڳالهائيندو ۽ ڪيئن شروع ڪرڻ تي صلاحون ڏيندو.
ڪلستر گهرجون
متوازي اسڪيلنگ استعمال ڪرڻ لاءِ، توھان جي Amazon Redshift ڪلستر کي ھيٺين ضرورتن کي پورو ڪرڻ گھرجي.
- پليٽ فارم: EC2-VPC؛
- نوڊ جو قسم: dc2.8xlarge, ds2.8xlarge, dc2.large يا ds2.xlarge؛
- نوڊس جو تعداد: 2 کان 32 تائين (سنگل نوڊ ڪلستر سپورٽ نه آھن).
قابل قبول درخواست جا قسم
متوازي اسڪيلنگ سڀني قسمن جي سوالن لاء مناسب ناهي. پهرين ورزن ۾، اهو صرف پڙهڻ جي درخواستن تي عمل ڪري ٿو جيڪي ٽن شرطن کي پورو ڪن ٿا:
- SELECT سوال صرف پڙهڻ لاءِ آهن (جيتوڻيڪ وڌيڪ قسمون رٿيل آهن)؛
- سوال INTERLEAVED ترتيب ڏيڻ واري انداز سان ٽيبل جو حوالو نٿو ڏئي.
- سوال استعمال نٿو ڪري Amazon Redshift Spectrum ٻاهرين جدولن جي حوالي ڪرڻ لاءِ.
متوازي اسڪيلنگ ڪلستر ڏانھن وڃڻ لاءِ، درخواست کي قطار ۾ ھجڻ گھرجي. اضافي طور تي، سوالن جي قطار لاء اهل ، متوازي پيماني جي ڪلستر تي نه هلندو.
قطار ۽ SQA مناسب ترتيب جي ضرورت آهي . اسان توهان جي WLM کي پهريان بهتر ڪرڻ جي صلاح ڏيو ٿا - اهو متوازي اسڪيلنگ جي ضرورت کي گهٽائي ڇڏيندو. ۽ اهو ضروري آهي ڇاڪاڻ ته متوازي اسڪيلنگ صرف ڪجهه ڪلاڪن لاءِ مفت آهي. AWS دعوي ڪري ٿو ته متوازي اسڪيلنگ 97٪ گراهڪن لاءِ مفت هوندي، جيڪا اسان کي قيمت جي مسئلي تي آڻي ٿي.
متوازي اسڪيلنگ جي قيمت
AWS متوازي اسڪيلنگ لاءِ ڪريڊٽ ماڊل پيش ڪري ٿو. هر فعال ڪلستر جمع ڪري ٿو ڪريڊٽ ڪلاڪ ڪلاڪ، هڪ ڪلاڪ تائين مفت متوازي اسڪيلنگ ڪريڊٽ في ڏينهن.
توهان صرف ادا ڪندا آهيو جڏهن توهان جي متوازي اسڪيلنگ ڪلستر جو استعمال توهان جي حاصل ڪيل ڪريڊٽ جي رقم کان وڌيڪ آهي.
قيمت حساب ڪئي وئي آهي في سيڪنڊ آن ڊيمانڊ جي شرح تي متوازي ڪلستر لاءِ جيڪا مفت شرح کان مٿي استعمال ٿئي ٿي. توهان کي صرف توهان جي درخواستن جي مدي لاءِ چارج ڪيو ويندو، گهٽ ۾ گهٽ هڪ منٽ جي چارج سان هر وقت هڪ متوازي اسڪيلنگ ڪلستر چالو ڪيو ويندو آهي. في سيڪنڊ آن ڊيمانڊ جي شرح عام قيمت جي اصولن جي بنياد تي ڳڻپيو وڃي ٿي ، اهو آهي، اهو منحصر آهي نوڊ جي قسم ۽ توهان جي ڪلستر ۾ نوڊس جو تعداد.
متوازي اسڪيلنگ شروع ڪرڻ
متوازي اسڪيلنگ هر WLM قطار لاءِ شروع ڪئي وئي آهي. AWS Redshift ڪنسول ڏانھن وڃو ۽ منتخب ڪريو ورڪ لوڊ مئنيجمينٽ کاٻي نيويگيشن مينيو مان. ھيٺ ڏنل ڊراپ ڊائون مينيو مان پنھنجي ڪلستر جي WLM پيٽرولر گروپ کي چونڊيو.
توهان هر قطار جي اڳيان "Concurrency Scaling Mode" نالي هڪ نئون ڪالم ڏسندا. ڊفالٽ "معذور" آهي. "ايڊٽ" تي ڪلڪ ڪريو ۽ توھان ھر قطار لاءِ سيٽنگون تبديل ڪري سگھو ٿا.
ڪنفگريشن
متوازي اسڪيلنگ ڪم ڪري ٿو مناسب درخواستن کي اڳتي وڌائڻ سان نئين وقف ڪيل ڪلسٽرن ڏانهن. نون ڪلسٽرن ۾ ساڳي سائيز (نوڊس جو قسم ۽ تعداد) بنيادي ڪلستر وانگر آھي.
متوازي اسڪيلنگ لاءِ استعمال ٿيندڙ ڪلسٽرن جو ڊفالٽ نمبر ھڪڙو (1) آھي، جنھن ۾ ڪل ڏھ (10) ڪلسٽرن کي ترتيب ڏيڻ جي صلاحيت آھي.
متوازي اسڪيلنگ لاءِ ڪلسٽرن جو ڪل تعداد max_concurrency_scaling_clusters پيرا ميٽر ذريعي مقرر ڪري سگھجي ٿو. ھن پيٽرولر جي قيمت کي وڌائڻ اضافي بيڪار ڪلستر مهيا ڪري ٿو.
مانيٽرنگ
AWS Redshift ڪنسول ۾ ڪيترائي اضافي گراف موجود آهن. وڌ ۾ وڌ ترتيب ڏنل ڪنڪرينس اسڪيلنگ ڪلستر چارٽ ڏيکاري ٿو max_concurrency_scaling_clusters جي قيمت وقت سان.
فعال اسڪيلنگ ڪلسٽرن جو تعداد يوزر انٽرفيس ۾ ڏيکاريو ويو آهي ”ڪنڪرنسي اسڪيلنگ سرگرمي“ سيڪشن ۾:
سوالن جي ٽئب ۾، اتي ھڪڙو ڪالم آھي جيڪو ظاھر ڪري ٿو ته سوال کي مکيه ڪلستر ۾ يا متوازي اسڪيلنگ ڪلستر ۾ عمل ڪيو ويو آھي:
قطع نظر ته ڇا هڪ خاص سوال مکيه ڪلستر ۾ يا هڪ متوازي اسڪيلنگ ڪلستر ذريعي ڪيو ويو آهي، اهو stl_query.concurrency_scaling_status ۾ ذخيرو ٿيل آهي.
1 جو قدر ظاھر ڪري ٿو ته سوال متوازي اسڪيل ڪلستر ۾ عمل ڪيو ويو، جڏھن ته ٻيا قدر ظاھر ڪن ٿا ته اھو پرائمري ڪلستر ۾ ڪيو ويو.
مثال طور
ڪنڪرنسي اسڪيلنگ جي معلومات ڪجهه ٻين جدولن ۽ ڏيک ۾ پڻ محفوظ ٿيل آهي، جهڙوڪ SVCS_CONCURRENCY_SCALING_USAGE. ان کان علاوه، ڪي ڪيٽلاگ جدول آھن جيڪي متوازي اسڪيلنگ بابت معلومات گڏ ڪن ٿيون.
نتيجا
ليکڪن 18/30/00 تي لڳ ڀڳ 29.03.2019:3:20 GMT تي اندروني ڪلسٽر ۾ ھڪڙي قطار لاءِ متوازي اسڪيلنگ شروع ڪئي. 30/00/29.03.2019/XNUMX تي max_concurrency_scaling_clusters پيرا ميٽر کي XNUMX تي تقريباً XNUMX:XNUMX:XNUMX تي تبديل ڪيو.
ھڪڙي درخواست جي قطار کي ٺاھڻ لاء، اسان ھن قطار لاء سلاٽ جو تعداد گھٽائي 15 کان 5 تائين.
هيٺ ڏنل هڪ intermix.io ڊيش بورڊ چارٽ آهي جيڪو ڏيکاري ٿو درخواستن جو تعداد هلندڙ ۽ قطار ڪرڻ کان پوءِ سلاٽ جو تعداد گهٽائڻ کان پوءِ.
اسان ڏسون ٿا ته قطار ۾ درخواستن جي انتظار جو وقت وڌي ويو آهي، وڌ ۾ وڌ وقت 5 منٽ کان وڌيڪ آهي.
هتي AWS ڪنسول کان لاڳاپيل معلومات آهي انهي بابت ڇا ٿيو هن وقت ۾:
ريڊ شفٽ شروع ڪيو ٽي (3) متوازي اسڪيلنگ ڪلسٽر جيئن ترتيب ڏنل. اهو ظاهر ٿئي ٿو ته اهي ڪلسٽر استعمال نه ڪيا ويا، جيتوڻيڪ اسان جي ڪلستر ۾ ڪيتريون ئي درخواستون قطار ۾ هيون.
استعمال گراف اسڪيلنگ سرگرمي گراف سان لاڳاپو رکي ٿو:
ڪجھ ڪلاڪن کان پوء، ليکڪ قطار کي چيڪ ڪيو ۽ اهو ڏسڻ ۾ اچي ٿو ته 6 درخواستون متوازي اسڪيلنگ تي هلن ٿيون. اسان پڻ بي ترتيب طور تي استعمال ڪندڙ انٽرفيس ذريعي ٻن درخواستن جي جانچ ڪئي. اسان چيڪ نه ڪيو آهي ته انهن قدرن کي ڪيئن استعمال ڪجي جڏهن هڪ ئي وقت ڪيترائي متوازي ڪلستر فعال ٿين.
پهچڻ
متوازي اسڪيلنگ وقت جي درخواستن کي گھٽائي سگھي ٿو قطار ۾ چوٽي لوڊ دوران خرچ.
بنيادي ٽيسٽ جي نتيجن جي بنياد تي، اهو ظاهر ٿيو ته لوڊشيڊنگ جي درخواستن سان صورتحال جزوي طور تي بهتر ٿي چڪي آهي. جڏهن ته، متوازي اسڪيلنگ اڪيلو حل نه ڪيو سڀني اتفاقن جي مسئلن کي.
اهو سوالن جي قسمن تي پابندين جي ڪري آهي جيڪي متوازي اسڪيلنگ استعمال ڪري سگهن ٿيون. مثال طور، ليکڪن وٽ گھڻا جدول آھن جن ۾ ھڪٻئي سان ترتيب ڏنل ڪنجيون آھن، ۽ اسان جو گھڻو ڪم لوڊ لکڻ آھي.
جيتوڻيڪ متوازي اسڪيلنگ WLM قائم ڪرڻ لاءِ هڪ آفاقي حل ناهي، هن خصوصيت کي استعمال ڪرڻ سادو ۽ سڌو آهي.
تنهن ڪري، ليکڪ توهان جي WLM قطار لاء استعمال ڪرڻ جي صلاح ڏني آهي. ھڪڙي متوازي ڪلستر سان شروع ڪريو ۽ ڪنسول ذريعي چوٽي لوڊ مانيٽر ڪريو اھو طئي ڪرڻ لاءِ ته ڇا نوان ڪلسٽر مڪمل طور تي استعمال ڪيا پيا وڃن.
جيئن AWS اضافي سوالن جي قسمن ۽ جدولن لاءِ سپورٽ شامل ڪري ٿو، متوازي اسڪيلنگ کي آهستي آهستي وڌيڪ ۽ وڌيڪ ڪارائتو ٿيڻ گهرجي.
دانيار بيلخودزائيف کان تبصرو، اسڪائينگ ڊيٽا انجنيئر
اسان Skyeng تي پڻ فوري طور تي متوازي اسڪيلنگ جي اڀرندڙ امڪان کي محسوس ڪيو.
ڪارڪردگي تمام پرڪشش آهي، خاص طور تي غور ڪندي ته AWS اندازو لڳائي ٿو ته اڪثر صارفين کي ان لاءِ اضافي ادا ڪرڻ جي ضرورت ناهي.اهو ائين ٿيو ته اپريل جي وچ ۾ اسان وٽ ريڊ شفٽ ڪلستر ڏانهن درخواستن جو هڪ غير معمولي فلو هو. ان عرصي دوران، اسان اڪثر ڪري Concurrency Scaling جو رستو اختيار ڪيو؛ ڪڏهن ڪڏهن هڪ اضافي ڪلستر 24 ڪلاڪ ڪم ڪندو هو بغير ڪنهن وقفي جي.
اهو ممڪن ٿيو، جيڪڏهن قطارن سان مسئلو مڪمل طور تي حل نه ڪيو وڃي، گهٽ ۾ گهٽ صورتحال کي قابل قبول بڻائڻ لاء.
اسان جا مشاهدا گهڻو ڪري intermix.io جي ماڻهن جي تاثرات سان ٺهڪندڙ آهن.
اسان اهو پڻ محسوس ڪيو ته جيتوڻيڪ اتي درخواستون قطار ۾ انتظار ڪري رهيون هيون، سڀني درخواستن کي فوري طور تي متوازي ڪلستر ڏانهن نه موڪليو ويو. ظاهري طور تي اهو ٿئي ٿو ڇاڪاڻ ته متوازي ڪلستر اڃا شروع ٿيڻ ۾ وقت وٺندو آهي. نتيجي طور، مختصر مدت جي چوٽي جي لوڊ دوران، اسان وٽ اڃا تائين ننڍيون قطارون آهن، ۽ لاڳاپيل الارم کي ٽارگيٽ ڪرڻ جو وقت آهي.
اپريل ۾ غير معمولي بوجھ کان نجات حاصل ڪرڻ کان پوء، اسان، جيئن AWS جي توقع ڪئي وئي، ڪڏهن ڪڏهن استعمال جي موڊ ۾ داخل ٿيو - مفت معمول جي اندر.
توھان ٽريڪ ڪري سگھوٿا پنھنجي متوازي اسڪيلنگ قيمتون AWS Cost Explorer ۾. توهان کي خدمت چونڊڻ جي ضرورت آهي - Redshift، استعمال جو قسم - CS، مثال طور USW2-CS:dc2.large.توهان روسي ۾ قيمتن بابت وڌيڪ پڙهي سگهو ٿا
جو ذريعو: www.habr.com