Amazon Redshift সমান্তরাল স্কেলিং গাইড এবং পরীক্ষার ফলাফল

Skyeng-এ আমরা সমান্তরাল স্কেলিং সহ অ্যামাজন রেডশিফ্ট ব্যবহার করি, তাই ইন্টারমিক্স.আইওকে আকর্ষণীয় করার জন্য dotgo.com-এর প্রতিষ্ঠাতা স্টেফান গ্রোমলের এই নিবন্ধটি আমরা পেয়েছি। অনুবাদের পরে, ডেটা ইঞ্জিনিয়ার ড্যানিয়ার বেলখোদজায়েভের কাছ থেকে আমাদের অভিজ্ঞতার কিছুটা।

আমাজন রেডশিফ্ট আর্কিটেকচার ক্লাস্টারে নতুন নোড যোগ করে স্কেলিং করার অনুমতি দেয়। অনুরোধের সর্বোচ্চ সংখ্যার সাথে মোকাবিলা করার প্রয়োজনীয়তা নোডের অতিরিক্ত ব্যবস্থার দিকে নিয়ে যেতে পারে। কনকারেন্সি স্কেলিং, নতুন নোড যোগ করার বিপরীতে, প্রয়োজন অনুযায়ী কম্পিউটিং শক্তি বৃদ্ধি করে।

অ্যামাজন রেডশিফ্ট সমান্তরাল স্কেলিং রেডশিফ্ট ক্লাস্টারগুলিকে পিক রিকোয়েস্ট ভলিউমগুলি পরিচালনা করার অতিরিক্ত ক্ষমতা দেয়। এটি পটভূমিতে নতুন "সমান্তরাল" ক্লাস্টারে অনুরোধগুলি সরানোর মাধ্যমে কাজ করে৷ অনুরোধগুলি WLM কনফিগারেশন এবং নিয়মের উপর ভিত্তি করে রুট করা হয়।

সমান্তরাল স্কেলিং মূল্য একটি বিনামূল্যে স্তর সহ একটি ক্রেডিট মডেলের উপর ভিত্তি করে। বিনামূল্যে ক্রেডিটগুলির উপরে, সমান্তরাল স্কেলিং ক্লাস্টার অনুরোধগুলি প্রক্রিয়া করার সময়ের উপর ভিত্তি করে অর্থপ্রদান করা হয়।

লেখক অভ্যন্তরীণ ক্লাস্টারগুলির একটিতে সমান্তরাল স্কেলিং পরীক্ষা করেছেন। এই পোস্টে, তিনি পরীক্ষার ফলাফল সম্পর্কে কথা বলবেন এবং কীভাবে শুরু করবেন তার টিপস দেবেন।

ক্লাস্টার প্রয়োজনীয়তা

সমান্তরাল স্কেলিং ব্যবহার করতে, আপনার Amazon Redshift ক্লাস্টারকে অবশ্যই নিম্নলিখিত প্রয়োজনীয়তাগুলি পূরণ করতে হবে:

- প্ল্যাটফর্ম: EC2-ভিপিসি;
নোডের ধরন: dc2.8xlarge, ds2.8xlarge, dc2.large বা ds2.xlarge;
— নোডের সংখ্যা: 2 থেকে 32 পর্যন্ত (একক নোড ক্লাস্টার সমর্থিত নয়)।

গ্রহণযোগ্য অনুরোধ প্রকার

সমান্তরাল স্কেলিং সব ধরনের প্রশ্নের জন্য উপযুক্ত নয়। প্রথম সংস্করণে, এটি শুধুমাত্র পড়ার অনুরোধগুলি প্রক্রিয়া করে যা তিনটি শর্ত পূরণ করে:

— SELECT প্রশ্নগুলি শুধুমাত্র পঠনযোগ্য (যদিও আরও ধরনের পরিকল্পনা করা হয়েছে);
— ক্যোয়ারী ইন্টারলিভড বাছাই শৈলী সহ একটি টেবিল উল্লেখ করে না;
- ক্যোয়ারীটি বাহ্যিক সারণী উল্লেখ করতে Amazon Redshift Spectrum ব্যবহার করে না।

সমান্তরাল স্কেলিং ক্লাস্টারে যাওয়ার জন্য, অনুরোধটি অবশ্যই সারিবদ্ধ হতে হবে। উপরন্তু, সারির জন্য যোগ্য প্রশ্ন SQA (সংক্ষিপ্ত প্রশ্ন ত্বরণ), সমান্তরাল স্কেল ক্লাস্টারে চলবে না।

সারি এবং SQA সঠিক কনফিগারেশন প্রয়োজন রেডশিফ্ট ওয়ার্কলোড ম্যানেজমেন্ট (WLM). আমরা প্রথমে আপনার WLM অপ্টিমাইজ করার পরামর্শ দিই - এটি সমান্তরাল স্কেলিং এর প্রয়োজনীয়তা হ্রাস করবে। এবং এটি গুরুত্বপূর্ণ কারণ সমান্তরাল স্কেলিং শুধুমাত্র একটি নির্দিষ্ট সংখ্যক ঘন্টার জন্য বিনামূল্যে। AWS দাবি করে যে সমান্তরাল স্কেলিং 97% গ্রাহকদের জন্য বিনামূল্যে হবে, যা আমাদের মূল্য নির্ধারণের বিষয়ে নিয়ে আসে।

সমান্তরাল স্কেলিং খরচ

AWS সমান্তরাল স্কেলিং এর জন্য একটি ক্রেডিট মডেল অফার করে। প্রতিটি সক্রিয় ক্লাস্টার আমাজন রেডশিফ্ট প্রতি ঘণ্টায় ক্রেডিট জমা করে, প্রতিদিন এক ঘণ্টা পর্যন্ত বিনামূল্যে সমান্তরাল স্কেলিং ক্রেডিট।

আপনি শুধুমাত্র তখনই অর্থ প্রদান করেন যখন আপনার সমান্তরাল স্কেলিং ক্লাস্টার ব্যবহার আপনি প্রাপ্ত ক্রেডিটগুলির পরিমাণকে অতিক্রম করেন।

বিনামূল্যে হারের উপরে ব্যবহৃত সমান্তরাল ক্লাস্টারের জন্য প্রতি-সেকেন্ড অন-ডিমান্ড হারে খরচ গণনা করা হয়। প্রতিবার একটি সমান্তরাল স্কেলিং ক্লাস্টার সক্রিয় করার সময় ন্যূনতম এক মিনিটের চার্জ সহ আপনাকে শুধুমাত্র আপনার অনুরোধের সময়কালের জন্য চার্জ করা হবে। প্রতি-সেকেন্ড অন-ডিমান্ড হার সাধারণ মূল্য নীতির উপর ভিত্তি করে গণনা করা হয় আমাজন রেডশিফ্ট, অর্থাৎ, এটি নোডের ধরন এবং আপনার ক্লাস্টারে নোডের সংখ্যার উপর নির্ভর করে।

সমান্তরাল স্কেলিং চালু করা হচ্ছে

প্রতিটি WLM সারির জন্য সমান্তরাল স্কেলিং ট্রিগার করা হয়। AWS Redshift কনসোলে যান এবং বাম নেভিগেশন মেনু থেকে ওয়ার্কলোড ম্যানেজমেন্ট নির্বাচন করুন। নিম্নলিখিত ড্রপ-ডাউন মেনু থেকে আপনার ক্লাস্টারের WLM প্যারামিটার গ্রুপ নির্বাচন করুন।

আপনি প্রতিটি সারির পাশে "কনকারেন্সি স্কেলিং মোড" নামে একটি নতুন কলাম দেখতে পাবেন। ডিফল্ট হল "অক্ষম"। "সম্পাদনা" ক্লিক করুন এবং আপনি প্রতিটি সারির জন্য সেটিংস পরিবর্তন করতে পারেন।

কনফিগারেশন

নতুন ডেডিকেটেড ক্লাস্টারে উপযুক্ত অনুরোধ ফরোয়ার্ড করে সমান্তরাল স্কেলিং কাজ করে। নতুন ক্লাস্টারগুলির মূল ক্লাস্টারের মতো একই আকার (নোডের প্রকার এবং সংখ্যা) রয়েছে।

সমান্তরাল স্কেলিং এর জন্য ব্যবহৃত ক্লাস্টারগুলির ডিফল্ট সংখ্যা হল এক (1), মোট দশটি (10) ক্লাস্টার পর্যন্ত কনফিগার করার ক্ষমতা সহ।
সমান্তরাল স্কেলিং এর জন্য মোট ক্লাস্টার সংখ্যা max_concurrency_scaling_clusters প্যারামিটার দ্বারা সেট করা যেতে পারে। এই প্যারামিটারের মান বৃদ্ধি অতিরিক্ত অপ্রয়োজনীয় ক্লাস্টার প্রদান করে।

পর্যবেক্ষণ

AWS Redshift কনসোলে বেশ কিছু অতিরিক্ত গ্রাফ উপলব্ধ রয়েছে। সর্বোচ্চ কনকারেন্সি স্কেলিং ক্লাস্টার চার্ট সময়ের সাথে max_concurrency_scaling_clusters এর মান প্রদর্শন করে।

সক্রিয় স্কেলিং ক্লাস্টারের সংখ্যা ব্যবহারকারী ইন্টারফেসে "কনকারেন্সি স্কেলিং অ্যাক্টিভিটি" বিভাগে প্রদর্শিত হয়:

ক্যোয়ারি ট্যাবে, একটি কলাম রয়েছে যা নির্দেশ করে যে প্রশ্নটি মূল ক্লাস্টারে বা সমান্তরাল স্কেলিং ক্লাস্টারে সম্পাদিত হয়েছে:

একটি নির্দিষ্ট প্রশ্ন মূল ক্লাস্টারে বা সমান্তরাল স্কেলিং ক্লাস্টারের মাধ্যমে নির্বাহ করা হোক না কেন, এটি stl_query.concurrency_scaling_status-এ সংরক্ষণ করা হয়।

1-এর মান নির্দেশ করে যে প্রশ্নটি সমান্তরাল স্কেল ক্লাস্টারে কার্যকর করা হয়েছিল, যখন অন্যান্য মানগুলি নির্দেশ করে যে এটি প্রাথমিক ক্লাস্টারে কার্যকর করা হয়েছিল।

উদাহরণ:

কনকারেন্সি স্কেলিং তথ্য অন্যান্য কিছু টেবিল এবং ভিউতেও সংরক্ষিত থাকে, যেমন SVCS_CONCURRENCY_SCALING_USAGE। এছাড়াও, সমান্তরাল স্কেলিং সম্পর্কে তথ্য সংরক্ষণ করে এমন অনেকগুলি ক্যাটালগ টেবিল রয়েছে।

Результаты

লেখকরা 18/30/00 তারিখে আনুমানিক 29.03.2019:3:20 GMT-এ অভ্যন্তরীণ ক্লাস্টারে একটি সারির জন্য সমান্তরাল স্কেলিং শুরু করেছেন। 30/00/29.03.2019/XNUMX-এ আনুমানিক XNUMX:XNUMX:XNUMX এ max_concurrency_scaling_clusters প্যারামিটারটি XNUMX এ পরিবর্তন করেছেন।

একটি অনুরোধ সারি অনুকরণ করতে, আমরা এই সারির জন্য স্লটের সংখ্যা 15 থেকে কমিয়ে 5 করেছি৷

নীচে একটি intermix.io ড্যাশবোর্ড চার্ট রয়েছে যা স্লটের সংখ্যা হ্রাস করার পরে চলমান এবং সারিবদ্ধ অনুরোধের সংখ্যা দেখাচ্ছে৷

আমরা দেখতে পাই যে সারিতে থাকা অনুরোধের জন্য অপেক্ষার সময় বেড়েছে, সর্বোচ্চ সময় 5 মিনিটের বেশি।

এই সময়ের মধ্যে কী ঘটেছিল সে সম্পর্কে AWS কনসোল থেকে প্রাসঙ্গিক তথ্য এখানে রয়েছে:

Redshift কনফিগার করা হিসাবে তিনটি (3) সমান্তরাল স্কেলিং ক্লাস্টার চালু করেছে। আমাদের ক্লাস্টারে অনেক অনুরোধ সারিবদ্ধ থাকা সত্ত্বেও এই ক্লাস্টারগুলিকে কম ব্যবহার করা হয়েছে বলে মনে হচ্ছে৷

ব্যবহার গ্রাফটি স্কেলিং কার্যকলাপ গ্রাফের সাথে সম্পর্কযুক্ত:

কয়েক ঘন্টা পরে, লেখকরা সারিটি পরীক্ষা করেছেন এবং দেখে মনে হচ্ছে 6 টি অনুরোধ সমান্তরাল স্কেলিং এ চলছে। আমরা ইউজার ইন্টারফেসের মাধ্যমে এলোমেলোভাবে দুটি অনুরোধ পরীক্ষা করেছি। যখন একাধিক সমান্তরাল ক্লাস্টার একবারে সক্রিয় থাকে তখন আমরা এই মানগুলি কীভাবে ব্যবহার করব তা পরীক্ষা করিনি।

তথ্যও

সমান্তরাল স্কেলিং পিক লোডের সময় সারিতে থাকা অনুরোধের সময় কমাতে পারে।

মৌলিক পরীক্ষার ফলাফলের উপর ভিত্তি করে, এটি প্রমাণিত হয়েছে যে লোডিং অনুরোধগুলির সাথে পরিস্থিতি আংশিকভাবে উন্নত হয়েছে। যাইহোক, একা সমান্তরাল স্কেলিং সমস্ত সমসাময়িক সমস্যার সমাধান করে না।

এটি সমান্তরাল স্কেলিং ব্যবহার করতে পারে এমন প্রশ্নের ধরণের সীমাবদ্ধতার কারণে। উদাহরণস্বরূপ, লেখকদের ইন্টারলিভড সর্ট কী সহ অনেকগুলি টেবিল রয়েছে এবং আমাদের কাজের চাপের বেশিরভাগই লেখা।

যদিও সমান্তরাল স্কেলিং WLM সেট আপ করার জন্য একটি সর্বজনীন সমাধান নয়, এই বৈশিষ্ট্যটি ব্যবহার করা সহজ এবং সোজা।

অতএব, লেখক আপনার WLM সারিগুলির জন্য এটি ব্যবহার করার পরামর্শ দিয়েছেন। একটি সমান্তরাল ক্লাস্টার দিয়ে শুরু করুন এবং নতুন ক্লাস্টারগুলি সম্পূর্ণরূপে ব্যবহার করা হচ্ছে কিনা তা নির্ধারণ করতে কনসোলের মাধ্যমে পিক লোড নিরীক্ষণ করুন।

যেহেতু AWS অতিরিক্ত ক্যোয়ারী প্রকার এবং টেবিলের জন্য সমর্থন যোগ করে, সমান্তরাল স্কেলিং ধীরে ধীরে আরও বেশি দক্ষ হয়ে উঠতে হবে।

Daniyar Belkhodzhaev, Skyeng ডেটা ইঞ্জিনিয়ারের মন্তব্য

আমরা স্কাইং-এও অবিলম্বে সমান্তরাল স্কেলিং এর উদীয়মান সম্ভাবনা লক্ষ্য করেছি।
কার্যকারিতাটি খুবই আকর্ষণীয়, বিশেষ করে AWS অনুমান করে যে বেশিরভাগ ব্যবহারকারীদের এটির জন্য অতিরিক্ত অর্থ প্রদান করতে হবে না।

এটি তাই ঘটেছে যে এপ্রিলের মাঝামাঝি সময়ে আমাদের কাছে রেডশিফ্ট ক্লাস্টারে অনুরোধের একটি অস্বাভাবিক ঝাঁকুনি ছিল। এই সময়ের মধ্যে, আমরা প্রায়শই কনকারেন্সি স্কেলিং অবলম্বন করেছি; কখনও কখনও একটি অতিরিক্ত ক্লাস্টার 24 ঘন্টা না থামিয়ে কাজ করে।

এটি সম্ভব করেছে, যদি সারি দিয়ে সমস্যার সম্পূর্ণ সমাধান না করা যায়, তবে অন্তত পরিস্থিতিকে গ্রহণযোগ্য করা।

আমাদের পর্যবেক্ষণগুলি মূলত intermix.io থেকে ছেলেদের ইম্প্রেশনের সাথে মিলে যায়।

আমরা আরও লক্ষ্য করেছি যে যদিও সারিতে অপেক্ষায় থাকা অনুরোধ ছিল, তবে সমস্ত অনুরোধ অবিলম্বে সমান্তরাল ক্লাস্টারে ফরোয়ার্ড করা হয়নি। স্পষ্টতই এটি ঘটে কারণ সমান্তরাল ক্লাস্টারটি এখনও শুরু হতে সময় নেয়। ফলস্বরূপ, স্বল্প-মেয়াদী পিক লোডের সময় আমাদের এখনও ছোট সারি রয়েছে এবং সংশ্লিষ্ট অ্যালার্মগুলির ট্রিগার করার সময় রয়েছে।

এপ্রিল মাসে অস্বাভাবিক লোড থেকে পরিত্রাণ পেয়ে, আমরা, AWS প্রত্যাশিতভাবে, মাঝে মাঝে ব্যবহারের মোডে প্রবেশ করেছি - বিনামূল্যের নিয়মের মধ্যে।
আপনি AWS Cost Explorer-এ আপনার সমান্তরাল স্কেলিং খরচ ট্র্যাক করতে পারেন। আপনাকে পরিষেবা - রেডশিফ্ট, ব্যবহারের ধরন - CS নির্বাচন করতে হবে, উদাহরণস্বরূপ USW2-CS:dc2.large।

আপনি রাশিয়ান ভাষায় দাম সম্পর্কে আরও পড়তে পারেন এখানে।

উত্স: www.habr.com