গুগল ক্লাউড স্প্যানার: ভালো, খারাপ, কুৎসিত

হ্যালো, খবর. ঐতিহ্যগতভাবে, আমরা নতুন কোর্স শুরুর প্রাক্কালে আকর্ষণীয় উপাদান শেয়ার করতে থাকি। আজ, বিশেষ করে আপনার জন্য, আমরা Google ক্লাউড স্প্যানার সম্পর্কে একটি নিবন্ধ অনুবাদ করেছি, যা কোর্সটি চালু হওয়ার সাথে মিলে গেছে "ডেভেলপারদের জন্য AWS".

মূলত প্রকাশিত লাইটস্পিড সদর দপ্তর ব্লগ.

একটি কোম্পানী হিসেবে যেটি সারা বিশ্বের খুচরা বিক্রেতা, রেস্তোরাঁর এবং অনলাইন বণিকদের জন্য বিভিন্ন ধরনের ক্লাউড-ভিত্তিক POS সমাধান সরবরাহ করে, Lightspeed বিভিন্ন ধরনের লেনদেন, বিশ্লেষণ এবং অনুসন্ধান ব্যবহারের ক্ষেত্রে বিভিন্ন ধরনের ডাটাবেস প্ল্যাটফর্ম ব্যবহার করে। এই ডাটাবেস প্ল্যাটফর্মগুলির প্রত্যেকটির নিজস্ব শক্তি এবং দুর্বলতা রয়েছে৷ তাই, যখন Google ক্লাউড স্প্যানার বাজারে এনেছিল - প্রতিশ্রুতিশীল বৈশিষ্ট্যগুলি রিলেশনাল ডাটাবেসের বিশ্বে দেখা যায়নি, যেমন কার্যত সীমাহীন অনুভূমিক স্কেলেবিলিটি এবং একটি 99,999% পরিষেবা স্তর চুক্তি (SLA) , আমরা তাকে আমাদের হাতে থাকার সুযোগটি ছাড়তে পারিনি!

ক্লাউড স্প্যানারের সাথে আমাদের অভিজ্ঞতার একটি ব্যাপক ওভারভিউ দিতে, সেইসাথে আমরা যে মূল্যায়নের মানদণ্ড ব্যবহার করেছি, আমরা নিম্নলিখিত বিষয়গুলি কভার করব:

1. আমাদের মূল্যায়নের মানদণ্ড
2. সংক্ষেপে ক্লাউড স্প্যানার
3. আমাদের মূল্যায়ন
4. আমাদের ফলাফল

1. আমাদের মূল্যায়নের মানদণ্ড

ক্লাউড স্প্যানারের সুনির্দিষ্ট বিষয়ে ডাইভিং করার আগে, বাজারের অন্যান্য সমাধানগুলির সাথে এর মিল এবং পার্থক্যগুলি, আসুন প্রথমে আমাদের পরিকাঠামোতে ক্লাউড স্প্যানারকে কোথায় স্থাপন করতে হবে তা বিবেচনা করার সময় আমাদের মাথায় ছিল প্রধান ব্যবহারের ক্ষেত্রে কথা বলা যাক:

• (প্রচলিত) ঐতিহ্যগত SQL ডাটাবেস সমাধানের প্রতিস্থাপন হিসাবে
• একটি OLAP-সক্ষম OLTP সমাধান হিসাবে

দ্রষ্টব্য: তুলনা করার সুবিধার জন্য, এই নিবন্ধটি ক্লাউড স্প্যানারকে GCP ক্লাউড SQL এবং Amazon AWS RDS সমাধান পরিবারগুলির MySQL ভেরিয়েন্টের সাথে তুলনা করে।

একটি ঐতিহ্যগত SQL ডাটাবেস সমাধানের প্রতিস্থাপন হিসাবে ক্লাউড স্প্যানার ব্যবহার করা

পরিবেশে ঐতিহ্যগত ডাটাবেস, যখন একটি ডাটাবেস ক্যোয়ারী জন্য প্রতিক্রিয়া সময় কাছাকাছি আসে বা এমনকি পূর্বনির্ধারিত অ্যাপ্লিকেশন থ্রেশহোল্ড অতিক্রম করে (প্রাথমিকভাবে ব্যবহারকারী এবং/অথবা অনুরোধের সংখ্যা বৃদ্ধির কারণে), গ্রহণযোগ্য স্তরে প্রতিক্রিয়া সময় হ্রাস করার বিভিন্ন উপায় রয়েছে। যাইহোক, এই সমাধানগুলির বেশিরভাগই ম্যানুয়াল হস্তক্ষেপ জড়িত।

উদাহরণস্বরূপ, নেওয়ার প্রথম পদক্ষেপটি হল বিভিন্ন কর্মক্ষমতা-সম্পর্কিত ডাটাবেস সেটিংসের দিকে নজর দেওয়া এবং অ্যাপ্লিকেশন ব্যবহারের দৃশ্যের নিদর্শনগুলির সাথে সেরা মেলে সেগুলিকে টিউন করা৷ যদি এটি যথেষ্ট না হয়, আপনি ডাটাবেসটিকে উল্লম্বভাবে বা অনুভূমিকভাবে স্কেল করতে বেছে নিতে পারেন।

একটি অ্যাপ্লিকেশন স্কেল আপ করার জন্য সার্ভারের ইন্সট্যান্স আপডেট করা হয়, সাধারণত আরও প্রসেসর/কোর, আরও RAM, দ্রুত সঞ্চয়স্থান, ইত্যাদি যোগ করার মাধ্যমে। আরও হার্ডওয়্যার সংস্থান যোগ করার ফলে ডাটাবেসের কর্মক্ষমতা বৃদ্ধি পায়, প্রাথমিকভাবে প্রতি সেকেন্ডে লেনদেনে পরিমাপ করা হয় এবং OLTP সিস্টেমের জন্য লেনদেনের লেটেন্সি। রিলেশনাল ডাটাবেস সিস্টেম (যা একটি মাল্টি-থ্রেডেড পদ্ধতি ব্যবহার করে) যেমন মাইএসকিউএল স্কেল উল্লম্বভাবে।

এই পদ্ধতির বেশ কয়েকটি ত্রুটি রয়েছে, তবে সবচেয়ে স্পষ্ট হল বাজারে সর্বাধিক সার্ভারের আকার। একবার সবচেয়ে বড় সার্ভার ইনস্ট্যান্স সীমা পৌঁছে গেলে, শুধুমাত্র একটি পথ বাকি থাকে: স্কেল আউট।

স্কেল-আউট হল এমন একটি পদ্ধতি যা আরও সার্ভার যোগ করার সাথে সাথে রৈখিকভাবে কার্যক্ষমতা বাড়াতে একটি ক্লাস্টারে আরও সার্ভার যোগ করে। সংখ্যাগরিষ্ঠ ঐতিহ্যগত ডাটাবেস সিস্টেমগুলি ভালভাবে স্কেল করে না বা মোটেও স্কেল করে না। উদাহরণস্বরূপ, MySQL স্লেভ রিডার যোগ করে পাঠের জন্য স্কেল আউট করতে পারে, কিন্তু এটি লেখার জন্য স্কেল আউট করতে পারে না।

অন্যদিকে, তার প্রকৃতির কারণে, ক্লাউড স্প্যানার ন্যূনতম হস্তক্ষেপের সাথে সহজেই অনুভূমিকভাবে স্কেল করতে পারে।

সম্পূর্ণ বৈশিষ্ট্যযুক্ত একটি পরিষেবা হিসাবে DBMS বিভিন্ন দৃষ্টিকোণ থেকে মূল্যায়ন করা আবশ্যক। একটি ভিত্তি হিসাবে, আমরা ক্লাউডে সবচেয়ে জনপ্রিয় DBMS নিয়েছি - Google, GCP Cloud SQL এবং Amazon, AWS RDS-এর জন্য। আমাদের মূল্যায়নে, আমরা নিম্নলিখিত বিভাগগুলিতে ফোকাস করেছি:

• ফিচার ম্যাপিং: SQL extent, DDL, DML; সংযোগ লাইব্রেরি/সংযোগকারী, লেনদেন সমর্থন, এবং তাই।
• উন্নয়ন সমর্থন: উন্নয়ন এবং পরীক্ষার সহজ.
• অ্যাডমিনিস্ট্রেশন সাপোর্ট: ইনস্ট্যান্স ম্যানেজমেন্ট যেমন স্কেল আপ/ডাউন এবং ইনস্ট্যান্স আপগ্রেড করা; SLA, ব্যাকআপ এবং পুনরুদ্ধার; নিরাপত্তা/অ্যাক্সেস নিয়ন্ত্রণ।

একটি OLAP-সক্ষম OLTP সমাধান হিসাবে ক্লাউড স্প্যানার ব্যবহার করা

যদিও Google স্পষ্টভাবে বলে না যে ক্লাউড স্প্যানার বিশ্লেষণের জন্য, এটি অন্যান্য ইঞ্জিন যেমন Apache Impala & Kudu এবং YugaByte এর সাথে কিছু বৈশিষ্ট্য শেয়ার করে যা OLAP কাজের চাপের জন্য ডিজাইন করা হয়েছে।

এমনকি যদি ক্লাউড স্প্যানারে একটি (কম বা কম) ব্যবহারযোগ্য OLAP বৈশিষ্ট্য সেট সহ একটি সামঞ্জস্যপূর্ণ স্কেল-আউট HTAP (হাইব্রিড ট্রানজ্যাকশনাল/অ্যানালিটিক প্রসেসিং) ইঞ্জিন অন্তর্ভুক্ত করার সামান্য সম্ভাবনা থাকে, আমরা মনে করি এটি আমাদের মনোযোগের যোগ্য হবে।

এটি মাথায় রেখে, আমরা নিম্নলিখিত বিভাগগুলি দেখেছি:

• ডেটা লোডিং, ইনডেক্স এবং পার্টিশন সমর্থন
• কর্মক্ষমতা এবং DML কোয়েরি

2. সংক্ষেপে ক্লাউড স্প্যানার

গুগল স্প্যানার হল একটি ক্লাস্টারড রিলেশনাল ডাটাবেস ম্যানেজমেন্ট সিস্টেম (RDBMS) যা Google তার নিজস্ব কিছু পরিষেবার জন্য ব্যবহার করে। 2017 সালের প্রথম দিকে Google এটিকে Google ক্লাউড প্ল্যাটফর্ম ব্যবহারকারীদের জন্য সর্বজনীনভাবে উপলব্ধ করেছে।

এখানে ক্লাউড স্প্যানারের কিছু বৈশিষ্ট্য রয়েছে:

• অত্যন্ত সামঞ্জস্যপূর্ণ, স্কেলযোগ্য RDBMS ক্লাস্টার: ডেটা সামঞ্জস্য নিশ্চিত করতে হার্ডওয়্যার টাইম সিঙ্ক্রোনাইজেশন ব্যবহার করে।
• ক্রস-টেবিল লেনদেন সমর্থন: লেনদেন একাধিক টেবিল বিস্তৃত করতে পারে - অগত্যা একটি একক টেবিলের মধ্যে সীমাবদ্ধ নয় (অ্যাপাচি এইচবেস বা অ্যাপাচি কুডুর বিপরীতে)।
• প্রাথমিক কী ভিত্তিক টেবিল: সমস্ত টেবিলের একটি ঘোষিত প্রাথমিক কী (PC) থাকতে হবে, যেটিতে একাধিক টেবিল কলাম থাকতে পারে। ট্যাবুলার ডেটা পিসি ক্রমে সংরক্ষণ করা হয়, যা পিসি অনুসন্ধানের জন্য এটিকে খুব দক্ষ এবং দ্রুত করে তোলে। অন্যান্য পিসি-ভিত্তিক সিস্টেমের মতো, বাস্তবায়নটি অর্জনের জন্য পূর্বকল্পিত ব্যবহারের ক্ষেত্রে মডেল হতে হবে। শেষ ঘন্টা.
• ডোরাকাটা টেবিল: টেবিলের একে অপরের উপর শারীরিক নির্ভরতা থাকতে পারে। চাইল্ড টেবিলের সারিগুলি প্যারেন্ট টেবিলের সারিগুলির সাথে মিলিত হতে পারে। এই পদ্ধতিটি সম্পর্কের অনুসন্ধানের গতি বাড়িয়ে দেয় যা ডেটা মডেলিং পর্যায়ে নির্ধারণ করা যেতে পারে, উদাহরণস্বরূপ, গ্রাহকদের এবং তাদের চালানগুলি একসাথে রাখার সময়।
• ইনডেক্স: ক্লাউড স্প্যানার সেকেন্ডারি ইনডেক্স সমর্থন করে। একটি সূচী সূচিবদ্ধ কলাম এবং সমস্ত পিসি কলাম নিয়ে গঠিত। ঐচ্ছিকভাবে, সূচীতে অন্যান্য নন-ইনডেক্সড কলামও থাকতে পারে। প্রশ্নের গতি বাড়ানোর জন্য সূচকটিকে প্যারেন্ট টেবিলের সাথে ইন্টারলিভ করা যেতে পারে। সূচীতে বেশ কিছু বিধিনিষেধ প্রযোজ্য, যেমন সর্বাধিক সংখ্যক অতিরিক্ত কলাম যা একটি সূচকে সংরক্ষণ করা যেতে পারে। এছাড়াও, সূচীগুলির মাধ্যমে প্রশ্নগুলি অন্যান্য RDBMS-এর মতো সহজবোধ্য নাও হতে পারে৷

"ক্লাউড স্প্যানার শুধুমাত্র বিরল ক্ষেত্রে স্বয়ংক্রিয়ভাবে একটি সূচক নির্বাচন করে। বিশেষ করে, ক্লাউড স্প্যানার স্বয়ংক্রিয়ভাবে একটি গৌণ সূচী নির্বাচন করে না যদি ক্যোয়ারী এমন কোনো কলামের অনুরোধ করে যা সংরক্ষণ করা হয় না সূচক ».

• সার্ভিস লেভেল এগ্রিমেন্ট (SLA): 99,99% SLA সহ একক অঞ্চল স্থাপন; 99,999% SLA সহ বহু-অঞ্চল স্থাপনা। যদিও SLA নিজেই একটি চুক্তি এবং কোনো ধরনের গ্যারান্টি নয়, আমি বিশ্বাস করি যে Google-এর লোকদের কাছে এমন একটি শক্তিশালী দাবি করার জন্য কিছু কঠিন ডেটা আছে। (রেফারেন্সের জন্য, 99,999% মানে প্রতি মাসে 26,3 সেকেন্ড সার্ভিস ডাউনটাইম।)
• আরও: https://cloud.google.com/spanner/

দ্রষ্টব্য: Apache Tephra প্রকল্প Apache HBase-এ উন্নত লেনদেন সমর্থন যোগ করে (এছাড়াও এখন Apache Phoenix-এ বিটা হিসেবে প্রয়োগ করা হয়েছে)।

3. আমাদের মূল্যায়ন

সুতরাং, আমরা সবাই ক্লাউড স্প্যানার-এর সুবিধাগুলি সম্পর্কে Google-এর বিবৃতিগুলি পড়েছি - উচ্চ সামঞ্জস্য এবং একটি খুব উচ্চ SLA বজায় রেখে কার্যত সীমাহীন অনুভূমিক স্কেলিং৷ যদিও এই দাবিগুলি, যে কোনও ক্ষেত্রে, অর্জন করা অত্যন্ত কঠিন, আমাদের লক্ষ্য তাদের খণ্ডন করা ছিল না। পরিবর্তে, আসুন আমরা অন্যান্য বিষয়গুলিতে ফোকাস করি যা বেশিরভাগ ডাটাবেস ব্যবহারকারীদের যত্ন নেয়: সমতা এবং ব্যবহারযোগ্যতা।

আমরা Sharded MySQL এর প্রতিস্থাপন হিসাবে ক্লাউড স্প্যানারকে রেট করেছি

গুগল ক্লাউড এসকিউএল এবং অ্যামাজন AWS RDS, ক্লাউড মার্কেটে সবচেয়ে জনপ্রিয় দুটি OLTP ডাটাবেস, এর একটি খুব বড় বৈশিষ্ট্য রয়েছে। যাইহোক, এই ডাটাবেসগুলিকে একটি একক নোডের আকারের বাইরে স্কেল করার জন্য, আপনাকে অ্যাপ্লিকেশন বিভাজন করতে হবে। এই পদ্ধতিটি অ্যাপ্লিকেশন এবং প্রশাসন উভয়ের জন্য অতিরিক্ত জটিলতা তৈরি করে। আমরা দেখেছি কিভাবে স্প্যানার একাধিক শার্ড একত্রিত করার দৃশ্যের সাথে খাপ খায় এবং কোন বৈশিষ্ট্যগুলি (যদি থাকে) বলি দিতে হতে পারে।

SQL, DML এবং DDL, সেইসাথে সংযোগকারী এবং লাইব্রেরির জন্য সমর্থন?

প্রথমত, কোনো ডাটাবেস দিয়ে শুরু করার সময়, আপনাকে একটি ডেটা মডেল তৈরি করতে হবে। আপনি যদি মনে করেন যে আপনি আপনার প্রিয় এসকিউএল টুলের সাথে JDBC স্প্যানার সংযোগ করতে পারেন, তাহলে আপনি দেখতে পাবেন যে আপনি এটির সাথে আপনার ডেটা জিজ্ঞাসা করতে পারেন, কিন্তু আপনি এটি একটি টেবিল বা আপডেট (DDL) বা কোনো সন্নিবেশ/আপডেট/মুছে ফেলতে ব্যবহার করতে পারবেন না। অপারেশন (ডিএমএল)। গুগলের অফিসিয়াল JDBCও সমর্থন করে না।

"ড্রাইভার বর্তমানে DML বা DDL বিবৃতি সমর্থন করে না।"
স্প্যানার ডকুমেন্টেশন

GCP কনসোলের সাথে পরিস্থিতি ভাল নয় - আপনি শুধুমাত্র SELECT প্রশ্ন পাঠাতে পারেন। ভাগ্যক্রমে, লেনদেন সহ সম্প্রদায়ের কাছ থেকে DML এবং DDL সমর্থন সহ একজন JDBC ড্রাইভার রয়েছে github.com/olavloite/spanner-jdbc. যদিও এই ড্রাইভারটি অত্যন্ত দরকারী, Google এর নিজস্ব JDBC ড্রাইভারের অনুপস্থিতি আশ্চর্যজনক। সৌভাগ্যবশত, Google মোটামুটি বিস্তৃত ক্লায়েন্ট লাইব্রেরি সমর্থন অফার করে (gRPC এর উপর ভিত্তি করে): C#, Go, Java, node.js, PHP, Python, এবং Ruby।

ক্লাউড স্প্যানারের কাস্টম API-এর প্রায় বাধ্যতামূলক ব্যবহার (জেডিবিসি-তে DDL এবং DML-এর অভাবের কারণে) কোডের সম্পর্কিত ক্ষেত্রে কিছু সীমাবদ্ধতা তৈরি করে যেমন সংযোগ পুলিং বা ডাটাবেস বাইন্ডিং ফ্রেমওয়ার্ক (যেমন স্প্রিং এমভিসি)। সাধারণত, JDBC ব্যবহার করার সময়, আপনি আপনার পছন্দের সংযোগ পুল (যেমন HikariCP, DBCP, C3PO, ইত্যাদি) বেছে নিতে পারেন যা পরীক্ষিত এবং ভাল কাজ করে। কাস্টম স্প্যানার API-এর ক্ষেত্রে, আমাদের নিজেদের তৈরি করা ফ্রেমওয়ার্ক/বাইন্ডিং/সেশন পুলের উপর নির্ভর করতে হবে।

প্রাথমিক কী (পিসি) ওরিয়েন্টেড ডিজাইন ক্লাউড স্প্যানারকে পিসির মাধ্যমে ডেটা অ্যাক্সেস করার সময় খুব দ্রুত হতে দেয়, তবে কিছু ক্যোয়ারী সমস্যাও প্রবর্তন করে।

• আপনি একটি প্রাথমিক কী এর মান আপডেট করতে পারবেন না; আপনাকে প্রথমে আসল পিসি এন্ট্রিটি মুছে ফেলতে হবে এবং নতুন মান দিয়ে পুনরায় সন্নিবেশ করতে হবে। (এটি অন্যান্য পিসি ওরিয়েন্টেড ডাটাবেস/স্টোরেজ ইঞ্জিনের মতো।)
• যেকোনো আপডেট এবং ডিলিট স্টেটমেন্টে অবশ্যই পিসিকে কোথায় উল্লেখ করতে হবে, তাই সব স্টেটমেন্ট ডিলিট খালি থাকতে পারে না - সেখানে সবসময় একটি সাবকোয়েরি থাকতে হবে, উদাহরণস্বরূপ: আপডেট xxx যেখানে আইডি ইন (টেবিল১ থেকে আইডি নির্বাচন করুন)
• একটি স্বয়ংক্রিয়-বৃদ্ধি বিকল্পের অভাব বা অনুরূপ কিছু যা PC ক্ষেত্রের জন্য ক্রম সেট করে। এটি কাজ করার জন্য, সংশ্লিষ্ট মানটি অ্যাপ্লিকেশনের পাশে তৈরি করতে হবে।

সেকেন্ডারি সূচক?

Google ক্লাউড স্প্যানার সেকেন্ডারি ইনডেক্সের জন্য অন্তর্নির্মিত সমর্থন রয়েছে। এটি একটি খুব সুন্দর বৈশিষ্ট্য যা সবসময় অন্যান্য প্রযুক্তিতে উপস্থিত থাকে না। Apache Kudu বর্তমানে সেকেন্ডারি ইনডেক্স সমর্থন করে না, এবং Apache HBase সরাসরি সূচী সমর্থন করে না, কিন্তু Apache Phoenix এর মাধ্যমে সেগুলি যোগ করতে পারে।

Kudu এবং HBase-এর সূচীগুলিকে প্রাথমিক কীগুলির বিভিন্ন সংমিশ্রণ সহ একটি পৃথক টেবিল হিসাবে মডেল করা যেতে পারে, তবে প্যারেন্ট টেবিল এবং সম্পর্কিত সূচী সারণীগুলিতে সম্পাদিত ক্রিয়াকলাপের পারমাণবিকতা অবশ্যই প্রয়োগ স্তরে সঞ্চালিত হতে হবে এবং সঠিকভাবে বাস্তবায়নের জন্য তুচ্ছ নয়।

ক্লাউড স্প্যানার পর্যালোচনায় উল্লিখিত হিসাবে, এর সূচীগুলি MySQL সূচীগুলির থেকে আলাদা হতে পারে৷ সুতরাং, সঠিক সূচক যেখানে প্রয়োজন সেখানে ব্যবহার করা হয়েছে তা নিশ্চিত করার জন্য ক্যোয়ারী বিল্ডিং এবং প্রোফাইলিংয়ে বিশেষ যত্ন নেওয়া উচিত।

প্রতিনিধিত্ব?

একটি ডাটাবেসের একটি খুব জনপ্রিয় এবং দরকারী বস্তু হল ভিউ। তারা ব্যবহার ক্ষেত্রে একটি বড় সংখ্যা জন্য দরকারী হতে পারে; আমার দুটি প্রিয় হল লজিক্যাল অ্যাবস্ট্রাকশন লেয়ার এবং সিকিউরিটি লেয়ার। দুর্ভাগ্যবশত ক্লাউড স্প্যানার ভিউ সমর্থন করে না। যাইহোক, এটি শুধুমাত্র আংশিকভাবে আমাদের সীমাবদ্ধ করে, কারণ অ্যাক্সেসের অনুমতিগুলির জন্য কোনও কলাম-স্তরের গ্রানুলারিটি নেই যেখানে ভিউ একটি গ্রহণযোগ্য সমাধান হতে পারে।

কোটা এবং সীমা বিস্তারিত একটি বিভাগের জন্য ক্লাউড স্প্যানার ডকুমেন্টেশন দেখুন (স্প্যানার/কোটা), বিশেষভাবে একটি আছে যা কিছু অ্যাপ্লিকেশনের জন্য সমস্যাযুক্ত হতে পারে: বাক্সের বাইরে ক্লাউড স্প্যানারে প্রতি উদাহরণে সর্বাধিক 100টি ডেটাবেস রয়েছে৷ স্পষ্টতই, এটি একটি ডাটাবেসের জন্য একটি বড় বাধা হতে পারে যা 100 টিরও বেশি ডাটাবেসে স্কেল করার জন্য ডিজাইন করা হয়েছে। সৌভাগ্যবশত, আমাদের Google প্রযুক্তিগত প্রতিনিধির সাথে কথা বলার পরে, আমরা জানতে পেরেছি যে এই সীমাটি Google সহায়তার মাধ্যমে প্রায় যেকোনো মান পর্যন্ত বাড়ানো যেতে পারে।

উন্নয়ন সমর্থন?

ক্লাউড স্প্যানার তার API এর সাথে কাজ করার জন্য বেশ শালীন প্রোগ্রামিং ভাষা সমর্থন অফার করে। আনুষ্ঠানিকভাবে সমর্থিত লাইব্রেরিগুলি C#, Go, Java, node.js, PHP, Python এবং Ruby এর এলাকায় রয়েছে। ডকুমেন্টেশন মোটামুটি বিস্তারিত, কিন্তু অন্যান্য অত্যাধুনিক প্রযুক্তির মতো, সম্প্রদায়টি সবচেয়ে জনপ্রিয় ডাটাবেস প্রযুক্তির তুলনায় বেশ ছোট, যার ফলে কম সাধারণ ব্যবহারের ক্ষেত্রে বা সমস্যায় বেশি সময় ব্যয় হতে পারে।

তাহলে স্থানীয় উন্নয়ন সহায়তার কী হবে?

আমরা প্রাঙ্গনে ক্লাউড স্প্যানার ইনস্ট্যান্স তৈরি করার কোনো উপায় খুঁজে পাইনি। আমরা পেয়েছিলাম সবচেয়ে কাছাকাছি একটি ডকার ইমেজ তেলাপোকা ডিবিযা নীতিগতভাবে একই, কিন্তু বাস্তবে খুব ভিন্ন। উদাহরণস্বরূপ CockroachDB PostgreSQL JDBC ব্যবহার করতে পারে। যেহেতু ডেভেলপমেন্ট এনভায়রনমেন্ট প্রোডাকশন এনভায়রনমেন্টের যতটা সম্ভব কাছাকাছি হওয়া উচিত, তাই ক্লাউড স্প্যানার আদর্শ নয় কারণ আপনাকে সম্পূর্ণ স্প্যানার ইনস্ট্যান্সের উপর নির্ভর করতে হবে। খরচ বাঁচাতে, আপনি একটি একক অঞ্চলের উদাহরণ নির্বাচন করতে পারেন।

প্রশাসনের সহায়তা?

একটি ক্লাউড স্প্যানার ইনস্ট্যান্স তৈরি করা খুবই সহজ। আপনাকে শুধুমাত্র একটি মাল্টি-রিজিওন বা একক-অঞ্চলের উদাহরণ তৈরির মধ্যে বেছে নিতে হবে, অঞ্চল(গুলি) এবং নোডের সংখ্যা নির্দিষ্ট করুন। এক মিনিটেরও কম সময়ে, দৃষ্টান্তটি চালু হয়ে যাবে।

Google কনসোলের স্প্যানার পৃষ্ঠায় বেশ কিছু প্রাথমিক মেট্রিক সরাসরি উপলব্ধ। স্ট্যাকড্রাইভারের মাধ্যমে আরও বিস্তারিত ভিউ পাওয়া যায়, যেখানে আপনি মেট্রিক থ্রেশহোল্ড এবং সতর্কতা নীতিও সেট করতে পারেন।

সম্পদ অ্যাক্সেস?

MySQL ব্যাপক এবং খুব দানাদার ব্যবহারকারীর অনুমতি/ভূমিকা সেটিংস অফার করে। আপনি সহজেই একটি নির্দিষ্ট টেবিলে অ্যাক্সেস কাস্টমাইজ করতে পারেন, এমনকি এর কলামগুলির একটি উপসেটও। ক্লাউড স্প্যানার Google আইডেন্টিটি অ্যান্ড অ্যাকসেস ম্যানেজমেন্ট (IAM) টুল ব্যবহার করে, যা শুধুমাত্র আপনাকে খুব উচ্চ স্তরে নীতি এবং অনুমতি সেট করতে দেয়। সবচেয়ে দানাদার বিকল্প হল ডাটাবেস-স্তরের অনুমতি, যা বেশিরভাগ উৎপাদনের ক্ষেত্রে মাপসই হয় না। এই সীমাবদ্ধতা আপনাকে স্প্যানার সম্পদের অননুমোদিত ব্যবহার রোধ করতে আপনার কোড, অবকাঠামো বা উভয়টিতে অতিরিক্ত নিরাপত্তা ব্যবস্থা যোগ করতে বাধ্য করে।

ব্যাকআপ?

সহজভাবে বলতে গেলে, ক্লাউড স্প্যানারে কোনো ব্যাকআপ নেই। যদিও Google-এর উচ্চ SLA প্রয়োজনীয়তাগুলি নিশ্চিত করতে পারে যে আপনি হার্ডওয়্যার বা ডাটাবেস ব্যর্থতা, মানবিক ত্রুটি, অ্যাপ্লিকেশন ত্রুটি ইত্যাদির কারণে কোনও ডেটা হারাবেন না৷ আমরা সবাই নিয়মটি জানি: উচ্চ প্রাপ্যতা একটি স্মার্ট ব্যাকআপ কৌশলের বিকল্প নয়৷ বর্তমানে, ডেটা ব্যাক আপ করার একমাত্র উপায় হল প্রোগ্রাম্যাটিকভাবে ডাটাবেস থেকে একটি পৃথক স্টোরেজ পরিবেশে স্ট্রিম করা।

কর্মক্ষমতা জিজ্ঞাসা?

আমরা ডেটা লোড করতে এবং প্রশ্নগুলি পরীক্ষা করতে Yahoo! ক্লাউড সার্ভিং বেঞ্চমার্ক। নীচের টেবিলটি 95% রিড থেকে 5% লেখার অনুপাত সহ B YCSB কাজের চাপ দেখায়।

* লোড পরীক্ষাটি n1-standard-32 Compute Engine (CE) (32 vCPUs, 120 GB মেমরি) এ চালানো হয়েছিল এবং পরীক্ষার উদাহরণটি কখনই পরীক্ষায় বাধা ছিল না।
** একটি YCSB ইন্সট্যান্সে থ্রেডের সর্বোচ্চ সংখ্যা হল 400টি। মোট 2400টি থ্রেড পেতে YCSB পরীক্ষার ছয়টি সমান্তরাল দৃষ্টান্ত চালাতে হয়েছিল।

বেঞ্চমার্ক ফলাফলের দিকে তাকানো, বিশেষ করে CPU লোড এবং TPS এর সংমিশ্রণ, আমরা স্পষ্টভাবে দেখতে পাচ্ছি যে ক্লাউড স্প্যানার স্কেল বেশ ভাল। ক্লাউড স্প্যানার ক্লাস্টারে প্রচুর সংখ্যক নোড দ্বারা প্রচুর সংখ্যক থ্রেড দ্বারা তৈরি বড় লোড অফসেট করা হয়। যদিও লেটেন্সি বেশ বেশি দেখায়, বিশেষ করে 2400 থ্রেডে চলার সময়, আরও সঠিক সংখ্যা পেতে কম্পিউট ইঞ্জিনের 6টি ছোট উদাহরণের সাথে পুনরায় পরীক্ষা করার প্রয়োজন হতে পারে। প্রতিটি উদাহরণ 6টি সমান্তরাল পরীক্ষা সহ একটি বড় CE উদাহরণের পরিবর্তে একটি YCSB পরীক্ষা চালাবে। এটি ক্লাউড স্প্যানার অনুরোধের বিলম্ব এবং ক্লাউড স্প্যানার এবং পরীক্ষা চালানো সিই উদাহরণের মধ্যে নেটওয়ার্ক সংযোগ দ্বারা যোগ করা বিলম্বের মধ্যে পার্থক্য করা সহজ করে তুলবে৷

কিভাবে ক্লাউড স্প্যানার একটি OLAP হিসাবে কাজ করে?

বিভাজন?

শারীরিকভাবে এবং/অথবা যৌক্তিকভাবে স্বাধীন অংশে ডেটা ভাগ করা, যাকে পার্টিশন বলা হয়, বেশিরভাগ OLAP ইঞ্জিনে পাওয়া একটি খুব জনপ্রিয় ধারণা। পার্টিশনগুলি ক্যোয়ারী কর্মক্ষমতা এবং ডাটাবেস রক্ষণাবেক্ষণযোগ্যতাকে ব্যাপকভাবে উন্নত করতে পারে। বিভাজন সম্পর্কে আরও আলোচনা করা একটি পৃথক নিবন্ধ(গুলি), তাই আসুন কেবল একটি পার্টিশনিং স্কিম এবং সাব-পার্টিশনিংয়ের গুরুত্ব উল্লেখ করি। বিশ্লেষণাত্মক প্রশ্নের কর্মক্ষমতার জন্য পার্টিশন এবং এমনকি আরও সাব-পার্টিশনে ডেটা বিভক্ত করার ক্ষমতা।

ক্লাউড স্প্যানার প্রতিটি পার্টিশন সমর্থন করে না। এটি তথাকথিত মধ্যে অভ্যন্তরীণভাবে ডেটা পৃথক করে বিভক্ত করা-s প্রাথমিক কী ব্যাপ্তির উপর ভিত্তি করে। ক্লাউড স্প্যানার ক্লাস্টারে লোডের ভারসাম্য বজায় রাখতে স্বয়ংক্রিয়ভাবে পার্টিশন করা হয়। ক্লাউড স্প্যানারের একটি খুব সহজ বৈশিষ্ট্য হল একটি প্যারেন্ট টেবিলের বেস লোডকে বিভক্ত করা (একটি টেবিল যা অন্যটির সাথে ইন্টারলেভ করা হয় না)। স্প্যানার স্বয়ংক্রিয়ভাবে সনাক্ত করে যদি এতে থাকে বিভক্ত করা ডেটা যা অন্যান্য ডেটার চেয়ে বেশি ঘন ঘন পঠিত হয় বিভক্ত করা-আহ, এবং আরও বিচ্ছেদের সিদ্ধান্ত নিতে পারে। এইভাবে, আরও নোড একটি অনুরোধে জড়িত হতে পারে, যা কার্যকরভাবে থ্রুপুট বাড়ায়।

তথ্য প্রস্তুত হচ্ছে?

বাল্ক ডেটার জন্য ক্লাউড স্প্যানার পদ্ধতি নিয়মিত আপলোডের মতোই। সর্বাধিক কার্য সম্পাদনের জন্য, আপনাকে কিছু নির্দেশিকা অনুসরণ করতে হবে, যার মধ্যে রয়েছে:

• প্রাথমিক কী দ্বারা আপনার ডেটা সাজান।
• তাদের 10* দ্বারা ভাগ করুননোডের সংখ্যা পৃথক বিভাগ।
• কর্মী কাজের একটি সেট তৈরি করুন যা সমান্তরালভাবে ডেটা লোড করে।

এই ডেটা লোড সমস্ত ক্লাউড স্প্যানার নোড ব্যবহার করে।

আমরা একটি 10M সারি ডেটাসেট তৈরি করতে A YCSB কাজের চাপ ব্যবহার করেছি।

* লোড পরীক্ষাটি n1-standard-32 কম্পিউট ইঞ্জিনে (32 vCPUs, 120 GB মেমরি) চালানো হয়েছিল এবং পরীক্ষার দৃষ্টান্তটি কখনই পরীক্ষায় বাধা ছিল না।
** একটি 1 নোড সেটআপ কোনো উত্পাদন কাজের চাপের জন্য সুপারিশ করা হয় না।

উপরে উল্লিখিত হিসাবে, ক্লাউড স্প্যানার স্বয়ংক্রিয়ভাবে তাদের লোডের উপর নির্ভর করে বিভাজন প্রক্রিয়া করে, তাই পরীক্ষার পরপর একাধিক পুনরাবৃত্তির পরে ফলাফলগুলি উন্নত হয়। এখানে উপস্থাপিত ফলাফল আমরা প্রাপ্ত সেরা ফলাফল. উপরের সংখ্যার দিকে তাকালে, আমরা দেখতে পাচ্ছি যে ক্লাস্টারে নোডের সংখ্যা বাড়ার সাথে সাথে ক্লাউড স্প্যানার কীভাবে স্কেল করে (ভালভাবে)। যে সংখ্যাগুলি দাঁড়িয়েছে তা অত্যন্ত কম গড় বিলম্বিতা, যা উপরের বিভাগে বর্ণিত মিশ্র কাজের চাপ (95% পড়া এবং 5% লেখা) থেকে ফলাফলের সাথে বৈপরীত্য।

স্কেলিং?

ক্লাউড স্প্যানার নোডের সংখ্যা বৃদ্ধি এবং হ্রাস করা একটি এক-ক্লিক কাজ। আপনি যদি দ্রুত ডেটা লোড করতে চান তবে আপনি উদাহরণটিকে সর্বোচ্চ (আমাদের ক্ষেত্রে এটি US-পূর্ব অঞ্চলে 25টি নোড ছিল) বুস্ট করার কথা বিবেচনা করতে পারেন এবং তারপরে সমস্ত ডেটার পরে আপনার স্বাভাবিক লোডের জন্য উপযুক্ত নোডের সংখ্যা হ্রাস করতে পারেন। ডাটাবেসে, 2 টিবি/নোড সীমা মনে রেখে।

এমনকি একটি অনেক ছোট ডাটাবেসের সাথেও আমাদের এই সীমার কথা মনে করিয়ে দেওয়া হয়েছিল। বেশ কিছু লোড পরীক্ষা চালানোর পরে, আমাদের ডাটাবেসের আকার ছিল প্রায় 155 গিগাবাইট, এবং যখন 1 নোডের উদাহরণে স্কেল করা হয়, তখন আমরা নিম্নলিখিত ত্রুটি পেয়েছি:

আমরা 25 থেকে 2টি দৃষ্টান্তে স্কেল করতে সক্ষম হয়েছি, কিন্তু আমরা দুটি নোডে আটকে আছি।

ক্লাউড স্প্যানার ক্লাস্টারে নোডের সংখ্যা বাড়ানো এবং হ্রাস করা REST API ব্যবহার করে স্বয়ংক্রিয় হতে পারে। এটি ব্যস্ত সময়ের মধ্যে সিস্টেমে বর্ধিত লোড কমানোর জন্য বিশেষভাবে কার্যকর হতে পারে।

OLAP ক্যোয়ারী কর্মক্ষমতা?

আমরা মূলত এই অংশে স্প্যানারের মূল্যায়নের জন্য যথেষ্ট সময় দেওয়ার পরিকল্পনা করেছি। কয়েকটি নির্বাচিত কাউন্টের পরে, আমরা অবিলম্বে বুঝতে পেরেছিলাম যে পরীক্ষাটি ছোট হবে এবং স্প্যানার OLAP-এর জন্য উপযুক্ত ইঞ্জিন হবে না। ক্লাস্টারে নোডের সংখ্যা নির্বিশেষে, 10M সারি সারণিতে সারির সংখ্যা বেছে নিতে 55 থেকে 60 সেকেন্ড সময় লেগেছে। এছাড়াও, মধ্যবর্তী ফলাফল সঞ্চয় করার জন্য আরও মেমরির প্রয়োজন এমন যেকোনো প্রশ্ন একটি OOM ত্রুটির সাথে ব্যর্থ হয়েছে।

SELECT COUNT(DISTINCT(field0)) FROM usertable; — (10M distinct values)-> SpoolingHashAggregateIterator ran out of memory during new row.

TPC-H প্রশ্নের জন্য কিছু সংখ্যা টড লিপকনের নিবন্ধে পাওয়া যাবে nosql-kudu-spanner-slides.html, স্লাইড 42 এবং 43। এই সংখ্যাগুলি আমাদের নিজস্ব ফলাফলের সাথে সামঞ্জস্যপূর্ণ (দুর্ভাগ্যবশত)।

4. আমাদের ফলাফল

ক্লাউড স্প্যানারের বৈশিষ্ট্যগুলির বর্তমান অবস্থার পরিপ্রেক্ষিতে, এটিকে একটি বিদ্যমান OLTP সমাধানের জন্য একটি সাধারণ প্রতিস্থাপন হিসাবে দেখা কঠিন, বিশেষ করে যখন আপনার প্রয়োজনগুলি এটিকে ছাড়িয়ে যায়৷ ক্লাউড স্প্যানারের ত্রুটিগুলির চারপাশে একটি সমাধান তৈরি করতে একটি উল্লেখযোগ্য পরিমাণ সময় ব্যয় করতে হবে৷

যখন আমরা ক্লাউড স্প্যানারকে মূল্যায়ন করা শুরু করি, তখন আমরা আশা করেছিলাম যে এটির ব্যবস্থাপনা বৈশিষ্ট্যগুলি অন্যান্য Google SQL সমাধানগুলির সমতুল্য হবে বা অন্তত দূরে নয়। কিন্তু ব্যাকআপের সম্পূর্ণ অভাব এবং সংস্থানগুলিতে খুব সীমিত অ্যাক্সেস নিয়ন্ত্রণ দ্বারা আমরা অবাক হয়েছি। কোন মতামত উল্লেখ না করা, কোন স্থানীয় উন্নয়ন পরিবেশ, অসমর্থিত ক্রম, DML এবং DDL সমর্থন ছাড়া JDBC, ইত্যাদি।

সুতরাং, যেখানে একটি লেনদেন ডাটাবেস স্কেল প্রয়োজন এমন কারো জন্য যেতে হবে? বাজারে এখনও একটি একক সমাধান বলে মনে হচ্ছে না যা সমস্ত ব্যবহারের ক্ষেত্রে ফিট করে। অনেকগুলি বন্ধ এবং ওপেন সোর্স সমাধান রয়েছে (যার মধ্যে কয়েকটি এই নিবন্ধে উল্লেখ করা হয়েছে), প্রতিটির নিজস্ব শক্তি এবং দুর্বলতা রয়েছে, কিন্তু তাদের মধ্যে কেউই 99,999% SLA এবং উচ্চ মাত্রার ধারাবাহিকতার সাথে SaaS অফার করে না। যদি একটি উচ্চ SLA আপনার প্রাথমিক লক্ষ্য হয় এবং আপনি একাধিক ক্লাউডের জন্য আপনার নিজস্ব সমাধান তৈরি করতে আগ্রহী না হন, তাহলে ক্লাউড স্প্যানার আপনি যে সমাধানটি খুঁজছেন তা হতে পারে৷ কিন্তু আপনি এর সমস্ত সীমাবদ্ধতা সম্পর্কে সচেতন হওয়া উচিত।

ন্যায্যভাবে বলতে গেলে, ক্লাউড স্প্যানার শুধুমাত্র 2017 সালের বসন্তে জনসাধারণের জন্য প্রকাশ করা হয়েছিল, তাই এটি আশা করা যুক্তিসঙ্গত যে এর কিছু বর্তমান ত্রুটিগুলি শেষ পর্যন্ত চলে যেতে পারে (আশা করি), এবং যখন এটি হয়, এটি একটি গেম-চেঞ্জার হতে পারে। সর্বোপরি, ক্লাউড স্প্যানার গুগলের জন্য কেবল একটি পার্শ্ব প্রকল্প নয়। Google এটিকে অন্যান্য Google পণ্যের ভিত্তি হিসেবে ব্যবহার করে। এবং যখন Google সম্প্রতি Google ক্লাউড স্টোরেজে মেগাস্টোরকে ক্লাউড স্প্যানার দিয়ে প্রতিস্থাপিত করেছে, তখন এটি Google ক্লাউড স্টোরেজকে বিশ্বব্যাপী বস্তুর তালিকার জন্য অত্যন্ত সামঞ্জস্যপূর্ণ হওয়ার অনুমতি দিয়েছে (যা এখনও ক্ষেত্রে নয় আমাজনের S3).

সুতরাং, এখনও আশা আছে... আমরা আশা করি।

এখানেই শেষ. নিবন্ধের লেখকের মতো, আমরাও আশা করতে থাকি, তবে আপনি এই বিষয়ে কী ভাবছেন? কমেন্টে লিখুন

আমরা সবাইকে আমাদের দেখার জন্য আমন্ত্রণ জানাই বিনামূল্যে ওয়েবিনার যেটিতে আমরা আপনাকে কোর্স সম্পর্কে বিস্তারিত বলব "ডেভেলপারদের জন্য AWS" OTUS থেকে

উত্স: www.habr.com