ক্যাসান্ড্রা। কিভাবে মারা যাবে না যদি আপনি শুধুমাত্র ওরাকল জানেন

আরে হাবর।

আমার নাম মিশা বুট্রিমভ, আমি আপনাকে ক্যাসান্দ্রা সম্পর্কে কিছু বলতে চাই। আমার গল্পটি তাদের জন্য উপযোগী হবে যারা কখনই NoSQL ডাটাবেসের মুখোমুখি হননি - এতে অনেকগুলি বাস্তবায়ন বৈশিষ্ট্য এবং ত্রুটি রয়েছে যা আপনার জানা দরকার। এবং আপনি যদি ওরাকল বা অন্য কোন রিলেশনাল ডাটাবেস ছাড়া অন্য কিছু না দেখে থাকেন তবে এই জিনিসগুলি আপনার জীবন বাঁচাবে।

ক্যাসান্দ্রা সম্পর্কে এত ভাল কি? এটি একটি NoSQL ডাটাবেস যা ব্যর্থতার একক বিন্দু ছাড়াই ডিজাইন করা হয়েছে যা ভালভাবে পরিমাপ করে। আপনি যদি কিছু ডাটাবেসের জন্য কয়েক টেরাবাইট যোগ করতে চান, আপনি কেবল রিংটিতে নোড যোগ করুন। অন্য তথ্য কেন্দ্রে এটি প্রসারিত? ক্লাস্টারে নোড যোগ করুন। প্রসেসড আরপিএস বাড়াবেন? ক্লাস্টারে নোড যোগ করুন। এটি বিপরীত দিকেও কাজ করে।

সে আর কি ভালো? এটা অনেক অনুরোধ হ্যান্ডলিং সম্পর্কে. কিন্তু অনেক কত? প্রতি সেকেন্ডে 10, 20, 30, 40 হাজার রিকোয়েস্ট খুব বেশি নয়। রেকর্ডিংয়ের জন্য প্রতি সেকেন্ডে 100 হাজার অনুরোধ - খুব। এমন কোম্পানি আছে যারা বলেছে যে তারা প্রতি সেকেন্ডে 2 মিলিয়ন অনুরোধ রাখে। তারা সম্ভবত এটা বিশ্বাস করতে হবে.

এবং নীতিগতভাবে, রিলেশনাল ডেটা থেকে ক্যাসান্দ্রার একটি বড় পার্থক্য রয়েছে - এটি তাদের সাথে মোটেই মিল নয়। এবং এটি মনে রাখা খুবই গুরুত্বপূর্ণ।

একই দেখায় সবকিছু একই কাজ করে না

একবার একজন সহকর্মী আমার কাছে এসে জিজ্ঞাসা করলেন: "এখানে একটি CQL ক্যাসান্দ্রা ক্যোয়ারী ভাষা, এবং এটির একটি নির্বাচনী বিবৃতি রয়েছে, এটির কোথায় আছে, আছে এবং আছে৷ আমি চিঠি লিখি এবং এটি কাজ করে না। কেন?"। ক্যাসান্দ্রাকে একটি রিলেশনাল ডাটাবেসের মতো আচরণ করা সহিংস আত্মহত্যার নিখুঁত উপায়। এবং আমি এটি প্রচার করছি না, এটি রাশিয়ায় নিষিদ্ধ। আপনি শুধু কিছু ভুল ডিজাইন করব.

উদাহরণস্বরূপ, একজন গ্রাহক আমাদের কাছে আসেন এবং বলেন: “আসুন টিভি সিরিজের জন্য একটি ডাটাবেস বা একটি রেসিপি ডিরেক্টরির জন্য একটি ডাটাবেস তৈরি করি। আমাদের সেখানে খাবারের খাবার বা টিভি সিরিজ এবং অভিনেতাদের তালিকা থাকবে।” আমরা আনন্দের সাথে বলি: "চল যাই!" শুধু দুটি বাইট, কয়েকটি চিহ্ন পাঠান এবং আপনি সম্পন্ন করেছেন, সবকিছু খুব দ্রুত এবং নির্ভরযোগ্যভাবে কাজ করবে। এবং গ্রাহকরা এসে না বলা পর্যন্ত সবকিছু ঠিক আছে যে গৃহিণীরাও বিপরীত সমস্যার সমাধান করছেন: তাদের কাছে পণ্যের একটি তালিকা রয়েছে এবং তারা জানতে চায় যে তারা কী রান্না করতে চায়। তুমি শেষ.

এর কারণ হল ক্যাসান্দ্রা একটি হাইব্রিড ডাটাবেস: এটি একই সাথে একটি মূল মান প্রদান করে এবং প্রশস্ত কলামে ডেটা সঞ্চয় করে। জাভা বা কোটলিনে, এটি এভাবে বর্ণনা করা যেতে পারে:

Map<RowKey, SortedMap<ColumnKey, ColumnValue>>

অর্থাৎ, একটি মানচিত্র যাতে একটি সাজানো মানচিত্রও থাকে। এই মানচিত্রের প্রথম কী হল সারি কী বা পার্টিশন কী - পার্টিশন কী। দ্বিতীয় কী, যা ইতিমধ্যেই সাজানো মানচিত্রের কী, হল ক্লাস্টারিং কী।

ডাটাবেসের ডিস্ট্রিবিউশন বোঝাতে, তিনটি নোড আঁকুন। এখন আপনাকে বুঝতে হবে কিভাবে নোডগুলিতে ডেটা পচানো যায়। কারণ যদি আমরা সবকিছুকে একের মধ্যে ক্র্যাম করি (প্রথমক্রমে, হাজার, দুই হাজার, পাঁচ হতে পারে - আপনার পছন্দ মতো), এটি আসলে বিতরণ সম্পর্কে নয়। অতএব, আমাদের একটি গাণিতিক ফাংশন প্রয়োজন যা একটি সংখ্যা প্রদান করবে। শুধু একটি সংখ্যা, একটি দীর্ঘ int যে কিছু পরিসীমা মধ্যে পড়া হবে. এবং আমরা একটি পরিসীমা জন্য দায়ী একটি নোড থাকবে, দ্বিতীয় জন্য দ্বিতীয়, nth জন্য nth এক.

এই নম্বরটি একটি হ্যাশ ফাংশন ব্যবহার করে নেওয়া হয়, যাকে আমরা পার্টিশন কী বলি। এটি সেই কলাম যা প্রাথমিক কী নির্দেশে নির্দিষ্ট করা হয়েছে, এবং এটি সেই কলাম যা মানচিত্রের প্রথম এবং সবচেয়ে মৌলিক কী হবে। এটি নির্ধারণ করে কোন নোড কোন ডেটা গ্রহণ করবে। এসকিউএল-এর মতো প্রায় একই সিনট্যাক্স সহ ক্যাসান্দ্রায় একটি টেবিল তৈরি করা হয়েছে:

CREATE TABLE users (
	user_id uu id,
	name text,
	year int,
	salary float,
	PRIMARY KEY(user_id)

)

এই ক্ষেত্রে প্রাথমিক কী একটি কলাম নিয়ে গঠিত, এবং এটি পার্টিশনিং কীও।

আমাদের ব্যবহারকারীরা কিভাবে কাজ করবে? কিছু এক নোডে যাবে, কিছু অন্য নোডে, এবং কিছু তৃতীয়তে যাবে। ফলাফল হল একটি সাধারণ হ্যাশ টেবিল, এটি একটি মানচিত্র নামেও পরিচিত, এটি পাইথনে একটি অভিধান নামেও পরিচিত, বা একটি সাধারণ কী মান কাঠামো যা থেকে আমরা কী দ্বারা সমস্ত মান পড়তে, পড়তে এবং লিখতে পারি।

নির্বাচন করুন: যখন ফিল্টারিং সম্পূর্ণ স্ক্যানে পরিণত হয়, বা কী করা উচিত নয়

আসুন কিছু নির্বাচনী বিবৃতি লিখি: select * from users where, userid = . এটি ওরাকলের মতো দেখা যাচ্ছে: আমরা নির্বাচন লিখি, শর্তগুলি নির্দিষ্ট করি এবং সবকিছু কাজ করে, ব্যবহারকারীরা এটি পান। কিন্তু আপনি যদি নির্বাচন করেন, উদাহরণস্বরূপ, জন্মের একটি নির্দিষ্ট বছর সহ একজন ব্যবহারকারী, ক্যাসান্দ্রা অভিযোগ করেন যে এটি অনুরোধটি পূরণ করতে পারে না। কারণ আমরা কীভাবে জন্মের বছর সম্পর্কে ডেটা বিতরণ করি সে সম্পর্কে তিনি কিছুই জানেন না - তার কেবল একটি কলাম কী হিসাবে নির্দেশিত রয়েছে। তারপর সে বলে, "ঠিক আছে, আমি এখনও এই অনুরোধটি পূরণ করতে পারি। ফিল্টার করার অনুমতি যোগ করুন।" আমরা নির্দেশিকা যোগ করি, সবকিছু কাজ করে। এবং এই মুহূর্তে ভয়ঙ্কর কিছু ঘটে।

যখন আমরা পরীক্ষার ডেটা চালাই, তখন সবকিছু ঠিক থাকে। এবং আপনি যখন উত্পাদনে একটি প্রশ্ন চালান, যেখানে আমাদের রয়েছে, উদাহরণস্বরূপ, 4 মিলিয়ন রেকর্ড, তখন সবকিছু আমাদের জন্য খুব ভাল নয়। কারণ অনুমতি ফিল্টারিং একটি নির্দেশিকা যা ক্যাসান্দ্রাকে এই টেবিল থেকে সমস্ত নোড, সমস্ত ডেটা সেন্টার (যদি এই ক্লাস্টারে অনেকগুলি থাকে) থেকে সমস্ত ডেটা সংগ্রহ করতে দেয় এবং শুধুমাত্র তারপর এটি ফিল্টার করতে পারে৷ এটি সম্পূর্ণ স্ক্যানের একটি অ্যানালগ, এবং খুব কমই কেউ এতে খুশি হয়।

যদি আমাদের শুধুমাত্র আইডি দ্বারা ব্যবহারকারীদের প্রয়োজন হয় তবে আমরা এটির সাথে ভাল থাকব। কিন্তু কখনও কখনও আমাদের অন্যান্য প্রশ্ন লিখতে হবে এবং নির্বাচনের উপর অন্যান্য বিধিনিষেধ আরোপ করতে হবে। অতএব, আমরা মনে রাখি: এটি এমন একটি মানচিত্র যাতে একটি পার্টিশন কী রয়েছে, তবে এটির ভিতরে একটি সাজানো মানচিত্র।

এবং তার একটি কী আছে, যাকে আমরা ক্লাস্টারিং কী বলি। এই কী, যা, ঘুরে, কলামগুলি নিয়ে গঠিত যা আমরা নির্বাচন করি, যার সাহায্যে ক্যাসান্দ্রা বুঝতে পারে কীভাবে এর ডেটা শারীরিকভাবে সাজানো হয়েছে এবং প্রতিটি নোডে অবস্থিত হবে। অর্থাৎ, কিছু পার্টিশন কী-এর জন্য, ক্লাস্টারিং কী আপনাকে সঠিকভাবে বলে দেবে কীভাবে এই ট্রিতে ডেটা পুশ করতে হবে, এটি সেখানে কোন জায়গায় নিয়ে যাবে।

এটি সত্যিই একটি গাছ, একটি তুলনাকারীকে কেবল সেখানে বলা হয়, যেখানে আমরা একটি বস্তুর আকারে কলামগুলির একটি নির্দিষ্ট সেট পাস করি এবং এটি কলামগুলির একটি তালিকা হিসাবেও নির্দিষ্ট করা হয়।

CREATE TABLE users_by_year_salary_id (
	user_id uuid,
	name text,
	year int,
	salary float,
	PRIMARY KEY((year), salary, user_id)

প্রাথমিক কী নির্দেশে মনোযোগ দিন; এর প্রথম যুক্তি (আমাদের ক্ষেত্রে, বছর) সর্বদা পার্টিশন কী। এটি এক বা একাধিক কলাম নিয়ে গঠিত হতে পারে, এটা কোন ব্যাপার না। যদি বেশ কয়েকটি কলাম থাকে, তবে এটিকে আবার বন্ধনীতে সরিয়ে ফেলা দরকার যাতে ভাষা প্রিপ্রসেসর বুঝতে পারে যে এটি প্রাথমিক কী, এবং এর পিছনে বাকি সমস্ত কলাম হল ক্লাস্টারিং কী। এই ক্ষেত্রে, তারা যে ক্রমে প্রদর্শিত হবে সেই ক্রমে তুলনাকারীতে প্রেরণ করা হবে। অর্থাৎ, প্রথম কলামটি বেশি তাৎপর্যপূর্ণ, দ্বিতীয়টি কম তাৎপর্যপূর্ণ ইত্যাদি। আমরা কীভাবে লিখি, উদাহরণস্বরূপ, ডেটা ক্লাসের জন্য ক্ষেত্রগুলির সমান: আমরা ক্ষেত্রগুলি তালিকাভুক্ত করি এবং তাদের জন্য আমরা লিখি কোনটি বড় এবং কোনটি ছোট। ক্যাসান্দ্রায়, এইগুলি, তুলনামূলকভাবে বলতে গেলে, ডেটা ক্লাসের ক্ষেত্রগুলি, যেখানে এটির জন্য লেখা সমান প্রয়োগ করা হবে।

আমরা বাছাই সেট এবং নিষেধাজ্ঞা আরোপ

আপনাকে মনে রাখতে হবে যে বাছাই ক্রম (অবরোহণ, আরোহী, যাই হোক না কেন) কী তৈরি করার সময় একই মুহুর্তে সেট করা হয় এবং এটি পরে পরিবর্তন করা যাবে না। এটি শারীরিকভাবে নির্ধারণ করে কিভাবে ডেটা সাজানো হবে এবং কিভাবে সংরক্ষণ করা হবে। আপনি যদি ক্লাস্টারিং কী বা সাজানোর ক্রম পরিবর্তন করতে চান তবে আপনাকে একটি নতুন টেবিল তৈরি করতে হবে এবং এতে ডেটা স্থানান্তর করতে হবে। এটি একটি বিদ্যমান সঙ্গে কাজ করবে না.

আমরা ব্যবহারকারীদের সাথে আমাদের টেবিলটি পূরণ করেছি এবং দেখেছি যে তারা একটি রিংয়ে পড়েছিল, প্রথমে জন্মের বছর দ্বারা, এবং তারপরে বেতন এবং ব্যবহারকারী আইডি দ্বারা প্রতিটি নোডের ভিতরে। এখন আমরা বিধিনিষেধ আরোপ করে নির্বাচন করতে পারি।

আমাদের কাজ এক আবার প্রদর্শিত where, and, এবং আমরা ব্যবহারকারী পেতে, এবং সবকিছু আবার ঠিক আছে. কিন্তু যদি আমরা ক্লাস্টারিং কী-এর শুধুমাত্র একটি অংশ ব্যবহার করার চেষ্টা করি, এবং একটি কম তাৎপর্যপূর্ণ, তাহলে ক্যাসান্দ্রা অবিলম্বে অভিযোগ করবে যে এটি আমাদের মানচিত্রে সেই জায়গাটি খুঁজে পাচ্ছে না যেখানে এই বস্তুটি, যেখানে শূন্য তুলনাকারীর জন্য এই ক্ষেত্রগুলি রয়েছে এবং এটি একটি এটা ঠিক করা হয়েছিল, - যেখানে সে শুয়ে আছে। আমাকে আবার এই নোড থেকে সমস্ত ডেটা তুলতে হবে এবং এটি ফিল্টার করতে হবে। এবং এটি একটি নোডের মধ্যে সম্পূর্ণ স্ক্যানের একটি অ্যানালগ, এটি খারাপ।

কোন অস্পষ্ট পরিস্থিতিতে, একটি নতুন টেবিল তৈরি করুন

আমরা যদি আইডি, বা বয়স, বা বেতন দ্বারা ব্যবহারকারীদের লক্ষ্য করতে সক্ষম হতে চাই, তাহলে আমাদের কী করা উচিত? কিছুই না। শুধু দুটি টেবিল ব্যবহার করুন. আপনি যদি তিনটি ভিন্ন উপায়ে ব্যবহারকারীদের কাছে পৌঁছাতে চান তবে তিনটি টেবিল থাকবে। সেই দিনগুলো চলে গেছে যখন আমরা স্ক্রুতে জায়গা বাঁচিয়েছিলাম। এটি সবচেয়ে সস্তা সম্পদ। এটি প্রতিক্রিয়া সময়ের তুলনায় অনেক কম খরচ করে, যা ব্যবহারকারীর জন্য ক্ষতিকর হতে পারে। 10 মিনিটের চেয়ে এক সেকেন্ডে কিছু পাওয়া ব্যবহারকারীর পক্ষে অনেক বেশি আনন্দদায়ক।

আমরা ভাল স্কেল এবং নির্ভরযোগ্যভাবে কাজ করার ক্ষমতার জন্য অপ্রয়োজনীয় স্থান এবং অস্বাভাবিক ডেটা ট্রেড করি। সর্বোপরি, আসলে, একটি ক্লাস্টার যা তিনটি ডেটা সেন্টার নিয়ে গঠিত, যার প্রতিটিতে পাঁচটি নোড রয়েছে, যেখানে ডেটা সংরক্ষণের একটি গ্রহণযোগ্য স্তর রয়েছে (যখন কিছুই হারিয়ে যায় না), একটি ডেটা সেন্টারের মৃত্যু থেকে সম্পূর্ণরূপে বেঁচে থাকতে সক্ষম। এবং বাকি দুটির প্রতিটিতে আরও দুটি নোড। এবং এর পরেই সমস্যাগুলি শুরু হয়। এটি একটি চমত্কার ভাল অপ্রয়োজনীয়তা, এটি অতিরিক্ত SSD ড্রাইভ এবং প্রসেসর একটি দম্পতি মূল্য. অতএব, ক্যাসান্ড্রা ব্যবহার করার জন্য, যা কখনই এসকিউএল নয়, যেখানে কোনও সম্পর্ক নেই, বিদেশী কী, আপনাকে সহজ নিয়মগুলি জানতে হবে।

আমরা আপনার অনুরোধ অনুযায়ী সবকিছু ডিজাইন. মূল জিনিসটি ডেটা নয়, তবে অ্যাপ্লিকেশনটি কীভাবে এটির সাথে কাজ করবে। যদি এটিকে বিভিন্ন উপায়ে বিভিন্ন ডেটা বা একই ডেটা বিভিন্ন উপায়ে গ্রহণ করার প্রয়োজন হয় তবে আমাদের অবশ্যই এটি এমনভাবে রাখতে হবে যা অ্যাপ্লিকেশনের জন্য সুবিধাজনক। অন্যথায়, আমরা সম্পূর্ণ স্ক্যানে ব্যর্থ হব এবং ক্যাসান্ড্রা আমাদের কোন সুবিধা দেবে না।

ডাটা ডিনরমালাইজ করাটাই স্বাভাবিক। আমরা সাধারণ ফর্মগুলি ভুলে যাই, আমাদের আর রিলেশনাল ডেটাবেস নেই। যদি আমরা কোনো কিছুকে 100 বার নিচে রাখি, তাহলে সেটা 100 বার শুয়ে থাকবে। এটি থামার চেয়ে এখনও সস্তা।

আমরা পার্টিশনের জন্য কী নির্বাচন করি যাতে সেগুলি স্বাভাবিকভাবে বিতরণ করা হয়। আমরা চাই না আমাদের কীগুলির হ্যাশ একটি সংকীর্ণ পরিসরে পড়ুক। অর্থাৎ উপরের উদাহরণে জন্ম সাল একটি খারাপ উদাহরণ। আরও স্পষ্টভাবে, আমাদের ব্যবহারকারীদের সাধারণত জন্মের বছর দ্বারা বিতরণ করা হলে এটি ভাল, এবং যদি আমরা 5 ম শ্রেণীর ছাত্রদের কথা বলি তবে খারাপ - সেখানে বিভাজন খুব ভাল হবে না।

ক্লাস্টারিং কী তৈরির পর্যায়ে একবার বাছাই করা হয়। এটি পরিবর্তন করার প্রয়োজন হলে, আমাদের একটি ভিন্ন কী দিয়ে আমাদের টেবিল আপডেট করতে হবে।

এবং সবচেয়ে গুরুত্বপূর্ণ বিষয়: যদি আমাদের একই ডেটা 100টি ভিন্ন উপায়ে পুনরুদ্ধার করতে হয়, তাহলে আমাদের 100টি ভিন্ন টেবিল থাকবে।

উত্স: www.habr.com