Kubernetes-এ ডেটা স্টোরেজ প্যাটার্ন

হে হাবর!

আমরা আপনাকে মনে করিয়ে দিচ্ছি যে আমরা আরেকটি অত্যন্ত আকর্ষণীয় এবং দরকারী প্রকাশ করেছি একটি বই Kubernetes নিদর্শন সম্পর্কে। এটি সব দিয়ে শুরু হয়েছিল "নিদর্শন" ব্রেন্ডন বার্নস, এবং, যাইহোক, আমাদের এই বিভাগে কাজ আছে ফোঁড়া. আজ আমরা আপনাকে MinIO ব্লগ থেকে একটি নিবন্ধ পড়ার জন্য আমন্ত্রণ জানাচ্ছি যা সংক্ষিপ্তভাবে Kubernetes-এ ডেটা স্টোরেজ প্যাটার্নের প্রবণতা এবং সুনির্দিষ্ট রূপরেখা দেয়।

Kubernetes মৌলিকভাবে ঐতিহ্যগত অ্যাপ্লিকেশন উন্নয়ন এবং স্থাপনার ধরণ পরিবর্তন করেছে। এখন একটি দল কিছু দিনের মধ্যে একটি অ্যাপ্লিকেশন বিকাশ, পরীক্ষা এবং স্থাপন করতে পারে — একাধিক পরিবেশ জুড়ে, সমস্ত কুবারনেটস ক্লাস্টারের মধ্যে। প্রযুক্তির পূর্ববর্তী প্রজন্মের সাথে এই ধরনের কাজ সাধারণত কয়েক সপ্তাহ সময় নেয়, যদি মাস না হয়।

এই ত্বরণটি Kubernetes দ্বারা প্রদত্ত বিমূর্ততার দ্বারা সম্ভব হয়েছে - অর্থাৎ, কুবারনেটস নিজেই শারীরিক বা ভার্চুয়াল মেশিনের নিম্ন-স্তরের বিবরণের সাথে ইন্টারঅ্যাক্ট করে, ব্যবহারকারীদের পছন্দসই প্রসেসর, মেমরির পছন্দসই পরিমাণ এবং ধারক সংখ্যা ঘোষণা করতে দেয়। উদাহরণ, অন্যান্য পরামিতিগুলির মধ্যে। একটি বিশাল সম্প্রদায় কুবারনেটসকে সমর্থন করে এবং এটির গ্রহণ ক্রমাগত প্রসারিত হচ্ছে, কুবারনেটস একটি বিস্তৃত ব্যবধানে সমস্ত কন্টেইনার অর্কেস্ট্রেশন প্ল্যাটফর্মের মধ্যে নেতা।

কুবারনেটসের ব্যবহার বাড়ার সাথে সাথে এর স্টোরেজ প্যাটার্ন সম্পর্কে বিভ্রান্তিও বাড়ে।.

সবাই কুবারনেটস পাই (অর্থাৎ, ডেটা স্টোরেজ) এর জন্য প্রতিদ্বন্দ্বিতা করে, যখন ডেটা স্টোরেজ সম্পর্কে কথা বলা হয়, তখন সিগন্যালটি প্রচুর শব্দে ডুবে যায়।
কুবারনেটস অ্যাপ্লিকেশন বিকাশ, স্থাপনা এবং পরিচালনার জন্য একটি আধুনিক মডেলকে মূর্ত করে। এই আধুনিক মডেলটি গণনা থেকে ডেটা স্টোরেজকে ডিকপল করে। কুবারনেটসের প্রেক্ষাপটে বিচ্ছিন্নতা সম্পূর্ণরূপে বোঝার জন্য, আপনাকে স্টেটফুল এবং স্টেটলেস অ্যাপ্লিকেশানগুলি কী এবং ডেটা স্টোরেজ এর সাথে কীভাবে ফিট করে তাও বুঝতে হবে। এখানেই S3 দ্বারা ব্যবহৃত REST API পদ্ধতির অন্যান্য সমাধানের POSIX/CSI পদ্ধতির তুলনায় স্পষ্ট সুবিধা রয়েছে।

এই নিবন্ধে, আমরা Kubernetes-এ ডেটা স্টোরেজ প্যাটার্ন সম্পর্কে কথা বলব এবং বিশেষভাবে স্টেটফুল এবং স্টেটলেস অ্যাপ্লিকেশানগুলির মধ্যে বিতর্কের উপর স্পর্শ করব যাতে তাদের মধ্যে পার্থক্য কী এবং কেন এটি গুরুত্বপূর্ণ। বাকি পাঠ্যটি কন্টেইনার এবং কুবারনেটের সাথে কাজ করার জন্য সর্বোত্তম অনুশীলনের আলোকে অ্যাপ্লিকেশন এবং তাদের ডেটা স্টোরেজ প্যাটার্নগুলি দেখবে।

রাষ্ট্রহীন পাত্রে

ধারকগুলি প্রকৃতির দ্বারা লাইটওয়েট এবং ক্ষণস্থায়ী হয়। সেগুলিকে সহজেই থামানো, সরানো বা অন্য নোডে স্থাপন করা যেতে পারে - সবই সেকেন্ডের মধ্যে। একটি বৃহৎ কন্টেইনার অর্কেস্ট্রেশন সিস্টেমে, এই ধরনের ক্রিয়াকলাপগুলি সর্বদা ঘটে এবং ব্যবহারকারীরা এমন পরিবর্তনগুলিও লক্ষ্য করেন না। যাইহোক, নড়াচড়া কেবল তখনই সম্ভব যদি ধারকটির নোডের উপর কোন নির্ভরতা না থাকে যার উপর এটি অবস্থিত। এই ধরনের পাত্রে কাজ বলা হয় রাষ্ট্রহীন.

রাষ্ট্রীয় পাত্রে

যদি একটি কন্টেইনার স্থানীয়ভাবে সংযুক্ত ডিভাইসে (বা একটি ব্লক ডিভাইসে) ডেটা সঞ্চয় করে, তাহলে যে ডেটা স্টোরটিতে এটি থাকে সেটিকে একটি নতুন নোডে স্থানান্তর করতে হবে, একটি ব্যর্থতার ক্ষেত্রে কন্টেইনারটি সহ। এটি গুরুত্বপূর্ণ কারণ অন্যথায় কন্টেইনারে চলমান অ্যাপ্লিকেশনটি সঠিকভাবে কাজ করতে সক্ষম হবে না কারণ এটি স্থানীয় মিডিয়াতে সংরক্ষিত ডেটা অ্যাক্সেস করতে হবে। এই ধরনের পাত্রে কাজ বলা হয় রাষ্ট্রীয়.

সম্পূর্ণরূপে প্রযুক্তিগত দৃষ্টিকোণ থেকে, রাষ্ট্রীয় পাত্রে অন্য নোডগুলিতেও স্থানান্তরিত করা যেতে পারে। এটি সাধারণত বিতরণ করা ফাইল সিস্টেম বা ব্লক নেটওয়ার্ক স্টোরেজ ব্যবহার করে অর্জন করা হয় যা সমস্ত নোড চলমান পাত্রে সংযুক্ত থাকে। এইভাবে, কনটেইনারগুলি ক্রমাগত ডেটা স্টোরেজের জন্য ভলিউম অ্যাক্সেস করে এবং নেটওয়ার্ক জুড়ে অবস্থিত ডিস্কগুলিতে তথ্য সংরক্ষণ করা হয়। আমি এই পদ্ধতিটিকে কল করব "রাষ্ট্রীয় ধারক পদ্ধতির", এবং নিবন্ধের বাকি অংশে আমি এটিকে অভিন্নতার জন্য বলব।

একটি সাধারণ স্টেটফুল কন্টেইনার পদ্ধতিতে, সমস্ত অ্যাপ্লিকেশন পডগুলি একটি একক বিতরণ করা ফাইল সিস্টেমের সাথে সংযুক্ত থাকে - এক ধরণের শেয়ার্ড স্টোরেজ যেখানে সমস্ত অ্যাপ্লিকেশন ডেটা থাকে। যদিও কিছু ভিন্নতা সম্ভব, এটি একটি উচ্চ-স্তরের পদ্ধতি।

এখন দেখা যাক কেন স্টেটফুল কনটেইনার অ্যাপ্রোচ ক্লাউড-কেন্দ্রিক বিশ্বে অ্যান্টি-প্যাটার্ন।

ক্লাউড-নেটিভ অ্যাপ্লিকেশন ডিজাইন

ঐতিহ্যগতভাবে, অ্যাপ্লিকেশনগুলি তথ্যের কাঠামোগত স্টোরেজ এবং স্থানীয় ডিস্ক বা বিতরণকৃত ফাইল সিস্টেমের জন্য ডেটাবেস ব্যবহার করে যেখানে সমস্ত অসংগঠিত বা এমনকি আধা-কাঠামোগত ডেটা ডাম্প করা হয়েছিল। অসংগঠিত ডেটার পরিমাণ বাড়ার সাথে সাথে বিকাশকারীরা বুঝতে পেরেছিলেন যে POSIX খুব চটি ছিল, এর উল্লেখযোগ্য ওভারহেড ছিল এবং সত্যিকারের বড় স্কেলে যাওয়ার সময় শেষ পর্যন্ত অ্যাপ্লিকেশন কার্যকারিতা বাধাগ্রস্ত হয়েছিল।

এটি মূলত ডেটা স্টোরেজের জন্য একটি নতুন স্ট্যান্ডার্ডের উত্থানে অবদান রাখে, অর্থাৎ, ক্লাউড-ভিত্তিক স্টোরেজ, প্রাথমিকভাবে REST API-এর উপর ভিত্তি করে কাজ করে এবং স্থানীয় ডেটা স্টোরেজের ভারী রক্ষণাবেক্ষণ থেকে অ্যাপ্লিকেশনটিকে মুক্ত করে। এই ক্ষেত্রে, অ্যাপ্লিকেশন কার্যকরভাবে স্টেটলেস মোডে যায় (যেহেতু রাজ্যটি দূরবর্তী সঞ্চয়স্থানে রয়েছে)। আধুনিক অ্যাপ্লিকেশনগুলি এই ফ্যাক্টরটিকে মাথায় রেখে স্ক্র্যাচ থেকে তৈরি করা হয়েছে। একটি নিয়ম হিসাবে, যে কোনও আধুনিক অ্যাপ্লিকেশন যা এক ধরণের বা অন্য ধরণের ডেটা প্রক্রিয়া করে (লগ, মেটাডেটা, ব্লবস, ইত্যাদি) একটি ক্লাউড-ওরিয়েন্টেড প্যারাডাইম অনুসারে তৈরি করা হয়, যেখানে রাজ্যটি তার স্টোরেজের জন্য বিশেষভাবে নিবেদিত একটি সফ্টওয়্যার সিস্টেমে স্থানান্তরিত হয়।

রাষ্ট্রীয় ধারক পদ্ধতির এই পুরো দৃষ্টান্তটি ঠিক যেখানে এটি শুরু হয়েছিল সেখানে ফিরে আসতে বাধ্য করে!

ডেটা সঞ্চয় করার জন্য POSIX ইন্টারফেস ব্যবহার করে, অ্যাপ্লিকেশনগুলি এমনভাবে কাজ করে যেন তারা স্টেটফুল ছিল এবং এর কারণে, তারা ক্লাউড-কেন্দ্রিক ডিজাইনের সবচেয়ে গুরুত্বপূর্ণ নীতিগুলি থেকে সরে যায়, অর্থাৎ, ইনকামিংয়ের উপর নির্ভর করে অ্যাপ্লিকেশন কর্মী থ্রেডের আকার পরিবর্তন করার ক্ষমতা। ইনপুট। লোড করুন, বর্তমান নোড ব্যর্থ হওয়ার সাথে সাথে একটি নতুন নোডে যান এবং আরও অনেক কিছু।

এই পরিস্থিতিটি ঘনিষ্ঠভাবে পর্যবেক্ষণ করলে, আমরা দেখতে পাই যে একটি ডেটা স্টোর বাছাই করার সময়, আমরা বারবার POSIX বনাম REST API দ্বিধা-দ্বন্দ্বের মুখোমুখি হই, কিন্তু কুবারনেটস পরিবেশের বিতরণ প্রকৃতির কারণে POSIX সমস্যার অতিরিক্ত বৃদ্ধির সাথে। নির্দিষ্টভাবে,

• POSIX চটি: POSIX শব্দার্থবিদ্যার প্রয়োজন যে প্রতিটি অপারেশন মেটাডেটা এবং ফাইল বর্ণনাকারীর সাথে যুক্ত হতে হবে যা অপারেশনের অবস্থা বজায় রাখতে সাহায্য করে। এর ফলে উল্লেখযোগ্য খরচ হয় যার কোনো প্রকৃত মূল্য নেই। অবজেক্ট স্টোরেজ API, বিশেষ করে S3 API, এই প্রয়োজনীয়তাগুলি থেকে পরিত্রাণ পায়, যা অ্যাপ্লিকেশনটিকে ফায়ার করতে দেয় এবং তারপরে কল সম্পর্কে "ভুলে যায়"। স্টোরেজ সিস্টেমের প্রতিক্রিয়া নির্দেশ করে যে কাজটি সফল হয়েছে কিনা। এটি ব্যর্থ হলে, অ্যাপ্লিকেশন আবার চেষ্টা করতে পারেন.
• নেটওয়ার্ক সীমাবদ্ধতা: একটি বিতরণ করা সিস্টেমে, এটি বোঝানো হয় যে একই সংযুক্ত মিডিয়াতে ডেটা লেখার চেষ্টা করার জন্য অনেকগুলি অ্যাপ্লিকেশন থাকতে পারে৷ অতএব, অ্যাপ্লিকেশনগুলি শুধুমাত্র ডেটা ট্রান্সফার ব্যান্ডউইথের জন্য একে অপরের সাথে প্রতিদ্বন্দ্বিতা করবে না (মিডিয়াতে ডেটা পাঠাতে), তবে স্টোরেজ সিস্টেম নিজেই ফিজিক্যাল ডিস্ক জুড়ে ডেটা পাঠানোর মাধ্যমে এই ব্যান্ডউইথের জন্য প্রতিযোগিতা করবে। POSIX এর স্বচ্ছতার কারণে, নেটওয়ার্ক কলের সংখ্যা কয়েকগুণ বেড়ে যায়। অন্যদিকে, S3 API ক্লায়েন্ট থেকে সার্ভারে আসা এবং সার্ভারের মধ্যে যেগুলি হয় তাদের মধ্যে নেটওয়ার্ক কলগুলির মধ্যে একটি স্পষ্ট পার্থক্য প্রদান করে।
• নিরাপত্তা: POSIX নিরাপত্তা মডেলটি সক্রিয় মানুষের অংশগ্রহণের জন্য ডিজাইন করা হয়েছে: প্রশাসকরা প্রতিটি ব্যবহারকারী বা গোষ্ঠীর জন্য নির্দিষ্ট অ্যাক্সেস লেভেল কনফিগার করে। এই দৃষ্টান্তটি মেঘকেন্দ্রিক বিশ্বের সাথে খাপ খাইয়ে নেওয়া কঠিন। আধুনিক অ্যাপ্লিকেশনগুলি API-ভিত্তিক নিরাপত্তা মডেলগুলির উপর নির্ভর করে, যেখানে অ্যাক্সেসের অধিকারগুলিকে নীতি, পরিষেবা অ্যাকাউন্ট, অস্থায়ী প্রমাণপত্র ইত্যাদির সেট হিসাবে সংজ্ঞায়িত করা হয়।
• controllability: স্টেটফুল পাত্রে কিছু ব্যবস্থাপনা ওভারহেড আছে। আমরা ডেটার সমান্তরাল অ্যাক্সেস সিঙ্ক্রোনাইজ করার বিষয়ে কথা বলছি, ডেটা সামঞ্জস্য নিশ্চিত করা, এই সমস্ত কিছুর জন্য কোন ডেটা অ্যাক্সেস প্যাটার্নগুলি ব্যবহার করতে হবে তা সাবধানতার সাথে বিবেচনা করা প্রয়োজন। অতিরিক্ত সফ্টওয়্যার ইনস্টল, নিরীক্ষণ, এবং কনফিগার করা আবশ্যক, অতিরিক্ত উন্নয়ন প্রচেষ্টা উল্লেখ না.

কন্টেইনার ডেটা স্টোরেজ ইন্টারফেস

যদিও কন্টেইনার স্টোরেজ ইন্টারফেস (CSI) কুবারনেটস ভলিউম স্তরের বিস্তারে একটি দুর্দান্ত সাহায্য করেছে, আংশিকভাবে এটি তৃতীয় পক্ষের স্টোরেজ বিক্রেতাদের কাছে আউটসোর্স করছে, এটি অসাবধানতাবশত এই বিশ্বাসে অবদান রেখেছে যে স্টেটফুল কন্টেইনার পদ্ধতির জন্য প্রস্তাবিত পদ্ধতি কুবারনেটসে ডেটা সংরক্ষণ করা।

কুবারনেটসে চলাকালীন লিগ্যাসি অ্যাপ্লিকেশনগুলিতে নির্বিচারে ব্লক এবং ফাইল স্টোরেজ সিস্টেম সরবরাহ করার জন্য সিএসআই একটি মান হিসাবে তৈরি করা হয়েছিল। এবং, এই নিবন্ধটি যেমন দেখিয়েছে, একমাত্র পরিস্থিতি যেখানে একটি স্টেটফুল কন্টেইনার পদ্ধতি (এবং CSI এর বর্তমান আকারে) তা বোঝা যায় যখন অ্যাপ্লিকেশনটি নিজেই একটি উত্তরাধিকারী সিস্টেম যেখানে অবজেক্ট স্টোরেজ API এর জন্য সমর্থন যোগ করা সম্ভব নয়। .

এটা বোঝা গুরুত্বপূর্ণ যে CSI এর বর্তমান আকারে ব্যবহার করে, অর্থাৎ, আধুনিক অ্যাপ্লিকেশনগুলির সাথে কাজ করার সময় ভলিউম মাউন্ট করার সময়, আমরা প্রায় একই সমস্যার সম্মুখীন হব যেগুলি সিস্টেমগুলিতে উদ্ভূত হয়েছিল যেখানে ডেটা স্টোরেজ POSIX শৈলীতে সংগঠিত হয়।

একটি ভাল পন্থা

এই ক্ষেত্রে, এটি বোঝা গুরুত্বপূর্ণ যে বেশিরভাগ অ্যাপ্লিকেশনগুলি সহজাতভাবে রাষ্ট্রীয় বা রাষ্ট্রহীন কাজের জন্য বিশেষভাবে ডিজাইন করা হয় না। এই আচরণটি সামগ্রিক সিস্টেম আর্কিটেকচার এবং নির্দিষ্ট নকশা পছন্দের উপর নির্ভর করে। রাষ্ট্রীয় অ্যাপ্লিকেশন সম্পর্কে একটু কথা বলা যাক.

নীতিগতভাবে, সমস্ত অ্যাপ্লিকেশন ডেটা বিভিন্ন বিস্তৃত প্রকারে বিভক্ত করা যেতে পারে:

• লগ ডেটা
• টাইমস্ট্যাম্প ডেটা
• লেনদেনের তথ্য
• মেটাডেটা
• ধারক ছবি
• ব্লব (বাইনারী বড় বস্তু) ডেটা

এই সমস্ত ডেটা প্রকারগুলি আধুনিক স্টোরেজ প্ল্যাটফর্মগুলিতে খুব ভালভাবে সমর্থিত, এবং এই নির্দিষ্ট বিন্যাসে প্রতিটিতে ডেটা সরবরাহ করার জন্য বেশ কয়েকটি ক্লাউড-নেটিভ প্ল্যাটফর্ম রয়েছে। উদাহরণস্বরূপ, লেনদেন ডেটা এবং মেটাডেটা আধুনিক ক্লাউড-নেটিভ ডাটাবেসে থাকতে পারে যেমন CockroachDB, YugaByte, ইত্যাদি। কন্টেইনার ইমেজ বা ব্লব ডেটা MinIO এর উপর ভিত্তি করে একটি ডকার রেজিস্ট্রিতে সংরক্ষণ করা যেতে পারে। টাইমস্ট্যাম্প ডেটা টাইম সিরিজ ডাটাবেসে সংরক্ষণ করা যেতে পারে যেমন ইনফ্লাক্সডিবি ইত্যাদি। আমরা এখানে প্রতিটি ডেটা টাইপ এবং এর অ্যাপ্লিকেশন সম্পর্কে বিস্তারিত জানাব না, তবে সাধারণ ধারণাটি হল স্থায়ী ডেটা স্টোরেজ এড়ানো যা স্থানীয় ডিস্ক মাউন্ট করার উপর নির্ভর করে।

উপরন্তু, এটি একটি অস্থায়ী ক্যাশিং স্তর প্রদান করা প্রায়ই কার্যকর হয় যা অ্যাপ্লিকেশনগুলির জন্য একটি অস্থায়ী ফাইল স্টোর হিসাবে কাজ করে, তবে অ্যাপ্লিকেশনগুলি সত্যের উত্স হিসাবে এই স্তরের উপর নির্ভর করবে না৷

স্টেটফুল অ্যাপ্লিকেশন স্টোরেজ

যদিও বেশিরভাগ ক্ষেত্রেই অ্যাপ্লিকেশানগুলিকে স্টেটলেস রাখা উপযোগী, সেইসব অ্যাপ্লিকেশানগুলি যেগুলি ডেটা সঞ্চয় করার জন্য ডিজাইন করা হয়েছে - যেমন ডাটাবেস, অবজেক্ট স্টোর, কী-ভ্যালু স্টোর - অবশ্যই স্টেটফুল হতে হবে। আসুন দেখি কেন এই অ্যাপ্লিকেশনগুলি কুবারনেটে স্থাপন করা হয়। একটি উদাহরণ হিসাবে MinIO কে নেওয়া যাক, কিন্তু অনুরূপ নীতিগুলি অন্য যেকোনো বড় ক্লাউড-নেটিভ স্টোরেজ সিস্টেমে প্রযোজ্য।

ক্লাউড-নেটিভ অ্যাপ্লিকেশনগুলি পাত্রে অন্তর্নিহিত নমনীয়তার সম্পূর্ণ সুবিধা নেওয়ার জন্য ডিজাইন করা হয়েছে। এর মানে হল যে তারা যে পরিবেশে মোতায়েন করা হবে সে সম্পর্কে তারা কোন অনুমান করে না। উদাহরণস্বরূপ, অর্ধেক ডিস্ক ব্যর্থ হলেও কার্যকরী থাকার জন্য সিস্টেমটিকে যথেষ্ট স্থিতিস্থাপকতা প্রদান করতে MinIO একটি অভ্যন্তরীণ ইরেজার কোডিং পদ্ধতি ব্যবহার করে। MinIO মালিকানা সার্ভার-সাইড হ্যাশিং এবং এনক্রিপশন ব্যবহার করে ডেটা অখণ্ডতা এবং নিরাপত্তা পরিচালনা করে।

এই ধরনের ক্লাউড-কেন্দ্রিক অ্যাপ্লিকেশনগুলির জন্য, স্থানীয় স্থায়ী ভলিউম (PVs) ব্যাকআপ স্টোরেজ হিসাবে সবচেয়ে সুবিধাজনক। স্থানীয় পিভি কাঁচা ডেটা সঞ্চয় করার ক্ষমতা প্রদান করে, যখন এই পিভিগুলির উপরে চলমান অ্যাপ্লিকেশনগুলি স্বাধীনভাবে ডেটা স্কেল করতে এবং ক্রমবর্ধমান ডেটা প্রয়োজনীয়তাগুলি পরিচালনা করতে তথ্য সংগ্রহ করে।

এই পদ্ধতিটি সিএসআই-ভিত্তিক পিভিগুলির তুলনায় অনেক সহজ এবং উল্লেখযোগ্যভাবে বেশি মাপযোগ্য, যা সিস্টেমে ডেটা ব্যবস্থাপনা এবং অপ্রয়োজনীয়তার নিজস্ব স্তরগুলি প্রবর্তন করে; মূল বিষয় হল এই স্তরগুলি সাধারণত স্টেটফুল হওয়ার জন্য ডিজাইন করা অ্যাপ্লিকেশনগুলির সাথে বিরোধিতা করে।

গণনা থেকে তথ্য decoupling দিকে একটি শক্তিশালী আন্দোলন

এই নিবন্ধে, আমরা কীভাবে অ্যাপ্লিকেশানগুলিকে স্টেট সেভ না করে কাজ করার জন্য পুনর্নির্মাণ করা হয় তা নিয়ে কথা বলেছি, বা, অন্য কথায়, ডেটা সংরক্ষণ করা এটিতে কম্পিউটিং থেকে ডিকপল করা হয়। উপসংহারে, আসুন এই প্রবণতার কিছু বাস্তব উদাহরণ দেখি।

স্ফুলিঙ্গ, একটি বিশিষ্ট ডেটা বিশ্লেষণ প্ল্যাটফর্ম, ঐতিহ্যগতভাবে রাষ্ট্রীয় এবং HDFS-এ স্থাপন করা হয়েছে। যাইহোক, স্পার্ক একটি ক্লাউড-কেন্দ্রিক জগতে চলে যাওয়ার সাথে সাথে, প্ল্যাটফর্মটি 's3a' ব্যবহার করে ক্রমশ স্টেটলেস ব্যবহার করা হচ্ছে। স্পার্ক অন্যান্য সিস্টেমে স্থিতি স্থানান্তর করতে s3a ব্যবহার করে, যখন স্পার্ক কন্টেইনারগুলি সম্পূর্ণরূপে রাষ্ট্রবিহীন কাজ করে। বড় ডেটা বিশ্লেষণের ক্ষেত্রে অন্যান্য প্রধান এন্টারপ্রাইজ খেলোয়াড়, বিশেষ করে, ভার্টিকা, তেরদাটা, গ্রীনপ্লাম তারা ডেটা স্টোরেজ এবং তাদের উপর গণনা পৃথকীকরণের সাথে কাজ করতে চলেছে।

প্রেস্টো, টেনসরফ্লো থেকে আর, জুপিটার সহ অন্যান্য বৃহৎ বিশ্লেষণাত্মক প্ল্যাটফর্মেও অনুরূপ নিদর্শন দেখা যায়। দূরবর্তী ক্লাউড স্টোরেজ সিস্টেমে অফলোড করার মাধ্যমে, আপনার অ্যাপ্লিকেশন পরিচালনা এবং স্কেল করা অনেক সহজ হয়ে যায়। উপরন্তু, এটি বিভিন্ন পরিবেশে অ্যাপ্লিকেশনের বহনযোগ্যতা সহজতর করে।

উত্স: www.habr.com