ওয়েব পরিষেবাগুলির জন্য ইন-মেমরি আর্কিটেকচার: প্রযুক্তির মৌলিক এবং নীতিগুলি

ইন-মেমরি হল ডেটা সংরক্ষণ করার জন্য ধারণার একটি সেট যখন এটি অ্যাপ্লিকেশনের র‌্যামে সংরক্ষণ করা হয় এবং ডিস্কটি ব্যাকআপের জন্য ব্যবহার করা হয়। শাস্ত্রীয় পদ্ধতিতে, ডেটা ডিস্কে সংরক্ষণ করা হয় এবং মেমরি ক্যাশে সংরক্ষণ করা হয়। উদাহরণস্বরূপ, ডেটা প্রক্রিয়াকরণের জন্য একটি ব্যাকএন্ড সহ একটি ওয়েব অ্যাপ্লিকেশন এটিকে স্টোরেজে অনুরোধ করে: এটি এটি গ্রহণ করে, এটি রূপান্তরিত করে এবং নেটওয়ার্কের মাধ্যমে প্রচুর ডেটা স্থানান্তরিত হয়। ইন-মেমরিতে, গণনাগুলি ডেটাতে পাঠানো হয় - স্টোরেজে, যেখানে সেগুলি প্রক্রিয়া করা হয় এবং নেটওয়ার্ক কম লোড হয়।

এর আর্কিটেকচারের জন্য ধন্যবাদ, ইন-মেমরি ডেটা অ্যাক্সেসকে কয়েকগুণ গতি বাড়িয়ে দেয়, এবং কখনও কখনও এমনকি মাত্রার অর্ডারও দ্রুততর করে। উদাহরণ স্বরূপ, ব্যাঙ্ক বিশ্লেষকরা একটি বিশ্লেষণাত্মক অ্যাপ্লিকেশনে দেখতে চান গত এক বছরে ইস্যু করা ঋণের উপর একটি প্রতিবেদন দিন দিন গতিশীলতায়। এই প্রক্রিয়াটি একটি ক্লাসিক DBMS-এ কয়েক মিনিট সময় নেবে, কিন্তু ইন-মেমরির সাথে এটি প্রায় সঙ্গে সঙ্গে প্রদর্শিত হবে। এর কারণ হল পদ্ধতিটি আপনাকে আরও অনেক তথ্য ক্যাশে করার অনুমতি দেয় এবং এটি RAM এ "হাতে" সংরক্ষণ করা হয়। অ্যাপ্লিকেশনটির হার্ড ড্রাইভ থেকে ডেটা অনুরোধ করার দরকার নেই, যার প্রাপ্যতা নেটওয়ার্ক এবং ডিস্কের গতি দ্বারা সীমাবদ্ধ।

ইন-মেমরির সাথে অন্য কোন সম্ভাবনাগুলি পাওয়া যায় এবং এটি কী ধরণের পদ্ধতি? ভ্লাদিমির প্লাগিন - গ্রিডগেইনে প্রকৌশলী। এই পর্যালোচনা উপাদানটি ওয়েব অ্যাপ্লিকেশন ব্যাকএন্ড ডেভেলপারদের জন্য উপযোগী হবে যারা ইন-মেমরির সাথে কাজ করেননি এবং চেষ্টা করতে চান, বা সফ্টওয়্যার বিকাশ এবং আর্কিটেকচার ডিজাইনের আধুনিক প্রবণতাগুলিতে আগ্রহী৷

মন্তব্য. নিবন্ধটি #GetIT কনফ-এ ভ্লাদিমিরের প্রতিবেদনের প্রতিলিপির উপর ভিত্তি করে। স্ব-বিচ্ছিন্নতা প্রবর্তনের আগে, আমরা মস্কো এবং সেন্ট পিটার্সবার্গে ডেভেলপারদের জন্য নিয়মিত মিটআপ এবং সম্মেলন করেছি: আমরা প্রবণতা, বর্তমান উন্নয়ন সমস্যা, সমস্যা এবং তাদের সমাধান নিয়ে আলোচনা করেছি। এখন একটি সম্মেলন করা সম্ভব নয়, তবে অতীতের দরকারী উপকরণগুলি ভাগ করার সময় এসেছে৷

কে ইন-মেমরি ব্যবহার করে এবং কিভাবে

ইন-মেমরি প্রায়শই ব্যবহৃত হয় যেখানে দ্রুত ব্যবহারকারীর মিথস্ক্রিয়া বা প্রচুর পরিমাণে ডেটা প্রক্রিয়াকরণের প্রয়োজন হয়।

• ব্যাংক ইন-মেমরি ব্যবহার করুন, উদাহরণস্বরূপ, ক্লায়েন্টরা অ্যাপ্লিকেশন ব্যবহার করার সময় বিলম্ব কমাতে বা ঋণ দেওয়ার আগে ক্লায়েন্টকে বিশ্লেষণ করতে।
• ফিনটেক ডেটা প্রসেসিং এবং বিশ্লেষণ আউটসোর্স করে এমন ব্যাঙ্কগুলির পরিষেবা এবং অ্যাপ্লিকেশনগুলির কর্মক্ষমতা উন্নত করতে ইন-মেমরি ব্যবহার করে। 
• বীমা কোম্পানি: ঝুঁকি গণনা করতে, উদাহরণস্বরূপ, কয়েক বছর ধরে গ্রাহকের ডেটা বিশ্লেষণ করে।
• লজিস্টিক কোম্পানি. তারা প্রচুর ডেটা প্রক্রিয়া করে, উদাহরণস্বরূপ, হাজার হাজার প্যারামিটার সহ মালবাহী এবং যাত্রী পরিবহনের জন্য সর্বোত্তম রুট গণনা করতে এবং চালানের অবস্থা ট্র্যাক করে।
• খুচরা. ইন-মেমরি সমাধানগুলি গ্রাহকদের দ্রুত পরিবেশন করতে এবং প্রচুর পরিমাণে তথ্য প্রক্রিয়া করতে সহায়তা করে: চালান, চালান, লেনদেন, গুদামগুলিতে হাজার হাজার পণ্যের উপস্থিতি এবং বিশ্লেষণাত্মক প্রতিবেদন তৈরি করে৷
• В IOT ইন-মেমরি ঐতিহ্যগত ডাটাবেস প্রতিস্থাপন করে।
• ফার্মাসিউটিক্যাল কোম্পানিগুলি ইন-মেমরি ব্যবহার করে, উদাহরণস্বরূপ, ওষুধের সংমিশ্রণের মাধ্যমে সাজানোর জন্য। 

আমাদের ক্লায়েন্টরা কীভাবে ইন-মেমরি সলিউশন ব্যবহার করে এবং আপনি নিজে কীভাবে সেগুলি বাস্তবায়ন করতে পারেন তার কয়েকটি উদাহরণ আমি আপনাকে বলব৷

প্রাথমিক স্টোরেজ হিসাবে ইন-মেমরি

আমাদের ক্লায়েন্টদের মধ্যে একজন মার্কিন যুক্তরাষ্ট্র থেকে চিকিৎসা বৈজ্ঞানিক সরঞ্জামের একটি বড় সরবরাহকারী। তারা তাদের প্রধান ডেটা স্টোরেজ হিসাবে একটি ইন-মেমরি সমাধান ব্যবহার করে। সমস্ত ডেটা ডিস্কে সংরক্ষণ করা হয় এবং সক্রিয়ভাবে ব্যবহৃত ডেটার উপসেটগুলি RAM এ রাখা হয়। স্টোরেজ অ্যাক্সেস পদ্ধতিগুলি মানক - GDBC (জেনারিক ডেটাবেস সংযোগকারী) এবং SQL ক্যোয়ারী ভাষা।

সমষ্টিগতভাবে একে বলা হয় ইন-মেমরি ডেটাবেস (IMDB) বা মেমরি-কেন্দ্রিক স্টোরেজ। এই শ্রেণীর সমাধানগুলির অনেকগুলি নাম রয়েছে, এগুলি কেবলমাত্র নয়। 

IMDB বৈশিষ্ট্য:

• ইন-মেমরিতে সংরক্ষিত এবং SQL এর মাধ্যমে অ্যাক্সেস করা ডেটা অন্যান্য পদ্ধতির মতোই। তারা সিঙ্ক্রোনাইজড, শুধুমাত্র উপস্থাপনের উপায়, তাদের সম্বোধন করার উপায় ভিন্ন। ডেটার মধ্যে লেনদেন কাজ করে।

• আইএমডিবি রিলেশনাল ডাটাবেসের চেয়ে দ্রুত কারণ এটি ডিস্ক থেকে RAM থেকে তথ্য পুনরুদ্ধার করা দ্রুত। 
• অভ্যন্তরীণ অপ্টিমাইজেশান অ্যালগরিদম কম নির্দেশাবলী আছে.
• আইএমডিবিগুলি অ্যাপ্লিকেশনগুলিতে ডেটা, ইভেন্ট এবং লেনদেন পরিচালনার জন্য উপযুক্ত।

IMDBs আংশিকভাবে ACID সমর্থন করে: পরমাণু, সামঞ্জস্য এবং বিচ্ছিন্নতা। কিন্তু তারা "স্থায়িত্ব" সমর্থন করে না - যখন পাওয়ার বন্ধ থাকে, তখন সমস্ত ডেটা হারিয়ে যায়। সমস্যা সমাধানের জন্য, আপনি স্ন্যাপশটগুলি ব্যবহার করতে পারেন - ডাটাবেসের একটি "স্ন্যাপশট", একটি হার্ড ড্রাইভে ডাটাবেস ব্যাকআপের অনুরূপ, বা রিবুট করার পরে ডেটা পুনরুদ্ধার করতে লেনদেন (লগ) রেকর্ড করুন৷

দোষ-সহনশীল অ্যাপ্লিকেশন তৈরি করতে

আসুন একটি ফল্ট-সহনশীল ওয়েব অ্যাপ্লিকেশনের ক্লাসিক আর্কিটেকচার কল্পনা করি। এটি এই মত কাজ করে: সমস্ত অনুরোধ সার্ভারের মধ্যে একটি ওয়েব ব্যালেন্সার দ্বারা বিতরণ করা হয়। এই সিস্টেমটি স্থিতিশীল কারণ সার্ভারগুলি একে অপরের নকল করে এবং ঘটনার ক্ষেত্রে ব্যাক আপ করে।

ব্যালেন্সার একটি সেশন থেকে কঠোরভাবে একটি সার্ভারে সমস্ত অনুরোধ নির্দেশ করে। এটি একটি স্টিক সেশন প্রক্রিয়া: প্রতিটি সেশন একটি সার্ভারের সাথে যুক্ত যেখানে এটি স্থানীয়ভাবে সংরক্ষণ এবং প্রক্রিয়া করা হয়। 

সার্ভারগুলির একটি ব্যর্থ হলে কী ঘটে?

আর্কিটেকচারটি সদৃশ হওয়ায় পরিষেবাটি প্রভাবিত হবে না৷ কিন্তু আমরা মৃত সার্ভারের সেশনের একটি উপসেট হারাবো. এবং একই সময়ে, এই সেশনের সাথে আবদ্ধ ব্যবহারকারীরা। উদাহরণস্বরূপ, একজন ক্লায়েন্ট একটি অর্ডার দেয় এবং হঠাৎ তাকে অফিস থেকে বের করে দেয়। তিনি অসুখী হবেন যখন তিনি আবার লগ ইন করবেন এবং দেখতে পাবেন যে সবকিছু আবার করতে হবে।

বিপুল সংখ্যক ব্যবহারকারীকে সমর্থন করার জন্য একটি ওয়েব অ্যাপ্লিকেশন প্রয়োজন এবং ধীরগতির নয় যাতে তারা আরামে কাজ করতে পারে। কিন্তু যদি এটি প্রত্যাখ্যান করা হয়, প্রতিটি পরবর্তী অনুরোধের সাথে সেশন স্টোরের সাথে যোগাযোগ করতে সময় বাড়বে। এটি অন্যান্য ব্যবহারকারীদের জন্য গড় বিলম্ব বৃদ্ধি করে। কিন্তু তারা আগের মতো আর অপেক্ষা করতে চায় না।

এই সমস্যাটি আমাদের অন্যান্য ক্লায়েন্টের মতো সমাধান করা যেতে পারে, USA থেকে একটি বড় PASS প্রদানকারী৷ এটি ক্লাস্টার ওয়েব সেশনে ইন-মেমরি ব্যবহার করে। এটি করার জন্য, এটি স্থানীয়ভাবে নয়, কেন্দ্রীয়ভাবে - একটি ইন-মেমরি ক্লাস্টারে সংরক্ষণ করে। এই ক্ষেত্রে, সেশনগুলি অনেক দ্রুত উপলব্ধ হয় কারণ সেগুলি ইতিমধ্যেই RAM-তে রয়েছে৷

যখন একটি সার্ভার ক্র্যাশ হয়, তখন ব্যালেন্সার ক্র্যাশ হওয়া সার্ভার থেকে অন্যান্য সার্ভারে অনুরোধ পাঠায়, যেমন ক্লাসিক্যাল আর্কিটেকচারে। কিন্তু একটি গুরুত্বপূর্ণ পার্থক্য আছে: সেশনগুলি একটি ইন-মেমরি ক্লাস্টারে সংরক্ষণ করা হয় এবং সার্ভারের পতিত সার্ভারের সেশনগুলিতে অ্যাক্সেস রয়েছে।

এই আর্কিটেকচার পুরো সিস্টেমের দোষ সহনশীলতা বাড়ায়। তাছাড়া, স্টিক সেশন মেকানিজম সম্পূর্ণভাবে পরিত্যাগ করা সম্ভব।

হাইব্রিড লেনদেন বিশ্লেষণাত্মক প্রক্রিয়াকরণ (HTAP)

সাধারণত, লেনদেন এবং বিশ্লেষণাত্মক সিস্টেম আলাদা রাখা হয়। যখন তারা পৃথক হয়, প্রধান ভিত্তি লোড অধীনে আসে। বিশ্লেষণাত্মক প্রক্রিয়াকরণের জন্য, ডেটা একটি প্রতিলিপিতে অনুলিপি করা হয় যাতে বিশ্লেষণাত্মক প্রক্রিয়াকরণ লেনদেন প্রক্রিয়াগুলিতে হস্তক্ষেপ না করে। কিন্তু অনুলিপি একটি ব্যবধানের সাথে ঘটে - এটি একটি ল্যাগ ছাড়া প্রতিলিপি করা অসম্ভব। আমরা যদি সিঙ্ক্রোনাসভাবে এটি করি তবে এটি মূল বেসকেও ধীর করে দেবে এবং আমরা কোন জয় পাব না।

HTAP-এ, সবকিছু আলাদাভাবে কাজ করে - একই ডেটা স্টোর অ্যাপ্লিকেশন থেকে লেনদেন লোডের জন্য এবং বিশ্লেষণাত্মক প্রশ্নগুলির জন্য ব্যবহার করা হয় যা সম্পূর্ণ হতে দীর্ঘ সময় নিতে পারে। যখন ডেটা RAM-তে থাকে, বিশ্লেষণাত্মক প্রশ্নগুলি দ্রুত কার্যকর হয় এবং ডাটাবেসের সাথে সার্ভার কম লোড হয় (গড়ে)।

একটি হাইব্রিড পদ্ধতি লেনদেন প্রক্রিয়াকরণ এবং বিশ্লেষণের মধ্যে প্রাচীর ভেঙে দেয়। যদি আমরা একই স্টোরেজে অ্যানালিটিক্স করি, তাহলে RAM থেকে ডেটাতে অ্যানালিটিকাল কোয়েরি চালু হয়। তারা অনেক বেশি সঠিক, আরো ব্যাখ্যাযোগ্য এবং পর্যাপ্ত।

ইন-মেমরি সমাধানের ইন্টিগ্রেশন

একটি (তুলনামূলক) সহজ উপায় - স্ক্র্যাচ থেকে সবকিছু বিকাশ. আমরা ডিস্কে ডেটা রাখি এবং মেমরিতে হট ডেটা সংরক্ষণ করি। এটি সার্ভার রিবুট বা বিভ্রাট থেকে বাঁচতে সাহায্য করে।

ডিস্কে ডেটা সংরক্ষণ করার সময় এখানে দুটি প্রধান পরিস্থিতি রয়েছে। প্রথমটিতে, আমরা ক্র্যাশ বা ক্লাস্টার বা অংশগুলির নিয়মিত রিবুট থেকে বাঁচতে চাই - আমরা এটিকে একটি সাধারণ ডাটাবেস হিসাবে ব্যবহার করতে চাই। দ্বিতীয় দৃশ্যে, যখন খুব বেশি ডেটা থাকে, তখন এর কিছু মেমরিতে থাকে।

স্ক্র্যাচ থেকে সবকিছু তৈরি করা সম্ভব না হলে, ইন-মেমরিকে ইতিমধ্যেই একত্রিত করা সম্ভব বিদ্যমান স্থাপত্য. কিন্তু সব ইন-মেমরি সমাধান এর জন্য উপযুক্ত নয়। তিনটি বাধ্যতামূলক শর্ত আছে। ইন-মেমরি সমাধান অবশ্যই সমর্থন করবে:

• ডাটাবেসের সাথে সংযোগ করার আদর্শ উপায় যা এটির নীচে অবস্থিত হবে (উদাহরণস্বরূপ, মাইএসকিউএল);
• একটি স্ট্যান্ডার্ড ক্যোয়ারী ল্যাঙ্গুয়েজ, যাতে স্টোরেজের সাথে ইন্টারঅ্যাকশনের যুক্তি পুনর্লিখন এবং পরিবর্তন না হয়;
• লেনদেন - মিথস্ক্রিয়া শব্দার্থ সংরক্ষণ.

যদি তিনটি শর্ত পূরণ করা হয়, তাহলে একীকরণ সম্ভব। আমরা অ্যাপ্লিকেশন এবং ডাটাবেসের মধ্যে ইন-মেমরি ডেটা গ্রিড রাখি। এখন লেখার অনুরোধগুলি অন্তর্নিহিত ডাটাবেসে অর্পণ করা হবে, এবং যদি ডেটা ক্যাশে না থাকে তবে পড়ার অনুরোধগুলি অন্তর্নিহিত ডাটাবেসে অর্পণ করা হবে।

যদি ডেটাতে দ্রুত অ্যাক্সেস এবং এর প্রক্রিয়াকরণ আপনার কাছে গুরুত্বপূর্ণ হয়, উদাহরণস্বরূপ, ব্যবসায়িক বিশ্লেষণের জন্য, আপনি ইন-মেমরি বাস্তবায়নের কথা ভাবতে পারেন। এবং বাস্তবায়নের জন্য, আপনি একটি নতুন আর্কিটেকচার ডিজাইন করার সময় উভয় পদ্ধতি ব্যবহার করতে পারেন।

উত্স: www.habr.com