वेब सेवाहरूको लागि इन-मेमोरी वास्तुकला: प्रविधिको आधारभूत र सिद्धान्तहरू

इन-मेमोरी डाटा भण्डारण गर्नका लागि अवधारणाहरूको सेट हो जब यो अनुप्रयोगको RAM मा भण्डारण गरिन्छ, र डिस्क ब्याकअपको लागि प्रयोग गरिन्छ। शास्त्रीय दृष्टिकोणमा, डाटा डिस्कमा भण्डार गरिएको छ र मेमोरी क्यासमा भण्डार गरिएको छ। उदाहरणका लागि, डाटा प्रोसेसिङको लागि ब्याकइन्ड भएको वेब एपले यसलाई भण्डारणमा अनुरोध गर्दछ: यसले यसलाई प्राप्त गर्छ, यसलाई रूपान्तरण गर्छ, र धेरै डाटा नेटवर्कमा स्थानान्तरण गरिन्छ। इन-मेमोरीमा, गणनाहरू डाटामा पठाइन्छ - भण्डारणमा, जहाँ तिनीहरू प्रशोधन हुन्छन् र नेटवर्क कम लोड हुन्छ।

यसको वास्तुकलाको लागि धन्यवाद, इन-मेमोरीले धेरै पटक डाटा पहुँचलाई गति दिन्छ, र कहिलेकाहीँ म्याग्निच्युडको आदेशहरू पनि छिटो। उदाहरणका लागि, बैंक विश्लेषकहरू विश्लेषणात्मक अनुप्रयोगमा गत वर्षको लागि दिनमा गतिशीलतामा जारी गरिएको ऋणको रिपोर्ट हेर्न चाहन्छन्। यो प्रक्रिया एक क्लासिक DBMS मा मिनेट लाग्नेछ, तर इन-मेमोरी संग यो लगभग तुरुन्तै देखा पर्नेछ। यो किनभने दृष्टिकोणले तपाईंलाई धेरै जानकारी क्यास गर्न अनुमति दिन्छ र यो RAM मा भण्डारण गरिएको छ "हातमा"। अनुप्रयोगले हार्ड ड्राइभबाट डाटा अनुरोध गर्न आवश्यक छैन, जसको उपलब्धता नेटवर्क र डिस्क गति द्वारा सीमित छ।

इन-मेमोरीसँग के अन्य सम्भावनाहरू उपलब्ध छन् र यो कस्तो प्रकारको दृष्टिकोण हो? भ्लादिमिर प्लेगिन - GridGain मा इन्जिनियर। यो समीक्षा सामग्री वेब अनुप्रयोग ब्याकएन्ड विकासकर्ताहरूका लागि उपयोगी हुनेछ जसले इन-मेमोरीसँग काम नगरेका र प्रयास गर्न चाहन्छन्, वा सफ्टवेयर विकास र वास्तुकला डिजाइनमा आधुनिक प्रवृत्तिहरूमा रुचि राख्छन्।

भन्नु। लेख #GetIT Conf मा भ्लादिमिरको रिपोर्टको ट्रान्सक्रिप्टमा आधारित छ। आत्म-पृथकताको परिचय अघि, हामीले नियमित रूपमा मस्को र सेन्ट पिटर्सबर्गमा विकासकर्ताहरूका लागि भेटघाट र सम्मेलनहरू आयोजना गर्यौं: हामीले प्रवृत्तिहरू, वर्तमान विकास मुद्दाहरू, समस्याहरू र तिनीहरूको समाधानहरू छलफल गर्यौं। अहिले सम्मेलन गर्न सम्भव छैन, तर विगतका उपयोगी सामग्रीहरू साझा गर्ने समय हो।

इन-मेमोरी कसले र कसरी प्रयोग गर्छ

इन-मेमोरी प्रायः प्रयोग गरिन्छ जहाँ छिटो प्रयोगकर्ता अन्तरक्रिया वा डेटाको ठूलो मात्राको प्रशोधन आवश्यक हुन्छ।

• बैंकहरू इन-मेमोरी प्रयोग गर्नुहोस्, उदाहरणका लागि, ग्राहकहरूले अनुप्रयोगहरू प्रयोग गर्दा ढिलाइ कम गर्न वा ऋण जारी गर्नु अघि ग्राहकको विश्लेषण गर्न।
• Fintech डेटा प्रशोधन र विश्लेषण आउटसोर्स गर्ने बैंकहरूको लागि सेवा र अनुप्रयोगहरूको प्रदर्शन सुधार गर्न इन-मेमोरी प्रयोग गर्दछ। 
• बीमा कम्पनीहरू: जोखिमहरू गणना गर्न, उदाहरणका लागि, धेरै वर्षहरूमा ग्राहक डेटा विश्लेषण गरेर।
• रसद कम्पनीहरु। तिनीहरूले धेरै डेटा प्रशोधन गर्छन्, उदाहरणका लागि, हजारौं प्यारामिटरहरूसँग भाडा र यात्रु यातायातको लागि इष्टतम मार्गहरू गणना गर्न, र ढुवानीको स्थिति ट्र्याक गर्न।
• खुद्रा। इन-मेमोरी समाधानहरूले ग्राहकहरूलाई छिटो सेवा दिन र ठूलो मात्रामा जानकारी प्रशोधन गर्न मद्दत गर्दछ: ढुवानी, इनभ्वाइसहरू, लेनदेनहरू, गोदामहरूमा हजारौं सामानहरूको उपस्थिति, र विश्लेषणात्मक रिपोर्टहरू तयार गर्दछ।
• В IoT इन-मेमोरीले परम्परागत डाटाबेसहरू प्रतिस्थापन गर्दछ।
• औषधि कम्पनीहरूले इन-मेमोरी प्रयोग गर्दछ, उदाहरणका लागि, औषधि रचनाहरूको संयोजन मार्फत क्रमबद्ध गर्न। 

म तपाईंलाई हाम्रा ग्राहकहरूले कसरी इन-मेमोरी समाधानहरू प्रयोग गर्छन् र तपाईंले तिनीहरूलाई कसरी लागू गर्न सक्नुहुन्छ भन्ने केही उदाहरणहरू बताउनेछु।

प्राथमिक भण्डारणको रूपमा इन-मेमोरी

हाम्रो ग्राहकहरु मध्ये एक संयुक्त राज्य अमेरिका देखि चिकित्सा वैज्ञानिक उपकरण को एक ठूलो आपूर्तिकर्ता हो। तिनीहरूले आफ्नो मुख्य डाटा भण्डारणको रूपमा इन-मेमोरी समाधान प्रयोग गर्छन्। सबै डाटा डिस्कमा भण्डार गरिएको छ, र सक्रिय रूपमा प्रयोग गरिएको डाटाको उपसेट RAM मा राखिएको छ। भण्डारण पहुँच विधिहरू मानक हुन् - GDBC (जेनेरिक डाटाबेस कनेक्टर) र SQL क्वेरी भाषा।

सामूहिक रूपमा यसलाई इन-मेमोरी डाटाबेस (IMDB) वा मेमोरी-केन्द्रित भण्डारण भनिन्छ। समाधानको यस वर्गका धेरै नामहरू छन्, यी मात्र होइनन्। 

IMDB सुविधाहरू:

• इन-मेमोरीमा भण्डारण गरिएको र SQL मार्फत पहुँच गरिएको डाटा अन्य दृष्टिकोणहरूमा जस्तै हो। तिनीहरू सिंक्रोनाइज छन्, केवल प्रस्तुतीकरणको तरिका, तिनीहरूलाई सम्बोधन गर्ने तरिका फरक छ। लेनदेन डेटा बीच काम गर्दछ।

• IMDB रिलेशनल डाटाबेसहरू भन्दा छिटो छ किनभने यो डिस्कबाट भन्दा RAM बाट जानकारी पुन: प्राप्त गर्न छिटो छ। 
• आन्तरिक अप्टिमाइजेसन एल्गोरिदममा कम निर्देशनहरू छन्।
• IMDB हरू अनुप्रयोगहरूमा डाटा, घटनाहरू र लेनदेनहरू प्रबन्ध गर्नका लागि उपयुक्त छन्।

IMDBs आंशिक रूपमा ACID लाई समर्थन गर्दछ: परमाणु, स्थिरता, र अलगाव। तर तिनीहरूले "स्थायित्व" लाई समर्थन गर्दैनन् - जब पावर बन्द हुन्छ, सबै डेटा हरायो। समस्या समाधान गर्न, तपाइँ स्न्यापसटहरू प्रयोग गर्न सक्नुहुन्छ - डाटाबेसको "स्न्यापसट", हार्ड ड्राइभमा डाटाबेस ब्याकअपको अनुरूप, वा रिबुट पछि डेटा पुनर्स्थापना गर्न लेनदेनहरू (लगहरू) रेकर्ड गर्नुहोस्।

गल्ती-सहिष्णु अनुप्रयोगहरू सिर्जना गर्न

त्रुटि-सहिष्णु वेब अनुप्रयोगको क्लासिक वास्तुकलाको कल्पना गरौं। यसले यसरी काम गर्दछ: सबै अनुरोधहरू सर्भरहरू बीचको वेब ब्यालेन्सरद्वारा वितरित गरिन्छ। यो प्रणाली स्थिर छ किनभने सर्भरहरू एकअर्काको नक्कल हुन्छन् र घटनाहरूको अवस्थामा ब्याकअप हुन्छन्।

ब्यालेन्सरले एक सत्रबाट सबै अनुरोधहरूलाई कडाईका साथ एक सर्भरमा निर्देशित गर्दछ। यो एक स्टिक सत्र संयन्त्र हो: प्रत्येक सत्र सर्भरसँग सम्बन्धित छ जहाँ यसलाई स्थानीय रूपमा भण्डारण र प्रशोधन गरिन्छ। 

सर्भरहरू मध्ये एक असफल हुँदा के हुन्छ?

वास्तुकला दोहोरिएको हुनाले सेवा प्रभावित हुने छैन। तर हामीले मृत सर्भरको सत्रहरूको सबसेट गुमाउनेछौं। र एकै समयमा, प्रयोगकर्ताहरू जो यी सत्रहरूमा बाँधिएका छन्। उदाहरणका लागि, ग्राहकले अर्डर गर्छ र अचानक उसलाई अफिसबाट बाहिर फाल्छ। उ दुखी हुनेछ जब उसले फेरि लग इन गर्छ र सबै कुरा फेरि गर्नुपर्नेछ भनेर फेला पार्छ।

धेरै संख्यामा प्रयोगकर्ताहरूलाई समर्थन गर्न र ढिलो नगर्नको लागि एउटा वेब अनुप्रयोग आवश्यक छ ताकि तिनीहरूले आरामसँग काम गर्न सकून्। तर यदि यसलाई अस्वीकार गरियो भने, प्रत्येक पछिको अनुरोधको साथ सत्र स्टोरसँग सञ्चार गर्न लाग्ने समय बढ्नेछ। यसले अन्य प्रयोगकर्ताहरूको लागि औसत विलम्बता बढाउँछ। तर तिनीहरू पहिलेको भन्दा लामो समय पर्खन चाहँदैनन्।

यो समस्या हाम्रो अन्य ग्राहक, संयुक्त राज्य अमेरिका देखि एक ठूलो PASS प्रदायक जस्तै हल गर्न सकिन्छ। यसले वेब सत्रहरू क्लस्टर गर्न इन-मेमोरी प्रयोग गर्दछ। यो गर्नको लागि, यसले तिनीहरूलाई स्थानीय रूपमा होइन, तर केन्द्रीय रूपमा भण्डार गर्दछ - इन-मेमोरी क्लस्टरमा। यस अवस्थामा, सत्रहरू धेरै छिटो उपलब्ध छन् किनभने तिनीहरू पहिले नै RAM मा छन्।

जब सर्भर क्र्यास हुन्छ, ब्यालेन्सरले क्र्यास भएको सर्भरबाट अन्य सर्भरहरूमा अनुरोध पठाउँछ, जस्तै क्लासिकल आर्किटेक्चरमा। तर त्यहाँ एक महत्त्वपूर्ण भिन्नता छ: सत्रहरू इन-मेमोरी क्लस्टरमा भण्डारण गरिन्छ र सर्भरहरूसँग पतित सर्भरको सत्रहरूमा पहुँच छ।

यो वास्तुकलाले सम्पूर्ण प्रणालीको दोष सहिष्णुता बढाउँछ। यसबाहेक, स्टिक सत्र संयन्त्रलाई पूर्ण रूपमा त्याग्न सम्भव छ।

हाइब्रिड लेनदेन विश्लेषणात्मक प्रक्रिया (HTAP)

सामान्यतया, लेनदेन र विश्लेषणात्मक प्रणाली अलग राखिएको छ। जब तिनीहरू अलग हुन्छन्, मुख्य आधार लोड अन्तर्गत आउँछ। विश्लेषणात्मक प्रशोधनको लागि, डेटा प्रतिकृतिमा प्रतिलिपि गरिन्छ ताकि विश्लेषणात्मक प्रक्रियाले लेनदेन प्रक्रियाहरूमा हस्तक्षेप गर्दैन। तर प्रतिलिपि एक ढिलाइ संग हुन्छ - यो ढिलाइ बिना प्रतिलिपि गर्न असम्भव छ। यदि हामीले यसलाई सिंक्रोनस रूपमा गर्छौं भने, यसले मुख्य आधारलाई पनि ढिलो गर्नेछ र हामीले कुनै पनि जीत पाउने छैनौं।

HTAP मा, सबै कुरा फरक तरिकाले काम गर्दछ - एउटै डाटा भण्डार अनुप्रयोगहरूबाट लेनदेन लोडको लागि प्रयोग गरिन्छ, र विश्लेषणात्मक प्रश्नहरूको लागि जुन पूरा हुन लामो समय लाग्न सक्छ। जब डाटा RAM मा हुन्छ, विश्लेषणात्मक प्रश्नहरू छिटो कार्यान्वयन गरिन्छ, र डाटाबेसको साथ सर्भर कम लोड हुन्छ (औसतमा)।

एक हाइब्रिड दृष्टिकोण लेनदेन प्रशोधन र विश्लेषण बिचको पर्खाल भत्काउँछ। यदि हामीले एउटै भण्डारणमा एनालिटिक्स प्रदर्शन गर्छौं भने, विश्लेषणात्मक प्रश्नहरू RAM बाट डाटामा सुरू हुन्छन्। तिनीहरू धेरै सटीक, अधिक व्याख्यायोग्य र पर्याप्त छन्।

इन-मेमोरी समाधानहरूको एकीकरण

एक (अपेक्षाकृत) सरल तरीका - स्क्र्याच देखि सबै विकास। हामी डिस्कमा डाटा राख्छौं र तातो डाटा मेमोरीमा भण्डार गर्छौं। यसले सर्भर रिबुट वा आउटेजहरू बाँच्न मद्दत गर्दछ।

डिस्कमा डाटा भण्डारण गर्दा यहाँ काममा दुई मुख्य परिदृश्यहरू छन्। पहिलोमा, हामी क्र्यासहरू वा क्लस्टर वा भागहरूको नियमित रिबुटहरूबाट बच्न चाहन्छौं - हामी यसलाई साधारण डाटाबेसको रूपमा प्रयोग गर्न चाहन्छौं। दोस्रो परिदृश्यमा, जब त्यहाँ धेरै डाटा हुन्छ, यसको केही मेमोरीमा हुन्छ।

यदि स्क्र्याचबाट सबै कुरा निर्माण गर्न सम्भव छैन भने, इन-मेमोरीलाई पहिले नै मा एकीकृत गर्न सम्भव छ अवस्थित वास्तुकला। तर सबै इन-मेमोरी समाधानहरू यसको लागि उपयुक्त छैनन्। त्यहाँ तीन अनिवार्य सर्तहरू छन्। इन-मेमोरी समाधानले समर्थन गर्नुपर्छ:

• डाटाबेसमा जडान गर्न मानक तरिका जुन यसको तल स्थित हुनेछ (उदाहरणका लागि, MySQL);
• एक मानक क्वेरी भाषा, ताकि भण्डारण संग अन्तरक्रिया को तर्क पुन: लेख्न र परिवर्तन गर्न को लागी;
• लेनदेन - अन्तरक्रिया को अर्थशास्त्र को संरक्षण।

यदि सबै तीन सर्तहरू पूरा भए, तब एकीकरण सम्भव छ। हामी इन-मेमोरी डाटा ग्रिडलाई एप्लिकेसन र डाटाबेसको बीचमा राख्छौं। अब लेख्ने अनुरोधहरू अन्तर्निहित डाटाबेसमा प्रत्यायोजित हुनेछन्, र डाटा क्यासमा छैन भने पढ्ने अनुरोधहरू अन्तर्निहित डाटाबेसमा प्रत्यायोजित हुनेछन्।

यदि डेटामा द्रुत पहुँच र यसको प्रशोधन तपाईंको लागि महत्त्वपूर्ण छ भने, उदाहरणका लागि, व्यापार विश्लेषणका लागि, तपाईं इन-मेमोरी लागू गर्ने बारे सोच्न सक्नुहुन्छ। र कार्यान्वयनको लागि, तपाइँ नयाँ वास्तुकला डिजाइन गर्दा दुवै विधिहरू प्रयोग गर्न सक्नुहुन्छ।

स्रोत: www.habr.com