🥇 Tarantool DBMS मा उच्च-स्तर प्रतिकृति

नमस्ते, म DBMS को लागी अनुप्रयोगहरू सिर्जना गर्दैछु टारान्टुल Mail.ru समूह द्वारा विकसित गरिएको प्लेटफर्म हो जसले उच्च-प्रदर्शन DBMS र Lua भाषामा अनुप्रयोग सर्भरलाई संयोजन गर्दछ। Tarantool मा आधारित समाधानहरूको उच्च गति हासिल गरिएको छ, विशेष गरी, DBMS को इन-मेमोरी मोडको लागि समर्थन र डाटाको साथ एकल ठेगाना स्पेसमा एप्लिकेसन व्यवसाय तर्क कार्यान्वयन गर्ने क्षमताको कारण। एकै समयमा, डाटा स्थिरता ACID लेनदेन प्रयोग गरेर सुनिश्चित गरिएको छ (डिस्कमा WAL लग राखिएको छ)। टारन्टुलसँग प्रतिकृति र शार्डिङको लागि निर्मित समर्थन छ। संस्करण 2.1 बाट सुरु गर्दै, SQL भाषामा प्रश्नहरू समर्थित छन्। Tarantool खुला स्रोत हो र सरलीकृत BSD लाइसेन्स अन्तर्गत इजाजतपत्र प्राप्त छ। त्यहाँ एक व्यावसायिक उद्यम संस्करण पनि छ।

शक्ति महसुस गर्नुहोस्! (...उर्फ प्रदर्शनको आनन्द लिनुहोस्)

माथिका सबैले टारन्टुललाई डाटाबेसहरूसँग काम गर्ने उच्च-लोड अनुप्रयोगहरू सिर्जना गर्नको लागि आकर्षक प्लेटफर्म बनाउँछ। त्यस्ता अनुप्रयोगहरूमा, प्रायः डाटा प्रतिकृतिको आवश्यकता पर्दछ।

माथि उल्लेख गरिएझैं, Tarantool सँग निर्मित डाटा प्रतिकृति छ। यसको सञ्चालनको सिद्धान्त मास्टर लग (WAL) मा समावेश सबै लेनदेनहरू प्रतिकृतिहरूमा क्रमिक रूपमा कार्यान्वयन गर्नु हो। सामान्यतया यस्तो प्रतिकृति (हामी यसलाई थप कल गर्नेछौं तल्लो तह) एप्लिकेसन गल्ती सहिष्णुता सुनिश्चित गर्न र/वा क्लस्टर नोडहरू बीच पढ्ने लोड वितरण गर्न प्रयोग गरिन्छ।

चामल। 1. क्लस्टर भित्र प्रतिकृति

वैकल्पिक परिदृश्यको उदाहरण एक डाटाबेसमा सिर्जना गरिएको डाटालाई प्रशोधन/अनुगमनका लागि अर्को डाटाबेसमा स्थानान्तरण गर्नु हो। पछिल्लो अवस्थामा, अधिक सुविधाजनक समाधान प्रयोग गर्न सकिन्छ उच्च स्तर प्रतिकृति - अनुप्रयोग व्यापार तर्क स्तर मा डाटा प्रतिकृति। ती। हामी DBMS मा निर्मित तयार समाधान प्रयोग गर्दैनौं, तर हामीले विकास गरिरहेको अनुप्रयोग भित्र आफ्नै प्रतिकृति कार्यान्वयन गर्छौं। यो दृष्टिकोण दुवै फाइदा र बेफाइदा छ। फाइदाहरू सूचीबद्ध गरौं।

1. ट्राफिक बचत:

तपाइँ सबै डाटा स्थानान्तरण गर्न सक्नुहुन्न, तर यसको मात्र अंश (उदाहरणका लागि, तपाइँ केवल केहि तालिकाहरू, तिनीहरूका स्तम्भहरू वा रेकर्डहरू जुन निश्चित मापदण्ड पूरा गर्न सक्नुहुन्छ) स्थानान्तरण गर्न सक्नुहुन्छ;
निम्न-स्तरको प्रतिकृतिको विपरीत, जुन लगातार एसिंक्रोनस (टारन्टूलको हालको संस्करणमा लागू गरिएको छ - 1.10) वा सिंक्रोनस (टारन्टूलको पछिल्लो संस्करणहरूमा लागू गरिने) मोडमा, उच्च-स्तरको प्रतिकृति सत्रहरूमा प्रदर्शन गर्न सकिन्छ (अर्थात, अनुप्रयोगले पहिले डेटा सिङ्क्रोनाइज गर्दछ - एक विनिमय सत्र डेटा, त्यसपछि प्रतिकृतिमा एक पज छ, जस पछि अर्को विनिमय सत्र हुन्छ, आदि।);
यदि एक रेकर्ड धेरै पटक परिवर्तन भएको छ भने, तपाईले यसको नवीनतम संस्करण मात्र स्थानान्तरण गर्न सक्नुहुन्छ (निम्न-स्तर प्रतिकृतिको विपरीत, जसमा मास्टरमा गरिएका सबै परिवर्तनहरू प्रतिकृतिहरूमा क्रमशः प्ले गरिनेछ)।

2. HTTP एक्सचेन्ज लागू गर्न कुनै कठिनाइहरू छैनन्, जसले तपाईंलाई रिमोट डाटाबेसहरू सिङ्क्रोनाइज गर्न अनुमति दिन्छ।

चामल। 2. HTTP मा प्रतिकृति

3. डाटाबेस ढाँचाहरू जसको बीचमा डाटा स्थानान्तरण गरिन्छ उस्तै हुनु पर्दैन (यसबाहेक, सामान्य अवस्थामा, विभिन्न DBMSs, प्रोग्रामिङ भाषाहरू, प्लेटफर्महरू, आदि प्रयोग गर्न सम्भव छ)।

चामल। 3. विषम प्रणालीहरूमा प्रतिकृति

नकारात्मक पक्ष यो हो कि, औसतमा, प्रोग्रामिङ कन्फिगरेसन भन्दा बढी गाह्रो / महँगो छ, र बिल्ट-इन कार्यक्षमता अनुकूलन गर्नुको सट्टा, तपाईंले आफ्नै कार्यान्वयन गर्नुपर्नेछ।

यदि तपाईंको स्थितिमा माथिका फाइदाहरू महत्त्वपूर्ण छन् (वा आवश्यक अवस्था हो), त्यसपछि यसले उच्च-स्तरको प्रतिकृति प्रयोग गर्न अर्थ राख्छ। Tarantool DBMS मा उच्च-स्तर डाटा प्रतिकृति लागू गर्ने धेरै तरिकाहरू हेरौं।

ट्राफिक न्यूनीकरण

त्यसोभए, उच्च-स्तर प्रतिकृतिको एक फाइदा भनेको ट्राफिक बचत हो। यस लाभलाई पूर्ण रूपमा प्राप्त गर्नको लागि, प्रत्येक विनिमय सत्रको समयमा स्थानान्तरण गरिएको डाटाको मात्रालाई कम गर्न आवश्यक छ। निस्सन्देह, हामीले यो बिर्सनु हुँदैन कि सत्रको अन्त्यमा, डाटा रिसीभर स्रोतसँग सिङ्क्रोनाइज हुनुपर्छ (कम्तिमा डाटाको त्यो भागको लागि जुन प्रतिकृतिमा संलग्न छ)।

उच्च-स्तर प्रतिकृतिको समयमा स्थानान्तरण गरिएको डाटाको मात्रा कसरी कम गर्ने? एक सीधा समाधान मिति र समय द्वारा डाटा चयन गर्न हुन सक्छ। यो गर्नको लागि, तपाइँ तालिकामा पहिले नै अवस्थित मिति-समय फिल्ड प्रयोग गर्न सक्नुहुन्छ (यदि यो अवस्थित छ)। उदाहरण को लागी, "अर्डर" कागजातमा "आवश्यक आदेश कार्यान्वयन समय" फिल्ड हुन सक्छ - delivery_time। यस समाधानको साथ समस्या यो हो कि यस क्षेत्रका मानहरू क्रमको सिर्जनासँग मेल खाने क्रममा हुनु हुँदैन। त्यसैले हामी अधिकतम क्षेत्र मान सम्झन सक्दैनौं delivery_time, अघिल्लो विनिमय सत्रको समयमा प्रसारित, र अर्को विनिमय सत्रको समयमा उच्च क्षेत्र मानका साथ सबै रेकर्डहरू चयन गर्नुहोस् delivery_time। कम फिल्ड मान भएका रेकर्डहरू विनिमय सत्रहरू बीच थपिएको हुन सक्छ delivery_time। साथै, अर्डरमा परिवर्तनहरू हुन सक्छ, जसले तैपनि क्षेत्रलाई असर गर्दैन delivery_time। दुबै अवस्थामा, परिवर्तनहरू स्रोतबाट गन्तव्यमा स्थानान्तरण गरिने छैन। यी समस्याहरू समाधान गर्न, हामीले डाटा "ओभरल्यापिङ" स्थानान्तरण गर्न आवश्यक हुनेछ। ती। प्रत्येक विनिमय सत्रमा हामी फिल्ड मानको साथ सबै डाटा स्थानान्तरण गर्नेछौं delivery_time, विगतमा केही बिन्दु नाघ्दै (उदाहरणका लागि, हालको क्षणबाट N घण्टा)। यद्यपि, यो स्पष्ट छ कि ठूला प्रणालीहरूको लागि यो दृष्टिकोण अत्यधिक अनावश्यक छ र यसले ट्राफिक बचतलाई कम गर्न सक्छ जुन हामीले कुनै पनि कुराको लागि प्रयास गरिरहेका छौं। थप रूपमा, सारिएको तालिकामा मिति-समयसँग सम्बन्धित फिल्ड नहुन सक्छ।

अर्को समाधान, कार्यान्वयनको सन्दर्भमा अझ जटिल, डाटाको प्राप्तिलाई स्वीकार गर्नु हो। यस अवस्थामा, प्रत्येक विनिमय सत्रको समयमा, सबै डाटा प्रसारण गरिन्छ, जसको रसीद प्राप्तकर्ता द्वारा पुष्टि गरिएको छैन। यसलाई लागू गर्नको लागि, तपाईंले स्रोत तालिकामा बुलियन स्तम्भ थप्नु पर्छ (उदाहरणका लागि, is_transferred)। यदि प्राप्तकर्ताले रेकर्डको प्राप्ति स्वीकार गर्दछ भने, सम्बन्धित क्षेत्रले मान लिन्छ। true, जस पछि प्रविष्टि अब विनिमय मा संलग्न छैन। यो कार्यान्वयन विकल्पमा निम्न बेफाइदाहरू छन्। पहिलो, हस्तान्तरण गरिएको प्रत्येक रेकर्डको लागि, एक स्वीकृति उत्पन्न र पठाइनु पर्छ। सामान्य रूपमा भन्नुपर्दा, यो स्थानान्तरण गरिएको डाटाको मात्रालाई दोब्बर बनाउन र राउन्डट्रिपहरूको संख्यालाई दोब्बर बनाउनको लागि तुलना गर्न सकिन्छ। दोस्रो, धेरै रिसीभरहरूलाई एउटै रेकर्ड पठाउने कुनै सम्भावना छैन (प्राप्त गर्ने पहिलो प्राप्तकर्ताले आफैं र अरू सबैको लागि रसिद पुष्टि गर्नेछ)।

माथि दिइएको बेफाइदाहरू नभएको एक विधि भनेको यसको पङ्क्तिहरूमा परिवर्तनहरू ट्र्याक गर्न ट्रान्समिट गरिएको तालिकामा स्तम्भ थप्नु हो। यस्तो स्तम्भ मिति-समय प्रकारको हुन सक्छ र प्रत्येक पटक रेकर्डहरू थपिएको/परिवर्तन गर्दा (परमाणविक रूपमा थप/परिवर्तनको साथ) हालको समयमा अनुप्रयोगद्वारा सेट/अपडेट गरिनुपर्छ। उदाहरणको रूपमा, स्तम्भलाई कल गरौं update_time। स्थानान्तरण गरिएका रेकर्डहरूको लागि यस स्तम्भको अधिकतम फिल्ड मान बचत गरेर, हामी यो मानसँग अर्को विनिमय सत्र सुरु गर्न सक्छौं (फिल्ड मानसँग रेकर्डहरू चयन गर्नुहोस्। update_time, अघिल्लो भण्डार गरिएको मूल्य भन्दा बढि)। पछिल्लो दृष्टिकोणको साथ समस्या यो हो कि डेटा परिवर्तनहरू ब्याचहरूमा हुन सक्छ। स्तम्भमा फिल्ड मानहरूको परिणामको रूपमा update_time अद्वितीय नहुन सक्छ। यसैले, यो स्तम्भ भाग (पृष्ठ-द्वारा-पृष्ठ) डेटा आउटपुटको लागि प्रयोग गर्न सकिँदैन। पृष्ठ अनुसार डाटा पृष्ठ प्रदर्शन गर्न, तपाईंले अतिरिक्त संयन्त्रहरू आविष्कार गर्नुपर्नेछ जुन धेरै कम दक्षता हुनेछ (उदाहरणका लागि, डाटाबेसबाट सबै रेकर्डहरू पुन: प्राप्त गर्दै। update_time दिइएको एक भन्दा उच्च र रेकर्ड को एक निश्चित संख्या उत्पादन, नमूना को सुरु देखि एक निश्चित अफसेट देखि शुरू)।

तपाईले अघिल्लो दृष्टिकोणलाई थोरै सुधार गरेर डेटा स्थानान्तरणको दक्षता सुधार गर्न सक्नुहुन्छ। यो गर्नको लागि, हामी परिवर्तनहरू ट्र्याक गर्नका लागि स्तम्भ फिल्ड मानहरूको रूपमा पूर्णांक प्रकार (लामो पूर्णांक) प्रयोग गर्नेछौं। स्तम्भको नाम राखौं row_ver। यस स्तम्भको फिल्ड मान अझै पनि प्रत्येक पटक रेकर्ड सिर्जना/परिमार्जन गर्दा सेट/अपडेट गरिनुपर्छ। तर यस अवस्थामा, फिल्डलाई हालको मिति-समय तोकिएको छैन, तर केही काउन्टरको मूल्य, एकले बढेको छ। फलस्वरूप, स्तम्भ row_ver अद्वितीय मानहरू समावेश हुनेछ र "डेल्टा" डेटा (डेटा अघिल्लो एक्सचेन्ज सत्रको अन्त्यबाट थपिएको/परिवर्तन गरिएको) प्रदर्शन गर्न मात्र नभई यसलाई सरल र प्रभावकारी रूपमा पृष्ठहरूमा विभाजन गर्न पनि प्रयोग गर्न सकिन्छ।

उच्च-स्तर प्रतिकृतिको ढाँचा भित्र स्थानान्तरण गरिएको डाटाको मात्रा कम गर्ने अन्तिम प्रस्तावित विधि मलाई सबैभन्दा इष्टतम र विश्वव्यापी देखिन्छ। यसलाई थप विस्तारमा हेरौं।

पङ्क्ति संस्करण काउन्टर प्रयोग गरेर डाटा पास गर्दै

सर्भर/मास्टर भागको कार्यान्वयन

MS SQL सर्भरमा, यो दृष्टिकोण लागू गर्नको लागि एक विशेष स्तम्भ प्रकार छ - rowversion। प्रत्येक डाटाबेसको काउन्टर हुन्छ जुन प्रत्येक पटक रेकर्ड थप्दा/परिवर्तन गर्दा एउटा स्तम्भ भएको तालिकामा बढ्छ। rowversion। यस काउन्टरको मान थपिएको/परिवर्तन गरिएको रेकर्डमा यस स्तम्भको फिल्डमा स्वचालित रूपमा तोकिएको छ। Tarantool DBMS सँग समान निर्मित संयन्त्र छैन। तर, Tarantool मा यसलाई म्यानुअल रूपमा लागू गर्न गाह्रो छैन। यो कसरी गरिन्छ हेरौं।

पहिलो, थोरै शब्दावली: Tarantool मा तालिकाहरूलाई स्पेस भनिन्छ, र रेकर्डहरूलाई ट्युपल भनिन्छ। Tarantool मा तपाइँ अनुक्रमहरू सिर्जना गर्न सक्नुहुन्छ। अनुक्रमहरू क्रमबद्ध पूर्णांक मानहरूको नामित जनरेटरहरू बाहेक अरू केही होइनन्। ती। यो ठ्याक्कै हामीलाई हाम्रो उद्देश्यको लागि आवश्यक छ। तल हामी यस्तो अनुक्रम सिर्जना गर्नेछौं।

Tarantool मा कुनै पनि डाटाबेस सञ्चालन गर्नु अघि, तपाईंले निम्न आदेश चलाउन आवश्यक छ:

box.cfg{}

नतिजाको रूपमा, Tarantool ले हालको डाइरेक्टरीमा डाटाबेस स्न्यापशटहरू र लेनदेन लगहरू लेख्न सुरु गर्नेछ।

एक अनुक्रम सिर्जना गरौं row_version:

box.schema.sequence.create('row_version',
    { if_not_exists = true })

विकल्प if_not_exists सिर्जना स्क्रिप्टलाई धेरै पटक कार्यान्वयन गर्न अनुमति दिन्छ: यदि वस्तु अवस्थित छ भने, Tarantool यसलाई फेरि सिर्जना गर्ने प्रयास गर्दैन। यो विकल्प सबै पछिल्ला DDL आदेशहरूमा प्रयोग गरिनेछ।

उदाहरणको रूपमा एउटा ठाउँ सिर्जना गरौं।

box.schema.space.create('goods', {
    format = {
        {
            name = 'id',
            type = 'unsigned'

        },
        {
            name = 'name',
            type = 'string'

        },
        {
            name = 'code',
            type = 'unsigned'

        },
        {
            name = 'row_ver',
            type = 'unsigned'

        }
    },
    if_not_exists = true
})

यहाँ हामीले स्पेसको नाम सेट गर्छौं (goods), क्षेत्र नाम र तिनीहरूका प्रकारहरू।

Tarantool मा स्वतः वृद्धि गर्ने क्षेत्रहरू पनि अनुक्रमहरू प्रयोग गरेर सिर्जना गरिन्छ। फिल्डद्वारा स्वतः वृद्धि गर्ने प्राथमिक कुञ्जी सिर्जना गरौं id:

box.schema.sequence.create('goods_id',
    { if_not_exists = true })
box.space.goods:create_index('primary', {
    parts = { 'id' },
    sequence = 'goods_id',
    unique = true,
    type = 'HASH',
    if_not_exists = true
})

Tarantool ले धेरै प्रकारका अनुक्रमणिकाहरूलाई समर्थन गर्दछ। सबैभन्दा सामान्य रूपमा प्रयोग हुने अनुक्रमणिकाहरू TREE र HASH प्रकारहरू हुन्, जुन नामसँग सम्बन्धित संरचनाहरूमा आधारित हुन्छन्। TREE सबैभन्दा बहुमुखी सूचकांक प्रकार हो। यसले तपाईंलाई व्यवस्थित रूपमा डाटा पुन: प्राप्त गर्न अनुमति दिन्छ। तर समानता चयनको लागि, HASH अधिक उपयुक्त छ। तदनुसार, प्राथमिक कुञ्जीको लागि HASH प्रयोग गर्न सल्लाह दिइन्छ (जुन हामीले गर्यौं)।

स्तम्भ प्रयोग गर्न row_ver परिवर्तन गरिएको डाटा स्थानान्तरण गर्न, तपाईंले यस स्तम्भको क्षेत्रहरूमा अनुक्रम मानहरू बाँध्न आवश्यक छ row_ver। तर प्राथमिक कुञ्जीको विपरीत, स्तम्भ क्षेत्र मान row_ver नयाँ रेकर्डहरू थप्दा मात्र होइन, तर अवस्थितहरू परिवर्तन गर्दा पनि एकले वृद्धि गर्नुपर्छ। तपाईं यसको लागि ट्रिगरहरू प्रयोग गर्न सक्नुहुन्छ। Tarantool सँग दुई प्रकारका स्पेस ट्रिगरहरू छन्: before_replace и on_replace। जब स्पेसमा डाटा परिवर्तन हुन्छ ट्रिगरहरू फायर हुन्छन् (परिवर्तनबाट प्रभावित प्रत्येक टपलको लागि, ट्रिगर प्रकार्य सुरू हुन्छ)। विपरीत on_replace, before_replace-ट्रिगरहरूले तपाईंलाई टपलको डाटा परिमार्जन गर्न अनुमति दिन्छ जसको लागि ट्रिगर कार्यान्वयन गरिएको छ। तदनुसार, अन्तिम प्रकारका ट्रिगरहरू हामीलाई उपयुक्त छन्।

box.space.goods:before_replace(function(old, new)
    return box.tuple.new({new[1], new[2], new[3],
        box.sequence.row_version:next()})
end)

निम्न ट्रिगरले फिल्ड मान प्रतिस्थापन गर्दछ row_ver अनुक्रमको अर्को मानमा टपल भण्डारण गरियो row_version.

अन्तरिक्षबाट डाटा निकाल्न सक्षम हुनको लागि goods स्तम्भ द्वारा row_ver, एक अनुक्रमणिका सिर्जना गरौं:

box.space.goods:create_index('row_ver', {
    parts = { 'row_ver' },
    unique = true,
    type = 'TREE',
    if_not_exists = true
})

अनुक्रमणिका प्रकार - रूख (TREE), किनभने हामीले स्तम्भमा मानहरूको बढ्दो क्रममा डाटा निकाल्न आवश्यक हुनेछ row_ver.

स्पेसमा केही डाटा थपौं:

box.space.goods:insert{nil, 'pen', 123}
box.space.goods:insert{nil, 'pencil', 321}
box.space.goods:insert{nil, 'brush', 100}
box.space.goods:insert{nil, 'watercolour', 456}
box.space.goods:insert{nil, 'album', 101}
box.space.goods:insert{nil, 'notebook', 800}
box.space.goods:insert{nil, 'rubber', 531}
box.space.goods:insert{nil, 'ruler', 135}

किनभने पहिलो फिल्ड एक स्वत: वृद्धि काउन्टर हो; हामी यसको सट्टा शून्य पास गर्छौं। Tarantool ले स्वचालित रूपमा अर्को मान प्रतिस्थापन गर्नेछ। त्यस्तै, स्तम्भ क्षेत्रहरूको मानको रूपमा row_ver तपाईं शून्य पास गर्न सक्नुहुन्छ - वा मान निर्दिष्ट गर्न सक्नुहुन्न, किनभने यो स्तम्भले स्पेसमा अन्तिम स्थान ओगटेको छ।

सम्मिलन परिणाम जाँच गरौं:

tarantool> box.space.goods:select()
---
- - [1, 'pen', 123, 1]
  - [2, 'pencil', 321, 2]
  - [3, 'brush', 100, 3]
  - [4, 'watercolour', 456, 4]
  - [5, 'album', 101, 5]
  - [6, 'notebook', 800, 6]
  - [7, 'rubber', 531, 7]
  - [8, 'ruler', 135, 8]
...

तपाईले देख्न सक्नुहुन्छ, पहिलो र अन्तिम फिल्डहरू स्वचालित रूपमा भरिन्छन्। अब स्पेस परिवर्तनहरूको पृष्ठ-पृष्ठ-पृष्ठ अपलोडको लागि कार्य लेख्न सजिलो हुनेछ goods:

local page_size = 5
local function get_goods(row_ver)
    local index = box.space.goods.index.row_ver
    local goods = {}
    local counter = 0
    for _, tuple in index:pairs(row_ver, {
        iterator = 'GT' }) do
        local obj = tuple:tomap({ names_only = true })
        table.insert(goods, obj)
        counter = counter + 1
        if counter >= page_size then
            break
        end
    end
    return goods
end

प्रकार्यले मानलाई प्यारामिटरको रूपमा लिन्छ row_ver, जहाँबाट परिवर्तनहरू अनलोड गर्न आवश्यक छ, र परिवर्तन गरिएको डाटाको एक भाग फर्काउँछ।

Tarantool मा डाटा नमूना अनुक्रमणिका मार्फत गरिन्छ। समारोह get_goods अनुक्रमणिका द्वारा पुनरावृत्ति प्रयोग गर्दछ row_ver परिवर्तन डाटा प्राप्त गर्न। Iterator प्रकार GT हो (ग्रेटर थान, ग्रेटर थान)। यसको मतलब यो हो कि पुनरावृत्तिले अनुक्रमिक रूपमा पारित कुञ्जी (फिल्ड मान row_ver).

पुनरावृत्तिले टुपलहरू फर्काउँछ। पछि HTTP मार्फत डेटा स्थानान्तरण गर्न सक्षम हुनको लागि, ट्युपलहरूलाई पछिको क्रमिकरणको लागि सुविधाजनक संरचनामा रूपान्तरण गर्न आवश्यक छ। उदाहरणले यसको लागि मानक प्रकार्य प्रयोग गर्दछ tomap। प्रयोग गर्नुको सट्टा tomap तपाईं आफ्नो कार्य लेख्न सक्नुहुन्छ। उदाहरण को लागी, हामी एक क्षेत्र पुन: नामाकरण गर्न चाहन्छौं name, क्षेत्र पास नगर्नुहोस् code र फिल्ड थप्नुहोस् comment:

local function unflatten_goods(tuple)
    local obj = {}
    obj.id = tuple.id
    obj.goods_name = tuple.name
    obj.comment = 'some comment'
    obj.row_ver = tuple.row_ver
    return obj
end

आउटपुट डेटाको पृष्ठ आकार (एउटा भागमा रेकर्डहरूको संख्या) चर द्वारा निर्धारण गरिन्छ। page_size। उदाहरणमा मान page_size 5 हो। वास्तविक कार्यक्रममा, पृष्ठको आकार सामान्यतया बढी महत्त्वपूर्ण हुन्छ। यो स्पेस टपल को औसत आकार मा निर्भर गर्दछ। इष्टतम पृष्ठ आकार डेटा स्थानान्तरण समय मापन गरेर अनुभवात्मक रूपमा निर्धारण गर्न सकिन्छ। पृष्ठको आकार जति ठूलो हुन्छ, पठाउने र प्राप्त गर्ने पक्षहरू बीचको राउन्डट्रिप्सको संख्या त्यति नै सानो हुन्छ। यस तरिकाले तपाइँ परिवर्तनहरू डाउनलोड गर्नको लागि समग्र समय कम गर्न सक्नुहुन्छ। यद्यपि, यदि पृष्ठ आकार धेरै ठूलो छ भने, हामी नमूनालाई क्रमबद्ध गर्न सर्भरमा धेरै लामो समय खर्च गर्नेछौं। फलस्वरूप, सर्भरमा आउने अन्य अनुरोधहरू प्रशोधन गर्न ढिलाइ हुन सक्छ। प्यारामिटर page_size कन्फिगरेसन फाइलबाट लोड गर्न सकिन्छ। प्रत्येक प्रसारित ठाउँको लागि, तपाइँ यसको आफ्नै मान सेट गर्न सक्नुहुन्छ। यद्यपि, धेरैजसो ठाउँहरूको लागि पूर्वनिर्धारित मान (उदाहरणका लागि, १००) उपयुक्त हुन सक्छ।

कार्य कार्यान्वयन गरौं get_goods:

tarantool> get_goods(0)

---
- - row_ver: 1
    code: 123
    name: pen
    id: 1
  - row_ver: 2
    code: 321
    name: pencil
    id: 2
  - row_ver: 3
    code: 100
    name: brush
    id: 3
  - row_ver: 4
    code: 456
    name: watercolour
    id: 4
  - row_ver: 5
    code: 101
    name: album
    id: 5
...

फिल्ड मान लिनुहोस् row_ver अन्तिम लाइनबाट र प्रकार्यलाई फेरि कल गर्नुहोस्:

tarantool> get_goods(5)

---
- - row_ver: 6
    code: 800
    name: notebook
    id: 6
  - row_ver: 7
    code: 531
    name: rubber
    id: 7
  - row_ver: 8
    code: 135
    name: ruler
    id: 8
...

फेरी पनि:

tarantool> get_goods(8)
---
- []
...

तपाईले देख्न सक्नुहुन्छ, जब यस तरिकाले प्रयोग गरिन्छ, प्रकार्यले पृष्ठद्वारा सबै स्पेस रेकर्ड पृष्ठ फर्काउँछ goods। अन्तिम पृष्ठ एक खाली चयन द्वारा पछ्याइएको छ।

स्पेसमा परिवर्तन गरौं:

box.space.goods:update(4, {{'=', 6, 'copybook'}})
box.space.goods:insert{nil, 'clip', 234}
box.space.goods:insert{nil, 'folder', 432}

हामीले फिल्ड मान परिवर्तन गरेका छौं name एउटा प्रविष्टिको लागि र दुई नयाँ प्रविष्टिहरू थपियो।

अन्तिम प्रकार्य कल दोहोर्याउनुहोस्:

tarantool> get_goods(8)
---



- - row_ver: 9
    code: 800
    name: copybook
    id: 6
  - row_ver: 10
    code: 234
    name: clip
    id: 9
  - row_ver: 11
    code: 432
    name: folder
    id: 10
...

प्रकार्यले परिवर्तन र थपिएको रेकर्ड फिर्ता गर्यो। त्यसैले समारोह get_goods तपाइँलाई डेटा प्राप्त गर्न अनुमति दिन्छ जुन यसको अन्तिम कल पछि परिवर्तन भएको छ, जुन विचाराधीन प्रतिकृति विधिको आधार हो।

हामी यस लेखको दायरा बाहिर JSON को रूपमा HTTP मार्फत परिणामहरू जारी गर्न छोड्नेछौं। तपाईं यस बारे यहाँ पढ्न सक्नुहुन्छ: https://habr.com/ru/company/mailru/blog/272141/

ग्राहक/दास भागको कार्यान्वयन

प्राप्त पक्षको कार्यान्वयन कस्तो देखिन्छ हेरौं। डाउनलोड गरिएको डाटा भण्डारण गर्नको लागि प्राप्त पक्षमा एउटा ठाउँ सिर्जना गरौं:

box.schema.space.create('goods', {
    format = {
        {
            name = 'id',
            type = 'unsigned'

        },
        {
            name = 'name',
            type = 'string'

        },
        {
            name = 'code',
            type = 'unsigned'

        }
    },
    if_not_exists = true
})

box.space.goods:create_index('primary', {
    parts = { 'id' },
    sequence = 'goods_id',
    unique = true,
    type = 'HASH',
    if_not_exists = true
})

स्पेसको संरचना स्रोतमा स्पेसको संरचनासँग मिल्दोजुल्दो छ। तर हामीले प्राप्त डाटालाई कतै पनि पास गर्ने छैनौं, स्तम्भ row_ver प्रापकको ठाउँमा छैन। फिल्डमा id स्रोत पहिचानकर्ताहरू रेकर्ड गरिनेछ। त्यसकारण, रिसीभर पक्षमा यसलाई स्वत: वृद्धि गर्न आवश्यक छैन।

थप रूपमा, हामीलाई मानहरू बचत गर्न ठाउँ चाहिन्छ row_ver:

box.schema.space.create('row_ver', {
    format = {
        {
            name = 'space_name',
            type = 'string'

        },
        {
            name = 'value',
            type = 'string'

        }
    },
    if_not_exists = true
})

box.space.row_ver:create_index('primary', {
    parts = { 'space_name' },
    unique = true,
    type = 'HASH',
    if_not_exists = true
})

प्रत्येक लोड गरिएको ठाउँको लागि (फिल्ड space_name) हामी यहाँ अन्तिम लोड गरिएको मान बचत गर्नेछौं row_ver (फिल्ड value)। स्तम्भले प्राथमिक कुञ्जीको रूपमा कार्य गर्दछ space_name.

स्पेस डाटा लोड गर्न एउटा प्रकार्य सिर्जना गरौं goods HTTP मार्फत। यो गर्नको लागि, हामीलाई HTTP क्लाइन्ट लागू गर्ने पुस्तकालय चाहिन्छ। निम्न रेखाले पुस्तकालय लोड गर्छ र HTTP क्लाइन्टलाई इन्स्ट्यान्टियट गर्छ:

local http_client = require('http.client').new()

हामीलाई json deserialization को लागी एक पुस्तकालय पनि चाहिन्छ:

local json = require('json')

यो डाटा लोडिङ प्रकार्य सिर्जना गर्न पर्याप्त छ:

local function load_data(url, row_ver)
    local url = ('%s?rowVer=%s'):format(url,
        tostring(row_ver))
    local body = nil
    local data = http_client:request('GET', url, body, {
        keepalive_idle =  1,
        keepalive_interval = 1
    })
    return json.decode(data.body)
end

प्रकार्यले url ठेगानामा HTTP अनुरोध कार्यान्वयन गर्छ र पठाउँछ row_ver प्यारामिटरको रूपमा र अनुरोधको deserialized परिणाम फर्काउँछ।

प्राप्त डाटा बचत गर्न को लागी प्रकार्य यस्तो देखिन्छ:

local function save_goods(goods)
    local n = #goods
    box.atomic(function()
        for i = 1, n do
            local obj = goods[i]
            box.space.goods:put(
                obj.id, obj.name, obj.code)
        end
    end)
end

स्पेसमा डाटा बचत गर्ने चक्र goods लेनदेनमा राखिएको छ (यसको लागि प्रकार्य प्रयोग गरिन्छ box.atomic) डिस्क सञ्चालनको संख्या कम गर्न।

अन्तमा, स्थानीय स्पेस सिंक्रोनाइजेसन प्रकार्य goods स्रोतको साथ तपाईले यसलाई यसरी कार्यान्वयन गर्न सक्नुहुन्छ:

local function sync_goods()
    local tuple = box.space.row_ver:get('goods')
    local row_ver = tuple and tuple.value or 0

    —— set your url here:
    local url = 'http://127.0.0.1:81/test/goods/list'

    while true do
        local goods = load_goods(url, row_ver)

        local count = #goods
        if count == 0 then
            return
        end

        save_goods(goods)

        row_ver = goods[count].rowVer
        box.space.row_ver:put({'goods', row_ver})
    end
end

पहिले हामी पहिले बचत गरिएको मान पढ्छौं row_ver ठाउँ को लागी goods। यदि यो हराइरहेको छ (पहिलो विनिमय सत्र), त्यसपछि हामी यसलाई रूपमा लिन्छौं row_ver शून्य अर्को चक्रमा हामी निर्दिष्ट url मा स्रोतबाट परिवर्तन गरिएको डाटाको पृष्ठ-द्वारा-पृष्ठ डाउनलोड गर्छौं। प्रत्येक पुनरावृत्तिमा, हामी उपयुक्त स्थानीय ठाउँमा प्राप्त डाटा बचत गर्छौं र मान अपडेट गर्छौं row_ver (स्पेस मा row_ver र चर मा row_ver) - मान लिनुहोस् row_ver लोड गरिएको डाटाको अन्तिम लाइनबाट।

आकस्मिक लुपिङ (कार्यक्रममा त्रुटिको अवस्थामा) बाट जोगाउनको लागि, लूप while द्वारा प्रतिस्थापन गर्न सकिन्छ for:

for _ = 1, max_req do ...

कार्य कार्यान्वयनको परिणाम स्वरूप sync_goods ठाउँ goods प्राप्तकर्ताले सबै स्पेस रेकर्डहरूको नवीनतम संस्करणहरू समावेश गर्नेछ goods स्रोत मा।

जाहिर छ, डाटा मेटाउने यस तरीकाले प्रसारण गर्न सकिँदैन। यदि यस्तो आवश्यकता अवस्थित छ भने, तपाइँ मेटाउने चिन्ह प्रयोग गर्न सक्नुहुन्छ। स्पेसमा थप्नुहोस् goods बुलियन क्षेत्र is_deleted र भौतिक रूपमा रेकर्ड मेटाउनुको सट्टा, हामी तार्किक मेटाउने प्रयोग गर्छौं - हामीले फिल्ड मान सेट गर्छौं is_deleted अर्थ मा true। कहिलेकाहीँ बुलियन क्षेत्रको सट्टा is_deleted यो क्षेत्र प्रयोग गर्न थप सुविधाजनक छ deleted, जसले रेकर्डको तार्किक मेटाउने मिति-समय भण्डार गर्दछ। तार्किक मेटाउने कार्य गरेपछि, मेटाउनको लागि चिन्ह लगाइएको रेकर्ड स्रोतबाट गन्तव्यमा स्थानान्तरण गरिनेछ (माथि छलफल गरिएको तर्क अनुसार)।

अनुक्रम row_ver अन्य स्पेसबाट डाटा ट्रान्समिट गर्न प्रयोग गर्न सकिन्छ: प्रत्येक ट्रान्समिटेड स्पेसको लागि छुट्टै अनुक्रम सिर्जना गर्न आवश्यक छैन।

हामीले Tarantool DBMS प्रयोग गरेर अनुप्रयोगहरूमा उच्च-स्तरको डेटा प्रतिकृतिको प्रभावकारी तरिका हेर्यौं।

निष्कर्ष

Tarantool DBMS उच्च-लोड अनुप्रयोगहरू सिर्जना गर्नको लागि एक आकर्षक, आशाजनक उत्पादन हो।
उच्च-स्तर डेटा प्रतिकृतिमा निम्न-स्तर प्रतिकृति भन्दा धेरै फाइदाहरू छन्।
लेखमा छलफल गरिएको उच्च-स्तरको प्रतिकृति विधिले तपाईंलाई अन्तिम विनिमय सत्रदेखि परिवर्तन भएका रेकर्डहरू मात्र स्थानान्तरण गरेर स्थानान्तरण गरिएको डाटाको मात्रा कम गर्न अनुमति दिन्छ।

स्रोत: www.habr.com

Tarantool DBMS मा उच्च-स्तर प्रतिकृति

ट्राफिक न्यूनीकरण

पङ्क्ति संस्करण काउन्टर प्रयोग गरेर डाटा पास गर्दै

सर्भर/मास्टर भागको कार्यान्वयन

ग्राहक/दास भागको कार्यान्वयन

निष्कर्ष

एक टिप्पणी थप्न Отменить ответ