Tarantool डाटा ग्रिड को वास्तुकला र क्षमताहरु

2017 मा, हामीले Alfa-Bank को लगानी व्यवसायको लेनदेन कोर विकास गर्न प्रतियोगिता जित्यौं र काम सुरु गर्‍यौं (HighLoad++ 2018 मा लगानी व्यवसायको मूल बारे रिपोर्ट सहित। प्रदर्शन गरियो व्लादिमिर ड्रिनकिन, अल्फा बैंकको लगानी व्यवसायको लेनदेन कोरको प्रमुख)। यस प्रणालीले विभिन्न स्रोतहरूबाट विभिन्न ढाँचाहरूमा समग्र लेनदेन डाटा, डाटालाई एकीकृत रूपमा ल्याउन, भण्डारण र पहुँच प्रदान गर्ने थियो।

विकास प्रक्रियाको बखत, प्रणाली विकसित भयो र कार्यक्षमता प्राप्त गर्यो, र केहि बिन्दुमा हामीले महसुस गर्यौं कि हामीले कार्यहरूको कडा परिभाषित दायरा समाधान गर्न सिर्जना गरिएको एप्लिकेसन सफ्टवेयर भन्दा धेरै चीजहरू क्रिस्टलाइज गरिरहेका छौं: हामी सफल भयौं। निरन्तर भण्डारणको साथ वितरित अनुप्रयोगहरू निर्माण गर्न प्रणाली। हामीले प्राप्त गरेको अनुभवले नयाँ उत्पादनको आधार बनायो - Tarantool डाटा ग्रिड (TDG)।

म TDG आर्किटेक्चर र विकास प्रक्रियाको क्रममा हामीले आएका समाधानहरूको बारेमा कुरा गर्न चाहन्छु, तपाईंलाई मुख्य कार्यक्षमतामा परिचय गराउन चाहन्छु र कसरी हाम्रो उत्पादन पूर्ण समाधानहरू निर्माणको लागि आधार बन्न सक्छ भनेर देखाउन चाहन्छु।

वास्तुगत रूपमा, हामीले प्रणालीलाई अलग-अलग मा विभाजित गर्यौं भूमिकाहरू, जसमध्ये प्रत्येक समस्याको निश्चित दायरा समाधान गर्न जिम्मेवार छ। एकल चलिरहेको अनुप्रयोग उदाहरणले एक वा बढी भूमिका प्रकारहरू लागू गर्दछ। क्लस्टरमा एउटै प्रकारका धेरै भूमिकाहरू हुन सक्छन्:

योजक

कनेक्टर बाहिरी संसारसँग सञ्चारको लागि जिम्मेवार छ; यसको कार्य अनुरोध स्वीकार गर्ने, यसलाई पार्स गर्ने, र यदि यो सफल भयो भने, इनपुट प्रोसेसरमा प्रशोधनका लागि डाटा पठाउनुहोस्। हामी HTTP, SOAP, Kafka, FIX ढाँचाहरूलाई समर्थन गर्छौं। आर्किटेक्चरले तपाईंलाई नयाँ ढाँचाहरूको लागि समर्थन थप्न अनुमति दिन्छ, IBM MQ का लागि समर्थन छिट्टै आउँदैछ। यदि अनुरोध पार्सिङ असफल भयो भने, कनेक्टरले त्रुटि फर्काउनेछ; अन्यथा, यसले अनुरोधलाई सफलतापूर्वक प्रशोधन गरिएको थियो भनी प्रतिक्रिया दिनेछ, भले पनि यसको थप प्रशोधनको क्रममा त्रुटि भयो। यो विशेष गरी अनुरोधहरू दोहोर्याउने तरिका थाहा नभएका प्रणालीहरूसँग काम गर्नको लागि गरिएको थियो - वा, यसको विपरित, यो धेरै लगातार गर्नुहोस्। डाटा गुमाउन को लागी, एक मर्मत लाम प्रयोग गरिन्छ: वस्तु पहिले यो मा जान्छ र मात्र सफल प्रशोधन पछि हटाइएको छ। प्रशासकले मर्मत लाममा बाँकी रहेका वस्तुहरूको बारेमा अलर्टहरू प्राप्त गर्न सक्छ, र सफ्टवेयर त्रुटि वा हार्डवेयर विफलता मेटाएपछि, पुन: प्रयास गर्नुहोस्।

इनपुट प्रोसेसर

इनपुट प्रोसेसरले प्राप्त डाटालाई विशेषता सुविधाहरू अनुसार वर्गीकरण गर्दछ र उपयुक्त प्रोसेसरहरू कल गर्दछ। ह्यान्डलरहरू लुआ कोड हुन् जुन स्यान्डबक्समा चल्छ, त्यसैले तिनीहरूले प्रणालीको कार्यलाई असर गर्न सक्दैनन्। यस चरणमा, डेटा आवश्यक फारममा घटाउन सकिन्छ, र आवश्यक भएमा, आवश्यक तर्क लागू गर्न सक्ने कार्यहरूको मनमानी संख्या सुरु गर्न सकिन्छ। उदाहरणका लागि, Tarantool डाटा ग्रिडमा निर्मित MDM (मास्टर डाटा म्यानेजमेन्ट) उत्पादनमा, नयाँ प्रयोगकर्ता थप्दा, अनुरोधको प्रक्रियालाई ढिलो नगर्नको लागि, हामी छुट्टै कार्यको रूपमा सुनौलो रेकर्डको सिर्जना सुरु गर्छौं। स्यान्डबक्सले डेटा पढ्ने, परिवर्तन गर्न र थप्नका लागि अनुरोधहरूलाई समर्थन गर्दछ, तपाईंलाई भण्डारण प्रकार र परिणामको एकत्रीकरण (नक्सा/कम) को सबै भूमिकाहरूमा केही कार्य गर्न अनुमति दिन्छ।

ह्यान्डलरहरूलाई फाइलहरूमा वर्णन गर्न सकिन्छ:

sum.lua

local x, y = unpack(...)
return x + y

र त्यसपछि, कन्फिगरेसनमा घोषित:

functions:
  sum: { __file: sum.lua }

किन लुआ? लुआ एक धेरै सरल भाषा हो। हाम्रो अनुभवको आधारमा, यो थाहा पाएको केही घण्टा पछि, मानिसहरूले आफ्नो समस्या समाधान गर्ने कोड लेख्न थाल्छन्। र यी पेशेवर विकासकर्ताहरू मात्र होइन, तर, उदाहरणका लागि, विश्लेषकहरू। थप रूपमा, जीत कम्पाइलरलाई धन्यवाद, लुआ धेरै छिटो चल्छ।

भण्डारण

भण्डारणले निरन्तर डाटा भण्डारण गर्दछ। बचत गर्नु अघि, डाटा डेटा स्किमा विरुद्ध मान्य हुन्छ। सर्किट वर्णन गर्न हामी विस्तारित ढाँचा प्रयोग गर्दछौं Apache Avro। उदाहरण:

{
    "name": "User",
    "type": "record",
    "logicalType": "Aggregate",
    "fields": [ 
        { "name": "id", "type": "string"}, 
        {"name": "first_name", "type": "string"}, 
        {"name": "last_name", "type": "string"} 
    ], 
    "indexes": ["id"] 
}

यस विवरणको आधारमा, DDL (डेटा परिभाषा भाषा) स्वचालित रूपमा Tarantula DBMS को लागि उत्पन्न हुन्छ र ग्राफिक डाटा पहुँचको लागि स्कीमा।

एसिन्क्रोनस डाटा प्रतिकृति समर्थित छ (त्यहाँ सिंक्रोनस थप्ने योजनाहरू छन्)।

आउटपुट प्रोसेसर

कहिलेकाहीँ नयाँ डेटाको आगमनको बारेमा बाह्य उपभोक्ताहरूलाई सूचित गर्न आवश्यक छ; यस उद्देश्यको लागि, त्यहाँ आउटपुट प्रोसेसर भूमिका छ। डाटा बचत गरेपछि, यो सम्बन्धित ह्यान्डलरलाई पास गर्न सकिन्छ (उदाहरणका लागि, यसलाई उपभोक्ताले आवश्यक फारममा ल्याउन) - र त्यसपछि पठाउनको लागि कनेक्टरमा पठाइयो। एक मर्मत लाम यहाँ पनि प्रयोग गरिन्छ: यदि कसैले वस्तु स्वीकार गरेन भने, प्रशासकले पछि पुन: प्रयास गर्न सक्छ।

स्केलिंग

कनेक्टर, इनपुट प्रोसेसर, र आउटपुट प्रोसेसर भूमिकाहरू राज्यविहीन छन्, हामीलाई आवश्यक भूमिका प्रकार सक्षम गरिएको नयाँ अनुप्रयोग उदाहरणहरू थपेर प्रणाली तेर्सो रूपमा मापन गर्न अनुमति दिन्छ। भण्डारण तेर्सो मापनको लागि प्रयोग गरिन्छ एक दृष्टिकोण भर्चुअल बकेटहरू प्रयोग गरेर क्लस्टर व्यवस्थित गर्न। नयाँ सर्भर थपेपछि, पुरानो सर्भरबाट केही बाल्टीहरू पृष्ठभूमिमा नयाँ सर्भरमा सारियो; यो पारदर्शी रूपमा प्रयोगकर्ताहरूलाई हुन्छ र सम्पूर्ण प्रणालीको सञ्चालनलाई असर गर्दैन।

डाटा गुण

वस्तुहरू धेरै ठूला हुन सक्छन् र अन्य वस्तुहरू समावेश हुन सक्छन्। हामी एउटै भर्चुअल बाल्टीमा सबै निर्भरताहरूसँग वस्तु भण्डारण गरेर डाटा थप्ने र अद्यावधिक गर्ने परमाणु सुनिश्चित गर्छौं। यसले वस्तुलाई धेरै भौतिक सर्भरहरूमा "फैलिएको" हुनबाट रोक्छ।

संस्करण समर्थन गरिएको छ: वस्तुको प्रत्येक अद्यावधिकले नयाँ संस्करण सिर्जना गर्दछ, र हामी सधैं समयको टुक्रा लिन सक्छौं र संसार त्यसबेला कस्तो देखिन्छ भनेर हेर्न सक्छौं। लामो इतिहासको आवश्यकता पर्दैन भन्ने डेटाको लागि, हामी संस्करणहरूको संख्या सीमित गर्न सक्छौं वा एउटा मात्र भण्डारण गर्न सक्छौं - पछिल्लो एक - त्यो हो, निश्चित प्रकारको लागि अनिवार्य रूपमा संस्करण असक्षम गर्नुहोस्। तपाईं समय द्वारा इतिहास पनि सीमित गर्न सक्नुहुन्छ: उदाहरण को लागी, 1 वर्ष भन्दा पुरानो एक निश्चित प्रकार को सबै वस्तुहरु मेटाउनुहोस्। अभिलेख पनि समर्थित छ: हामी क्लस्टरमा ठाउँ खाली गर्दै, निर्दिष्ट समय भन्दा पुराना वस्तुहरू अनलोड गर्न सक्छौं।

कार्यहरू

चाखलाग्दो सुविधाहरू मध्ये, यो समय तालिकामा कार्यहरू सुरू गर्ने क्षमता, प्रयोगकर्ताको अनुरोधमा, वा स्यान्डबक्सबाट प्रोग्रामेटिक रूपमा ध्यान दिन लायक छ:

यहाँ हामी अर्को भूमिका देख्छौं - धावक। यो भूमिका राज्यविहीन छ, र यस भूमिकाको साथमा थप अनुप्रयोग उदाहरणहरू आवश्यकता अनुसार क्लस्टरमा थप्न सकिन्छ। धावकको जिम्मेवारी कार्यहरू पूरा गर्नु हो। उल्लेख गरिए अनुसार, स्यान्डबक्सबाट नयाँ कार्यहरू उत्पन्न गर्न सम्भव छ; तिनीहरू भण्डारणमा लाममा सुरक्षित हुन्छन् र त्यसपछि रनरमा कार्यान्वयन गरिन्छ। यस प्रकारको कार्यलाई काम भनिन्छ। हामीसँग टास्क नामक कार्य प्रकार पनि छ - यी प्रयोगकर्ता-परिभाषित कार्यहरू हुन् जुन तालिकामा (क्रोन सिन्ट्याक्स प्रयोग गरेर) वा मागमा चल्छन्। त्यस्ता कार्यहरू सुरु गर्न र ट्र्याक गर्न, हामीसँग सुविधाजनक कार्य प्रबन्धक छ। यो कार्यक्षमता उपलब्ध हुनको लागि, तपाईंले अनुसूचक भूमिका सक्षम गर्नुपर्छ; यस भूमिकाको राज्य छ, त्यसैले यो मापन गर्दैन, तथापि, आवश्यक छैन; एकै समयमा, अन्य सबै भूमिकाहरू जस्तै, यसमा एक प्रतिकृति हुन सक्छ जुन काम गर्न थाल्छ यदि मास्टरले अचानक अस्वीकार गरे।

लगर

अर्को भूमिकालाई लगर भनिन्छ। यसले क्लस्टरका सबै सदस्यहरूबाट लगहरू सङ्कलन गर्दछ र तिनीहरूलाई वेब इन्टरफेस मार्फत अपलोड र हेर्नको लागि इन्टरफेस प्रदान गर्दछ।

सेवाहरू

यो प्रणालीले सेवाहरू सिर्जना गर्न सजिलो बनाउँछ भन्ने उल्लेखनीय छ। कन्फिगरेसन फाइलमा, तपाईंले स्यान्डबक्समा चल्ने प्रयोगकर्ता-लिखित ह्यान्डलरलाई कुन अनुरोधहरू पठाइन्छ भनेर निर्दिष्ट गर्न सक्नुहुन्छ। यस ह्यान्डलरमा, तपाइँ, उदाहरणका लागि, केहि प्रकारको विश्लेषणात्मक क्वेरी चलाउन र परिणाम फर्काउन सक्नुहुन्छ।

सेवा कन्फिगरेसन फाइलमा वर्णन गरिएको छ:

services:
   sum:
      doc: "adds two numbers"
      function: sum
      return_type: int
      args:
         x: int
         y: int

GraphQL API स्वचालित रूपमा उत्पन्न हुन्छ र सेवा कलको लागि उपलब्ध हुन्छ:

query {
   sum(x: 1, y: 2) 
}

यसले ह्यान्डलरलाई कल गर्नेछ sumजसले परिणाम फर्काउनेछ:

3

क्वेरी प्रोफाइलिङ र मेट्रिक्स

प्रणालीको सञ्चालन र प्रोफाइलिङ अनुरोधहरू बुझ्नको लागि, हामीले OpenTracing प्रोटोकलको लागि समर्थन लागू गर्यौं। प्रणालीले यस प्रोटोकललाई समर्थन गर्ने उपकरणहरूमा मागमा जानकारी पठाउन सक्छ, जस्तै Zipkin, जसले तपाईंलाई अनुरोध कसरी कार्यान्वयन गरियो भनेर बुझ्न अनुमति दिनेछ:

स्वाभाविक रूपमा, प्रणालीले आन्तरिक मेट्रिक्स प्रदान गर्दछ जुन प्रोमेथियस प्रयोग गरेर सङ्कलन गर्न सकिन्छ र Grafana प्रयोग गरेर भिजुअलाइज गर्न सकिन्छ।

तैनाथ गर्नुहोस्

Tarantool डाटा ग्रिड RPM प्याकेज वा अभिलेखबाट डिप्लोय गर्न सकिन्छ, वितरण वा Ansible बाट उपयोगिता प्रयोग गरेर, त्यहाँ Kubernetes को लागि समर्थन पनि छ (Tarantool Kubernetes अपरेटर).

व्यापार तर्क (कन्फिगरेसन, ह्यान्डलरहरू) लागू गर्ने एप्लिकेसनलाई UI मार्फत अभिलेखको रूपमा वा हामीद्वारा प्रदान गरिएको API मार्फत लिपि प्रयोग गरी तैनात गरिएको Tarantool डेटा ग्रिड क्लस्टरमा लोड गरिन्छ।

नमूना आवेदनहरू

Tarantool डाटा ग्रिड प्रयोग गरेर कुन अनुप्रयोगहरू सिर्जना गर्न सकिन्छ? वास्तवमा, धेरैजसो व्यापार कार्यहरू कुनै न कुनै रूपमा डाटा प्रवाह प्रशोधन, भण्डारण र पहुँचसँग सम्बन्धित छन्। तसर्थ, यदि तपाईंसँग डेटाको ठूला स्ट्रिमहरू छन् जुन सुरक्षित रूपमा भण्डारण र पहुँच गर्न आवश्यक छ भने, हाम्रो उत्पादनले तपाईंको विकासको धेरै समय बचत गर्न सक्छ र तपाईंको व्यापार तर्कमा ध्यान केन्द्रित गर्न सक्छ।

उदाहरणका लागि, हामी घर जग्गा बजारको बारेमा जानकारी सङ्कलन गर्न चाहन्छौं, ताकि भविष्यमा, उदाहरणका लागि, हामीसँग उत्कृष्ट प्रस्तावहरूको बारेमा जानकारी हुनेछ। यस अवस्थामा, हामी निम्न कार्यहरू हाइलाइट गर्नेछौं:

1. खुला स्रोतहरूबाट जानकारी सङ्कलन गर्ने रोबोटहरू हाम्रा डाटा स्रोतहरू हुनेछन्। तपाईंले तयार समाधान वा कुनै पनि भाषामा कोड लेखेर यो समस्या समाधान गर्न सक्नुहुन्छ।
2. अर्को, Tarantool डाटा ग्रिडले डाटा स्वीकार र बचत गर्नेछ। यदि विभिन्न स्रोतहरूबाट डाटा ढाँचा फरक छ भने, त्यसपछि तपाईंले एकल ढाँचामा रूपान्तरण गर्ने लुआमा कोड लेख्न सक्नुहुन्छ। पूर्व-प्रशोधन चरणमा, तपाईं पनि सक्षम हुनुहुनेछ, उदाहरणका लागि, डुप्लिकेट प्रस्तावहरू फिल्टर गर्न वा डाटाबेसमा बजारमा काम गर्ने एजेन्टहरू बारे जानकारी अपडेट गर्न।
3. अब तपाईंसँग क्लस्टरमा स्केलेबल समाधान छ जुन डाटाले भर्न सकिन्छ र डाटा चयनहरू गर्न सकिन्छ। त्यसोभए तपाईले नयाँ कार्यक्षमता लागू गर्न सक्नुहुन्छ, उदाहरणका लागि, डेटाको लागि अनुरोध गर्ने सेवा लेख्नुहोस् र प्रति दिन सबैभन्दा लाभदायक प्रस्ताव दिनेछ - यसले कन्फिगरेसन फाइलमा केही लाइनहरू र थोरै लुआ कोड चाहिन्छ।

के अर्को छ?

विकासको सहजतालाई प्रयोग गरेर सुधार गर्नु हाम्रो प्राथमिकता हो Tarantool डाटा ग्रिड। उदाहरणका लागि, यो स्यान्डबक्समा चलिरहेको प्रोफाइलिङ र डिबग ह्यान्डलरहरूको लागि समर्थन भएको IDE हो।

हामी सुरक्षा मामिलाहरूमा पनि धेरै ध्यान दिन्छौं। अहिले हामी सुरक्षाको उच्च स्तरको पुष्टि गर्न र व्यक्तिगत डेटा सूचना प्रणाली र सरकारी सूचना प्रणालीहरूमा प्रयोग हुने सफ्टवेयर उत्पादनहरूको प्रमाणीकरणका लागि आवश्यकताहरू पूरा गर्न रूसको FSTEC द्वारा प्रमाणीकरणबाट गुज्रिरहेका छौं।

स्रोत: www.habr.com