टारनटूल डेटा ग्रिडची आर्किटेक्चर आणि क्षमता

2017 मध्ये, आम्‍ही अल्फा-बँकेच्‍या गुंतवणुकीच्‍या व्‍यवसायाचा व्‍यवहार केंद्र विकसित करण्‍यासाठी एक स्‍पर्धा जिंकली आणि कामाला सुरुवात केली (HighLoad++ 2018 वर गुंतवणूक व्‍यवसायाच्या गाभ्‍यावरील अहवालासह सादर केले व्लादिमीर ड्रिनकिन, अल्फा बँकेच्या गुंतवणूक व्यवसायाच्या व्यवहाराचे प्रमुख). या प्रणालीने विविध स्त्रोतांकडून विविध स्वरूपातील व्यवहार डेटा एकत्रित करणे, डेटा एकत्रित स्वरूपात आणणे, तो संग्रहित करणे आणि त्यात प्रवेश प्रदान करणे अपेक्षित होते.

विकास प्रक्रियेदरम्यान, प्रणाली विकसित झाली आणि कार्यक्षमता प्राप्त केली, आणि काही क्षणी आम्हाला असे जाणवले की आम्ही कार्यांच्या काटेकोरपणे परिभाषित श्रेणीचे निराकरण करण्यासाठी तयार केलेल्या अनुप्रयोग सॉफ्टवेअरपेक्षा बरेच काही स्फटिक करत आहोत: आम्ही यशस्वी झालो पर्सिस्टंट स्टोरेजसह वितरित अनुप्रयोग तयार करण्यासाठी सिस्टम. आम्हाला मिळालेला अनुभव नवीन उत्पादनाचा आधार बनला - टारंटूल डेटा ग्रिड (TDG).

मला TDG आर्किटेक्चर आणि विकास प्रक्रियेदरम्यान आम्हाला मिळालेल्या उपायांबद्दल बोलायचे आहे, तुम्हाला मुख्य कार्यक्षमतेची ओळख करून द्यायची आहे आणि आमचे उत्पादन पूर्ण समाधाने तयार करण्यासाठी आधार कसा बनू शकतो हे दर्शवू इच्छितो.

वास्तुशास्त्रीयदृष्ट्या, आम्ही सिस्टमला स्वतंत्रपणे विभागले भूमिका, ज्यापैकी प्रत्येक समस्या विशिष्ट श्रेणीचे निराकरण करण्यासाठी जबाबदार आहे. एकल चालू अनुप्रयोग उदाहरण एक किंवा अधिक भूमिका प्रकार लागू करते. क्लस्टरमध्ये एकाच प्रकारच्या अनेक भूमिका असू शकतात:

कनेक्टर

कनेक्टर बाह्य जगाशी संप्रेषणासाठी जबाबदार आहे; त्याचे कार्य विनंती स्वीकारणे, त्याचे विश्लेषण करणे आणि हे यशस्वी झाल्यास, प्रक्रिया करण्यासाठी डेटा इनपुट प्रोसेसरला पाठवणे. आम्ही HTTP, SOAP, Kafka, FIX फॉरमॅटला सपोर्ट करतो. आर्किटेक्चर तुम्हाला नवीन फॉरमॅटसाठी समर्थन जोडण्याची परवानगी देते, IBM MQ साठी समर्थन लवकरच येत आहे. विनंती पार्स करणे अयशस्वी झाल्यास, कनेक्टर त्रुटी परत करेल; अन्यथा, ते प्रतिसाद देईल की विनंतीवर यशस्वीरित्या प्रक्रिया केली गेली, जरी त्याच्या पुढील प्रक्रियेदरम्यान त्रुटी आली. हे विशेषतः अशा सिस्टमसह कार्य करण्यासाठी केले गेले होते ज्यांना विनंतीची पुनरावृत्ती कशी करावी हे माहित नाही - किंवा त्याउलट, ते खूप चिकाटीने करा. डेटा गमावू नये म्हणून, दुरुस्तीची रांग वापरली जाते: ऑब्जेक्ट प्रथम त्यात प्रवेश करते आणि यशस्वी प्रक्रिया केल्यानंतरच त्यातून काढून टाकले जाते. प्रशासकास दुरुस्तीच्या रांगेत उरलेल्या वस्तूंबद्दल सूचना प्राप्त होऊ शकतात आणि सॉफ्टवेअर त्रुटी किंवा हार्डवेअर अपयश दूर केल्यानंतर, पुन्हा प्रयत्न करा.

इनपुट प्रोसेसर

इनपुट प्रोसेसर वैशिष्ट्यपूर्ण वैशिष्ट्यांनुसार प्राप्त डेटाचे वर्गीकरण करतो आणि योग्य प्रोसेसर कॉल करतो. हँडलर हे लुआ कोड आहेत जे सँडबॉक्समध्ये चालतात, त्यामुळे ते सिस्टमच्या कार्यावर परिणाम करू शकत नाहीत. या टप्प्यावर, डेटा आवश्यक स्वरूपात कमी केला जाऊ शकतो आणि आवश्यक असल्यास, अनियंत्रित कार्ये सुरू केली जाऊ शकतात जी आवश्यक तर्क लागू करू शकतात. उदाहरणार्थ, टॅरनटूल डेटा ग्रिडवर तयार केलेल्या MDM (मास्टर डेटा मॅनेजमेंट) उत्पादनामध्ये, नवीन वापरकर्ता जोडताना, विनंतीची प्रक्रिया मंद होऊ नये म्हणून, आम्ही स्वतंत्र कार्य म्हणून सुवर्ण रेकॉर्ड तयार करणे सुरू करतो. सँडबॉक्स डेटा वाचण्यासाठी, बदलण्यासाठी आणि जोडण्यासाठी विनंत्यांना समर्थन देतो, तुम्हाला स्टोरेज प्रकार आणि परिणामाच्या एकत्रीकरणाच्या सर्व भूमिकांवर काही कार्य करण्यास अनुमती देतो (नकाशा/कमी).

हँडलर्सचे फायलींमध्ये वर्णन केले जाऊ शकते:

sum.lua

local x, y = unpack(...)
return x + y

आणि नंतर, कॉन्फिगरेशनमध्ये घोषित केले:

functions:
  sum: { __file: sum.lua }

लुआ का? लुआ ही अतिशय सोपी भाषा आहे. आमच्या अनुभवावर आधारित, हे जाणून घेतल्यानंतर काही तासांनी, लोक त्यांच्या समस्येचे निराकरण करणारे कोड लिहू लागतात. आणि हे केवळ व्यावसायिक विकसक नाहीत, परंतु, उदाहरणार्थ, विश्लेषक. याव्यतिरिक्त, जीत कंपाइलरचे आभार, लुआ खूप लवकर चालते.

स्टोरेज

स्टोरेज सतत डेटा साठवते. सेव्ह करण्यापूर्वी, डेटा स्कीमाच्या विरूद्ध डेटा प्रमाणित केला जातो. सर्किटचे वर्णन करण्यासाठी आम्ही विस्तारित स्वरूप वापरतो Apache Avro. उदाहरणः

{
    "name": "User",
    "type": "record",
    "logicalType": "Aggregate",
    "fields": [ 
        { "name": "id", "type": "string"}, 
        {"name": "first_name", "type": "string"}, 
        {"name": "last_name", "type": "string"} 
    ], 
    "indexes": ["id"] 
}

या वर्णनावर आधारित, DDL (डेटा डेफिनिशन लँग्वेज) टॅरंटुला DBMS साठी आपोआप व्युत्पन्न होते आणि आलेख डेटा ऍक्सेससाठी स्कीमा.

असिंक्रोनस डेटा प्रतिकृती समर्थित आहे (सिंक्रोनस जोडण्याची योजना आहे).

आउटपुट प्रोसेसर

कधीकधी बाह्य ग्राहकांना नवीन डेटाच्या आगमनाबद्दल सूचित करणे आवश्यक असते; या हेतूसाठी, आउटपुट प्रोसेसरची भूमिका असते. डेटा जतन केल्यानंतर, तो संबंधित हँडलरकडे पाठविला जाऊ शकतो (उदाहरणार्थ, ग्राहकास आवश्यक असलेल्या फॉर्ममध्ये आणण्यासाठी) - आणि नंतर पाठविण्यासाठी कनेक्टरकडे पाठविला जाऊ शकतो. येथे दुरुस्तीची रांग देखील वापरली जाते: जर कोणीही ऑब्जेक्ट स्वीकारला नाही, तर प्रशासक नंतर पुन्हा प्रयत्न करू शकतो.

स्केलिंग

कनेक्टर, इनपुट प्रोसेसर आणि आउटपुट प्रोसेसर भूमिका स्टेटलेस आहेत, ज्यामुळे आम्हाला इच्छित भूमिका प्रकार सक्षम करून नवीन ऍप्लिकेशन उदाहरणे जोडून सिस्टमला क्षैतिजरित्या स्केल करण्याची परवानगी मिळते. क्षैतिज स्केलिंगसाठी स्टोरेजचा वापर केला जातो दृष्टिकोन आभासी बादल्या वापरून क्लस्टर आयोजित करणे. नवीन सर्व्हर जोडल्यानंतर, जुन्या सर्व्हरमधील काही बादल्या बॅकग्राउंडमध्ये नवीन सर्व्हरवर हलवल्या जातात; हे वापरकर्त्यांसाठी पारदर्शकपणे घडते आणि संपूर्ण सिस्टमच्या ऑपरेशनवर परिणाम करत नाही.

डेटा गुणधर्म

वस्तू खूप मोठ्या असू शकतात आणि त्यात इतर वस्तू असू शकतात. आम्ही एका आभासी बादलीमध्ये सर्व अवलंबनांसह ऑब्जेक्ट संचयित करून डेटा जोडणे आणि अद्यतनित करण्याच्या अणुत्वाची खात्री करतो. हे ऑब्जेक्टला अनेक भौतिक सर्व्हरवर "पसरण्यापासून" प्रतिबंधित करते.

व्हर्जनिंग समर्थित आहे: ऑब्जेक्टचे प्रत्येक अपडेट नवीन आवृत्ती तयार करते आणि आम्ही नेहमी वेळ काढू शकतो आणि तेव्हा जग कसे दिसत होते ते पाहू शकतो. दीर्घ इतिहासाची आवश्यकता नसलेल्या डेटासाठी, आम्ही आवृत्त्यांची संख्या मर्यादित करू शकतो किंवा फक्त एकच संग्रहित करू शकतो - नवीनतम - म्हणजे, विशिष्ट प्रकारासाठी अनिवार्यपणे आवृत्ती अक्षम करू. तुम्ही वेळेनुसार इतिहास मर्यादित देखील करू शकता: उदाहरणार्थ, 1 वर्षापेक्षा जुन्या विशिष्ट प्रकारच्या सर्व वस्तू हटवा. संग्रहण देखील समर्थित आहे: आम्ही क्लस्टरमध्ये जागा मोकळी करून, निर्दिष्ट वेळेपेक्षा जुन्या वस्तू अनलोड करू शकतो.

कार्ये

मनोरंजक वैशिष्ट्यांपैकी, शेड्यूलवर, वापरकर्त्याच्या विनंतीनुसार किंवा सँडबॉक्समधून प्रोग्रामेटिकपणे कार्ये लॉन्च करण्याची क्षमता लक्षात घेण्यासारखे आहे:

येथे आपण दुसरी भूमिका पाहतो - धावपटू. ही भूमिका स्टेटलेस आहे आणि आवश्यकतेनुसार या भूमिकेसह अतिरिक्त अनुप्रयोग उदाहरणे क्लस्टरमध्ये जोडली जाऊ शकतात. धावपटूची जबाबदारी कार्ये पूर्ण करणे आहे. नमूद केल्याप्रमाणे, सँडबॉक्समधून नवीन कार्ये व्युत्पन्न करणे शक्य आहे; ते स्टोरेजवर रांगेत सेव्ह केले जातात आणि नंतर रनरवर कार्यान्वित केले जातात. या प्रकारच्या कार्याला जॉब म्हणतात. आमच्याकडे टास्क नावाचा टास्क प्रकार देखील आहे - ही वापरकर्ता-परिभाषित कार्ये आहेत जी शेड्यूलनुसार (क्रॉन सिंटॅक्स वापरून) किंवा मागणीनुसार चालतात. अशा टास्क लाँच करण्यासाठी आणि ट्रॅक करण्यासाठी, आमच्याकडे सोयीस्कर टास्क मॅनेजर आहे. ही कार्यक्षमता उपलब्ध होण्यासाठी, तुम्ही शेड्युलर भूमिका सक्षम करणे आवश्यक आहे; या भूमिकेला एक राज्य आहे, म्हणून ते मोजत नाही, जे आवश्यक नाही; त्याच वेळी, इतर सर्व भूमिकांप्रमाणे, यात एक प्रतिकृती असू शकते जी मास्टरने अचानक नकार दिल्यास कार्य करण्यास प्रारंभ करते.

लॉगर

दुसरी भूमिका लॉगर म्हणतात. हे क्लस्टरच्या सर्व सदस्यांकडून लॉग गोळा करते आणि वेब इंटरफेसद्वारे अपलोड आणि पाहण्यासाठी इंटरफेस प्रदान करते.

सेवा

हे लक्षात घेण्यासारखे आहे की सिस्टम सेवा तयार करणे सोपे करते. कॉन्फिगरेशन फाइलमध्ये, तुम्ही सँडबॉक्समध्ये चालणाऱ्या वापरकर्त्याने लिहिलेल्या हँडलरला कोणत्या विनंत्या पाठवल्या आहेत हे निर्दिष्ट करू शकता. या हँडलरमध्ये, तुम्ही, उदाहरणार्थ, काही प्रकारचे विश्लेषणात्मक क्वेरी चालवू शकता आणि परिणाम परत करू शकता.

कॉन्फिगरेशन फाइलमध्ये सेवेचे वर्णन केले आहे:

services:
   sum:
      doc: "adds two numbers"
      function: sum
      return_type: int
      args:
         x: int
         y: int

GraphQL API स्वयंचलितपणे व्युत्पन्न होते आणि सेवा कॉलिंगसाठी उपलब्ध होते:

query {
   sum(x: 1, y: 2) 
}

हे हँडलरला कॉल करेल sumजे परिणाम देईल:

3

क्वेरी प्रोफाइलिंग आणि मेट्रिक्स

सिस्टमचे ऑपरेशन आणि प्रोफाइलिंग विनंत्या समजून घेण्यासाठी, आम्ही OpenTracing प्रोटोकॉलसाठी समर्थन लागू केले. सिस्टीम या प्रोटोकॉलला समर्थन देणाऱ्या साधनांना मागणीनुसार माहिती पाठवू शकते, जसे की Zipkin, जे तुम्हाला विनंती कशी अंमलात आणली गेली हे समजून घेण्यास अनुमती देईल:

साहजिकच, प्रणाली अंतर्गत मेट्रिक्स प्रदान करते जी प्रोमिथियस वापरून संकलित केली जाऊ शकते आणि ग्राफना वापरून दृश्यमान केली जाऊ शकते.

तैनात करणे

टारनटूल डेटा ग्रिड RPM पॅकेजेस किंवा आर्काइव्हमधून तैनात केले जाऊ शकते, वितरण किंवा उत्तरदायित्वातील उपयुक्तता वापरून, कुबरनेटेससाठी देखील समर्थन आहे (टारनटूल कुबर्नेट्स ऑपरेटर).

बिझनेस लॉजिक (कॉन्फिगरेशन, हँडलर्स) लागू करणारे अॅप्लिकेशन UI द्वारे संग्रहण स्वरूपात किंवा आमच्याद्वारे प्रदान केलेल्या API द्वारे स्क्रिप्ट वापरून तैनात केलेल्या Tarantool डेटा ग्रिड क्लस्टरमध्ये लोड केले जाते.

नमुना अर्ज

टारंटूल डेटा ग्रिड वापरून कोणते अॅप्लिकेशन तयार केले जाऊ शकतात? खरं तर, बहुतेक व्यावसायिक कार्ये डेटा प्रवाहावर प्रक्रिया करणे, संचयित करणे आणि प्रवेश करणे याशी संबंधित असतात. म्हणून, जर तुमच्याकडे डेटाचे मोठे प्रवाह असतील ज्यात सुरक्षितपणे संग्रहित आणि प्रवेश करणे आवश्यक आहे, तर आमचे उत्पादन तुमचा विकासाचा बराच वेळ वाचवू शकते आणि तुमच्या व्यवसायाच्या तर्कावर लक्ष केंद्रित करू शकते.

उदाहरणार्थ, आम्हाला रिअल इस्टेट मार्केटबद्दल माहिती गोळा करायची आहे, जेणेकरून भविष्यात, उदाहरणार्थ, आमच्याकडे सर्वोत्तम ऑफरबद्दल माहिती असेल. या प्रकरणात, आम्ही खालील कार्ये हायलाइट करू:

1. खुल्या स्त्रोतांकडून माहिती गोळा करणारे रोबोट आमचे डेटा स्रोत असतील. तुम्ही ही समस्या रेडीमेड सोल्यूशन्स वापरून किंवा कोणत्याही भाषेत कोड लिहून सोडवू शकता.
2. पुढे, टारंटूल डेटा ग्रिड डेटा स्वीकारेल आणि सेव्ह करेल. जर वेगवेगळ्या स्त्रोतांकडील डेटाचे स्वरूप भिन्न असेल, तर तुम्ही लुआमध्ये कोड लिहू शकता जो एका स्वरूपनात रूपांतरण करेल. प्री-प्रोसेसिंग स्टेजवर, तुम्ही देखील सक्षम असाल, उदाहरणार्थ, डुप्लिकेट ऑफर फिल्टर करणे किंवा डेटाबेसमध्ये मार्केटमध्ये काम करणाऱ्या एजंट्सची माहिती देखील अपडेट करणे.
3. आता तुमच्याकडे क्लस्टरमध्ये स्केलेबल सोल्यूशन आहे जे डेटाने भरले जाऊ शकते आणि डेटा निवडू शकते. मग आपण नवीन कार्यक्षमता लागू करू शकता, उदाहरणार्थ, एक सेवा लिहा जी डेटासाठी विनंती करेल आणि दररोज सर्वात फायदेशीर ऑफर देईल - यासाठी कॉन्फिगरेशन फाइलमधील काही ओळी आणि थोडा लुआ कोड आवश्यक असेल.

पुढील काय आहे?

वापरून विकासाची सुलभता सुधारणे हे आमचे प्राधान्य आहे टारंटूल डेटा ग्रिड. उदाहरणार्थ, सँडबॉक्समध्ये चालणाऱ्या प्रोफाइलिंग आणि डीबगिंग हँडलरसाठी समर्थन असलेला हा IDE आहे.

सुरक्षेच्या मुद्द्यांकडेही आम्ही खूप लक्ष देतो. आत्ता आम्ही उच्च पातळीच्या सुरक्षिततेची पुष्टी करण्यासाठी आणि वैयक्तिक डेटा माहिती प्रणाली आणि सरकारी माहिती प्रणालींमध्ये वापरल्या जाणार्‍या सॉफ्टवेअर उत्पादनांच्या प्रमाणीकरणाच्या आवश्यकतांची पूर्तता करण्यासाठी रशियाच्या FSTEC द्वारे प्रमाणपत्र घेत आहोत.

स्त्रोत: www.habr.com