नई पीढ़ी की बिलिंग वास्तुकला: टारनटूल में संक्रमण के साथ परिवर्तन

मेगाफोन जैसे निगम को बिलिंग में टारनटूल की आवश्यकता क्यों है? बाहर से ऐसा लगता है कि विक्रेता आमतौर पर आता है, किसी प्रकार का बड़ा बॉक्स लाता है, प्लग को सॉकेट में प्लग करता है - और यह बिलिंग है! एक समय ऐसा था, लेकिन अब यह पुरातन हो गया है और ऐसे डायनासोर पहले ही विलुप्त हो चुके हैं या विलुप्त होते जा रहे हैं। प्रारंभ में, बिलिंग चालान जारी करने की एक प्रणाली है - एक गिनती मशीन या कैलकुलेटर। आधुनिक दूरसंचार में यह है एक अनुबंध के समापन से लेकर समाप्ति तक ग्राहक के साथ बातचीत के पूरे जीवन चक्र के लिए स्वचालन प्रणाली, जिसमें वास्तविक समय बिलिंग, भुगतान स्वीकृति और बहुत कुछ शामिल है। टेलीकॉम कंपनियों में बिलिंग एक लड़ाकू रोबोट की तरह है - बड़ा, शक्तिशाली और हथियारों से भरा हुआ।

टारनटूल का इससे क्या लेना-देना है? वे इस बारे में बात करेंगे ओलेग इवलेव и एंड्री कनीज़ेव. ओलेग कंपनी के मुख्य वास्तुकार हैं दूर तक शब्द ले जाने का एक प्रकार का यंत्र विदेशी कंपनियों में काम करने के व्यापक अनुभव के साथ, एंड्री बिजनेस सिस्टम के निदेशक हैं। उनकी रिपोर्ट की प्रतिलेख से टारनटूल सम्मेलन 2018 आप जानेंगे कि निगमों में अनुसंधान एवं विकास की आवश्यकता क्यों है, टारनटूल क्या है, ऊर्ध्वाधर स्केलिंग और वैश्वीकरण का गतिरोध कंपनी में इस डेटाबेस की उपस्थिति के लिए पूर्व शर्त कैसे बन गया, तकनीकी चुनौतियों, वास्तुशिल्प परिवर्तन के बारे में, और मेगाफोन का टेक्नोस्टैक नेटफ्लिक्स के समान कैसे है , गूगल और अमेज़ॅन।

परियोजना "एकीकृत बिलिंग"

विचाराधीन परियोजना को "एकीकृत बिलिंग" कहा जाता है। यहीं पर टारनटूल ने अपने सर्वोत्तम गुण दिखाए।

हाई-एंड उपकरणों की उत्पादकता में वृद्धि ग्राहक आधार की वृद्धि और सेवाओं की संख्या में वृद्धि के अनुरूप नहीं रही; एम2एम, आईओटी और शाखा सुविधाओं के कारण ग्राहकों और सेवाओं की संख्या में और वृद्धि की उम्मीद थी समय-से-बाज़ार में गिरावट के लिए। कंपनी ने 8 मौजूदा विभिन्न बिलिंग प्रणालियों के बजाय एक अद्वितीय विश्व स्तरीय मॉड्यूलर वास्तुकला के साथ एक एकीकृत व्यापार प्रणाली बनाने का निर्णय लिया।

मेगाफोन एक साथ आठ कंपनियां हैं. 2009 में, पुनर्गठन पूरा हुआ: पूरे रूस में शाखाएँ एक ही कंपनी, मेगफॉन ओजेएससी (अब पीजेएससी) में विलय हो गईं। इस प्रकार, कंपनी के पास अपने स्वयं के "कस्टम" समाधान, शाखा सुविधाओं और विभिन्न संगठनात्मक संरचनाओं, आईटी और मार्केटिंग के साथ 8 बिलिंग सिस्टम हैं।

जब तक हमें एक साझा संघीय उत्पाद लॉन्च नहीं करना था तब तक सब कुछ ठीक था। यहां बहुत सारी कठिनाइयां उत्पन्न हुईं: कुछ के लिए, टैरिफ को पूर्णांकित किया गया, दूसरों के लिए पूर्णांकित किया गया, और दूसरों के लिए - अंकगणितीय माध्य के आधार पर। ऐसे हजारों पल हैं.

इस तथ्य के बावजूद कि बिलिंग प्रणाली का केवल एक ही संस्करण था, एक आपूर्तिकर्ता, सेटिंग्स इतनी भिन्न थीं कि इसे एक साथ रखने में काफी समय लग गया। हमने उनकी संख्या कम करने की कोशिश की, और एक दूसरी समस्या सामने आई जो कई निगमों से परिचित है।

लंबवत स्केलिंग. उस समय का सबसे अच्छा हार्डवेयर भी जरूरतों को पूरा नहीं करता था। हमने सुपरडोम हाई-एंड लाइन से हेवलेट-पैकर्ड उपकरण का उपयोग किया, लेकिन यह दो शाखाओं की जरूरतों को भी पूरा नहीं कर सका। मैं बड़ी परिचालन लागत और पूंजी निवेश के बिना क्षैतिज स्केलिंग चाहता था।

ग्राहकों और सेवाओं की संख्या में बढ़ोतरी की उम्मीद. सलाहकार लंबे समय से दूरसंचार जगत में IoT और M2M के बारे में कहानियां लाते रहे हैं: वह समय आएगा जब हर फोन और आयरन में एक सिम कार्ड होगा, और रेफ्रिजरेटर में दो होंगे। आज हमारे पास ग्राहकों की संख्या एक है, लेकिन निकट भविष्य में इससे भी अधिक हो जाएगी।

तकनीकी चुनौतियां

इन चार कारणों ने हमें गंभीर बदलाव करने के लिए प्रेरित किया। सिस्टम को अपग्रेड करने और स्क्रैच से डिज़ाइन करने के बीच एक विकल्प था। हमने बहुत देर तक सोचा, गंभीर निर्णय लिए, टेंडर खेले। परिणामस्वरूप, हमने शुरुआत से ही डिज़ाइन करने का निर्णय लिया, और दिलचस्प चुनौतियों - तकनीकी चुनौतियों का सामना किया।

scalability

यदि यह पहले था, तो मान लीजिए, मान लीजिए 8 मिलियन ग्राहकों के लिए 15 बिलिंग, और अब इसे काम करना चाहिए था 100 मिलियन ग्राहक और अधिक - भार अधिक परिमाण का एक क्रम है।

हम पैमाने में Mail.ru या Netflix जैसे बड़े इंटरनेट प्लेयर्स के तुलनीय हो गए हैं।

लेकिन लोड और ग्राहक आधार बढ़ाने के लिए आगे के आंदोलन ने हमारे लिए गंभीर चुनौतियां खड़ी कर दी हैं।

हमारे विशाल देश का भूगोल

कलिनिनग्राद और व्लादिवोस्तोक के बीच 7500 किमी और 10 समय क्षेत्र. प्रकाश की गति सीमित है और ऐसी दूरी पर देरी पहले से ही महत्वपूर्ण है। बेहतरीन आधुनिक ऑप्टिकल चैनलों पर 150 एमएस वास्तविक समय की बिलिंग के लिए बहुत अधिक है, खासकर जब यह अब रूस में दूरसंचार में है। इसके अलावा, आपको एक कार्यदिवस में अपडेट करना होगा, और अलग-अलग समय क्षेत्रों के साथ यह एक समस्या है।

हम केवल सदस्यता शुल्क के लिए सेवाएं प्रदान नहीं करते हैं, हमारे पास जटिल टैरिफ, पैकेज और विभिन्न संशोधक हैं। हमें न केवल ग्राहक को बात करने की अनुमति देने या अस्वीकार करने की आवश्यकता है, बल्कि उसे एक निश्चित कोटा देने की भी आवश्यकता है - वास्तविक समय में कॉल और कार्यों की गणना करें ताकि वह नोटिस न करे।

दोष सहिष्णुता

यह केंद्रीकरण का दूसरा पक्ष है.

यदि हम सभी ग्राहकों को एक प्रणाली में एकत्रित करते हैं, तो कोई भी आपातकालीन घटनाएँ और आपदाएँ व्यवसाय के लिए विनाशकारी हैं। इसलिए, हम सिस्टम को इस तरह से डिज़ाइन करते हैं कि पूरे ग्राहक आधार पर दुर्घटनाओं के प्रभाव को खत्म किया जा सके।

यह फिर से लंबवत पैमाने से इनकार का परिणाम है। जब हमने क्षैतिज रूप से स्केल किया, तो हमने सर्वरों की संख्या सैकड़ों से बढ़ाकर हजारों कर दी। उन्हें प्रबंधित और विनिमेय करने की आवश्यकता है, स्वचालित रूप से आईटी बुनियादी ढांचे का समर्थन किया जाए और वितरित प्रणाली को बहाल किया जाए।

हमें ऐसी दिलचस्प चुनौतियों का सामना करना पड़ा। हमने सिस्टम डिज़ाइन किया, और उस क्षण हमने यह जांचने के लिए वैश्विक सर्वोत्तम प्रथाओं को खोजने का प्रयास किया कि हम कितने ट्रेंड में हैं, हम उन्नत तकनीकों का कितना पालन करते हैं।

विश्व का अनुभव

आश्चर्य की बात है कि हमें वैश्विक दूरसंचार में एक भी संदर्भ नहीं मिला।

यूरोप ग्राहकों की संख्या और पैमाने के मामले में पीछे रह गया है, संयुक्त राज्य अमेरिका - अपने टैरिफ की सपाटता के मामले में। हमने कुछ को चीन में देखा, और कुछ को भारत में पाया और वोडाफोन इंडिया से विशेषज्ञों को काम पर रखा।

वास्तुकला का विश्लेषण करने के लिए, हमने आईबीएम के नेतृत्व में एक ड्रीम टीम को इकट्ठा किया - विभिन्न क्षेत्रों के आर्किटेक्ट। ये लोग पर्याप्त रूप से आकलन कर सकते थे कि हम क्या कर रहे थे और हमारी वास्तुकला में कुछ ज्ञान ला सकते थे।

स्केल

चित्रण के लिए कुछ संख्याएँ।

हम इसके लिए सिस्टम डिज़ाइन करते हैं एक अरब के रिजर्व के साथ 80 मिलियन ग्राहक. इस प्रकार हम भविष्य की सीमाएँ हटाते हैं। ऐसा इसलिए नहीं है कि हम चीन पर कब्ज़ा करने जा रहे हैं, बल्कि IoT और M2M के हमले के कारण है।

300 मिलियन दस्तावेज़ वास्तविक समय में संसाधित हुए. हालाँकि हमारे पास 80 मिलियन ग्राहक हैं, फिर भी यदि हमें प्राप्य राशि एकत्र करने की आवश्यकता होती है तो हम संभावित ग्राहकों और हमें छोड़कर चले गए लोगों दोनों के साथ काम करते हैं। इसलिए, वास्तविक मात्राएँ काफ़ी बड़ी हैं।

2 बिलियन लेनदेन शेष राशि प्रतिदिन बदलती है - ये भुगतान, शुल्क, कॉल और अन्य घटनाएं हैं। 200 टीबी डेटा सक्रिय रूप से बदल रहा है, थोड़ा धीरे बदलो 8 पीबी डेटा, और यह कोई संग्रह नहीं है, बल्कि एक ही बिलिंग में लाइव डेटा है। डेटा सेंटर द्वारा स्केल - 5 साइटों पर 14 हजार सर्वर.

प्रौद्योगिकी ढेर

जब हमने आर्किटेक्चर की योजना बनाई और सिस्टम को असेंबल करना शुरू किया, तो हमने सबसे दिलचस्प और उन्नत तकनीकों का आयात किया। परिणाम किसी भी इंटरनेट प्लेयर और उच्च-लोड सिस्टम बनाने वाले निगमों से परिचित एक प्रौद्योगिकी स्टैक है।

स्टैक अन्य प्रमुख खिलाड़ियों के स्टैक के समान है: नेटफ्लिक्स, ट्विटर, वाइबर। इसमें 6 घटक शामिल हैं, लेकिन हम इसे छोटा और एकीकृत करना चाहते हैं।

लचीलापन अच्छा है, लेकिन एक बड़े निगम में एकीकरण के बिना कोई रास्ता नहीं है।

हम उसी Oracle को टारनटूल में नहीं बदलने जा रहे हैं। बड़ी कंपनियों की वास्तविकताओं में, यह एक स्वप्नलोक है, या अस्पष्ट परिणाम के साथ 5-10 वर्षों के लिए धर्मयुद्ध है। लेकिन कैसेंड्रा और काउचबेस को आसानी से टारनटूल से बदला जा सकता है, और हम इसी के लिए प्रयास कर रहे हैं।

टारनटूल क्यों?

हमने इस डेटाबेस को क्यों चुना इसके लिए 4 सरल मानदंड हैं।

गति. हमने मेगाफोन औद्योगिक प्रणालियों पर लोड परीक्षण किए। टारनटूल जीता - इसने सर्वश्रेष्ठ प्रदर्शन दिखाया।

इसका मतलब यह नहीं है कि अन्य सिस्टम मेगाफोन की जरूरतों को पूरा नहीं करते हैं। वर्तमान मेमोरी समाधान इतने उत्पादक हैं कि कंपनी का भंडार पर्याप्त से अधिक है। लेकिन हम एक नेता से निपटने में रुचि रखते हैं, न कि किसी ऐसे व्यक्ति से जो लोड टेस्ट सहित पिछड़ रहा है।

टारनटूल लंबी अवधि में भी कंपनी की जरूरतों को पूरा करता है।

टीसीओ लागत. मेगाफोन वॉल्यूम पर काउचबेस के समर्थन में बड़ी मात्रा में पैसा खर्च होता है, लेकिन टारनटूल के साथ स्थिति बहुत अधिक सुखद है, और वे कार्यक्षमता में समान हैं।

एक और अच्छी सुविधा जिसने हमारी पसंद को थोड़ा प्रभावित किया वह यह है कि टारनटूल अन्य डेटाबेस की तुलना में मेमोरी के साथ बेहतर काम करता है। उसने दिखाया अधिकतम दक्षता.

विश्वसनीयता. मेगफॉन विश्वसनीयता में निवेश करता है, संभवतः किसी अन्य की तुलना में अधिक। इसलिए जब हमने टारनटूल को देखा, तो हमें एहसास हुआ कि हमें इसे अपनी आवश्यकताओं को पूरा करना होगा।

हमने अपना समय और वित्त निवेश किया, और Mail.ru के साथ मिलकर हमने एक एंटरप्राइज़ संस्करण बनाया, जो अब कई अन्य कंपनियों में उपयोग किया जाता है।

टारनटूल-एंटरप्राइज़ ने सुरक्षा, विश्वसनीयता और लॉगिंग के मामले में हमें पूरी तरह से संतुष्ट किया।

साझेदारी

मेरे लिए सबसे महत्वपूर्ण बात है डेवलपर से सीधा संपर्क. यह वही है जो टारनटूल के लोगों ने रिश्वत दी थी।

यदि आप किसी खिलाड़ी के पास आते हैं, विशेषकर उसके पास जो एंकर क्लाइंट के साथ काम करता है, और कहता है कि आपको यह, यह और यह करने में सक्षम होने के लिए डेटाबेस की आवश्यकता है, तो वह आमतौर पर उत्तर देता है:

- ठीक है, आवश्यकताओं को उस ढेर के नीचे रखें - किसी दिन, हम शायद उन तक पहुंच जाएंगे।

कई लोगों के पास अगले 2-3 वर्षों के लिए एक रोडमैप है, और वहां एकीकृत करना लगभग असंभव है, लेकिन टारनटूल डेवलपर्स न केवल मेगाफोन से, बल्कि अपने खुलेपन से भी आकर्षित करते हैं, और अपने सिस्टम को ग्राहक के अनुकूल बनाते हैं। यह अच्छा है और हमें यह सचमुच पसंद है।

जहां हमने टारनटूल का इस्तेमाल किया

हम टारनटूल का उपयोग कई तत्वों में करते हैं। पहला पायलट में है, जिसे हमने एड्रेस डायरेक्टरी सिस्टम पर बनाया है। एक समय मैं चाहता था कि यह एक ऐसी प्रणाली हो जो Yandex.Maps और Google Maps के समान हो, लेकिन यह थोड़ा अलग निकला।

उदाहरण के लिए, बिक्री इंटरफ़ेस में पता कैटलॉग। Oracle पर, वांछित पता खोजने में 12-13 सेकंड लगते हैं। -असुविधाजनक संख्याएँ. जब हम टारनटूल पर स्विच करते हैं, ओरेकल को कंसोल में किसी अन्य डेटाबेस से बदलते हैं, और वही खोज करते हैं, तो हमें 200x स्पीडअप मिलता है! तीसरे पत्र के बाद शहर सामने आता है। अब हम इंटरफ़ेस को अनुकूलित कर रहे हैं ताकि पहले वाले के बाद ऐसा हो। हालाँकि, प्रतिक्रिया की गति पूरी तरह से अलग है - सेकंड के बजाय मिलीसेकंड।

दूसरा एप्लिकेशन एक ट्रेंडी थीम है जिसे टू-स्पीड आईटी कहा जाता है. ऐसा इसलिए है क्योंकि हर कोने से सलाहकार कहते हैं कि निगमों को वहां जाना चाहिए।

एक बुनियादी ढांचा परत है, इसके ऊपर डोमेन हैं, उदाहरण के लिए, टेलीकॉम, कॉर्पोरेट सिस्टम, कॉर्पोरेट रिपोर्टिंग जैसी बिलिंग प्रणाली। यह वह मूल है जिसे छूने की आवश्यकता नहीं है। बेशक, यह संभव है, लेकिन यह आश्चर्यजनक रूप से गुणवत्ता सुनिश्चित करता है, क्योंकि इससे निगम को पैसा मिलता है।

इसके बाद माइक्रोसर्विसेज की परत आती है - जो ऑपरेटर या अन्य खिलाड़ी को अलग करती है। विभिन्न डोमेन से डेटा लाकर, कुछ कैश के आधार पर माइक्रोसर्विसेज को तुरंत बनाया जा सकता है। यहाँ प्रयोगों के लिए क्षेत्र — अगर कुछ काम नहीं आया, तो मैंने एक माइक्रोसर्विस बंद कर दी और दूसरी खोल दी। यह वास्तव में बाजार-से-समय में वृद्धि प्रदान करता है और कंपनी की विश्वसनीयता और गति को बढ़ाता है।

मेगाफोन में माइक्रोसर्विसेज शायद टारनटूल की मुख्य भूमिका है।

जहां हम टारनटूल का उपयोग करने की योजना बना रहे हैं

यदि हम अपने सफल बिलिंग प्रोजेक्ट की तुलना डॉयचे टेलीकॉम, सिवाज़कॉम, वोडाफोन इंडिया के परिवर्तन कार्यक्रमों से करें, तो यह आश्चर्यजनक रूप से गतिशील और रचनात्मक है। इस परियोजना को लागू करने की प्रक्रिया में, न केवल मेगाफोन और इसकी संरचना को बदल दिया गया, बल्कि टारनटूल-एंटरप्राइज भी Mail.ru पर दिखाई दिया, और हमारे विक्रेता नेक्साइन (पूर्व में पीटर-सर्विस) - बीएसएस बॉक्स (एक बॉक्सिंग बिलिंग समाधान)।

यह एक तरह से रूसी बाज़ार के लिए एक ऐतिहासिक परियोजना है। इसकी तुलना फ्रेडरिक ब्रूक्स की पुस्तक "द मिथिकल मैन-मंथ" में वर्णित से की जा सकती है। फिर, 60 के दशक में, IBM ने मेनफ्रेम के लिए नया OS/360 ऑपरेटिंग सिस्टम विकसित करने के लिए 5 लोगों को काम पर रखा। हमारे पास कम हैं - 000, लेकिन हमारे वेस्ट में हैं, और खुले स्रोत और नए दृष्टिकोण के उपयोग को ध्यान में रखते हुए, हम अधिक उत्पादक रूप से काम करते हैं।

नीचे बिलिंग या अधिक व्यापक रूप से कहें तो बिजनेस सिस्टम के डोमेन दिए गए हैं। उद्यम से जुड़े लोग सीआरएम को बहुत अच्छी तरह से जानते हैं। हर किसी के पास पहले से ही अन्य सिस्टम होने चाहिए: ओपन एपीआई, एपीआई गेटवे।

ओपन एपीआई

आइए संख्याओं को फिर से देखें और ओपन एपीआई वर्तमान में कैसे काम करती है। इसका भार है प्रति सेकंड 10 लेनदेन. चूंकि हम सक्रिय रूप से माइक्रोसर्विसेज परत विकसित करने और मेगाफोन सार्वजनिक एपीआई बनाने की योजना बना रहे हैं, इसलिए हम इस हिस्से में भविष्य में अधिक वृद्धि की उम्मीद करते हैं। निश्चित रूप से 100 लेनदेन होंगे.

मुझे नहीं पता कि क्या हम SSO में Mail.ru से तुलना कर सकते हैं - ऐसा लगता है कि लोग प्रति सेकंड 1 लेनदेन करते हैं। उनका समाधान हमारे लिए बेहद दिलचस्प है और हम उनके अनुभव को अपनाने की योजना बना रहे हैं - उदाहरण के लिए, टारनटूल का उपयोग करके एक कार्यात्मक एसएसओ बैकअप बनाना। अब Mail.ru के डेवलपर्स हमारे लिए यह कर रहे हैं।

सीआरएम

सीआरएम वही 80 मिलियन ग्राहक हैं जिन्हें हम एक अरब तक बढ़ाना चाहते हैं, क्योंकि पहले से ही 300 मिलियन दस्तावेज़ हैं जिनमें तीन साल का इतिहास शामिल है। हम वास्तव में यहां नई सेवाओं की प्रतीक्षा कर रहे हैं विकास बिंदु जुड़ी हुई सेवाएँ हैं. यह एक गेंद है जो बढ़ेगी, क्योंकि अधिक से अधिक सेवाएँ होंगी। तदनुसार, हमें एक कहानी की आवश्यकता होगी; हम इस पर ठोकर नहीं खाना चाहते।

चालान जारी करने, प्राप्य ग्राहक खातों के साथ काम करने के संदर्भ में स्वयं बिलिंग करना एक अलग डोमेन में परिवर्तित हो गया. प्रदर्शन में सुधार करने के लिए, एप्लाइड डोमेन आर्किटेक्चर आर्किटेक्चरल पैटर्न.

सिस्टम को डोमेन में विभाजित किया गया है, लोड वितरित किया गया है और दोष सहनशीलता सुनिश्चित की गई है। इसके अतिरिक्त, हमने वितरित आर्किटेक्चर के साथ काम किया।

बाकी सब एंटरप्राइज़-स्तरीय समाधान हैं। कॉल स्टोरेज में - प्रति दिन 2 बिलियन, 60 बिलियन प्रति माह। कभी-कभी आपको उन्हें एक महीने में गिनना पड़ता है, और यह जल्दी से बेहतर होता है। वित्तीय निगरानी - यह बिल्कुल वही 300 मिलियन है जो लगातार बढ़ रहा है और बढ़ रहा है: ग्राहक अक्सर ऑपरेटरों के बीच भागते हैं, इस हिस्से को बढ़ाते हैं।

मोबाइल संचार का सर्वाधिक दूरसंचार घटक है ऑनलाइन बिलिंग. ये ऐसी प्रणालियाँ हैं जो आपको कॉल करने या न करने, वास्तविक समय में निर्णय लेने की अनुमति देती हैं। यहां लोड प्रति सेकंड 30 लेनदेन है, लेकिन डेटा ट्रांसफर में वृद्धि को ध्यान में रखते हुए, हम योजना बनाते हैं 250 लेनदेन, और इसलिए हम टारनटूल में बहुत रुचि रखते हैं।

पिछली तस्वीर उन डोमेन की है जहां हम टारनटूल का उपयोग करने जा रहे हैं। बेशक, सीआरएम स्वयं व्यापक है और हम इसे मूल में ही उपयोग करने जा रहे हैं।

100 मिलियन ग्राहकों का हमारा अनुमानित टीटीएक्स आंकड़ा मुझे एक वास्तुकार के रूप में भ्रमित करता है - यदि 101 मिलियन हो तो क्या होगा? क्या आपको सब कुछ दोबारा करना होगा? ऐसा होने से रोकने के लिए, हम कैश का उपयोग करते हैं, साथ ही पहुंच भी बढ़ाते हैं।

सामान्य तौर पर, टारनटूल का उपयोग करने के दो दृष्टिकोण हैं। पहला - माइक्रोसर्विस स्तर पर सभी कैश बनाएं. जहां तक ​​मैं समझता हूं, विम्पेलकॉम इसी रास्ते पर चल रहा है, ग्राहकों का एक कैश तैयार कर रहा है।

हम विक्रेताओं पर कम निर्भर हैं, हम बीएसएस कोर बदल रहे हैं, इसलिए हमारे पास बॉक्स से बाहर एक ही क्लाइंट फ़ाइल है। लेकिन हम इसका विस्तार करना चाहते हैं. इसलिए, हम थोड़ा अलग दृष्टिकोण अपनाते हैं - सिस्टम के अंदर कैश बनाएं.

इस तरह कम सिंक्रनाइज़ेशन होता है - एक सिस्टम कैश और मुख्य मास्टर स्रोत दोनों के लिए जिम्मेदार होता है।

यह विधि ट्रांजेक्शनल स्केलेटन के साथ टारनटूल दृष्टिकोण के साथ अच्छी तरह से फिट बैठती है, जब केवल वे हिस्से जो अपडेट से संबंधित होते हैं, यानी डेटा परिवर्तन, अपडेट किए जाते हैं। बाकी सब कुछ कहीं और संग्रहीत किया जा सकता है। कोई विशाल डेटा झील, अप्रबंधित वैश्विक कैश नहीं है। कैश सिस्टम के लिए, या उत्पादों के लिए, या ग्राहकों के लिए, या रखरखाव के लिए जीवन को आसान बनाने के लिए डिज़ाइन किए गए हैं। जब कोई ग्राहक कॉल करता है और आपकी सेवा की गुणवत्ता से परेशान होता है, तो आप गुणवत्तापूर्ण सेवा प्रदान करना चाहते हैं।

आरटीओ और आरपीओ

आईटी में दो शब्द हैं - आरटीओ и आरपीओ.

पुनर्प्राप्ति समय उद्देश्य विफलता के बाद सेवा को बहाल करने में लगने वाला समय है। आरटीओ = 0 का मतलब है कि अगर कुछ विफल हो जाता है, तो भी सेवा काम करती रहती है।

पुनर्प्राप्ति बिंदु उद्देश्य - यह डेटा रिकवरी का समय है, एक निश्चित अवधि में हम कितना डेटा खो सकते हैं। RPO = 0 का अर्थ है कि हम डेटा नहीं खो रहे हैं।

टारनटूल कार्य

आइए टारनटूल की एक समस्या को हल करने का प्रयास करें।

Dano: अनुप्रयोगों की एक टोकरी जिसे हर कोई समझता है, उदाहरण के लिए, अमेज़ॅन में या कहीं और। अपेक्षित ताकि शॉपिंग कार्ट सप्ताह के 24 दिन 7 घंटे या 99,99% समय काम करे। हमारे पास आने वाले ऑर्डर क्रम में रहने चाहिए, क्योंकि हम ग्राहक के कनेक्शन को बेतरतीब ढंग से चालू या बंद नहीं कर सकते - सब कुछ सख्ती से सुसंगत होना चाहिए। पिछली सदस्यता अगले को प्रभावित करती है, इसलिए डेटा महत्वपूर्ण है - कुछ भी गायब नहीं होना चाहिए।

समाधान. आप इसे सीधे तौर पर हल करने का प्रयास कर सकते हैं और डेटाबेस डेवलपर्स से पूछ सकते हैं, लेकिन समस्या को गणितीय रूप से हल नहीं किया जा सकता है। आप प्रमेय, संरक्षण कानून, क्वांटम भौतिकी याद कर सकते हैं, लेकिन क्यों - इसे डीबी स्तर पर हल नहीं किया जा सकता है।

अच्छा पुराना वास्तुशिल्प दृष्टिकोण यहां काम करता है - आपको विषय क्षेत्र को अच्छी तरह से जानना होगा और इस पहेली को हल करने के लिए इसका उपयोग करना होगा।

हमारा समाधान: टारनटूल पर अनुप्रयोगों की एक वितरित रजिस्ट्री बनाना - एक भू-वितरित क्लस्टर. आरेख में, ये तीन अलग-अलग डेटा प्रोसेसिंग केंद्र हैं - दो यूराल से पहले, एक यूराल से परे, और हम सभी अनुरोधों को इन केंद्रों के बीच वितरित करते हैं।

नेटफ्लिक्स, जिसे अब आईटी में अग्रणी माना जाता है, के पास 2012 तक केवल एक डेटा सेंटर था। कैथोलिक क्रिसमस की पूर्व संध्या, 24 दिसंबर को, यह डेटा सेंटर बंद हो गया। कनाडा और संयुक्त राज्य अमेरिका में उपयोगकर्ता अपनी पसंदीदा फिल्मों के बिना रह गए, बहुत परेशान हुए और उन्होंने सोशल नेटवर्क पर इसके बारे में लिखा। नेटफ्लिक्स के अब पश्चिमी-पूर्वी तट पर तीन और पश्चिमी यूरोप में एक डेटा सेंटर है।

हम प्रारंभ में एक भू-वितरित समाधान का निर्माण कर रहे हैं - दोष सहिष्णुता हमारे लिए महत्वपूर्ण है।

तो हमारे पास एक क्लस्टर है, लेकिन RPO = 0 और RTO = 0 के बारे में क्या? विषय के आधार पर समाधान सरल है।

अनुप्रयोगों में क्या महत्वपूर्ण है? दो भाग: टोकरी फेंकना को खरीदारी का निर्णय लेना, और बाद. टेलीकॉम में आमतौर पर डीओ पार्ट को कहा जाता है ऑर्डर कैप्चरिंग या आदेश वार्ता. टेलीकॉम में, यह ऑनलाइन स्टोर की तुलना में कहीं अधिक कठिन हो सकता है, क्योंकि वहां ग्राहक को सेवा देनी होती है, 5 विकल्प पेश करने होते हैं और यह सब कुछ समय के लिए होता है, लेकिन टोकरी भर जाती है। इस समय, विफलता संभव है, लेकिन यह डरावना नहीं है, क्योंकि यह मानव पर्यवेक्षण के तहत अंतःक्रियात्मक रूप से होता है।

यदि मॉस्को डेटा सेंटर अचानक विफल हो जाता है, तो स्वचालित रूप से दूसरे डेटा सेंटर पर स्विच करके हम काम करना जारी रखेंगे। सैद्धांतिक रूप से, एक उत्पाद कार्ट में खो सकता है, लेकिन आप उसे देखते हैं, फिर से कार्ट में जोड़ते हैं और काम करना जारी रखते हैं। इस स्थिति में आरटीओ = 0.

उसी क्षण, एक दूसरा विकल्प है: जब हमने "सबमिट" पर क्लिक किया, तो हम चाहते हैं कि डेटा नष्ट न हो। इस क्षण से, स्वचालन काम करना शुरू कर देता है - यह आरपीओ = 0 है। इन दो अलग-अलग पैटर्न का उपयोग करते हुए, एक मामले में यह बस एक स्विच करने योग्य मास्टर के साथ एक भू-वितरित क्लस्टर हो सकता है, दूसरे मामले में कुछ प्रकार का कोरम रिकॉर्ड हो सकता है। पैटर्न भिन्न हो सकते हैं, लेकिन हम समस्या का समाधान करते हैं।

इसके अलावा, अनुप्रयोगों की एक वितरित रजिस्ट्री होने से, हम इसे सब स्केल भी कर सकते हैं - हमारे पास कई डिस्पैचर और निष्पादक हैं जो इस रजिस्ट्री तक पहुंचते हैं।

कैसेंड्रा और टारनटूल एक साथ

एक और मामला है - "शेष राशि का प्रदर्शन". यहां कैसेंड्रा और टारनटूल के संयुक्त उपयोग का एक दिलचस्प मामला है।

हम कैसेंड्रा का उपयोग करते हैं क्योंकि प्रति दिन 2 बिलियन कॉल की सीमा नहीं है, और भी अधिक होंगी। विपणक स्रोत के आधार पर ट्रैफ़िक को रंगीन बनाना पसंद करते हैं; उदाहरण के लिए, अधिक से अधिक विवरण सामाजिक नेटवर्क पर दिखाई दे रहे हैं। यह सब कहानी में जुड़ जाता है।

कैसेंड्रा आपको किसी भी आकार में क्षैतिज रूप से स्केल करने की अनुमति देता है।

हम कैसेंड्रा के साथ सहज महसूस करते हैं, लेकिन इसकी एक समस्या है - यह पढ़ने में अच्छी नहीं है। रिकॉर्डिंग में सब कुछ ठीक है, 30 प्रति सेकंड कोई समस्या नहीं है - पढ़ने की समस्या.

इसलिए, कैश वाला एक विषय सामने आया, और साथ ही हमने निम्नलिखित समस्या का समाधान किया: एक पुराना पारंपरिक मामला है जब ऑनलाइन बिलिंग से स्विच से उपकरण उन फ़ाइलों में आते हैं जिन्हें हम कैसेंड्रा में लोड करते हैं। हम आईबीएम प्रबंधक फ़ाइल स्थानांतरण की सलाह का उपयोग करते हुए भी इन फ़ाइलों की विश्वसनीय डाउनलोडिंग की समस्या से जूझते रहे - ऐसे समाधान हैं जो टीसीपी के बजाय, उदाहरण के लिए, यूडीपी प्रोटोकॉल का उपयोग करके फ़ाइल स्थानांतरण को कुशलतापूर्वक प्रबंधित करते हैं। यह अच्छा है, लेकिन अभी भी कुछ मिनट बाकी हैं, और हमने अभी तक यह सब लोड नहीं किया है, कॉल सेंटर में ऑपरेटर ग्राहक को जवाब नहीं दे सकता है कि उसके शेष राशि का क्या हुआ - हमें इंतजार करना होगा।

ऐसा होने से रोकने के लिए, हम हम समानांतर कार्यात्मक रिजर्व का उपयोग करते हैं. जब हम काफ्का के माध्यम से टारनटूल को एक ईवेंट भेजते हैं, तो वास्तविक समय में समुच्चय की पुनर्गणना करते हुए, उदाहरण के लिए, आज के लिए, हमें मिलता है नकद शेष, जो किसी भी गति से शेष राशि स्थानांतरित कर सकता है, उदाहरण के लिए, प्रति सेकंड 100 हजार लेनदेन और वही 2 सेकंड।

लक्ष्य यह है कि कॉल करने के बाद 2 सेकंड के भीतर आपके व्यक्तिगत खाते में न केवल बदला हुआ बैलेंस होगा, बल्कि यह क्यों बदला इसकी जानकारी भी होगी।

निष्कर्ष

ये टारनटूल के उपयोग के उदाहरण थे। हमें वास्तव में Mail.ru का खुलापन और विभिन्न मामलों पर विचार करने की उनकी इच्छा पसंद आई।

बीसीजी या मैकिन्से, एक्सेंचर या आईबीएम के सलाहकारों के लिए हमें कुछ नया आश्चर्यचकित करना पहले से ही मुश्किल है - वे जो भी पेशकश करते हैं, उनमें से बहुत कुछ हम या तो पहले ही कर चुके हैं, या करने की योजना बना रहे हैं। मुझे लगता है कि टारनटूल हमारी प्रौद्योगिकी सूची में अपना उचित स्थान लेगा और कई मौजूदा प्रौद्योगिकियों को प्रतिस्थापित कर देगा। हम इस परियोजना के विकास के सक्रिय चरण में हैं।

ओलेग और एंड्री की रिपोर्ट पिछले साल टारनटूल सम्मेलन में सर्वश्रेष्ठ में से एक है, और 17 जून को ओलेग इवलेव बोलेंगे टी+ सम्मेलन 2019 एक रिपोर्ट के साथ "एंटरप्राइज़ में टारनटूल क्यों". मेगाफोन की ओर से एलेक्जेंडर ड्यूलिन भी एक प्रेजेंटेशन देंगे "टारनटूल कैश और ओरेकल से प्रतिकृति". आइए जानें क्या बदला है, कौन सी योजनाएं लागू की गई हैं. शामिल हों - सम्मेलन निःशुल्क है, आपको बस इतना करना है रजिस्टर। सब रिपोर्टें स्वीकार कर ली गईं और सम्मेलन कार्यक्रम का गठन किया गया है: नए मामले, टारनटूल, वास्तुकला, उद्यम, ट्यूटोरियल और माइक्रोसर्विसेज का उपयोग करने में नया अनुभव।

स्रोत: www.habr.com