नवीन पिढीचे बिलिंग आर्किटेक्चर: टॅरनटूलमध्ये संक्रमणासह परिवर्तन

मेगाफोनसारख्या कॉर्पोरेशनला बिलिंगमध्ये टारंटूलची आवश्यकता का आहे? बाहेरून असे दिसते की विक्रेता सहसा येतो, एक प्रकारचा मोठा बॉक्स आणतो, प्लग सॉकेटमध्ये जोडतो - आणि ते बिलिंग आहे! हे एकेकाळी असे होते, परंतु आता ते पुरातन आहे आणि असे डायनासोर आधीच नामशेष झाले आहेत किंवा नामशेष होत आहेत. सुरुवातीला, बिलिंग ही पावत्या जारी करण्याची एक प्रणाली आहे - मोजणी मशीन किंवा कॅल्क्युलेटर. आधुनिक टेलिकॉममध्ये हे आहे कराराच्या समाप्तीपासून संपुष्टात येण्यापर्यंत ग्राहकाशी परस्परसंवादाच्या संपूर्ण जीवन चक्रासाठी ऑटोमेशन सिस्टम, रिअल-टाइम बिलिंग, पेमेंट स्वीकृती आणि बरेच काही समाविष्ट आहे. टेलिकॉम कंपन्यांमध्ये बिलिंग हे लढाऊ रोबोटसारखे आहे - मोठे, शक्तिशाली आणि शस्त्रे भरलेले.

टारंटूलचा त्याच्याशी काय संबंध? ते याबद्दल बोलतील ओलेग इव्हलेव्ह и आंद्रे न्याझेव्ह. ओलेग हे कंपनीचे मुख्य आर्किटेक्ट आहेत मेगाफोन परदेशी कंपन्यांमध्ये काम करण्याचा व्यापक अनुभव असलेले, आंद्रे व्यवसाय प्रणालीचे संचालक आहेत. त्यांच्या अहवालाच्या प्रतिलिपीवरून टारनटूल कॉन्फरन्स 2018 कॉर्पोरेशनमध्ये R&D का आवश्यक आहे, टॅरनटूल काय आहे, कंपनीमध्ये हा डेटाबेस दिसण्यासाठी उभ्या स्केलिंग आणि जागतिकीकरणाची गतिमानता कशी आवश्यक आहे, तांत्रिक आव्हाने, आर्किटेक्चरल ट्रान्सफॉर्मेशन आणि मेगाफोनचे टेक्नोस्टॅक नेटफ्लिक्स सारखे कसे आहे याबद्दल तुम्ही शिकाल. , Google आणि Amazon.

प्रकल्प "युनिफाइड बिलिंग"

विचाराधीन प्रकल्पाला "युनिफाइड बिलिंग" असे म्हणतात. येथेच टारंटूलने त्याचे उत्कृष्ट गुण दाखवले.

हाय-एंड उपकरणांच्या उत्पादकतेत वाढ ही ग्राहकसंख्येच्या वाढीसोबत राहिली नाही आणि M2M, IoT आणि शाखा वैशिष्ट्यांमुळे सेवांच्या संख्येत आणखी वाढ अपेक्षित होती मार्केट टू-टाइम खराब होणे. कंपनीने सध्याच्या 8 भिन्न बिलिंग प्रणालींऐवजी, एक अद्वितीय जागतिक दर्जाच्या मॉड्यूलर आर्किटेक्चरसह एक एकीकृत व्यवसाय प्रणाली तयार करण्याचा निर्णय घेतला.

मेगाफॉन एकामध्ये आठ कंपन्या आहेत. 2009 मध्ये, पुनर्रचना पूर्ण झाली: संपूर्ण रशियातील शाखा मेगाफॉन ओजेएससी (आता पीजेएससी) या एकाच कंपनीत विलीन झाल्या. अशाप्रकारे, कंपनीकडे 8 बिलिंग सिस्टम आहेत ज्यात त्यांची स्वतःची "सानुकूल" उपाय, शाखा वैशिष्ट्ये आणि विविध संस्थात्मक संरचना, IT आणि विपणन आहे.

आम्हाला एक सामान्य फेडरल उत्पादन लाँच करेपर्यंत सर्व काही ठीक होते. येथे बऱ्याच अडचणी उद्भवल्या: काहींसाठी, दर पूर्ण केले जातात, इतरांसाठी पूर्ण केले जातात आणि इतरांसाठी - अंकगणित सरासरीवर आधारित. असे हजारो क्षण आहेत.

बिलिंग सिस्टमची एकच आवृत्ती, एक पुरवठादार असूनही, सेटिंग्ज इतकी वळली की एकत्र ठेवण्यास बराच वेळ लागला. आम्ही त्यांची संख्या कमी करण्याचा प्रयत्न केला आणि अनेक कॉर्पोरेशन्सना परिचित असलेली दुसरी समस्या समोर आली.

अनुलंब स्केलिंग. त्या काळातील सर्वात छान हार्डवेअर देखील गरजा पूर्ण करत नव्हते. आम्ही सुपरडोम हाय-एंड लाईनवरून Hewlett-Packard उपकरणे वापरली, परंतु ती दोन शाखांच्या गरजाही पूर्ण करत नाही. मला मोठ्या परिचालन खर्चाशिवाय आणि भांडवली गुंतवणुकीशिवाय क्षैतिज स्केलिंग हवे होते.

ग्राहक आणि सेवांच्या संख्येत वाढ होण्याची अपेक्षा. सल्लागारांनी दूरसंचार जगतात IoT आणि M2M बद्दल कथा आणल्या आहेत: वेळ येईल जेव्हा प्रत्येक फोन आणि इस्त्रीला एक सिम कार्ड असेल आणि रेफ्रिजरेटरमध्ये दोन असतील. आज आमच्याकडे सदस्यांची संख्या एक आहे, परंतु नजीकच्या भविष्यात आणखी बरेच असतील.

तांत्रिक आव्हाने

या चार कारणांमुळे आम्हाला गंभीर बदल करण्यास प्रवृत्त केले. प्रणाली श्रेणीसुधारित करणे आणि सुरवातीपासून डिझाइन करणे यामधील एक पर्याय होता. आम्ही बराच वेळ विचार केला, गंभीर निर्णय घेतले, निविदा खेळल्या. परिणामी, आम्ही अगदी सुरुवातीपासूनच डिझाइन करण्याचे ठरवले आणि मनोरंजक आव्हाने स्वीकारली - तांत्रिक आव्हाने.

स्केलेबिलिटी

जर ते आधी होते, तर म्हणूया, म्हणूया 8 दशलक्ष सदस्यांसाठी 15 बिलिंग, आणि आता ते काम करायला हवे होते 100 दशलक्ष सदस्य आणि अधिक - भार हा उच्च परिमाणाचा क्रम आहे.

आम्ही Mail.ru किंवा Netflix सारख्या मोठ्या इंटरनेट प्लेअरशी तुलना करता येऊ शकतो.

परंतु भार आणि ग्राहकसंख्या वाढवण्याच्या पुढील चळवळीने आमच्यासमोर गंभीर आव्हाने उभी केली आहेत.

आपल्या विशाल देशाचा भूगोल

कॅलिनिनग्राड आणि व्लादिवोस्तोक दरम्यान 7500 किमी आणि 10 टाइम झोन. प्रकाशाचा वेग मर्यादित आहे आणि अशा अंतरावर विलंब आधीच लक्षणीय आहे. सर्वात छान आधुनिक ऑप्टिकल चॅनेलवरील 150 ms हे रिअल-टाइम बिलिंगसाठी खूप जास्त आहे, विशेषत: ते आता रशियामधील टेलिकॉममध्ये आहे. याव्यतिरिक्त, आपल्याला एका व्यावसायिक दिवसात अद्यतनित करण्याची आवश्यकता आहे आणि भिन्न टाइम झोनसह ही समस्या आहे.

आम्ही केवळ सदस्यता शुल्कासाठी सेवा प्रदान करत नाही, आमच्याकडे जटिल दर, पॅकेजेस आणि विविध सुधारक आहेत. आम्ही ग्राहकाला फक्त बोलण्याची परवानगी किंवा नाकारण्याची गरज नाही, तर त्याला एक विशिष्ट कोटा द्यावा - रिअल टाइममध्ये कॉल आणि क्रियांची गणना करा जेणेकरून तो लक्षात येऊ नये.

चुकीची सहनशीलता

ही केंद्रीकरणाची दुसरी बाजू आहे.

जर आम्ही सर्व सदस्य एकाच सिस्टममध्ये एकत्रित केले, तर कोणत्याही आपत्कालीन घटना आणि आपत्ती व्यवसायासाठी घातक आहेत. म्हणून, आम्ही संपूर्ण ग्राहक बेसवरील अपघातांचा प्रभाव दूर करण्यासाठी सिस्टमची रचना अशा प्रकारे करतो.

हे पुन्हा अनुलंब स्केल करण्यास नकार दिल्याचा परिणाम आहे. जेव्हा आम्ही क्षैतिज स्केल केले, तेव्हा आम्ही सर्व्हरची संख्या शेकडो ते हजारो पर्यंत वाढवली. ते व्यवस्थापित आणि अदलाबदल करण्यायोग्य, आयटी पायाभूत सुविधांचा स्वयंचलितपणे बॅकअप घेणे आणि वितरित प्रणाली पुनर्संचयित करणे आवश्यक आहे.

आम्ही अशा मनोरंजक आव्हानांचा सामना केला. आम्ही प्रणालीची रचना केली आणि त्या क्षणी आम्ही कसे ट्रेंडमध्ये आहोत, आम्ही प्रगत तंत्रज्ञानाचे किती पालन करतो हे तपासण्यासाठी आम्ही जागतिक सर्वोत्तम पद्धती शोधण्याचा प्रयत्न केला.

जगाचा अनुभव

आश्चर्याची गोष्ट म्हणजे, आम्हाला जागतिक टेलिकॉममध्ये एकही संदर्भ सापडला नाही.

सदस्यांच्या संख्येच्या आणि स्केलच्या बाबतीत युरोप मागे पडला आहे, यूएसए - त्याच्या टॅरिफच्या सपाटपणाच्या बाबतीत. आम्ही चीनमध्ये काही पाहिले आणि काही भारतात सापडले आणि व्होडाफोन इंडियाकडून तज्ञांना नियुक्त केले.

आर्किटेक्चरचे विश्लेषण करण्यासाठी, आम्ही IBM च्या नेतृत्वाखाली एक ड्रीम टीम एकत्र केली - विविध क्षेत्रातील आर्किटेक्ट्स. हे लोक आम्ही काय करत आहोत याचे पुरेसे मूल्यांकन करू शकतील आणि आमच्या आर्किटेक्चरमध्ये विशिष्ट ज्ञान आणू शकतील.

स्केल

उदाहरणासाठी काही संख्या.

आम्ही यासाठी सिस्टम डिझाइन करतो एक अब्ज राखीव असलेले 80 दशलक्ष सदस्य. अशा प्रकारे आम्ही भविष्यातील थ्रेशोल्ड काढून टाकतो. हे आम्ही चीनचा ताबा घेणार आहोत म्हणून नाही, तर IoT आणि M2M च्या हल्ल्यामुळे.

रिअल टाइममध्ये 300 दशलक्ष दस्तऐवजांवर प्रक्रिया केली. आमच्याकडे 80 दशलक्ष सदस्य असले तरी, आम्ही संभाव्य क्लायंट आणि आम्हाला सोडलेल्या दोघांसोबत काम करतो जर आम्हाला प्राप्ती गोळा करायची असेल. म्हणून, वास्तविक खंड लक्षणीय मोठ्या आहेत.

2 अब्ज व्यवहार शिल्लक दररोज बदलते - ही देयके, शुल्क, कॉल आणि इतर कार्यक्रम आहेत. 200 TB डेटा सक्रियपणे बदलत आहे, थोडे हळू बदला 8 PB डेटा, आणि हे संग्रहण नाही, परंतु एकाच बिलिंगमध्ये थेट डेटा आहे. डेटा सेंटरद्वारे स्केल - 5 साइटवर 14 हजार सर्व्हर.

तंत्रज्ञान स्टॅक

जेव्हा आम्ही आर्किटेक्चरची योजना आखली आणि सिस्टम एकत्र करण्यास सुरुवात केली, तेव्हा आम्ही सर्वात मनोरंजक आणि प्रगत तंत्रज्ञान आयात केले. परिणाम म्हणजे उच्च-लोड प्रणाली बनविणाऱ्या कोणत्याही इंटरनेट प्लेयर आणि कॉर्पोरेशन्सना परिचित असलेले तंत्रज्ञान स्टॅक.

हा स्टॅक इतर प्रमुख खेळाडूंच्या स्टॅकसारखाच आहे: Netflix, Twitter, Viber. यात 6 घटक आहेत, परंतु आम्हाला ते लहान करून एकत्र करायचे आहे.

लवचिकता चांगली आहे, परंतु मोठ्या कॉर्पोरेशनमध्ये एकीकरणाशिवाय मार्ग नाही.

आम्ही त्याच ओरॅकलला ​​टॅरनटूलमध्ये बदलणार नाही. मोठ्या कंपन्यांच्या वास्तविकतेमध्ये, हे एक यूटोपिया आहे किंवा अस्पष्ट परिणामासह 5-10 वर्षे धर्मयुद्ध आहे. पण कॅसँड्रा आणि काउचबेस सहजपणे टारंटूलने बदलले जाऊ शकतात आणि त्यासाठीच आम्ही प्रयत्नशील आहोत.

टारनटूल का?

आम्ही हा डेटाबेस का निवडला याचे 4 सोपे निकष आहेत.

गती. आम्ही मेगाफोन औद्योगिक प्रणालींवर लोड चाचण्या घेतल्या. टारंटूल जिंकला - त्याने सर्वोत्तम कामगिरी दर्शविली.

याचा अर्थ असा नाही की इतर सिस्टम मेगाफोनच्या गरजा पूर्ण करत नाहीत. सध्याची मेमरी सोल्यूशन्स इतकी उत्पादक आहेत की कंपनीचे साठे पुरेसे आहेत. परंतु आम्हाला नेत्याशी व्यवहार करण्यात स्वारस्य आहे, आणि लोड चाचणीसह मागे पडलेल्या व्यक्तीशी नाही.

टारंटूल कंपनीच्या दीर्घकालीन गरजा पूर्ण करते.

TCO खर्च. मेगाफोन व्हॉल्यूम्सवरील काउचबेसच्या समर्थनासाठी खगोलीय प्रमाणात पैसे खर्च होतात, परंतु टारंटूलसह परिस्थिती अधिक आनंददायी आहे आणि ते कार्यक्षमतेमध्ये समान आहेत.

आमच्या निवडीवर थोडासा प्रभाव टाकणारे आणखी एक छान वैशिष्ट्य म्हणजे टारंटूल इतर डेटाबेसपेक्षा मेमरीसह चांगले कार्य करते. तो दाखवतो कमाल कार्यक्षमता.

विश्वसनीयता. MegaFon विश्वासार्हतेमध्ये गुंतवणूक करते, कदाचित इतर कोणापेक्षा जास्त. म्हणून जेव्हा आम्ही टॅरनटूलकडे पाहिले तेव्हा आम्हाला जाणवले की आम्हाला ते आमच्या गरजा पूर्ण करणे आवश्यक आहे.

आम्ही आमचा वेळ आणि वित्त गुंतवले आणि Mail.ru सह आम्ही एक एंटरप्राइझ आवृत्ती तयार केली, जी आता इतर अनेक कंपन्यांमध्ये वापरली जाते.

सुरक्षा, विश्वासार्हता आणि लॉगिंगच्या बाबतीत टॅरनटूल-एंटरप्राइझने आम्हाला पूर्णपणे समाधानी केले.

भागीदारी

माझ्यासाठी सर्वात महत्वाची गोष्ट आहे विकसकाशी थेट संपर्क. टारनटूलच्या लोकांनी लाच दिली होती तीच.

जर तुम्ही एखाद्या खेळाडूकडे आलात, विशेषत: जो अँकर क्लायंटसोबत काम करतो आणि म्हणाला की तुम्हाला हे, हे आणि हे करण्यास सक्षम होण्यासाठी डेटाबेस आवश्यक आहे, तर तो सहसा उत्तर देतो:

- ठीक आहे, आवश्यकता त्या ढिगाऱ्याच्या तळाशी ठेवा - एखाद्या दिवशी, आम्ही कदाचित त्यांच्यापर्यंत पोहोचू.

अनेकांकडे पुढील 2-3 वर्षांचा रोडमॅप आहे, आणि तेथे एकत्र करणे जवळजवळ अशक्य आहे, परंतु Tarantool विकासक त्यांच्या मोकळेपणाने मोहित करतात, आणि केवळ MegaFon कडूनच नाही, आणि त्यांच्या सिस्टमला ग्राहकाशी जुळवून घेतात. हे छान आहे आणि आम्हाला ते खरोखर आवडते.

जिथे आम्ही टारनटूलचा वापर केला

आम्ही अनेक घटकांमध्ये टारंटूल वापरतो. पहिला पायलटमध्ये आहे, जी आम्ही ॲड्रेस डिरेक्टरी सिस्टमवर बनवली आहे. एकेकाळी मला ती Yandex.Maps आणि Google Maps सारखी सिस्टीम हवी होती, पण ती थोडी वेगळी झाली.

उदाहरणार्थ, विक्री इंटरफेसमधील पत्ता कॅटलॉग. ओरॅकल वर, इच्छित पत्ता शोधण्यासाठी 12-13 सेकंद लागतात. - अस्वस्थ संख्या. जेव्हा आम्ही Tarantool वर स्विच करतो, Oracle ला कन्सोलमध्ये दुसऱ्या डेटाबेसने बदलतो आणि तोच शोध करतो तेव्हा आम्हाला 200x स्पीडअप मिळतो! तिसऱ्या अक्षरानंतर शहर पॉप अप होते. आता आम्ही इंटरफेसला अनुकूल करत आहोत जेणेकरून हे पहिल्या नंतर घडेल. तथापि, प्रतिसादाची गती पूर्णपणे भिन्न आहे - सेकंदांऐवजी मिलीसेकंद.

दुसरा अनुप्रयोग एक ट्रेंडी थीम आहे ज्याला टू-स्पीड आयटी म्हणतात. कारण कॉर्पोरेशनने तिथे जावे, असे प्रत्येक कोपऱ्यातील सल्लागार सांगतात.

एक पायाभूत सुविधा स्तर आहे, त्याच्या वर डोमेन आहेत, उदाहरणार्थ, टेलिकॉम, कॉर्पोरेट सिस्टम, कॉर्पोरेट रिपोर्टिंग सारखी बिलिंग सिस्टम. हा कोर आहे ज्याला स्पर्श करण्याची आवश्यकता नाही. अर्थात, हे शक्य आहे, परंतु विलक्षणपणे गुणवत्ता सुनिश्चित करणे, कारण यामुळे महामंडळाला पैसे मिळतात.

पुढे मायक्रोसर्व्हिसेसचा स्तर येतो - ऑपरेटर किंवा इतर खेळाडूंमध्ये काय फरक आहे. काही विशिष्ट कॅशेवर आधारित मायक्रोसर्व्हिसेस त्वरीत तयार केल्या जाऊ शकतात, विविध डोमेनमधून डेटा आणून. येथे प्रयोगांसाठी फील्ड - जर काहीतरी कार्य करत नसेल, तर मी एक मायक्रोसर्व्हिस बंद केली आणि दुसरी उघडली. हे खऱ्या अर्थाने मार्केट टू-टाइम वाढवते आणि कंपनीची विश्वासार्हता आणि गती वाढवते.

MegaFon मधील टारंटूलची कदाचित मुख्य भूमिका मायक्रोसर्व्हिसेस आहे.

जिथे आम्ही टारंटूल वापरण्याची योजना आखत आहोत

जर आम्ही आमच्या यशस्वी बिलिंग प्रकल्पाची तुलना Deutsche Telekom, Svyazcom, Vodafone India येथील परिवर्तन कार्यक्रमांशी केली, तर ते आश्चर्यकारकपणे गतिमान आणि सर्जनशील आहे. या प्रकल्पाच्या अंमलबजावणीच्या प्रक्रियेत, केवळ MegaFon आणि त्याची रचनाच बदलली नाही तर Tarantool-enterprise देखील Mail.ru वर दिसू लागली आणि आमचे विक्रेता Nexign (पूर्वी पीटर-सर्व्हिस) - BSS बॉक्स (एक बॉक्स्ड बिलिंग सोल्यूशन).

हा एका अर्थाने रशियन बाजारासाठी ऐतिहासिक प्रकल्प आहे. फ्रेडरिक ब्रूक्सच्या "द मिथिकल मॅन-मंथ" या पुस्तकात वर्णन केलेल्या गोष्टीशी त्याची तुलना केली जाऊ शकते. त्यानंतर, 60 च्या दशकात, IBM ने मेनफ्रेमसाठी नवीन OS/360 ऑपरेटिंग सिस्टम विकसित करण्यासाठी 5 लोकांना नियुक्त केले. आमच्याकडे कमी आहे - 000, परंतु आमचे वेस्टमध्ये आहेत आणि ओपन सोर्स आणि नवीन पद्धतींचा वापर लक्षात घेऊन आम्ही अधिक उत्पादकपणे काम करतो.

खाली बिलिंगचे डोमेन किंवा, अधिक व्यापकपणे, व्यवसाय प्रणाली आहेत. एंटरप्राइझमधील लोकांना CRM चांगलं माहीत आहे. प्रत्येकाकडे आधीपासून इतर प्रणाली असणे आवश्यक आहे: ओपन API, API गेटवे.

ओपन एपीआय

चला संख्या पुन्हा पाहू आणि सध्या Open API कसे कार्य करते. त्याचा भार आहे प्रति सेकंद 10 व्यवहार. आम्ही मायक्रोसर्व्हिसेस लेयर सक्रियपणे विकसित करण्याची आणि मेगाफोन सार्वजनिक API तयार करण्याची योजना आखत असल्याने, आम्हाला भविष्यात या भागात अधिक वाढीची अपेक्षा आहे. 100 व्यवहार नक्कीच होतील.

मला माहित नाही की आम्ही SSO मधील Mail.ru शी तुलना करू शकतो - मुलांचे प्रति सेकंद 1 व्यवहार आहेत. त्यांचे समाधान आमच्यासाठी अत्यंत मनोरंजक आहे आणि आम्ही त्यांचा अनुभव स्वीकारण्याची योजना आखत आहोत - उदाहरणार्थ, Tarantool वापरून कार्यात्मक SSO बॅकअप बनवणे. आता Mail.ru मधील विकसक आमच्यासाठी हे करत आहेत.

सी आर एम

CRM हेच 80 दशलक्ष सदस्य आहेत जे आम्हाला एक अब्ज पर्यंत वाढवायचे आहेत, कारण आधीच 300 दशलक्ष दस्तऐवज आहेत ज्यात तीन वर्षांचा इतिहास आहे. आम्ही खरोखर नवीन सेवा आणि येथे उत्सुक आहोत वाढ बिंदू कनेक्टेड सेवा आहे. हा एक बॉल आहे जो वाढेल, कारण तेथे अधिक आणि अधिक सेवा असतील. त्यानुसार, आम्हाला एका कथेची आवश्यकता असेल; आम्हाला यात अडखळायचे नाही.

पावत्या जारी करण्याच्या दृष्टीने स्वतः बिलिंग करणे, प्राप्त करण्यायोग्य ग्राहक खात्यांसह कार्य करणे वेगळ्या डोमेनमध्ये बदलले. कामगिरी सुधारण्यासाठी, लागू डोमेन आर्किटेक्चर आर्किटेक्चरल पॅटर्न.

सिस्टम डोमेनमध्ये विभागली गेली आहे, भार वितरित केला जातो आणि दोष सहिष्णुता सुनिश्चित केली जाते. याव्यतिरिक्त, आम्ही वितरित आर्किटेक्चरसह काम केले.

बाकी सर्व काही एंटरप्राइझ-स्तरीय उपाय आहेत. कॉल स्टोरेजमध्ये - दररोज 2 अब्ज, दरमहा 60 अब्ज. कधीकधी तुम्हाला ते एका महिन्यात मोजावे लागतात आणि ते लवकर चांगले होते. आर्थिक देखरेख - हे अगदी 300 दशलक्ष आहे जे सतत वाढत आणि वाढत आहेत: ग्राहक बहुतेकदा ऑपरेटर दरम्यान धावतात आणि हा भाग वाढवतात.

मोबाईल संप्रेषणाचा सर्वात दूरसंचार घटक आहे ऑनलाइन बिलिंग. या अशा सिस्टीम आहेत ज्या तुम्हाला कॉल करण्याची किंवा कॉल न करण्याची, रिअल टाइममध्ये निर्णय घेण्याची परवानगी देतात. येथे लोड प्रति सेकंद 30 व्यवहार आहे, परंतु डेटा हस्तांतरणातील वाढ लक्षात घेऊन आम्ही योजना आखतो 250 व्यवहार, आणि म्हणून आम्हाला टारंटूलमध्ये खूप रस आहे.

मागील चित्र हे डोमेन आहे जिथे आपण Tarantool वापरणार आहोत. CRM स्वतःच अर्थातच व्यापक आहे आणि आम्ही त्याचा वापर कोरमध्ये करणार आहोत.

आमचा 100 दशलक्ष सदस्यांचा अंदाजे टीटीएक्स आकडा मला वास्तुविशारद म्हणून गोंधळात टाकतो - जर 101 दशलक्ष असेल तर? तुम्हाला सर्व काही पुन्हा करावे लागेल का? हे होण्यापासून रोखण्यासाठी, आम्ही कॅशे वापरतो, त्याच वेळी प्रवेशयोग्यता वाढवतो.

सर्वसाधारणपणे, टारनटूल वापरण्यासाठी दोन पद्धती आहेत. पहिला - मायक्रोसर्व्हिस स्तरावर सर्व कॅशे तयार करा. माझ्या माहितीनुसार, VimpelCom क्लायंटची कॅशे तयार करून या मार्गाचे अनुसरण करत आहे.

आम्ही विक्रेत्यांवर कमी अवलंबून आहोत, आम्ही BSS कोर बदलत आहोत, म्हणून आमच्याकडे बॉक्सच्या बाहेर एकच क्लायंट फाइल आहे. पण आम्हाला त्याचा विस्तार करायचा आहे. म्हणून, आम्ही थोडा वेगळा दृष्टीकोन घेतो - सिस्टममध्ये कॅशे बनवा.

अशा प्रकारे कमी सिंक्रोनाइझेशन आहे - एक प्रणाली कॅशे आणि मुख्य मुख्य स्त्रोत दोन्हीसाठी जबाबदार आहे.

ही पद्धत ट्रान्झॅक्शनल स्केलेटनसह टारंटूल पध्दतीशी चांगली बसते, जेव्हा केवळ अपडेटशी संबंधित भाग, म्हणजेच डेटा बदल अद्यतनित केले जातात. बाकी सर्व काही कुठेतरी साठवले जाऊ शकते. कोणताही मोठा डेटा लेक, अव्यवस्थापित जागतिक कॅशे नाही. कॅशे सिस्टमसाठी, किंवा उत्पादनांसाठी, किंवा क्लायंटसाठी किंवा देखभालीसाठी जीवन सुलभ करण्यासाठी डिझाइन केलेले आहेत. जेव्हा एखादा सदस्य कॉल करतो आणि तुमच्या सेवेच्या गुणवत्तेबद्दल नाराज असतो, तेव्हा तुम्हाला दर्जेदार सेवा पुरवायची असते.

RTO आणि RPO

आयटीमध्ये दोन संज्ञा आहेत - आरटीओ и RPO.

पुनर्प्राप्ती वेळेचे उद्दिष्ट अयशस्वी झाल्यानंतर सेवा पुनर्संचयित करण्यासाठी लागणारा वेळ आहे. RTO = 0 म्हणजे काही बिघडले तरी सेवा चालूच राहते.

पुनर्प्राप्ती बिंदू उद्दिष्ट - ही डेटा पुनर्प्राप्ती वेळ आहे, विशिष्ट कालावधीत आपण किती डेटा गमावू शकतो. RPO = 0 म्हणजे आम्ही डेटा गमावत नाही.

टारंटूल कार्य

Tarantool साठी समस्या सोडवण्याचा प्रयत्न करूया.

दिले: ऍप्लिकेशन्सची एक टोपली जी प्रत्येकाला समजते, उदाहरणार्थ, Amazon मध्ये किंवा इतरत्र. आवश्यक जेणेकरून शॉपिंग कार्ट आठवड्याचे 24 दिवस 7 तास किंवा 99,99% वेळ काम करते. आमच्याकडे येणाऱ्या ऑर्डर क्रमाने राहिल्या पाहिजेत, कारण आम्ही यादृच्छिकपणे ग्राहकांचे कनेक्शन चालू किंवा बंद करू शकत नाही - सर्व काही काटेकोरपणे सुसंगत असले पाहिजे. मागील सदस्यता पुढील एक प्रभावित करते, म्हणून डेटा महत्वाचा आहे - काहीही गहाळ होऊ नये.

निर्णय. तुम्ही ते सोडवण्याचा प्रयत्न करू शकता आणि डेटाबेस विकसकांना विचारू शकता, परंतु समस्या गणिताने सोडवता येत नाही. आपण प्रमेये, संवर्धन कायदे, क्वांटम भौतिकशास्त्र लक्षात ठेवू शकता, परंतु का - ते डीबी स्तरावर सोडवले जाऊ शकत नाही.

चांगला जुना आर्किटेक्चरल दृष्टीकोन येथे कार्य करतो - तुम्हाला विषयाचे क्षेत्र चांगले माहित असणे आणि हे कोडे सोडवण्यासाठी त्याचा वापर करणे आवश्यक आहे.

आमचे समाधान: Tarantool वर अनुप्रयोगांची वितरित नोंदणी तयार करणे - एक भू-वितरित क्लस्टर. आकृतीमध्ये, ही तीन भिन्न डेटा प्रोसेसिंग केंद्रे आहेत - दोन युरल्सच्या आधी, एक युरल्सच्या पलीकडे आणि आम्ही या केंद्रांमध्ये सर्व विनंत्या वितरित करतो.

नेटफ्लिक्स, ज्याला आता IT मधील प्रमुखांपैकी एक मानले जाते, 2012 पर्यंत फक्त एक डेटा सेंटर होते. कॅथोलिक ख्रिसमसच्या पूर्वसंध्येला, 24 डिसेंबर, हे डेटा सेंटर खाली गेले. कॅनडा आणि यूएसए मधील वापरकर्ते त्यांच्या आवडत्या चित्रपटांशिवाय सोडले गेले, खूप नाराज झाले आणि सोशल नेटवर्क्सवर याबद्दल लिहिले. Netflix ची आता पश्चिम-पूर्व किनारपट्टीवर तीन डेटा केंद्रे आहेत आणि एक पश्चिम युरोपमध्ये आहे.

आम्ही सुरुवातीला भौगोलिक-वितरित समाधान तयार करत आहोत - दोष सहिष्णुता आमच्यासाठी महत्त्वाची आहे.

तर आमच्याकडे क्लस्टर आहे, पण RPO = 0 आणि RTO = 0 चे काय? विषयानुसार उपाय सोपा आहे.

अनुप्रयोगांमध्ये काय महत्वाचे आहे? दोन भाग: टोपली फेकणे ते खरेदी निर्णय घेणे, आणि नंतर. टेलिकॉममधील डीओ भागाला सहसा म्हणतात ऑर्डर कॅप्चरिंग किंवा ऑर्डर वाटाघाटी. टेलिकॉममध्ये, हे ऑनलाइन स्टोअरपेक्षा खूप कठीण असू शकते, कारण तेथे क्लायंटला सेवा देणे आवश्यक आहे, 5 पर्याय ऑफर केले जाणे आवश्यक आहे आणि हे सर्व काही काळ घडते, परंतु टोपली भरली जाते. या क्षणी, अपयश शक्य आहे, परंतु ते भयानक नाही, कारण ते मानवी देखरेखीखाली परस्परसंवादीपणे घडते.

मॉस्को डेटा सेंटर अचानक अयशस्वी झाल्यास, नंतर स्वयंचलितपणे दुसर्या डेटा सेंटरवर स्विच करून, आम्ही कार्य करणे सुरू ठेवू. सैद्धांतिकदृष्ट्या, कार्टमध्ये एक उत्पादन गमावले जाऊ शकते, परंतु आपण ते पहाल, कार्टमध्ये पुन्हा जोडा आणि कार्य करणे सुरू ठेवा. या प्रकरणात RTO = 0.

त्याच क्षणी, दुसरा पर्याय आहे: जेव्हा आम्ही "सबमिट करा" वर क्लिक केले, तेव्हा डेटा गमावू नये असे आम्हाला वाटते. या क्षणापासून, ऑटोमेशन कार्य करण्यास सुरवात करते - हे RPO = 0 आहे. या दोन भिन्न नमुन्यांचा वापर करून, एका प्रकरणात ते फक्त एक स्विच करण्यायोग्य मास्टरसह एक भौगोलिक-वितरित क्लस्टर असू शकते, दुसर्या बाबतीत काही प्रकारचे कोरम रेकॉर्ड. नमुने भिन्न असू शकतात, परंतु आम्ही समस्येचे निराकरण करतो.

पुढे, अर्जांची वितरीत नोंदणी असल्याने, आम्ही ते सर्व मोजू शकतो - या नोंदणीमध्ये प्रवेश करणारे अनेक प्रेषक आणि निष्पादक आहेत.

कॅसॅन्ड्रा आणि टारंटूल एकत्र

आणखी एक प्रकरण आहे - "बॅलन्सचे शोकेस". येथे कॅसॅन्ड्रा आणि टारंटूलच्या संयुक्त वापराचे एक मनोरंजक प्रकरण आहे.

आम्ही कॅसॅन्ड्रा वापरतो कारण दररोज 2 अब्ज कॉल्स ही मर्यादा नाही आणि आणखीही असतील. विपणकांना स्रोतानुसार रहदारी रंगवणे आवडते; उदाहरणार्थ, सोशल नेटवर्क्सवर अधिकाधिक तपशील दिसत आहेत. हे सर्व कथेत भर घालते.

कॅसॅन्ड्रा आपल्याला कोणत्याही आकारात क्षैतिजरित्या स्केल करण्यास अनुमती देते.

आम्हाला कॅसॅन्ड्रा सह आरामदायक वाटते, परंतु त्यात एक समस्या आहे - ती वाचण्यात चांगली नाही. रेकॉर्डिंगवर सर्व काही ठीक आहे, 30 प्रति सेकंद ही समस्या नाही - वाचन समस्या.

म्हणून, कॅशेसह एक विषय दिसला आणि त्याच वेळी आम्ही खालील समस्येचे निराकरण केले: एक जुनी पारंपारिक केस आहे जेव्हा ऑनलाइन बिलिंगच्या स्विचमधून उपकरणे आम्ही कॅसँड्रामध्ये लोड केलेल्या फायलींमध्ये येतात. आयबीएम मॅनेजर फाइल ट्रान्सफरच्या सल्ल्याचा वापर करूनही आम्ही या फाइल्सच्या विश्वासार्ह डाऊनलोडिंगच्या समस्येचा सामना केला - असे उपाय आहेत जे फाइल ट्रान्सफरचे कार्यक्षमतेने व्यवस्थापन करतात, उदाहरणार्थ, TCP ऐवजी UDP प्रोटोकॉल वापरून. हे चांगले आहे, परंतु अद्याप काही मिनिटे आहेत, आणि आम्ही अद्याप हे सर्व लोड केलेले नाही, कॉल सेंटरमधील ऑपरेटर क्लायंटला त्याच्या शिल्लक काय झाले याचे उत्तर देऊ शकत नाही - आम्हाला प्रतीक्षा करावी लागेल.

हे घडण्यापासून रोखण्यासाठी, आम्ही आम्ही समांतर फंक्शनल रिझर्व्ह वापरतो. जेव्हा आम्ही काफ्का मार्गे टॅरनटूलला इव्हेंट पाठवतो, तेव्हा रिअल टाइममध्ये एकत्रित पुनर्गणना करतो, उदाहरणार्थ, आज, आम्हाला मिळते रोख शिल्लक, जे कोणत्याही वेगाने शिल्लक हस्तांतरित करू शकते, उदाहरणार्थ, प्रति सेकंद 100 हजार व्यवहार आणि तेच 2 सेकंद.

ध्येय हे आहे की कॉल केल्यानंतर, तुमच्या वैयक्तिक खात्यात 2 सेकंदात केवळ बदललेली शिल्लकच नाही तर ती का बदलली याबद्दल माहिती असेल.

निष्कर्ष

टारंटूल वापरण्याची ही उदाहरणे होती. आम्हाला Mail.ru चा मोकळेपणा आणि वेगवेगळ्या प्रकरणांचा विचार करण्याची त्यांची इच्छा खूप आवडली.

BCG किंवा McKinsey, Accenture किंवा IBM मधील सल्लागारांसाठी आम्हाला काहीतरी नवीन देऊन आश्चर्यचकित करणे आधीच कठीण आहे - ते जे ऑफर करतात त्यापैकी बरेच काही आम्ही एकतर आधीच केले आहे, केले आहे किंवा करण्याची योजना आखत आहोत. मला वाटते की आमच्या तंत्रज्ञान स्टॅकमध्ये Tarantool त्याचे योग्य स्थान घेईल आणि अनेक विद्यमान तंत्रज्ञानाची जागा घेईल. आम्ही या प्रकल्पाच्या विकासाच्या सक्रिय टप्प्यात आहोत.

ओलेग आणि आंद्रे यांचा अहवाल गेल्या वर्षीच्या टारनटूल कॉन्फरन्समधील सर्वोत्कृष्ट आहे आणि 17 जून रोजी ओलेग इव्हलेव्ह येथे बोलतील. T+ परिषद 2019 अहवालासह "एंटरप्राइझमध्ये टारंटूल का". अलेक्झांडर ड्यूलिन मेगाफोनकडून सादरीकरण देखील देतील "टारंटूल कॅशेस आणि ओरॅकलकडून प्रतिकृती". काय बदल झाले आहेत, कोणत्या योजना राबवल्या आहेत ते जाणून घेऊया. सामील व्हा - परिषद विनामूल्य आहे, तुम्हाला फक्त एवढेच करायचे आहे साइन अप. सर्व अहवाल स्वीकारले आणि कॉन्फरन्स प्रोग्राम तयार केला गेला आहे: नवीन केसेस, टारंटूल वापरण्याचा नवीन अनुभव, आर्किटेक्चर, एंटरप्राइझ, ट्यूटोरियल आणि मायक्रोसर्व्हिसेस.

स्त्रोत: www.habr.com