PayPal ने JunoDB DBMS कोड उघडला

PayPal ने फॉल्ट-सहिष्णु DBMS JunoDB चा स्त्रोत कोड उघडला आहे, जो की-व्हॅल्यू फॉरमॅटमध्ये डेटा हाताळतो. ही प्रणाली सुरुवातीला उच्च सुरक्षा, क्षैतिज मापनक्षमता, दोष सहिष्णुता आणि अंदाज लावता येण्याजोग्या विलंबांना लक्षात घेऊन शेकडो हजारो एकाचवेळी कनेक्शन हाताळण्याची क्षमता यासह तयार करण्यात आली होती. PayPal वर, वापरकर्त्याच्या लॉगिनपासून ते आर्थिक व्यवहारांवर प्रक्रिया करण्यापर्यंत जवळजवळ सर्व सेवा JunoDB शी जोडलेल्या आहेत. प्रोजेक्ट कोड गो (एक Java क्लायंट लायब्ररी) मध्ये लिहिलेला आहे आणि Apache 2.0 लायसन्स अंतर्गत वितरित केला जातो. पुढील विकास समाजाकडून दुरुस्त्या, सुधारणा आणि बदल स्वीकारेल.

जुनोडीबीचे आर्किटेक्चर लोड बॅलन्सरच्या वापरावर आधारित आहे जे क्लायंट ऍप्लिकेशन्सकडून विनंत्या स्वीकारते आणि त्यांना प्रॉक्सी सर्व्हरमध्ये वितरित करते जे एकाच वेळी स्टोरेज सर्व्हरच्या गटामध्ये प्रवेश करतात जेव्हा विनंती कार्यान्वित केली जाते. प्रत्येक प्रॉक्सी सर्व्हर सर्व स्टोरेज सर्व्हरशी एकाच वेळी कनेक्शन स्थापित करतो आणि विभाजन निर्देशांकावर आधारित स्टोरेज सर्व्हरच्या गटाकडे विनंत्या अग्रेषित करतो, जे वितरित स्टोरेज सिस्टम etcd कॉन्फिगरेशनमध्ये संग्रहित केले जाते.

डेटाचे विभाजन केले जाते आणि हॅशिंग वापरून स्टोरेज नोड्सशी लिंक केले जाते, ज्यामुळे क्लस्टरमधील नोड्स वाढतात किंवा लहान होतात म्हणून डेटाची हालचाल कमी होते. दोष सहिष्णुता सुनिश्चित करण्यासाठी, डेटाचा प्रत्येक भाग अनेक स्टोरेज नोड्सवर प्रतिरूपित केला जातो, जे वैयक्तिक सर्व्हर अयशस्वी झाल्यावर आपल्याला माहिती जतन करण्यास अनुमती देते. भौगोलिकदृष्ट्या वितरित स्टोरेजची निर्मिती समर्थित आहे, ज्यामध्ये नोड्सचे गट वेगवेगळ्या डेटा सेंटरमध्ये स्थित आहेत.

डेटा स्टोरेज नोड्सवर, ते RAM मध्ये किंवा RocksDB लायब्ररीवर आधारित स्थानिक स्टोरेजमध्ये असतात. कायमस्वरूपी संचयित केल्यावर, डेटा एन्क्रिप्टेड स्वरूपात संग्रहित केला जातो (एनक्रिप्शन की क्लायंटद्वारे निर्धारित केली जाऊ शकते किंवा प्रॉक्सी स्तरावर सेट केली जाऊ शकते).

अॅप्लिकेशन्समधून डेटाबेसमध्ये प्रवेश करण्यासाठी, क्लायंट लायब्ररी पुरवली जाते जी Java, Go आणि C++ मधील अॅप्लिकेशन्ससाठी API प्रदान करते. क्लायंटचा भाग शक्य तितका सरलीकृत केला जातो आणि जेव्हा शक्य असेल तेव्हा जटिल तर्कशास्त्र आणि सेटिंग्ज DBMS बाजूला हस्तांतरित केल्या जातात. क्लायंट आणि बॅलन्सर किंवा प्रॉक्सी यांच्यातील परस्परसंवाद एनक्रिप्टेड कम्युनिकेशन चॅनेलद्वारे केला जातो. विनंत्या व्यवस्थापित करण्यासाठी आणि पाठवण्यासाठी, तुम्ही कमांड लाइन इंटरफेस वापरू शकता, जे क्लायंट API च्या सर्व क्षमतांची प्रतिकृती बनवते.

सिस्टीम विनंत्यांना अपेक्षित कमी विलंबांसह प्रक्रिया करण्यासाठी डिझाइन केले आहे, उदाहरणार्थ, तीन स्टोरेज नोड्सचा एक क्लस्टर आणि एक प्रॉक्सी, n1-highmem-32 वातावरणातून (32 Intel Xeon 2.30GHz CPUs, 214G RAM आणि 450G SSD-आधारित स्टोरेज) , 2.5 हजार एकाचवेळी TLS कनेक्शनवर प्रक्रिया करताना 95 ms पेक्षा जास्त नसलेला निश्चित विलंब आणि 16% मध्ये 99 ms आणि प्रति सेकंद 200 हजार विनंत्यांचा प्रवाह प्रदान करण्यात सक्षम होते (15 एकाचवेळी कनेक्शनसह आणि 3000 हजार विनंत्यांच्या प्रवाहासह प्रति सेकंद, 80% प्रकरणांमध्ये विलंब 6 ms आणि 95% मध्ये 15 ms पेक्षा जास्त नव्हता). PayPal वर, JunoDB-आधारित सेवा दररोज सुमारे 99 अब्ज विनंत्या देतात.

स्त्रोत: opennet.ru