PayPal отвори кода на JunoDB DBMS

PayPal отвори изходния код на устойчивата на грешки СУБД JunoDB, която манипулира данни във формат ключ-стойност. Първоначално системата е проектирана с висока сигурност, хоризонтална мащабируемост, устойчивост на грешки и способност да обработва стотици хиляди едновременни връзки с предсказуеми закъснения. В PayPal почти всички услуги, от влизане на потребителите до обработка на финансови транзакции, са свързани с JunoDB. Кодът на проекта е написан на Go (клиентска библиотека на Java) и се разпространява под лиценза Apache 2.0. По-нататъшното развитие ще приеме корекции, подобрения и промени от общността.

Архитектурата на JunoDB се основава на използването на балансьор на натоварването, който приема заявки от клиентски приложения и ги разпределя между прокси сървъри, които едновременно имат достъп до група сървъри за съхранение, когато заявката се изпълни. Всеки прокси сървър установява връзки към всички сървъри за съхранение наведнъж и препраща заявки към група сървъри за съхранение въз основа на индекса на дяла, който се съхранява в конфигурацията на разпределената система за съхранение etcd.

Данните са разделени и свързани с възли за съхранение с помощта на хеширане, което намалява движението на данни, когато възлите в клъстера растат или се свиват. За да се осигури толерантност към грешки, всяка част от данните се репликира на няколко възела за съхранение, което ви позволява да запазвате информация, когато отделните сървъри се повредят. Поддържа се създаването на географски разпределени хранилища, в които групи от възли са разположени в различни центрове за данни.

На възлите за съхранение на данни те се намират в RAM или в локално хранилище въз основа на библиотеката RocksDB. Когато се съхраняват постоянно, данните се съхраняват в криптирана форма (ключът за криптиране може да бъде определен от клиента или зададен на ниво прокси).

За достъп до базата данни от приложения се доставя клиентска библиотека, която предоставя API за приложения в Java, Go и C++. Клиентската част е максимално опростена, а сложната логика и настройки се прехвърлят към страната на СУБД, когато е възможно. Взаимодействието между клиента и балансьора или проксито се осъществява чрез криптиран комуникационен канал. За да управлявате и изпращате заявки, можете да използвате интерфейса на командния ред, който репликира всички възможности на клиентския API.

Системата е проектирана да обработва заявки с предсказуеми ниски закъснения, например клъстер от три възела за съхранение и един прокси, образуван от среди n1-highmem-32 (32 процесора Intel Xeon 2.30 GHz, 214 G RAM и 450 G SSD базирано хранилище) , успя да осигури фиксирани забавяния, които не надвишават 2.5 ms в 95% от случаите и 16 ms в 99% при обработка на 200 хиляди едновременни TLS връзки и поток от 15 хиляди заявки в секунда (с 3000 едновременни връзки и поток от 80 хиляди заявки в секунда, закъсненията не надвишават 6 ms в 95% от случаите и 15 ms в 99%). В PayPal услугите, базирани на JunoDB, обслужват около 350 милиарда заявки на ден.

Източник: opennet.ru