PayPal откри кода на СУБД JunoDB

Компания PayPal публикува изходния код на отказоустойчивата СУБД JunoDB, която управлява данни в формат ключ-стойност. Системата е проектирана с акцент върху висока сигурност, хоризонтална мащабируемост, отказоустойчивост и способност да обработва стотици хиляди едновременни връзки с предсказуеми закъснения. В PayPal почти всички услуги, от входа на потребителите до обработката на финансови транзакции, зависят от JunoDB. Кодът на проекта е написан на Go (клиентската библиотека е на Java) и се разпространява под лицензията Apache 2.0. При последваща разработка ще бъдат приемани поправки, подобрения и модификации от общността.

Архитектурата на JunoDB е изградена на базата на балансировач на натоварването, който приема заявки от клиентски приложения и ги разпределя между прокси-сървъри, които едновременно се свързват с група сървъри съхранение при изпълнение на заявката. Всеки прокси-сървър установява връзки едновременно с всички сървъри съхранение и пренасочва заявките към група сървъри за съхранение на базата на индекс на партициониране, който се съхранява в разпределена система за конфигурационно съхранение etcd.

Данните се партиционират и свързват с узли за съхранение чрез хеширане, което намалява преместването на данни при увеличаване или намаляване на узлите в кластера. За осигуряване на отказоустойчивост всяка част от данните се репликира на няколко узла за съхранение, което позволява запазване на информацията при повреда на отделни сървъри. Поддържа се създаването на териториално разпределени хранилища, в които групи от узли са разположени в различни датацентрове.

На узлите за съхранение данните се поставят в оперативната памет или в локално хранилище на базата на библиотеката RocksDB. При постоянно съхранение данните се съхраняват в криптиран вид (ключът за криптиране може да се определи както от клиента, така и да бъде зададен на ниво прокси).

За достъп до БД от приложенията се предоставя клиентска библиотека, предлагаща API за приложения на езици Java, Go и C++. Клиентската част е максимално опростена, докато сложната логика и настройки са пренесени на страната на СУБД. Взаимодействието между клиента и балансировчика или проксито се осъществява чрез шифрован комуникационен канал. За управление и изпращане на запитвания може да се използва интерфейсът на командния ред, който възпроизвежда всички възможности на клиентския API.

Системата е проектирана за обработка на запитвания с предсказуемо ниска латентност, например, клъстър от три хранилища и един прокси, създаден от среди n1-highmem-32 (32 CPU Intel Xeon 2.30GHz, 214G RAM и 450G хранилище на база SSD), успя да предостави фиксирани забавяния, които не надвишават 2.5 ms в 95% от случаите и 16 ms в 99% при обработка на 200 хиляди едновременни TLS връзки и поток от 15 хиляди запитвания в секунда (при 3000 едновременни връзки и поток от 80 хиляди запитвания в секунда забавянията не надвишиха 6 ms в 95% от случаите и 15 ms в 99%). В PayPal услугите на базата на JunoDB обслужват около 350 милиарда запитвания на ден.

Източник: opennet.ru