PayPal avas JunoDB andmebaasi allika koodi

PayPal avas oma avatud lähtekoodiga talletuslike andmebaasi JunoDB, mis manipuleerib andmetega võtme-väärtuse formaadis. Süsteem on algselt projekteeritud kõrgendatud turvalisuse, horisontaalse skaleeritavuse, talitlushäirete taluvuse ja võimega töödelda sadu tuhandeid samasuguseid ühendusi prognoositavate viivitustega. PayPalis on praktiliselt kõik teenused, alates kasutajate sisselogimisest kuni rahatehingute töötlemiseni, seotud JunoDB-ga. Projekti kood on kirjutatud Go keeles (klientraamatukogu Java-s) ja seda jagatakse Apache 2.0 litsentsi alusel. Edasiarendamisel võetakse vastu muudatused, parandused ja täiendused kogukonnalt.

JunoDB arhitektuur põhineb koormuse tasandamise kasutamisel, mis võtab vastu päringud klientrakendustelt ja jagab need edasi proxy-serverite vahel, mis samal ajal ühenduvad andmehoidla grupiga. serverid Iga proxy-server loob ühendused kohe kõigi serveritega andmehoidlatega ja suunab päringud andmehoidla serverite gruppi, tuginedes sektsioonide indekseerimisele, mis salvestatakse jaotatud konfiguratsioonihaldussüsteemis etcd.

Andmed jaotatakse ja siduvad neid andmehoidlatele kasutades hajutatud indekseerimist, mis vähendab andmete liikumist klastris sõlmede suurendamise või vähendamise korral. Talitlushäirete taluvuse tagamiseks kopeeritakse iga andmepartii mitmele andmehoidla sõlmele, mis võimaldab teavet säilitada üksikute serverite rikke korral. Toetatakse territoriaalselt jaotatud talletusi, kus sõlmede grupid on paigutatud erinevatesse andmekeskustesse.

Andmed talletatakse andmehoidla sõlmedes kas operatiivmälu või kohaliku salvestussüsteemi põhjal, kasutades RocksDB raamatukogu. Püsivalt salvestamise korral talletatakse andmed krüpteeritud kujul (krüpteerimise võti võib olla määratud nii kliendi poolt kui ka proxy tasandil).

Rakendustest andmebaasile juurdepääsuks on saadaval klienditeek, mis pakub API-d rakenduste jaoks, mis on kirjutatud Java, Go ja C++ keeltes. Kliendi osa on maksimaalselt lihtsustatud, keeruline loogika ja seaded on võimaluse korral viidud andmebaasi poole. Suhtlemine kliendi ja koormuse tasakaalustaja või proxy vahel toimub krüpteeritud suhtluskanali kaudu. Halduseks ja päringute saatmiseks on võimalik kasutada käsurealiidest, mis tagab kõik kliendi API võimalused.

Süsteem on projekteeritud töötlema päringuid ettearvatava madala latentsusega. Näiteks kolmest salvestusnode ja ühest proxy'st koosnev klaster, mis on loodud keskkondadest n1-highmem-32 (32 CPU Intel Xeon 2.30GHz, 214G RAM ja 450G SSD-põhise salvestust), suudab pakkuda fikseeritud latentsust, mis ei ületa 2.5 ms 95% juhtudest ja 16 ms 99% puhul, töötades 200 000 samaaegse TLS-ühenduse ja 15 000 päringu vooguga sekundis (3000 samaaegse ühenduse ja 80 000 päringu voogu töötlemisel ei ületanud latentsus 6 ms 95% juhtudest ja 15 ms 99% puhul). PayPalis teenindavad JunoDB põhised teenused umbes 350 miljardit päringut päevas.

Allikas: opennet.ru