PayPal פתחה את קוד JunoDB DBMS

PayPal פתחה את קוד המקור של DBMS JunoDB עמיד בפני תקלות, אשר מבצע מניפולציות בנתונים בפורמט מפתח-ערך. המערכת תוכננה בתחילה עם אבטחה גבוהה, מדרגיות אופקית, סובלנות לתקלות ויכולת לטפל במאות אלפי חיבורים בו-זמנית תוך מחשבה על זמן השהייה צפוי. ב-PayPal, כמעט כל השירותים, החל מכניסות משתמשים ועד עיבוד עסקאות פיננסיות, קשורים ל-JunoDB. קוד הפרויקט כתוב ב-Go (ספריית לקוח Java) ומופץ תחת רישיון Apache 2.0. המשך הפיתוח יקבל תיקונים, שיפורים ושינויים מהקהילה.

הארכיטקטורה של JunoDB מבוססת על שימוש במאזן עומסים שמקבל בקשות מיישומי לקוח ומפיץ אותן בין שרתי פרוקסי שניגשים בו זמנית לקבוצה של שרתי אחסון בעת ​​ביצוע הבקשה. כל שרת פרוקסי יוצר חיבורים לכל שרתי האחסון בבת אחת ומעביר בקשות לקבוצת שרתי אחסון בהתבסס על אינדקס המחיצות, המאוחסן בתצורת מערכת האחסון המבוזרת וכו'.

הנתונים מחולקים ומקושרים לצמתי אחסון באמצעות hashing, מה שמפחית את תנועת הנתונים כאשר צמתים באשכול גדלים או מתכווצים. כדי להבטיח סובלנות לתקלות, כל פיסת נתונים משוכפלת במספר צמתי אחסון, מה שמאפשר לך לשמור מידע כאשר שרתים בודדים נכשלים. יצירת אחסון מבוזרים גיאוגרפית נתמכת, שבהם קבוצות של צמתים ממוקמות במרכזי נתונים שונים.

בצמתי אחסון נתונים, הם ממוקמים ב-RAM או באחסון מקומי המבוסס על ספריית RocksDB. כאשר הם מאוחסנים באופן קבוע, הנתונים מאוחסנים בצורה מוצפנת (אפשר לקבוע את מפתח ההצפנה על ידי הלקוח או להגדיר ברמת ה-proxy).

כדי לגשת למסד הנתונים מיישומים, מסופקת ספריית לקוח המספקת API עבור יישומים ב-Java, Go ו-C++. חלק הלקוח מפושט ככל האפשר, והלוגיקה וההגדרות המורכבות מועברות לצד DBMS במידת האפשר. האינטראקציה בין הלקוח לבין המאזן או ה-proxy מתבצעת באמצעות ערוץ תקשורת מוצפן. כדי לנהל ולשלוח בקשות, אתה יכול להשתמש בממשק שורת הפקודה, המשכפל את כל היכולות של ה-API של הלקוח.

המערכת נועדה לעבד בקשות עם זמן השהייה נמוך שניתן לחיזוי, למשל, אשכול של שלושה צמתי אחסון ופרוקסי אחד, שנוצרו מסביבות n1-hihmem-32 (32 מעבדי Intel Xeon 2.30GHz, 214G RAM ואחסון מבוסס SSD 450G) , הצליח לספק עיכובים קבועים שלא יעלו על 2.5 אלפיות השנייה ב-95% מהמקרים ו-16 אלפיות השנייה ב-99% בעת עיבוד של 200 אלף חיבורי TLS בו זמנית וזרימה של 15 אלף בקשות בשנייה (עם 3000 חיבורים בו זמנית וזרימה של 80 אלף בקשות לשנייה, העיכובים לא עלו על 6 אלפיות השנייה ב-95% מהמקרים ו-15 אלפיות השנייה ב-99%. ב-PayPal, שירותים מבוססי JunoDB משרתים כ-350 מיליארד בקשות ביום.

מקור: OpenNet.ru