כיצד להתיידד בין מערכת הבנקאות Progress OpenEdge ל-Oracle DBMS

מאז 1999, כדי לתת שירות ל-Back Office, הבנק שלנו משתמש במערכת הבנקאית המשולבת BISKVIT בפלטפורמת Progress OpenEdge, שנמצאת בשימוש נרחב ברחבי העולם, כולל במגזר הפיננסי. הביצועים של DBMS זה מאפשרים לך לקרוא עד מיליון רשומות או יותר בשנייה במסד נתונים אחד (DB). Progress OpenEdge שלנו מספקת כ-1,5 מיליון פיקדונות בודדים וכ-22,2 מיליון חוזים למוצרים פעילים (הלוואות רכב ומשכנתאות), וכן אחראית על כל ההסדרים עם הרגולטור (הבנק המרכזי) ו-SWIFT.

באמצעות Progress OpenEdge, עמדנו בפני הצורך לגרום לזה לעבוד עם Oracle DBMS. בתחילה, החבילה הזו הייתה צוואר הבקבוק של התשתית שלנו - עד שהתקנו והגדרנו את Pro2 CDC - מוצר Progress המאפשר לשלוח נתונים מה-Progress DBMS ל-Oracle DBMS ישירות, אונליין. בפוסט הזה נספר לכם בפירוט, עם כל המלכודות, איך ליצור חברים ביעילות בין OpenEdge ל-Oracle.

איך זה קרה: העלאת נתונים ל-QCD באמצעות שיתוף קבצים

ראשית, כמה עובדות על התשתית שלנו. מספר המשתמשים הפעילים במאגר הוא כ-15 אלף. הנפח של כל מסדי הנתונים היצרניים, כולל העתק והמתנה, הוא 600 TB, מסד הנתונים הגדול ביותר הוא 16,5 TB. במקביל, מאגרי המידע מתחדשים כל הזמן: במהלך השנה האחרונה בלבד נוספו כ-120 TB של נתונים פרודוקטיביים. המערכת מופעלת על ידי 150 שרתים קדמיים בפלטפורמת x86. מסדי הנתונים מתארחים ב-21 שרתי פלטפורמה של IBM.

מערכות חזיתיות, מערכות ליבה בנקאיות שונות ושירותי בנקאות משולבים עם OpenEdge Progress (BISCUIT IBS) באמצעות אפיק Sonic ESB. העלאת נתונים ל-QCD מתרחשת באמצעות החלפת קבצים. עד לנקודת זמן מסוימת, לפתרון הזה היו שתי בעיות גדולות בבת אחת - ביצועים נמוכים של העלאת מידע למחסן נתונים ארגוני (CDW) וזמן ארוך לביצוע התאמה (התאמה) נתונים עם מערכות אחרות.

לכן, התחלנו לחפש כלי שיוכל לזרז תהליכים אלו. הפתרון לשתי הבעיות היה המוצר החדש של Progress OpenEdge – Pro2 CDC (Change Data Capture). אז בואו נתחיל.

התקן את Progress OpenEdge ו-Pro2Oracle

כדי להפעיל את Pro2 Oracle במחשב ה-Windows של מנהל המערכת, מספיק להתקין את Progress OpenEdge Developer Kit Classroom Edition, שיכולה להיות להוריד בחינם. ספריות ברירת מחדל להתקנה של OpenEdge:

DLC: C:ProgressOpenEdge
WRK: C:OpenEdgeWRK

תהליכי ETL דורשים רישיונות Progress OpenEdge גרסה 11.7+ - כלומר OE DataServer עבור Oracle ו-4GL Development System. רישיונות אלו כלולים ב-Pro2. להפעלה מלאה של DataServer for Oracle עם מסד נתונים מרוחק של Oracle, מותקן Full Oracle Client.

בשרת Oracle צריך להתקין את Oracle Database 12+, ליצור מסד נתונים ריק ולהוסיף משתמש (בואו נקרא לו CDC).

כדי להתקין את Pro2Oracle, הורד את ההפצה העדכנית ביותר ממרכז ההורדות תוכנת התקדמות. פרק את הארכיון לתוך ספרייה C:Pro2 (כדי להגדיר את Pro2 ב-Unix, נעשה שימוש באותה הפצה ואותם עקרונות תצורה חלים).

יצירת מסד נתונים שכפול cdc

מסד נתונים שכפול cdc (repl) Pro2 משמש לאחסון מידע תצורה, כולל מפת השכפול, שמות של מסדי נתונים משוכפלים והטבלאות שלהם. הוא מכיל גם תור שכפול, המורכב מהערות לגבי העובדה ששורת טבלה במסד הנתונים של המקור השתנתה. נתונים מתור השכפול משמשים בתהליכי ETL כדי לזהות שורות שיש להעתיק לאורקל ממסד הנתונים של המקור.

אנו יוצרים מסד נתונים נפרד של cdc.

נוהל יצירת מסד נתונים

1. בשרת מסד הנתונים אנו יוצרים ספרייה עבור מסד הנתונים cdc - למשל, בשרת /database/cdc/.
2. צור דמה עבור מסד הנתונים של cdc: העתק $DLC/cdc ריק
3. אפשר תמיכה בקבצים גדולים: proutil cdc -C EnableLargeFiles
4. אנו מכינים סקריפט להפעלת מסד הנתונים cdc. פרמטרי ההתחלה חייבים להיות דומים לפרמטרי ההתחלה של מסד הנתונים המשוכפל.
5. אנו מתחילים את מסד הנתונים של cdc.
6. התחבר למסד הנתונים של cdc וטען את סכימת Pro2 מהקובץ cdc.df, הכלול ב-Pro2.
7. אנו יוצרים את המשתמשים הבאים במסד הנתונים של cdc:

pro2adm - לחיבור מהפאנל הניהולי של Pro2;
pro2etl – לחיבור תהליכי ETL (ReplBatch);
pro2cdc - לחיבור תהליכי CDC (CDCBatch);

הפעלת OpenEdge Change Data Capture

כעת נפעיל את מנגנון ה-CDC עצמו, בעזרתו ישוכפלו נתונים לאזור טכנולוגי נוסף. לכל מסד נתונים מקור של Progress OpenEdge, עליך להוסיף אזורי אחסון נפרדים אליהם ישוכפלו נתוני המקור, ולהפעיל את המנגנון עצמו באמצעות הפקודה proutil.

נוהל דוגמה למאגר הביסקוויט

1. העתקה מהקטלוג C:Pro2db файл cdcadd.st לספריית מסד הנתונים של מקור bisquit.
2. אנו מתארים ב cdcadd.st מידות קבועות עבור אזורים "ReplCDCArea" и "ReplCDCArea_IDX". אתה יכול להוסיף אזורי אחסון חדשים באינטרנט: prostrct addonline bisquit cdcadd.st
3. הפעל את OpenEdge CDC:
   proutil bisquit -C enablecdc area "ReplCDCArea" indexarea "ReplCDCArea_IDX"
4. יש ליצור את המשתמשים הבאים במסד הנתונים של המקור כדי לזהות תהליכים פועלים:
   א. pro2adm - לחיבור מהפאנל הניהולי של Pro2.
   ב. pro2etl – לחיבור תהליכי ETL (ReplBatch).
   ג. pro2cdc – לחיבור תהליכי CDC (CDCBatch).

יצירת מחזיק סכימה עבור DataServer עבור Oracle

לאחר מכן, עלינו ליצור מסד נתונים Schema Holder בשרת שבו ישוכפלו נתונים מ-Progress DBMS ל-Oracle DBMS. DataServer Schema Holder הוא מסד נתונים ריק של Progress OpenEdge ללא משתמשים או נתוני יישומים, המכיל מפה של התאמה בין טבלאות מקור לטבלאות אורקל חיצוניות.

מסד הנתונים של Schema Holder עבור Progress OpenEdge DataServer עבור Oracle for Pro2 חייב להיות ממוקם בשרת התהליך ETL; הוא נוצר בנפרד עבור כל ענף.

כיצד ליצור מחזיק סכמה

1. פרק את הפצת Pro2 לתוך ספרייה /pro2
2. צור ועבור לספרייה /pro2/dbsh
3. צור מסד נתונים של Schema Holder באמצעות הפקודה העתק $DLC/bisquitsh ריק
4. ביצוע ההמרה ביסקוויטש לתוך הקידוד הנדרש - לדוגמה, ב-UTF-8 אם לבסיסי נתונים של Oracle יש קידוד UTF-8: proutil bisquitsh -C convchar convert UTF-8
5. לאחר יצירת מסד נתונים ריק ביסקוויטש התחבר אליו במצב של משתמש יחיד: פרו ביסקוויטש
6. בוא נלך למילון הנתונים: כלים -> מילון נתונים -> DataServer -> ORACLE Utilities -> צור סכימה של DataServer
7. הפעל Schema Holder
8. הגדרת הברוקר של Oracle DataServer:
   א. הפעל את AdminServer.
   proadsv -start
   ב. התחלת הברוקר של Oracle DataServer
   oraman -שם orabroker1 -התחלה

הגדרת לוח הניהול וסכימת השכפול

באמצעות הפאנל הניהולי של Pro2, מוגדרים פרמטרים של Pro2, כולל הגדרת סכימת השכפול ויצירת תהליכי ETL (ספריית מעבד), תוכניות סנכרון ראשוניות (מעבד העתקה בכמות גדולה), טריגרים לשכפול ומדיניות OpenEdge CDC. ישנם גם כלים עיקריים לניטור וניהול תהליכי ETL ו-CDC. קודם כל, הגדרנו את קבצי הפרמטרים.

כיצד להגדיר קבצי פרמטרים

1. כנסו לקטלוג C:Pro2bpreplScripts
2. פתח את הקובץ לעריכה replProc.pf
3. הוסף פרמטרי חיבור למסד הנתונים של שכפול cdc:
   # מסד נתונים שכפול
   -db cdc -ld repl -H <שם מארח מסד נתונים ראשי> -S <יציאת מתווך מסד נתונים cdc>
   -U pro2admin -P <סיסמה>
4. להוסיף ל replProc.pf פרמטרי חיבור לבסיסי נתונים מקור ול- Schema Holder בצורה של קבצי פרמטרים. השם של קובץ הפרמטרים חייב להתאים לשם של מסד הנתונים של המקור המתחבר.
   # התחבר לכל המקורות המשוכפלים BISQUIT
   -pf bpreplscriptsbisquit.pf
5. להוסיף ל replProc.pf פרמטרים לחיבור ל- Schema Holder.
   #Target Pro DB Schema Holder
   -db bisquitsh -ld bisquitsh
   -H <ETL process hostname>
   -S <biskuitsh broker port>
   -db bisquitsql
   -ld bisquitsql
   -dt ORACLE
   -S 5162 -H <שם מארח של מתווך אורקל>
   -DataService orabroker1
6. שמור את קובץ הפרמטרים replProc.pf
7. לאחר מכן, עליך ליצור ולפתוח לעריכת קבצי פרמטרים עבור כל מסד נתונים מקור מחובר בספריה C:Pro2bpreplScripts: bisquit.pf. כל קובץ pf מכיל פרמטרים לחיבור למסד הנתונים המתאים, למשל:
   -db bisquit -ld bisquit -H <שם מארח> -S <פורט ברוקר>
   -U pro2admin -P <סיסמה>

כדי להגדיר קיצורי דרך של Windows, אתה צריך ללכת לספרייה C:Pro2bpreplScripts וערוך את קיצור הדרך "Pro2 - Administration". לשם כך, פתח את המאפיינים של קיצור הדרך ובשורה מתחיל ב ציין את ספריית ההתקנה של Pro2. יש לבצע פעולה דומה עבור קיצורי הדרך "Pro2 - Editor" ו-"RunBulkLoader".

הגדרת ניהול Pro2: טוען תצורה ראשונית

בואו נפעיל את הקונסולה.

עבור אל "מפת DB".

לקישור מסדי נתונים ב-Pro2 – Administration, עבור ללשונית מפת DB. הוסף מיפוי של מסדי נתונים מקור - מחזיק סכמה - אורקל.

עבור לכרטיסייה מיפוי. ברשימה מסד נתונים מקור כברירת מחדל, מסד הנתונים המקור המחובר הראשון נבחר. מימין לרשימה צריכה להיות כתובת כל מסדי הנתונים מחוברים - מסדי הנתונים שנבחרו מחוברים. למטה בצד שמאל אתה אמור לראות רשימה של טבלאות Progress מ-bisquit. בצד ימין יש רשימה של טבלאות ממסד הנתונים של אורקל.

יצירת סכימות SQL ומסדי נתונים ב-Oracle

כדי ליצור מפת שכפול, תחילה עליך ליצור סכימת SQL באורקל. ב-Pro2 Administration אנו מבצעים את פריט התפריט כלים -> צור קוד -> סכמת יעד, ולאחר מכן בתיבת הדו-שיח בחר מסד נתונים בחר מסד נתונים מקור אחד או יותר והעבר אותם ימינה.

לחץ על אישור ובחר את הספרייה לשמירת סכימות SQL.

לאחר מכן אנו יוצרים את הבסיס. ניתן לעשות זאת, למשל, באמצעות מפתח אורקל SQL. לשם כך, אנו מתחברים למסד הנתונים של Oracle וטעינים את הסכימה להוספת טבלאות. לאחר שינוי ההרכב של טבלאות Oracle, עליך לעדכן את סכימות SQL ב- Schema Holder.

לאחר השלמת ההורדה בהצלחה, צא ממסד הנתונים של bisquitsh ופתח את לוח הניהול של Pro2. טבלאות ממסד הנתונים של Oracle צריכות להופיע בכרטיסייה מיפוי בצד ימין.

מיפוי טבלה

כדי ליצור מפת שכפול, בחלונית הניהולית של Pro2, עבור ללשונית מיפוי ובחר את מסד הנתונים של המקור. לחץ על מפה טבלאות, בחר בחר שינויים בצד שמאל של הטבלאות שיש לשכפל ב-Oracle, הזז אותן ימינה ואשר את הבחירה. מפה תיווצר אוטומטית עבור הטבלאות שנבחרו. אנו חוזרים על הפעולה ליצירת מפת שכפול עבור מסדי נתונים אחרים של מקור.

יצירת ספריית מעבד רפליקציית Pro2 ותוכניות מעבדים להעתקה בכמות גדולה

ספריית מעבד השכפול מיועדת לתהליכי שכפול מותאמים אישית (ETL) המעבדים את תור השכפול של Pro2 ודוחפים שינויים למסד הנתונים של Oracle. תוכניות ספריית מעבד השכפול נשמרות אוטומטית בספרייה לאחר היצירה bprepl/repl_proc (פרמטר PROC_DIRECTORY). כדי ליצור את ספריית מעבד השכפול, עבור אל כלים -> צור קוד -> ספריית מעבד. לאחר השלמת היצירה, התוכניות יופיעו בספרייה bprepl/repl_proc.

תוכניות Bulk Load Processor משמשות לסנכרון מסדי נתונים מקור של Progress עם מסד הנתונים של Oracle המבוסס על שפת התכנות Progress ABL (4GL). כדי ליצור אותם, עבור אל פריט התפריט כלים -> צור קוד -> מעבד העתקה בכמות גדולה. בתיבת הדו-שיח בחר מסד נתונים, בחר את מסדי הנתונים של המקור, העבר אותם לצד ימין של החלון ולחץ OK. לאחר השלמת היצירה, התוכניות יופיעו בספרייה bpreplrepl_mproc.

הגדרת תהליכי שכפול ב-Pro2

פיצול טבלאות לקבוצות המוגשות על ידי חוט שכפול נפרד משפר את הביצועים והיעילות של Pro2 Oracle. כברירת מחדל, כל החיבורים שנוצרו במפת השכפול עבור טבלאות שכפול חדשות משויכים לשרשור מספר 1. מומלץ להפריד טבלאות לשרשורים שונים.

מידע על המצב של שרשורי שכפול מוצג במסך ניהול Pro2 בכרטיסייה מוניטור בקטע סטטוס שכפול. תיאור מפורט של ערכי פרמטרים ניתן למצוא בתיעוד Pro2 (ספרייה C:Pro2Docs).

צור והפעל מדיניות CDC

מדיניות היא קבוצה של כללים עבור מנוע OpenEdge CDC לניטור שינויים בטבלאות. בזמן הכתיבה, Pro2 תומך רק במדיניות CDC ברמה 0, כלומר, רק עובדה מנוטרת להקליט שינויים.

כדי ליצור מדיניות CDC, בחלונית הניהול, עבור ללשונית מיפוי, בחר את מסד הנתונים של המקור ולחץ על כפתור הוסף/הסר מדיניות. בחלון Select Changes שנפתח, בחר בצד שמאל והעבר ימינה את הטבלאות שעבורן עליך ליצור או למחוק מדיניות CDC.

כדי להפעיל, פתח שוב את לשונית מיפוי, בחר את מסד הנתונים של המקור ולחץ על הכפתור (ב) הפעל מדיניות. בחר והעבר לצד ימין של הטבלה את המדיניות שיש להפעיל, לחץ על אישור. לאחר מכן הם מסומנים בירוק. על ידי שימוש ב (ב) הפעל מדיניות אתה יכול גם לבטל את מדיניות ה-CDC. כל העסקאות מתבצעות באינטרנט.

לאחר הפעלת מדיניות ה-CDC, הערות לגבי רשומות שהשתנו נשמרות באזור האחסון "ReplCDCArea" לפי מסד הנתונים של המקור. הערות אלו יעובדו בתהליך מיוחד CDCBatch, אשר על בסיסם תיצור הערות בתור שכפול Pro2 במסד הנתונים cdc (repl).

לפיכך, יש לנו שני תורים לשכפול. השלב הראשון הוא CDCBatch: ממסד הנתונים של המקור, הנתונים עוברים תחילה למסד הנתונים הביניים של CDC. השלב השני הוא כאשר נתונים מועברים ממסד הנתונים של CDC לאורקל. זוהי תכונה של הארכיטקטורה הנוכחית ושל המוצר עצמו - עד כה המפתחים לא הצליחו לבסס שכפול ישיר.

סנכרון ראשוני

לאחר הפעלת מנגנון ה-CDC והגדרת שרת השכפול Pro2, עלינו להתחיל את הסנכרון הראשוני. פקודת סנכרון ראשונית:

/pro2/bprepl/Script/replLoad.sh שם שולחן ביסקוויט

לאחר השלמת הסנכרון הראשוני, ניתן להתחיל בתהליכי שכפול.

התחלת תהליכי שכפול

כדי להתחיל תהליכי שכפול עליך להפעיל סקריפט replbatch.sh. לפני שמתחילים, ודא שיש סקריפטים מחדש של כל השרשורים - replbatch1, replbatch2 וכו'. אם הכל במקום, פתח את שורת הפקודה (לדוגמה, proenv), עבור אל הספרייה /bprepl/scripts ולהתחיל את התסריט. בפאנל הניהולי, אנו בודקים שהתהליך המתאים קיבל את סטטוס RUNNING.

ממצאים

לאחר הטמעה, האצנו מאוד את העלאת המידע למחסן הנתונים הארגוני. הנתונים נכנסים אוטומטית ל-Oracle באינטרנט. אין צורך לבזבז זמן בהפעלת כמה שאילתות ארוכות כדי לאסוף נתונים ממערכות שונות. בנוסף, בפתרון זה תהליך השכפול יכול לדחוס נתונים, מה שגם משפיע לטובה על המהירות. כעת החלה התאמה יומית של מערכת BISKVIT למערכות אחרות לקחת 15-20 דקות במקום 2-2,5 שעות, והתאמה מלאה ארכה מספר שעות במקום יומיים.

מקור: www.habr.com