Από το 1999, για την εξυπηρέτηση του back office, η τράπεζά μας χρησιμοποιεί το ολοκληρωμένο τραπεζικό σύστημα BISKVIT στην πλατφόρμα Progress OpenEdge, το οποίο χρησιμοποιείται ευρέως σε όλο τον κόσμο, συμπεριλαμβανομένου του χρηματοπιστωτικού τομέα. Η απόδοση αυτού του DBMS σάς επιτρέπει να διαβάζετε έως και ένα εκατομμύριο ή περισσότερες εγγραφές ανά δευτερόλεπτο σε μία βάση δεδομένων (DB). Το Progress OpenEdge μας εξυπηρετεί περίπου 1,5 εκατομμύρια μεμονωμένες καταθέσεις και περίπου 22,2 εκατομμύρια συμβόλαια για ενεργά προϊόντα (δάνεια αυτοκινήτων και υποθήκες) και είναι επίσης υπεύθυνο για όλους τους διακανονισμούς με τη ρυθμιστική αρχή (Κεντρική Τράπεζα) και τη SWIFT.
Χρησιμοποιώντας το Progress OpenEdge, αντιμετωπίσαμε την ανάγκη να το κάνουμε να λειτουργεί με το Oracle DBMS. Αρχικά, αυτό το πακέτο ήταν το σημείο συμφόρησης της υποδομής μας - μέχρι να εγκαταστήσουμε και να διαμορφώσουμε το Pro2 CDC - ένα προϊόν Progress που σας επιτρέπει να στέλνετε δεδομένα από το Progress DBMS στο Oracle DBMS απευθείας, διαδικτυακά. Σε αυτό το post θα σας πούμε αναλυτικά, με όλες τις παγίδες, πώς να κάνετε αποτελεσματικά φίλους μεταξύ OpenEdge και Oracle.
Πώς συνέβη: μεταφόρτωση δεδομένων στο QCD μέσω κοινής χρήσης αρχείων
Πρώτον, μερικά στοιχεία για τις υποδομές μας. Ο αριθμός των ενεργών χρηστών της βάσης δεδομένων είναι περίπου 15 χιλιάδες. Ο όγκος όλων των παραγωγικών βάσεων δεδομένων, συμπεριλαμβανομένων των αντιγράφων και της αναμονής, είναι 600 TB, η μεγαλύτερη βάση δεδομένων είναι 16,5 TB. Ταυτόχρονα, οι βάσεις δεδομένων ανανεώνονται συνεχώς: μόνο τον τελευταίο χρόνο προστέθηκαν περίπου 120 TB παραγωγικών δεδομένων. Το σύστημα τροφοδοτείται από 150 μπροστινούς διακομιστές στην πλατφόρμα x86. Οι βάσεις δεδομένων φιλοξενούνται σε 21 διακομιστές πλατφόρμας IBM.
Συστήματα front-end, διάφορα βασικά τραπεζικά συστήματα και τραπεζικές υπηρεσίες είναι ενσωματωμένα στο OpenEdge Progress (BISCUIT IBS) μέσω του διαύλου Sonic ESB. Η μεταφόρτωση δεδομένων στο QCD πραγματοποιείται μέσω ανταλλαγής αρχείων. Μέχρι ένα ορισμένο χρονικό σημείο, αυτή η λύση είχε δύο μεγάλα προβλήματα ταυτόχρονα - χαμηλή απόδοση της μεταφόρτωσης πληροφοριών σε μια εταιρική αποθήκη δεδομένων (CDW) και μεγάλο χρονικό διάστημα για την εκτέλεση συμφωνίας δεδομένων (συμφιλίωση) με άλλα συστήματα.
Ως εκ τούτου, αρχίσαμε να αναζητούμε ένα εργαλείο που θα μπορούσε να επιταχύνει αυτές τις διαδικασίες. Η λύση και στα δύο προβλήματα ήταν το νέο προϊόν Progress OpenEdge – Pro2 CDC (Change Data Capture). Λοιπόν, ας ξεκινήσουμε.
Εγκαταστήστε το Progress OpenEdge και το Pro2Oracle
Για να εκτελέσετε το Pro2 Oracle στον υπολογιστή Windows του διαχειριστή, αρκεί να εγκαταστήσετε το Progress OpenEdge Developer Kit Classroom Edition, το οποίο μπορεί να δωρεάν. Προεπιλεγμένοι κατάλογοι εγκατάστασης OpenEdge:
DLC: C:ProgressOpenEdge
WRK: C:OpenEdgeWRK
Οι διαδικασίες ETL απαιτούν άδειες Progress OpenEdge έκδοση 11.7+ - συγκεκριμένα OE DataServer for Oracle και 4GL Development System. Αυτές οι άδειες περιλαμβάνονται στο Pro2. Για πλήρη λειτουργία του DataServer για Oracle με απομακρυσμένη βάση δεδομένων Oracle, εγκαθίσταται το Full Oracle Client.
Στον διακομιστή Oracle πρέπει να εγκαταστήσετε τη βάση δεδομένων Oracle 12+, να δημιουργήσετε μια κενή βάση δεδομένων και να προσθέσετε έναν χρήστη (ας τον καλέσουμε CDC).
Για να εγκαταστήσετε το Pro2Oracle, πραγματοποιήστε λήψη της πιο πρόσφατης διανομής από το κέντρο λήψης. Αποσυσκευάστε το αρχείο σε έναν κατάλογο C:Pro2 (Για τη διαμόρφωση του Pro2 στο Unix, χρησιμοποιείται η ίδια διανομή και ισχύουν οι ίδιες αρχές διαμόρφωσης).
Δημιουργία βάσης δεδομένων αναπαραγωγής cdc
Βάση δεδομένων αναπαραγωγής cdc (αντιπ.) Το Pro2 χρησιμοποιείται για την αποθήκευση πληροφοριών διαμόρφωσης, συμπεριλαμβανομένου του χάρτη αναπαραγωγής, των ονομάτων των αναπαραγόμενων βάσεων δεδομένων και των πινάκων τους. Περιέχει επίσης μια ουρά αναπαραγωγής, που αποτελείται από σημειώσεις σχετικά με το γεγονός ότι μια σειρά πίνακα στη βάση δεδομένων προέλευσης έχει αλλάξει. Τα δεδομένα από την ουρά αναπαραγωγής χρησιμοποιούνται από διεργασίες ETL για τον εντοπισμό σειρών που πρέπει να αντιγραφούν στην Oracle από τη βάση δεδομένων προέλευσης.
Δημιουργούμε μια ξεχωριστή βάση δεδομένων cdc.
Διαδικασία δημιουργίας βάσης δεδομένων
- Στον διακομιστή βάσης δεδομένων δημιουργούμε έναν κατάλογο για τη βάση δεδομένων cdc - για παράδειγμα, στον διακομιστή /βάση δεδομένων/cdc/.
- Δημιουργήστε ένα εικονίδιο για τη βάση δεδομένων cdc: αντιγράψτε το $DLC/κενό cdc
- Ενεργοποιήστε την υποστήριξη για μεγάλα αρχεία: proutil cdc -C EnableLargeFiles
- Ετοιμάζουμε ένα σενάριο για την εκκίνηση της βάσης δεδομένων cdc. Οι παράμετροι έναρξης πρέπει να είναι παρόμοιες με τις παραμέτρους έναρξης της αναπαραγόμενης βάσης δεδομένων.
- Ξεκινάμε τη βάση δεδομένων cdc.
- Συνδεθείτε στη βάση δεδομένων cdc και φορτώστε το σχήμα Pro2 από το αρχείο cdc.df, το οποίο περιλαμβάνεται στο Pro2.
- Δημιουργούμε τους ακόλουθους χρήστες στη βάση δεδομένων cdc:
pro2adm – για σύνδεση από τον πίνακα διαχείρισης Pro2.
pro2etl – για σύνδεση διεργασιών ETL (ReplBatch).
pro2cdc – για σύνδεση διεργασιών CDC (CDCBatch).
Ενεργοποίηση OpenEdge Αλλαγή λήψης δεδομένων
Τώρα ας ενεργοποιήσουμε τον ίδιο τον μηχανισμό CDC, με τη βοήθεια του οποίου τα δεδομένα θα αναπαραχθούν σε μια πρόσθετη τεχνολογική περιοχή. Σε κάθε βάση δεδομένων πηγής Progress OpenEdge, πρέπει να προσθέσετε ξεχωριστές περιοχές αποθήκευσης στις οποίες θα αντιγραφούν τα δεδομένα προέλευσης και να ενεργοποιήσετε τον ίδιο τον μηχανισμό χρησιμοποιώντας την εντολή proutil.
Παράδειγμα διαδικασίας για τη βάση δεδομένων bisquit
- Αντιγραφή από τον κατάλογο C: Pro2db αρχείου cdcadd.st στον κατάλογο της βάσης δεδομένων πηγής bisquit.
- Περιγράφουμε σε cdcadd.st σταθερές εκτάσεις μεγέθους για τις περιοχές "ReplCDCArea" и "ReplCDCArea_IDX". Μπορείτε να προσθέσετε νέες περιοχές αποθήκευσης στο διαδίκτυο: prostrct addonline bisquit cdcadd.st
- Ενεργοποίηση OpenEdge CDC:
proutil bisquit -C enablecdc περιοχή "ReplCDCArea" περιοχή ευρετηρίου "ReplCDCArea_IDX" - Οι ακόλουθοι χρήστες πρέπει να δημιουργηθούν στη βάση δεδομένων προέλευσης για τον εντοπισμό διεργασιών που εκτελούνται:
ένα. pro2adm – για σύνδεση από τον πίνακα διαχείρισης Pro2.
σι. pro2etl – για σύνδεση διεργασιών ETL (ReplBatch).
ντο. pro2cdc – για σύνδεση διεργασιών CDC (CDCBatch).
Δημιουργία κατόχου σχήματος για DataServer για Oracle
Στη συνέχεια, πρέπει να δημιουργήσουμε μια βάση δεδομένων Schema Holder στον διακομιστή όπου τα δεδομένα από το Progress DBMS θα αντιγραφούν στο Oracle DBMS. Το DataServer Schema Holder είναι μια κενή βάση δεδομένων Progress OpenEdge χωρίς δεδομένα χρηστών ή εφαρμογών, που περιέχει έναν χάρτη αντιστοιχίας μεταξύ πινάκων πηγής και εξωτερικών πινάκων Oracle.
Η βάση δεδομένων Schema Holder για Progress OpenEdge DataServer για Oracle για Pro2 πρέπει να βρίσκεται στον διακομιστή διεργασιών ETL· δημιουργείται ξεχωριστά για κάθε κλάδο.
Πώς να δημιουργήσετε ένα Schema Holder
- Αποσυσκευάστε τη διανομή Pro2 σε έναν κατάλογο /pro2
- Δημιουργήστε και μεταβείτε στον κατάλογο /pro2/dbsh
- Δημιουργήστε μια βάση δεδομένων Schema Holder χρησιμοποιώντας την εντολή αντιγράψτε το $DLC/άδειο bisquitsh
- Εκτέλεση της μετατροπής bisquitsh στην απαιτούμενη κωδικοποίηση - για παράδειγμα, στο UTF-8 εάν οι βάσεις δεδομένων Oracle έχουν κωδικοποίηση UTF-8: proutil bisquitsh -C convchar μετατροπή UTF-8
- Αφού δημιουργήσετε μια κενή βάση δεδομένων bisquitsh συνδεθείτε σε αυτό σε λειτουργία ενός χρήστη: pro bisquitsh
- Ας πάμε στο Λεξικό Δεδομένων: Εργαλεία -> Λεξικό δεδομένων -> DataServer -> ORACLE Utilities -> Δημιουργία σχήματος διακομιστή δεδομένων
- Εκκινήστε το Schema Holder
- Ρύθμιση του μεσίτη Oracle DataServer:
ένα. Εκκινήστε το AdminServer.
proadsv -έναρξη
σι. Έναρξη του μεσίτη Oracle DataServer
oraman -όνομα orabroker1 -έναρξη
Ρύθμιση του πίνακα διαχείρισης και του σχήματος αναπαραγωγής
Χρησιμοποιώντας τον πίνακα διαχείρισης Pro2, διαμορφώνονται οι παράμετροι Pro2, συμπεριλαμβανομένης της ρύθμισης του σχήματος αναπαραγωγής και της δημιουργίας διεργασιών ETL (Βιβλιοθήκη επεξεργαστή), προγραμμάτων πρωτεύοντος συγχρονισμού (Επεξεργαστής μαζικής αντιγραφής), ενεργοποιητές αναπαραγωγής και πολιτικές OpenEdge CDC. Υπάρχουν επίσης κύρια εργαλεία για την παρακολούθηση και τη διαχείριση των διαδικασιών ETL και CDC. Πρώτα απ 'όλα, ρυθμίζουμε τα αρχεία παραμέτρων.
Πώς να ρυθμίσετε τα αρχεία παραμέτρων
- Μεταβείτε στον κατάλογο C:Pro2bpreplScripts
- Ανοίξτε το αρχείο για επεξεργασία replProc.pf
- Προσθέστε παραμέτρους σύνδεσης στη βάση δεδομένων αναπαραγωγής cdc:
# Βάση δεδομένων αναπαραγωγής
-db cdc -ld repl -H <όνομα κεντρικού υπολογιστή κύριας βάσης δεδομένων> -S <cdc θύρας μεσολαβητή βάσης δεδομένων>
-U pro2admin -P <κωδικός πρόσβασης> - Προσθήκη σε replProc.pf παραμέτρους σύνδεσης με βάσεις δεδομένων προέλευσης και Schema Holder με τη μορφή αρχείων παραμέτρων. Το όνομα του αρχείου παραμέτρων πρέπει να ταιριάζει με το όνομα της βάσης δεδομένων πηγής που συνδέεται.
# Συνδεθείτε σε όλες τις αναπαραγόμενες πηγές BISQUIT
-pf bpreplscriptsbisquit.pf - Προσθήκη σε replProc.pf παραμέτρους για σύνδεση στο Schema Holder.
#Target Pro DB Schema Holder
-db bisquitsh -ld bisquitsh
-H <όνομα κεντρικού υπολογιστή διεργασίας ETL>
-S <biskuitsh broker port>
-db bisquitsql
-ld bisquitsql
-dt ΜΑΝΤΕΙΟΣ
-S 5162 -H <Όνομα κεντρικού υπολογιστή μεσίτη Oracle>
-DataService orabroker1 - Αποθηκεύστε το αρχείο παραμέτρων replProc.pf
- Στη συνέχεια, πρέπει να δημιουργήσετε και να ανοίξετε για επεξεργασία αρχεία παραμέτρων για κάθε συνδεδεμένη βάση δεδομένων πηγής στον κατάλογο C:Pro2bpreplScripts: bisquit.pf. Κάθε αρχείο pf περιέχει παραμέτρους για σύνδεση στην αντίστοιχη βάση δεδομένων, για παράδειγμα:
-db bisquit -ld bisquit -H <hostname> -S <broker port>
-U pro2admin -P <κωδικός πρόσβασης>
Για να ρυθμίσετε τις συντομεύσεις των Windows, πρέπει να μεταβείτε στον κατάλογο C:Pro2bpreplScripts και επεξεργαστείτε τη συντόμευση «Pro2 – Administration». Για να το κάνετε αυτό, ανοίξτε τις ιδιότητες της συντόμευσης και στη γραμμή Ξεκινήστε μέσα υποδεικνύουν τον κατάλογο εγκατάστασης Pro2. Μια παρόμοια λειτουργία πρέπει να γίνει για τις συντομεύσεις «Pro2 – Editor» και «RunBulkLoader».
Ρύθμιση διαχείρισης Pro2: Φόρτωση αρχικής διαμόρφωσης
Ας εκκινήσουμε την κονσόλα.
Μεταβείτε στο "Χάρτης DB".
Για να συνδέσετε βάσεις δεδομένων στο Pro2 – Administration, μεταβείτε στην καρτέλα Χάρτης DB. Προσθήκη αντιστοίχισης βάσεων δεδομένων πηγής - Schema Holder - Oracle.
Μεταβείτε στην καρτέλα ΧΑΡΤΗΣ. Εισηγμένη Βάση δεδομένων πηγής Από προεπιλογή, επιλέγεται η πρώτη συνδεδεμένη βάση δεδομένων πηγής. Στα δεξιά της λίστας θα πρέπει να υπάρχει μια επιγραφή Όλες οι βάσεις δεδομένων συνδέονται — οι επιλεγμένες βάσεις δεδομένων είναι συνδεδεμένες. Παρακάτω στα αριστερά θα πρέπει να δείτε μια λίστα με τους πίνακες Progress από το bisquit. Στα δεξιά υπάρχει μια λίστα πινάκων από τη βάση δεδομένων Oracle.
Δημιουργία σχημάτων SQL και βάσεων δεδομένων στο Oracle
Για να δημιουργήσετε έναν χάρτη αναπαραγωγής, πρέπει πρώτα να δημιουργήσετε Σχήμα SQL στην Oracle. Στο Pro2 Administration εκτελούμε το στοιχείο μενού Εργαλεία -> Δημιουργία κώδικα -> Σχήμα στόχου, μετά στο παράθυρο διαλόγου Επιλέξτε Βάση δεδομένων επιλέξτε μία ή περισσότερες βάσεις δεδομένων προέλευσης και μετακινήστε τις προς τα δεξιά.
Κάντε κλικ στο OK και επιλέξτε τον κατάλογο για να αποθηκεύσετε τα σχήματα SQL.
Στη συνέχεια δημιουργούμε τη βάση. Αυτό μπορεί να γίνει, για παράδειγμα, μέσω Προγραμματιστής Oracle SQL. Για να γίνει αυτό, συνδέουμε τη βάση δεδομένων Oracle και φορτώνουμε το σχήμα για την προσθήκη πινάκων. Μετά την αλλαγή της σύνθεσης των πινάκων Oracle, πρέπει να ενημερώσετε τα σχήματα SQL στο Σχήμα Κάτοχος.
Αφού ολοκληρωθεί με επιτυχία η λήψη, βγείτε από τη βάση δεδομένων bisquitsh και ανοίξτε τον πίνακα διαχείρισης Pro2. Οι πίνακες από τη βάση δεδομένων Oracle θα πρέπει να εμφανίζονται στην καρτέλα Αντιστοίχιση στα δεξιά.
Χαρτογράφηση πίνακα
Για να δημιουργήσετε έναν χάρτη αναπαραγωγής, στον πίνακα διαχείρισης του Pro2, μεταβείτε στην καρτέλα Αντιστοίχιση και επιλέξτε τη βάση δεδομένων προέλευσης. Κάντε κλικ στους Πίνακες χάρτη, επιλέξτε Επιλογή αλλαγών στα αριστερά των πινάκων που πρέπει να αναπαραχθούν στο Oracle, μετακινήστε τους προς τα δεξιά και επιβεβαιώστε την επιλογή. Θα δημιουργηθεί αυτόματα ένας χάρτης για τους επιλεγμένους πίνακες. Επαναλαμβάνουμε τη λειτουργία για τη δημιουργία ενός χάρτη αναπαραγωγής για άλλες βάσεις δεδομένων πηγής.
Δημιουργία βιβλιοθήκης επεξεργαστών αναπαραγωγής Pro2 και προγραμμάτων επεξεργασίας μαζικής αντιγραφής
Η βιβλιοθήκη του επεξεργαστή αναπαραγωγής έχει σχεδιαστεί για προσαρμοσμένες διεργασίες αναπαραγωγής (ETL) που επεξεργάζονται την ουρά αναπαραγωγής Pro2 και ωθούν αλλαγές στη βάση δεδομένων Oracle. Τα προγράμματα της βιβλιοθήκης του επεξεργαστή αναπαραγωγής αποθηκεύονται αυτόματα στον κατάλογο μετά από γενιά bprepl/repl_proc (παράμετρος PROC_DIRECTORY). Για να δημιουργήσετε τη βιβλιοθήκη του επεξεργαστή αναπαραγωγής, μεταβείτε στο Εργαλεία -> Δημιουργία κώδικα -> Βιβλιοθήκη επεξεργαστή. Αφού ολοκληρωθεί η δημιουργία, τα προγράμματα θα εμφανιστούν στον κατάλογο bprepl/repl_proc.
Τα προγράμματα Bulk Load Processor χρησιμοποιούνται για τον συγχρονισμό των βάσεων δεδομένων πηγής Progress με τη βάση δεδομένων Oracle-στόχου που βασίζεται στη γλώσσα προγραμματισμού Progress ABL (4GL). Για να τα δημιουργήσετε, μεταβείτε στο στοιχείο μενού Εργαλεία -> Δημιουργία κώδικα -> Επεξεργαστής μαζικής αντιγραφής. Στο παράθυρο διαλόγου Επιλογή βάσης δεδομένων, επιλέξτε τις βάσεις δεδομένων προέλευσης, μετακινήστε τις στη δεξιά πλευρά του παραθύρου και κάντε κλικ OK. Αφού ολοκληρωθεί η δημιουργία, τα προγράμματα θα εμφανιστούν στον κατάλογο bpreplrepl_mproc.
Ρύθμιση διαδικασιών αναπαραγωγής στο Pro2
Ο διαχωρισμός των πινάκων σε σύνολα που εξυπηρετούνται από ένα ξεχωριστό νήμα αναπαραγωγής βελτιώνει την απόδοση και την αποδοτικότητα του Pro2 Oracle. Από προεπιλογή, όλες οι συνδέσεις που δημιουργούνται στον χάρτη αναπαραγωγής για νέους πίνακες αναπαραγωγής συσχετίζονται με τον αριθμό νήματος 1. Συνιστάται ο διαχωρισμός των πινάκων σε διαφορετικά νήματα.
Πληροφορίες σχετικά με την κατάσταση των νημάτων αναπαραγωγής εμφανίζονται στην οθόνη Pro2 Administration στην καρτέλα Monitor στην ενότητα Replication Status. Μια λεπτομερής περιγραφή των τιμών των παραμέτρων μπορεί να βρεθεί στην τεκμηρίωση του Pro2 (κατάλογος C:Pro2Docs).
Δημιουργήστε και ενεργοποιήστε πολιτικές CDC
Οι πολιτικές είναι ένα σύνολο κανόνων για τη μηχανή OpenEdge CDC για την παρακολούθηση αλλαγών σε πίνακες. Κατά τη στιγμή της γραφής, το Pro2 υποστηρίζει μόνο πολιτικές CDC με επίπεδο 0, δηλαδή μόνο το γεγονός παρακολουθείται καταγράψτε τις αλλαγές.
Για να δημιουργήσετε μια πολιτική CDC, στον πίνακα διαχείρισης, μεταβείτε στην καρτέλα Αντιστοίχιση, επιλέξτε τη βάση δεδομένων προέλευσης και κάντε κλικ στο κουμπί Προσθαφαίρεση πολιτικών. Στο παράθυρο Επιλογή αλλαγών που ανοίγει, επιλέξτε στην αριστερή πλευρά και μετακινήστε προς τα δεξιά τους πίνακες για τους οποίους πρέπει να δημιουργήσετε ή να διαγράψετε μια πολιτική CDC.
Για ενεργοποίηση, ανοίξτε ξανά την καρτέλα Αντιστοίχιση, επιλέξτε τη βάση δεδομένων πηγής και κάντε κλικ στο κουμπί (Εν)Ενεργοποίηση πολιτικών. Επιλέξτε και μετακινήστε στη δεξιά πλευρά του πίνακα τις πολιτικές που πρέπει να ενεργοποιηθούν, κάντε κλικ στο OK. Μετά από αυτό σημειώνονται με πράσινο χρώμα. Με τη χρήση (Εν)Ενεργοποίηση πολιτικών Μπορείτε επίσης να απενεργοποιήσετε τις πολιτικές CDC. Όλες οι συναλλαγές πραγματοποιούνται ηλεκτρονικά.
Αφού ενεργοποιηθεί η πολιτική CDC, οι σημειώσεις σχετικά με τις τροποποιημένες εγγραφές αποθηκεύονται στην περιοχή αποθήκευσης "ReplCDCArea" σύμφωνα με την πηγή βάσης δεδομένων. Αυτές οι σημειώσεις θα υποβληθούν σε επεξεργασία μέσω ειδικής διαδικασίας CDCBatch, το οποίο με βάση αυτά θα δημιουργήσει σημειώσεις στην ουρά αναπαραγωγής Pro2 στη βάση δεδομένων cdc (αντιπ.).
Έτσι, έχουμε δύο ουρές για αναπαραγωγή. Το πρώτο στάδιο είναι το CDCBatch: από τη βάση δεδομένων πηγής, τα δεδομένα πηγαίνουν πρώτα στην ενδιάμεση βάση δεδομένων CDC. Το δεύτερο στάδιο είναι όταν τα δεδομένα μεταφέρονται από τη βάση δεδομένων CDC στην Oracle. Αυτό είναι ένα χαρακτηριστικό της τρέχουσας αρχιτεκτονικής και του ίδιου του προϊόντος - μέχρι στιγμής οι προγραμματιστές δεν έχουν καταφέρει να δημιουργήσουν άμεση αναπαραγωγή.
Πρωτεύων συγχρονισμός
Μετά την ενεργοποίηση του μηχανισμού CDC και τη ρύθμιση του διακομιστή αναπαραγωγής Pro2, πρέπει να ξεκινήσουμε τον αρχικό συγχρονισμό. Εντολή αρχικού συγχρονισμού:
/pro2/bprepl/Script/replLoad.sh όνομα πίνακα bisquit
Αφού ολοκληρωθεί ο αρχικός συγχρονισμός, μπορούν να ξεκινήσουν οι διαδικασίες αναπαραγωγής.
Έναρξη διαδικασιών αναπαραγωγής
Για να ξεκινήσετε τις διαδικασίες αναπαραγωγής, πρέπει να εκτελέσετε ένα σενάριο replbatch.sh. Πριν ξεκινήσετε, βεβαιωθείτε ότι υπάρχουν σενάρια replbatch για όλα τα νήματα - replbatch1, replbatch2, κ.λπ. Εάν όλα είναι στη θέση τους, ανοίξτε τη γραμμή εντολών (για παράδειγμα, proenv), μεταβείτε στον κατάλογο /bprepl/scripts και ξεκινήστε το σενάριο. Στον πίνακα διαχείρισης, ελέγχουμε ότι η αντίστοιχη διεργασία έχει λάβει την κατάσταση ΕΚΤΕΛΕΣΗ.
Ευρήματα
Μετά την εφαρμογή, επιταχύναμε πολύ τη μεταφόρτωση πληροφοριών στην αποθήκη εταιρικών δεδομένων. Τα δεδομένα εισέρχονται αυτόματα στην Oracle online. Δεν χρειάζεται να χάνετε χρόνο εκτελώντας ορισμένα μακροχρόνια ερωτήματα για τη συλλογή δεδομένων από διαφορετικά συστήματα. Επιπλέον, σε αυτή τη λύση η διαδικασία αναπαραγωγής μπορεί να συμπιέσει δεδομένα, κάτι που έχει επίσης θετική επίδραση στην ταχύτητα. Τώρα η καθημερινή συμφωνία του συστήματος BISKVIT με άλλα συστήματα άρχισε να διαρκεί 15-20 λεπτά αντί για 2-2,5 ώρες και μια πλήρης συμφιλίωση χρειάστηκε αρκετές ώρες αντί για δύο ημέρες.
Πηγή: www.habr.com