Ab MCMXCIX, ad officium posteriori serviendum, nostra ripae systematis argentariis BISKVIT in Progressio OpenEdge suggestu, quod late per totum mundum, etiam in regione oeconomica usus est, usus est. Effectus huius DBMS permittit te legere usque ad decies centena millia vel plures monumenta per alterum in uno datorum (DB). Progressus noster OpenEdge officia circa 1999 decies centena singula deposita et circiter 1,5 miliones contractuum pro effectibus activorum (currum mutuis et impignoratis), et etiam responsabilis est omnium habitationum cum moderatore (Central Bank) et PRAECEPS.
Progressus OpenEdge usi, ante faciem sumus cum necessitate ut illud cum Oraculo DBMS operaretur. Initio, hic fasciculus erat bottleneck infrastructurae nostrae, donec inauguratus et configuratus Pro2 CDC - progressionis productum quod permittit ut notitias e Progressu DBMS ad Oraculum DBMS directe mittas, online. In hac posta singillatim tibi cum omnibus laqueis narrabimus quomodo efficaciter amicos facere inter OpenEdge et Oraculum.
Quomodo factum est: uploading data QCD per lima communicatio
Primo, quaedam de infrastructuris nostris factis. Numerus usorum activorum datorum circiter XV milia est. Volumen omnium databaserum fructuum, inclusorum figurarum et stolorum, 15 TB, maximum database est 600 TB. Eodem tempore, databases continenter repleti sunt: anno praeterito tantum circiter 16,5 TB notitiarum fertilium additae sunt. Ratio a 120 servers in suggestu ante x150 pollet. Databases servientes in suggestu 86 IBM hosted sunt.
Systema ante-finem, systemata nuclei varia et argentaria officia cum OpenEdge Progressu (BISCUIT IBS) per Sonic bus ESB integrantur. Data QCD ad uploading lima per commutationem. Usque ad certum temporis punctum, haec solutio duas magnas difficultates simul habuit - humilis effectus informationes in notitia corporatum in horreum (CDW) et longum tempus pro data reconciliatione (reconciliationis) cum aliis systematibus praestandis.
Ideo incepimus quaerere instrumentum quo has processus accelerare possent. Utriusque quaestionis solutio fuit producto novo Progressus OpenEdge – Pro2 CDC (Mutare Data Captura). Incipiamus igitur.
Install Progress OpenEdge et Pro2Oracle
Currere Pro2 Oraculum in Fenestra computatoris administratoris, satis est ad institutionem profectus OpenEdge Developer Ornamentum Classroom Editionis, quod esse potest. gratis pro. Default OpenEdge installation directoria:
DLC: C:ProgressOpenEdge
WRK: C:OpenEdgeWRK
Processus ETL Progressus requirebant OpenEdge licentias versionis 11.7+ - nempe OE DataServer pro Oraculo et 4GL Systema Development. Concluduntur hae licentiae cum Pro2. Ad plenam operationem DataServer Oraculum cum database Oraculo remoto, Plena Client Oraculum installatur.
In servo Oraculo debes 12+ Oraculum installare, database inanis crea et usorem adde (vocemus eum CDC).
Ut install Pro2Oracle, novissimam distributionem ex download centrum. Unpack archivum in Directory C:Pro2 (Configurare Pro2 in Unix, eadem distributio adhibetur, eademque principia conformatio adhibenda sunt).
Creando cdc replicationem database
Replicatio database cdc (repl) Pro2 ad informationem configurationis reponendas, incluso tabula replicationis, nomina databases replicatas et earum tabulas. Etiam replicationem queue continet, notis constans de eo quod ordo mensae in fonte database mutata est. Data ex replicatione queue ab ETL processibus adhibita est ad cognoscendos ordines qui ad Oraculum ex fonte datorum transcribendum esse necesse est.
Creamus database separatum cdc.
Modus datorum creando
- In server basis datorum creamus directorium pro database cdc - verbi gratia in calculonis servi /database/cdc/.
- Creare phantasma pro cdc database: procopy $DLC/inanis cdc
- Admitte auxilium pro magnis files: proutil cdc -C EnableLargeFiles
- Scriptum paramus ad database cdc incipiendo. Parametri initium similes esse debent initio parametri datorum replicati.
- Incipimus cdc database.
- Coniunge ad cdc datorum et Pro2 schemate onerando a tabella cdc.dfque ponitur cum Pro2.
- Nos sequentes users in cdc database:
pro2adm - iungendum ex Pro2 panel administrativo;
pro2etl — pro processibus connectendis ETL (ReplBatch);
pro2cdc - pro processibus connectendis CDC (CDCBatch);
Activating OpenEdge Mutare Data Capture
Nunc in ipsum CDC mechanismum revertamur, cuius ope data replicatur ad technologiam additam. Unicuique Progressus fons datorum OpenEdge, debes addere singulas tabulas in quibus fons notitiae duplicantur et ipsum mechanismum excitant utendo mandato. proutil.
Exemplum ratio datorum bisquit
- Effingo ex catalogo C:Pro2db lima cdcadd.st ad bisquit fons database presul.
- Nos describere in cdcadd.st magnitudine certa regiones extensiones "ReplCDCArea" и "ReplCDCArea_IDX". Novas tabulas tabularum online addere potes: prostrct addonline bisquit cdcadd.st
- Activate OpenEdge CDC:
proutil bisquit -C enablecdc area "ReplCDCArea" indexarea "ReplCDCArea_IDX" - Hi sequentes usores creari debent in fonte datorum ad cognoscendas processus processus:
a. pro2adm — pro connectendo ex Pro2 panel administrativo.
b. pro2etl - connectendi ETL processuum (ReplBatch).
c. pro2cdc — pro processibus connectendis CDC (CDCBatch).
Creando Schema Holder pro DataServer ad Oraculum
Deinde, necesse est nobis Schema Holder database creare in servo ubi notitia ex Progressu DBMS ad Oraculum DBMS replicabitur. Data Server Schema Holder est inanis Progressio OpenEdge datorum sine usoribus et applicationibus data, continens tabulam correspondentiae inter mensas fontium et tabulas Oraculi externas.
Schema Holder database pro Progressu OpenEdge DataServer pro Oraculo pro Pro2 collocari debet in servo processus ETL, separatim pro quolibet genere creatur.
Quam creare Schema Holder
- EXPEDIO Pro2 distributio in Directory /pro2
- Create et ad indicem /pro2/dbsh
- Create Schema Holder database per mandatum effingo $DLC/inanis bisquitsh
- Faciendo conversionem bisquitsh in inquisitione descriptam - exempli gratia in UTF-8 si databases Oraculum UTF-8 descriptum habent: proutil bisquitsh -C convchar convertet utf-8
- Inanis database inuasissent bisquitsh coniungere ad illud in uno-user modus: pro bisquitsh
- Eamus ad Dictionary: Instrumenta -> Data Dictionary -> DataServer -> ORACULUM Utilitas -> DataServer Schema Create crea
- Lorem Schema Holder
- Oraculum erigat DataServer sectorem:
a. Satus AdminServer.
proadsv -start
b. Oraculum initium DataServer sectorem
oraman -name orabroker1 -start
Profecti sunt tabulae administrativae et replicationis ratio
Utens tabula administrativa Pro2, parametri Pro2 configurantur, incluso constitutione replicationis schematis et processuum generantis ETL (Bibliothecae Processus), programmatum synchronizationem (Bulk-Copy Processoris), replicationem triggers et consilia CDC OpenEdge. Instrumenta primaria sunt etiam processus vigilantiae et administrandi ETL et CDC. Imprimis imagini modulum statuimus.
Quomodo configurare parametri files
- Vade ad catalogum C:Pro2bpreplScripts
- Aperi tabella emendi replProc.pf
- Connexionem parametri addere ad database cdc replicationem:
# Replicatio Database
-db cdc -ld repl -H <main database hostname> -S <database sectorem portum cdc>
-U pro2admin -P <password> - Add to replProc.pf nexum parametri ad fontem database et Schema Holder in forma imagini parametri. Nomen fasciculi parametri inserere debet nomini fontis datorum connexo.
# Iungo ad omnes fontes replicatur BISQUIT
-pf bpreplscriptsbisquit.pf - Add to replProc.pf parametri ad Schema Holder connectens.
#Target Pro DB Schema Holder
-db bisquitsh -ld bisquitsh
-H <ETL processus nomen exercitus>
-S <biskuitsh sectorem portum>
-db bisquitsql
-ld bisquitsql
-dt ORACULUM
-S 5162 -H <Oraculum sectorem hostname>
-DataService orabroker1 - Servo parametri file replProc.pf
- Deinde, debes creare et aperire pro modulo lima emendare pro quolibet fonte connexo database in indicem C:Pro2bpreplScripts: bisquit.pf. Quisque fasciculus pf parametros continet pro connexione datorum respondentium, exempli gratia:
-db bisquit -ld bisquit -H <hostname> -S <fractor port>
-U pro2admin -P <password>
Fenestras compendia configurare, ire in indicem debes C:Pro2bpreplScripts et edit "Pro2 - Administration" brevis. Ad hoc, proprietates compendiarias et in linea aperi in incipere indicant Pro2 institutionem presul. Similis operatio facienda est pro brevibus "Pro2 - Editor" et "RunBulkLoader".
Pro2 Administration Setup: Loading Coepi configurationis
Solarium deducamus.
Vade ad "DB Tabula".
To link databases in Pro2 - Administration, vade ad tab DB Map. Addere mapping of source databases - Schema Holder - Oracle.
Vade ad tab tabularum faciendarum. Recensentur Source Database Defalta, fons primus connexus datorum seligitur. Ad ius elenchum debet esse inscriptio All Databases Connected - delectorum databases connexa sunt. Infra ad sinistram debes videre tabulas Progressus ab bisquit. In dextro index tabularum datorum Oraculorum.
SQL creans schemas et databases in Oraculo
Ad replicationem tabulam creendam, debes primum generare SQL schema in Oracle. In Pro2 Administration exequimur menu Tools -> Code Generate -> Target SchemaErgo in alternis buxum Lego Database eligere unum vel plures fontem databases et eos ad dextram movere.
Click OK et eligere indicem SQL schemas servare.
Deinde turpem facimus. Quod fieri potest, exempli gratia, via SQL Oracle Developer. Ad hoc efficiendum, oraculo datorum coniungimus et schema de tabulis addendo oneratis. Mutata compositione tabularum Oraculi, debes renovare schemata SQL in Schema Holder.
Postquam electronica feliciter consummata est, bisquitsh database exit et tabulam administrativam Pro2 aperi. Tabulae ex oraculo datorum in dextra tabula mapping appareant.
Tabula mapping
Ad replicationem tabulam creendam, in tabula administrativa Pro2, ad mapping tab ibo et fontem database lego. Deprime in Tabula Tabularum, selectas Mutationes in sinistris tabulis quae in Oraculo replicari debent, eas ad dextram move et electionem confirma. Mappa tabulae electae sponte creabuntur. Operationem iteramus ad replicationem mappam creandi aliunde databases.
Pro2 Replication Processor Library and Bulk-Copy Processor Programs
Replicatio Processor Library destinatur ad processuum replicationis consuetudo (ETLs) quod processus replicationis queue et impulsus mutationes datorum Oraculi. Replicatio processus bibliothecae programmata automatice servata sunt in indicem post generationem bprepl/repl_proc (parameter PROC_DIRECTORY). Replicatio processus bibliothecae generare, vade ad Tools -> Generale Code -> Processor Library. Post generationem peractam programmata in indicem apparebunt bprepl/repl_proc.
Mole Load Processus programmata synchronizare fontem progressionis databases cum scopo datorum Oraculum innititur in Progressu ABL (4GL) programmandi. Ad eas generandas, ad menu item Tools -> Code Generate -> Bulk-Copy Processor. In alternis capsis selectis Database alternis, fonte databases elige, illos ad dextram fenestrae latus move et deprime OK. Post generationem peractam programmata in indicem apparebunt bpreplrepl_mproc.
Pro2 replicatione processuum erigens
Mensas in tabulas scindens, per replicationem separatam stamina ministrata perficiendo et efficientiam Pro2 Oraculi meliorem facit. Defalta, omnes nexus in tabula replicationis creatae pro novis tabulis replicationis numero sequela sociantur 1. Commendatur tabulas separatas in fila diversa.
Informationes de statu replicationis staminum ostenditur in Pro2 screen Administration in Monitor tab in sectione Replicationis Status. Singularum valorum parametri descriptio in documentis Pro2 (directoris C:Pro2Docs) inveniri potest.
Create et activate CDC consilia
Politiae regulae sunt in OpenEdge CDC machinam ad monitores mutationes in tabulis statutae. In tempore scripto, Pro2 CDC consilia tantum sustinet cum gradu 0, hoc est, solum factum est monitored . recordum mutationes.
CDC consilium creare, in tabulis administrativis, ad Mapping tab, elige fontem database et deprime in Adaugeo/Removete puga Politiae. In fenestrarum mutationum selectarum quae aperit, sinistram partem elige et ad dextram tabulas move, pro quibus consilium CDC creare vel delere debes.
Ad excitandum, iterum aperi Mapping tab, elige fontem database et deprime in puga (In) Politiae Activate. Elige et movere ad dextram tabulae partes agendi, quae opus excitandum est, preme OK. Post hec signata sunt in viridi. Ab usura (In) Politiae Activate Potes etiam deactivate CDC consilia. Omnes res geruntur online.
Postquam consilium CDC reducitur, notae de monumentis mutatis servatae sunt in tabulario regio "ReplCDCArea" secundum fontem database. Hae notae per specialem processum discursum erunt CDCBatchquae ex illis notas creabit in replicationibus queue in database cdc (repl).
Sic habemus duas queues replicando. Scaena prima est CDCBatch: a fonte datorum, prima notitia CDC ad medium datorum pergit. Secundus gradus est cum notitia CDC datorum ad Oraculum transfertur. Haec notatio est architecturae hodiernae et ipsum productum - tantum tincidunt directam replicationem constituere non potuerunt.
Prima synchronisation
Postquam mechanismum CDC parans ac replicationem Pro2 servo constituens, synchronisationi initiali incipiendum est. Coepi synchronisation mandatum:
/pro2/bprepl/Script/replLoad.sh bisquit table-name
Expleto synchronisation initiali, replicatio processuum inchoari potest.
Ad initium replicationis processuum
Replicatio incipere processuum debes currere scriptor replbatch.sh. Priusquam incipias, fac ut scripta sint replbatch pro omnibus stamina - replbatch1, replbatch2, etc. Si omnia in loco sunt, aperi lineam mandatum (exempli gratia; proenv)Vade ad indicem /bprepl/scripts et incipiunt scriptionem. In tabula administrativa reprimimus processum congruentem statum currit.
Результаты
Post exsecutionem notitiarum onerationis notitiae ad corporatum horreum maxime acceleravimus. Data sponte in online Oraculum accipit. Non opus est tempus terere cursus aliquam cursus tempor eget, elit lectus. Praeterea in hac solutione processus replicationis notitias comprimere potest, quae etiam in celeritate positivum effectum habet. Nunc cottidiana reconciliatio systematis BISKVIT cum aliis systematibus 15-20 minuta pro 2-2,5 horis sumere coepit, et compluribus horis loco duorum dierum plena reconciliatio sumpsit.
Source: www.habr.com