Mae cydran ETL y warws data yn aml yn cael ei gysgodi gan y warws ei hun ac yn cael llai o sylw na'r brif gronfa ddata neu'r gydran pen blaen, BI, ac adrodd. Ar yr un pryd, o safbwynt mecaneg llenwi'r warws â data, mae ETL yn chwarae rhan allweddol ac nid oes angen llai o sylw gan weinyddwyr na chydrannau eraill. Fy enw i yw Alexander, rydw i nawr yn gweinyddu ETL yn Rostelecom, ac yn yr erthygl hon byddaf yn ceisio rhannu ychydig o'r hyn y mae'n rhaid i weinyddwr un o'r systemau ETL enwocaf mewn warws data mawr yn Rostelecom ddelio ag ef.
Os yw darllenwyr annwyl eisoes yn gyfarwydd yn gyffredinol â'n prosiect warws data a gyda'r cynnyrch Informatica PowerCenter, yna gallwch chi symud ymlaen ar unwaith i'r adran nesaf.
Sawl blwyddyn yn ôl, aeddfedodd y syniad o un warws data corfforaethol a dechreuwyd ei weithredu yn Rostelecom. Roedd nifer o ystorfeydd a oedd yn datrys problemau unigol eisoes wedi'u creu, ond tyfodd nifer y senarios, cynyddodd costau cymorth hefyd, a daeth yn amlwg mai canoli oedd y dyfodol. Yn bensaernïol, dyma'r storfa ei hun, sy'n cynnwys sawl haen, a weithredir ar Hadoop a GreenPlum, cronfeydd data ategol, mecanweithiau ETL a BI.
Ar yr un pryd, oherwydd y nifer fawr o ffynonellau data heterogenaidd a ddosberthir yn ddaearyddol, crëwyd mecanwaith llwytho data arbennig, y mae Informatica yn rheoli ei weithrediad. O ganlyniad, mae pecynnau data yn dod i ben yn ardal rhyngwyneb Hadoop, ac ar ôl hynny mae'r prosesau llwytho data trwy haenau storio, Hadoop a GreenPlum yn dechrau, ac fe'u rheolir gan y mecanwaith rheoli ETL fel y'i gelwir a weithredir yn Informatica. Felly, mae'r system Informatica yn un o'r elfennau allweddol sy'n sicrhau gweithrediad y warws.
Bydd ein storfa yn cael ei ddisgrifio'n fanylach yn un o'r swyddi canlynol.
Ar hyn o bryd ystyrir Informatica PowerCenter / Big Data Management fel y feddalwedd flaenllaw ym maes offer integreiddio data. Mae hwn yn gynnyrch y cwmni Americanaidd Informatica, sy'n un o'r chwaraewyr cryfaf yn ETL (Extract Transform Load), rheoli ansawdd data, MDM (Rheoli Data Meistr), ILM (Rheoli Cylch Bywyd Gwybodaeth) a mwy.
Mae'r PowerCenter a ddefnyddiwn yn weinydd cymwysiadau Tomcat integredig lle mae'r cymwysiadau Informatica eu hunain yn rhedeg, gan weithredu ei wasanaethau:
Parth, mewn gwirionedd, dyma'r sail ar gyfer popeth arall; mae gwasanaethau, defnyddwyr, a chydrannau GRID yn gweithredu o fewn y parth.
Consol Gweinyddwr, offeryn rheoli a monitro ar y we, yn ogystal â'r cleient Informatica Developer, y prif offeryn ar gyfer rhyngweithio â'r cynnyrch
MRS, Gwasanaeth Cadwrfa Enghreifftiol, ystorfa metadata, yn haen rhwng y gronfa ddata lle mae metadata'n cael ei storio'n gorfforol a'r cleient Informatica Developer lle mae datblygiad yn digwydd. Mae storfeydd yn storio disgrifiadau data a gwybodaeth arall, gan gynnwys ar gyfer nifer o wasanaethau Infromatica eraill, er enghraifft, amserlenni ar gyfer tasgau rhedeg (Atodlenni) neu ddata monitro, yn ogystal â pharamedrau cymwysiadau, yn benodol, sy'n caniatáu defnyddio'r un cymhwysiad ar gyfer gwaith gyda ffynonellau data a derbynyddion amrywiol.
DIS, Gwasanaeth Integreiddio Data, mae hwn yn wasanaeth lle mae'r prif brosesau swyddogaethol yn digwydd, mae cymwysiadau'n rhedeg ynddo a lansiadau gwirioneddol Llifau Gwaith (disgrifiadau o'r dilyniant o fapiau a'u rhyngweithiadau) a Mapiadau (trawsnewidiadau, blociau lle mae'r trawsnewidiadau eu hunain yn digwydd, prosesu data ) cymryd lle.
Ffurfweddiad GRID - yn y bôn, opsiwn ar gyfer adeiladu cyfadeilad gan ddefnyddio sawl gweinydd, pan fydd y llwyth a lansiwyd gan DIS yn cael ei ddosbarthu ymhlith y nodau (hynny yw, gweinyddwyr sy'n rhan o'r parth). Yn achos yr opsiwn hwn, yn ogystal â dosbarthu'r llwyth yn DIS trwy haen tynnu GRID ychwanegol sy'n uno sawl nod, y mae DIS yn rhedeg arno yn lle gweithio ar un nod penodol, gellir creu achosion MRS wrth gefn ychwanegol hefyd. Gallwch hyd yn oed weithredu argaeledd uchel, lle gellir gwneud galwadau allanol trwy nodau wrth gefn os bydd y prif un yn methu. Rydym wedi rhoi'r gorau i'r opsiwn adeiladu hwn am y tro.
Informatica PowerCenter, sgematig
Yn ystod camau cynnar y gwaith fel rhan o'r gadwyn gyflenwi data, cododd problemau'n rheolaidd, rhai ohonynt oherwydd gweithrediad ansefydlog Informatica bryd hynny. Rydw i'n mynd i rannu rhai o eiliadau cofiadwy'r saga hon - meistroli Informatica 10 .
Cyn logo Informatica
Mae ein maes cyfrifoldeb hefyd yn cynnwys amgylcheddau Informatica eraill, mae ganddynt eu manylion eu hunain oherwydd llwyth gwahanol, ond am y tro byddaf yn cofio yn union sut y datblygodd Informatica fel cydran ETL o'r warws data ei hun.
Sut digwyddodd hyn
Yn 2016, pan ddaethom yn gyfrifol am waith Informatica, roedd eisoes wedi cyrraedd fersiwn 10.0, ac ar gyfer cydweithwyr optimistaidd a oedd yn penderfynu defnyddio cynnyrch gyda fersiwn fach .0 mewn datrysiad difrifol, roedd popeth yn ymddangos yn amlwg - mae angen i ni ddefnyddio y fersiwn newydd! O safbwynt adnoddau caledwedd, roedd popeth yn iawn bryd hynny.
Ers gwanwyn 2016, mae contractwr wedi bod yn gyfrifol am waith Informatica, ac yn ôl yr ychydig ddefnyddwyr y system, “roedd yn gweithio cwpl o weithiau yr wythnos.” Yma mae angen egluro bod yr ystorfa yn de facto ar y cam PoC, nid oedd gweinyddwyr ar y tîm ac roedd y system yn damwain yn gyson am wahanol resymau, ac ar ôl hynny fe wnaeth peiriannydd y contractwr ei godi eto.
Yn y cwymp, ymunodd tri gweinyddwr â'r tîm, gan rannu eu meysydd cyfrifoldeb ymhlith ei gilydd, a dechreuodd y gwaith arferol i drefnu gweithrediad systemau yn y prosiect, gan gynnwys Informatica. Ar wahân, rhaid dweud nad yw'r cynnyrch hwn yn eang ac mae ganddo gymuned fawr lle gallwch ddod o hyd i atebion i unrhyw gwestiynau a datrys unrhyw broblem. Felly, roedd cefnogaeth dechnegol lawn gan y partner Rwsiaidd Informatica yn bwysig iawn, gyda chymorth ein holl wallau a gwallau Informatica 10 ifanc ar y pryd eu cywiro.
Y peth cyntaf y bu'n rhaid i ni ei wneud ar gyfer datblygwyr ein tîm a'r contractwr oedd sefydlogi gwaith Informatica ei hun, er mwyn sicrhau ymarferoldeb y consol gweinyddu gwe (Informatica Administrator).
Dyma sut y gwnaethom gyfarfod â datblygwyr Informatica yn aml
Gan adael y broses o ddarganfod y rhesymau o'r neilltu, y prif reswm dros y damweiniau oedd patrwm rhyngweithio meddalwedd Informatica gyda'r gronfa ddata ystorfa, a oedd wedi'i lleoli ar weinydd cymharol anghysbell, o safbwynt tirwedd y rhwydwaith. Achosodd hyn oedi ac amharu ar y mecanweithiau sy'n monitro cyflwr y parth Informatica. Ar ôl rhywfaint o diwnio'r gronfa ddata, gan newid paramedrau Informatica, a oedd yn ei gwneud yn fwy goddefgar o oedi wrth gronfa ddata, ac yn y pen draw diweddaru'r fersiwn Informatica i 10.1 a throsglwyddo'r gronfa ddata o'r gweinydd blaenorol i weinydd sydd wedi'i leoli'n agosach at Informatica, collodd y broblem ei perthnasedd, ac ers hynny bu damweiniau o'r fath nad ydym yn eu gweld.
Un o'r ymdrechion i gael Informatica Monitor i weithio
Roedd y sefyllfa gyda'r consol gweinyddu hefyd yn hollbwysig. Gan fod datblygiad gweithredol ar y gweill yn uniongyrchol ar yr amgylchedd cymharol gynhyrchiol, roedd angen i gydweithwyr ddadansoddi'r gwaith o fapio a llif gwaith “wrth fynd.” Yn yr Informatica newydd, nid oes gan y Gwasanaeth Integreiddio Data offeryn ar wahân ar gyfer monitro o'r fath, ond mae adran fonitro wedi ymddangos yn y consol gwe gweinyddu (Informatica Administrator Monitor), lle gallwch fonitro gweithrediad cymwysiadau, llif gwaith a mapiau, lansio, logiau. O bryd i'w gilydd, nid oedd y consol ar gael o gwbl, neu daeth gwybodaeth am brosesau cyfredol DIS i ben, neu bu gwallau wrth lwytho tudalennau.
Dewis paramedrau java i sefydlogi perfformiad
Cywirwyd y broblem mewn sawl ffordd, cynhaliwyd arbrofion i newid paramedrau, casglwyd logiau a jstack, eu hanfon at gefnogaeth, ar yr un pryd roedd googling gweithredol ac arsylwi yn syml.
Yn gyntaf oll, crëwyd MRS ar wahân ar gyfer monitro; fel y digwyddodd yn ddiweddarach, dyma un o'r prif ddefnyddwyr adnoddau yn ein hamgylcheddau, gan fod mapiau'n cael eu lansio'n ddwys iawn. Mae paramedrau ynghylch pentwr java a nifer o rai eraill wedi'u newid.
O ganlyniad, erbyn y diweddariad nesaf Informatica 10.1.1, sefydlogwyd gweithrediad y consol a'r monitor, dechreuodd datblygwyr weithio'n fwy effeithlon, a daeth prosesau rheolaidd yn fwy a mwy rheolaidd.
Gall y profiad o ryngweithio rhwng datblygu a gweinyddu fod yn ddiddorol. Mae’r mater o ddealltwriaeth gyffredinol o sut mae pethau’n gweithio, yr hyn y gellir ei wneud a’r hyn na ellir ei wneud, bob amser yn bwysig wrth ddefnyddio systemau cymhleth. Felly, gallwn argymell yn ddiogel eich bod yn hyfforddi'r tîm gweinyddol yn gyntaf ar sut i weinyddu'r feddalwedd, a'r tîm datblygu ar sut i ysgrifennu cod a thynnu prosesau yn y system, a dim ond wedyn anfon y cyntaf a'r ail i weithio ar y canlyniad. Mae hyn yn bwysig iawn pan nad yw amser yn adnodd anfeidrol. Gellir datrys llawer o broblemau hyd yn oed trwy chwilio opsiynau ar hap, ond weithiau mae angen gwybodaeth priori ar rai - mae ein hachos yn cadarnhau pwysigrwydd deall yr axiom hwn.
Er enghraifft, pan wnaethom geisio galluogi fersiwn yn MRS (fel y digwyddodd yn y diwedd, roedd angen fersiwn wahanol o SVN), ar ôl peth amser cawsom ein dychryn i ddarganfod bod amser ailgychwyn y system wedi cynyddu i sawl degau o funudau. Ar ôl dod o hyd i'r rheswm am yr oedi cyn dechrau ac analluogi'r fersiwn, fe wnaethom yn dda eto.
Ymhlith y rhwystrau nodedig sy'n gysylltiedig ag Informatica mae'r frwydr epig gydag edafedd java cynyddol. Ar ryw adeg, mae'r amser wedi dod i ddyblygu, hynny yw, ymestyn y prosesau sefydledig i nifer fawr o systemau ffynhonnell. Daeth i'r amlwg nad oedd pob proses yn 10.1.1 yn gweithio'n dda, ac ar ôl peth amser daeth DIS yn anweithredol. Canfuwyd degau o filoedd o edafedd, gyda'u nifer yn cynyddu'n arbennig o amlwg yn ystod y weithdrefn gosod ceisiadau. Weithiau roedd yn rhaid i mi ailgychwyn sawl gwaith y dydd i adfer ymarferoldeb.
Yma mae angen i ni ddiolch am y gefnogaeth; lleolwyd y problemau a'u datrys yn gymharol gyflym gan ddefnyddio EBF (Trwsio Bug Argyfwng) - ar ôl hynny, roedd pawb yn teimlo bod yr offeryn yn gweithio mewn gwirionedd.
Mae'n dal i weithio!
Erbyn i ni ddechrau gweithio yn y modd targed, roedd Informatica yn edrych fel hyn. Fersiwn o Informatica 10.1.1HF1 (HF1 yw HotFix1, cynulliad gwerthwyr o gymhleth o EBFs) gydag EBF wedi'i osod yn ychwanegol, sy'n cywiro ein problemau gyda graddio a rhai eraill, ar un gweinydd allan o dri a oedd yn rhan o GRID, 20 x86_64 cores a storio, ar amrywiaeth araf enfawr o ddisgiau lleol - dyma ffurfweddiad y gweinydd ar gyfer clwstwr Hadoop. Ar weinydd tebyg arall - yr Oracle DBMS y mae'r parth Informatica a'r mecanwaith rheoli ETL yn gweithio gyda nhw. Mae hyn i gyd yn cael ei fonitro gan offer monitro safonol a ddefnyddir yn y tîm (Zabbix + Grafana) ar y ddwy ochr - Informatica ei hun gyda'i wasanaethau, a'r prosesau llwytho sy'n mynd i mewn iddo. Nawr mae perfformiad a sefydlogrwydd, heb ystyried ffactorau allanol, bellach yn dibynnu ar y gosodiadau sy'n cyfyngu ar y llwyth.
Ar wahân, gallwn ddweud am GRID. Adeiladwyd yr amgylchedd ar dri nod, gyda'r posibilrwydd o gydbwyso llwyth. Fodd bynnag, yn ystod y profion, darganfuwyd, oherwydd problemau rhyngweithio rhwng achosion rhedeg ein cymwysiadau, nad oedd y cyfluniad hwn yn gweithio yn ôl y disgwyl, a phenderfynwyd rhoi'r gorau i'r cynllun adeiladu hwn dros dro, gan ddileu dau o'r tri nod o'r parth. Ar yr un pryd, mae'r cynllun ei hun wedi aros yr un fath, ac yn awr mae'n union wasanaeth GRID, ond yn dirywio i un nod.
Ar hyn o bryd, mae'r anhawster yn parhau i fod yn gysylltiedig â gostyngiad mewn perfformiad wrth lanhau'r gylched monitor yn rheolaidd - gyda phrosesau cydamserol yn y CNN a rhedeg glanhau, gall diffygion yng ngweithrediad y mecanwaith rheoli ETL ddigwydd. Mae hyn yn cael ei ddatrys ar hyn o bryd “fel bagl” - trwy glirio cylched y monitor â llaw, gan golli ei holl ddata blaenorol. Nid yw hyn yn rhy hanfodol ar gyfer cynhyrchiant, yn ystod gweithrediad arferol arferol, ond am y tro mae chwilio am ateb arferol ar y gweill.
Mae problem arall yn codi o'r un sefyllfa hon - weithiau mae lansiadau lluosog o'n mecanwaith rheoli yn digwydd.
Lansio cais lluosog yn arwain at fethiant mecanwaith
При запуске по расписанию в моменты большой нагрузки на систему порой случаются такие ситуации, которые ведут к поломке механизма. До сих пор проблема исправляется вручную, идёт поиск постоянного решения.
Yn gyffredinol, gallwn grynhoi, pan fo llwyth trwm, ei bod yn bwysig iawn darparu adnoddau digonol iddo, mae hyn hefyd yn berthnasol i adnoddau caledwedd ar gyfer Informatica ei hun, a'r un peth ar gyfer ei storfa gronfa ddata, yn ogystal â darparu'r gosodiadau gorau posibl i nhw. Yn ogystal, mae'r cwestiwn yn parhau i fod yn agored pa gynllun lleoli cronfa ddata sy'n well - ar westeiwr ar wahân, neu ar yr un un lle mae meddalwedd Informatica yn rhedeg. Ar y naill law, bydd yn rhatach ar un gweinydd, ac o'i gyfuno, mae'r broblem bosibl gyda rhyngweithio rhwydwaith yn cael ei ddileu yn ymarferol; ar y llaw arall, mae'r llwyth o Informatica yn ategu'r llwyth ar y gwesteiwr o'r gronfa ddata.
Fel gydag unrhyw gynnyrch difrifol, mae gan Informatica eiliadau doniol hefyd.
Unwaith, wrth ddatrys rhyw fath o ddamwain, sylwais fod y logiau MRS yn rhyfedd iawn yn dynodi amser digwyddiadau.
Deuoliaeth dros dro mewn logiau MRS “trwy ddyluniad”
Mae'n troi allan bod stampiau amser yn cael eu hysgrifennu mewn fformat 12 awr, heb nodi AM/PM, hynny yw, cyn hanner dydd neu ar ôl. Agorwyd cais hyd yn oed ar y mater hwn, a derbyniwyd ymateb swyddogol - dyma sut y’i bwriadwyd, mae marciau wedi’u hysgrifennu yn log MRS yn union fel hyn. Hynny yw, weithiau mae rhywfaint o chwilfrydedd yn parhau ynghylch yr amser y mae rhywfaint o WALL yn digwydd...
Ymdrechu am y gorau
Heddiw, mae Informatica yn arf eithaf sefydlog, sy'n gyfleus i weinyddwyr a defnyddwyr, yn hynod bwerus o ran ei alluoedd a'i botensial presennol. Mae'n rhagori ar ein hanghenion swyddogaethol lawer gwaith drosodd ac mae de facto bellach yn cael ei ddefnyddio yn y prosiect mewn ffordd nad yw'n fwyaf nodweddiadol a nodweddiadol. Mae'r anawsterau'n rhannol gysylltiedig â'r ffordd y mae'r mecanweithiau'n gweithio - y peth penodol yw bod nifer fawr o edafedd yn cael eu lansio mewn cyfnod byr o amser sy'n diweddaru paramedrau'n ddwys ac yn gweithio gyda chronfa ddata'r ystorfa, tra bod adnoddau caledwedd y gweinydd yn cael eu defnyddio bron yn gyfan gwbl. gan y CPU.
Rydym bellach yn agos at symud i Informatica 10.2.1 neu 10.2.2, sydd wedi ail-weithio rhai o'r mecanweithiau mewnol ac addewidion cymorth i ddileu rhai o'r materion perfformiad ac ymarferoldeb sydd gennym ar hyn o bryd. Ac o safbwynt caledwedd, rydym yn disgwyl gweinyddwyr gyda'r cyfluniad gorau posibl i ni, gan ystyried y gronfa wrth gefn ar gyfer y dyfodol agos oherwydd twf a datblygiad storio.
Wrth gwrs, bydd profion, gwirio cydnawsedd, ac o bosibl newidiadau pensaernïol yn rhan HA GRID. Bydd datblygiad yn Informatica yn parhau, oherwydd yn y tymor byr ni allwn gyflenwi unrhyw beth i ddisodli'r system.
A bydd y rhai a fydd yn gyfrifol am y system hon yn y dyfodol yn bendant yn gallu dod ag ef i'r dangosyddion dibynadwyedd a pherfformiad gofynnol a gyflwynir gan gwsmeriaid.
Paratowyd yr erthygl gan dîm rheoli data Rostelecom
Logo cyfredol Informatica
Ffynhonnell: hab.com