Қисмати ETL-и анбори додаҳо аксар вақт аз ҷониби худи анбор сояафкан карда мешавад ва нисбат ба пойгоҳи додаҳо ё ҷузъи пештара, BI ва ҳисобот камтар таваҷҷӯҳ зоҳир мекунад. Дар баробари ин, аз нуқтаи назари механикаи пур кардани анбор бо маълумот, ETL нақши асосиро мебозад ва аз маъмурон нисбат ба ҷузъҳои дигар таваҷҷӯҳи камтарро талаб мекунад. Номи ман Александр аст, ман ҳоло ETL-ро дар Ростелеком идора мекунам ва дар ин мақола ман кӯшиш мекунам каме дар бораи он чизе ки маъмури яке аз маъруфтарин системаҳои ETL дар як анбори бузурги додаҳо дар Ростелеком сарукор дорад, нақл кунам.
Агар хонандагони мӯҳтарам умуман бо лоиҳаи анбори додаҳои мо ва маҳсулоти Informatica PowerCenter шинос бошанд, пас шумо метавонед фавран ба бахши навбатӣ гузаред.
Якчанд сол пеш идеяи як анбори додаҳои корпоративӣ ба камол расид ва дар Ростелеком амалӣ карда шуд. Як қатор анборҳо, ки мушкилоти инфиродӣ ҳал мекарданд, аллакай таъсис дода шуда буданд, аммо шумораи сенарияҳо афзоиш ёфт, хароҷоти дастгирӣ низ афзоиш ёфт ва маълум шуд, ки оянда дар марказизатсия аст. Аз ҷиҳати меъморӣ, ин худи анборест, ки аз якчанд қабатҳо иборат аст, ки дар Hadoop ва GreenPlum, пойгоҳи додаҳои ёрирасон, механизмҳои ETL ва BI амалӣ карда мешаванд.
Дар баробари ин, аз сабаби шумораи зиёди манбаъҳои аз ҷиҳати ҷуғрофӣ тақсимшуда, якхела нест, механизми махсуси боркунии маълумот таъсис дода шуд, ки кори онро Informatica идора мекунад. Дар натиҷа, бастаҳои додаҳо дар минтақаи интерфейси Hadoop ба итмом мерасанд, ки пас аз он равандҳои боркунии маълумот тавассути қабатҳои нигоҳдорӣ, Hadoop ва GreenPlum оғоз мешаванд ва онҳо аз ҷониби механизми идоракунии ETL, ки дар Informatica татбиқ карда мешаванд, идора карда мешаванд. Ҳамин тариқ, системаи Informatica яке аз унсурҳои асосиест, ки кори анборро таъмин мекунад.
Захираи мо дар яке аз паёмҳои зерин муфассалтар тавсиф карда мешавад.
Informatica PowerCenter/Big Data Management дар айни замон нармафзори пешқадам дар соҳаи абзорҳои ҳамгироии додаҳо ба ҳисоб меравад. Ин маҳсули ширкати амрикоии Informatica мебошад, ки яке аз қавитарин бозигарони ETL (Extract Transform Load), идоракунии сифати додаҳо, MDM (Master Data Management), ILM (Идоракунии иттилоотии ҳаёт) ва ғайра мебошад.
PowerCenter, ки мо истифода мебарем, як сервери замимаи ҳамгирошудаи Tomcat мебошад, ки дар он худи замимаҳои Informatica кор мекунанд ва хидматҳои худро амалӣ мекунанд:
Domain, дар асл, ин асоси ҳама чизи дигар аст; хидматҳо, корбарон ва ҷузъҳои GRID дар дохили домен амал мекунанд.
Консоли администратор, як воситаи идоракунӣ ва мониторинги бар веб асосёфта, ба ғайр аз муштарии Informatica Developer, воситаи асосии ҳамкорӣ бо маҳсулот
MRS, Хадамоти анбори намунавӣ, анбори метамаълумот, қабати байни пойгоҳи додаҳоест, ки дар он метамаълумотҳо ҷисмонӣ нигоҳ дошта мешаванд ва муштарии Informatica Developer, ки дар он таҳия ҷараён дорад. Анборҳо тавсифи додаҳо ва дигар иттилоот, аз ҷумла барои як қатор хидматҳои дигари Infromatica, масалан, ҷадвалҳои иҷроиши вазифаҳо (Ҷадвалҳо) ё маълумоти мониторинг, инчунин параметрҳои барнома, аз ҷумла, имкон медиҳанд, ки истифодаи ҳамон як барнома барои кор бо манбаъҳои гуногуни маълумот ва қабулкунандагон.
DIS, Хадамоти ҳамгироии маълумот, ин хадамотест, ки дар он равандҳои асосии функсионалӣ сурат мегиранд, барномаҳо дар он иҷро мешаванд ва оғози воқеии Ҷараёни корӣ (тавсифҳои пайдарпайии харитасозӣ ва таъсири мутақобилаи онҳо) ва Харитасозӣ (табдилдиҳӣ, блокҳое, ки дар онҳо худи тағирот рух медиҳанд, коркарди додаҳо). ) сурат мегирад.
Конфигуратсияи GRID – аслан варианти сохтани комплекс бо истифода аз якчанд серверҳо, вақте ки сарбории аз ҷониби DIS оғозшуда дар байни гиреҳҳо тақсим карда мешавад (яъне серверҳое, ки қисми домен мебошанд). Дар сурати ин вариант, ба ғайр аз тақсими сарборӣ дар DIS тавассути қабати абстраксияи иловагии GRID, ки якчанд гиреҳҳоро муттаҳид мекунад, ки DIS ба ҷои кор дар як гиреҳи мушаххас кор мекунад, мисолҳои иловагии эҳтиётии MRS низ эҷод кардан мумкин аст. Шумо ҳатто метавонед дастрасии баландро татбиқ кунед, ки дар он ҷо зангҳои беруна тавассути гиреҳҳои эҳтиётӣ, агар занги асосӣ ноком шавад, анҷом дода мешавад. Мо аз ин варианти сохтмон ҳоло даст кашидаем.
Informatica PowerCenter, схематикӣ
Дар марҳилаҳои аввали кор ҳамчун як қисми занҷираи таъминоти маълумот мушкилот мунтазам ба миён меомаданд, ки баъзеи онҳо аз сабаби фаъолияти ноустувори Informatica дар он вақт. Ман баъзе аз лаҳзаҳои фаромӯшнашавандаи ин достон - азхудкунии Informatica 10 -ро нақл мекунам.
Логотипи собиқи Informatica
Соҳаи масъулияти мо инчунин дигар муҳитҳои Informatica-ро дар бар мегирад, онҳо аз сабаби сарбории дигар хусусиятҳои худро доранд, аммо ҳоло ман аниқ дар ёд дорам, ки чӣ гуна Informatica ҳамчун ҷузъи ETL-и худи анбори додаҳо таҳия шудааст.
Ин чй тавр шуд
Дар соли 2016, вақте ки мо барои кори Informatica масъул шудем, он аллакай ба версияи 10.0 расида буд ва барои ҳамкорони хушбин, ки тасмим гирифтанд, ки маҳсулотро бо версияи хурди .0 дар ҳалли ҷиддӣ истифода баранд, ҳама чиз аён буд - мо бояд истифода барем. версияи нав! Аз нуктаи назари захирахои аппаратура дар он вакт хама чиз хуб буд.
Аз баҳори соли 2016 пудратчӣ барои кори Informatica масъул аст ва ба гуфтаи корбарони ками система, "он дар як ҳафта ду маротиба кор мекард." Дар ин ҷо равшан кардан лозим аст, ки анбор воқеан дар марҳилаи PoC буд, дар даста маъмурон набуданд ва система бо сабабҳои гуногун пайваста садама мезад ва пас аз он муҳандиси пудратчӣ онро дубора бардошт.
Дар тирамоҳ, се маъмур ба даста ҳамроҳ шуда, соҳаҳои масъулияти худро байни худ тақсим карданд ва кори муқаррарӣ барои ташкили кори системаҳо дар лоиҳа, аз ҷумла Informatica оғоз ёфт. Дар алоҳидагӣ, бояд гуфт, ки ин маҳсулот паҳн нашудааст ва як ҷомеаи калон дорад, ки дар он шумо метавонед ба ҳама саволҳо ҷавоб пайдо кунед ва ҳама гуна мушкилотро ҳал кунед. Аз ин рӯ, дастгирии пурраи техникӣ аз шарики русии Informatica хеле муҳим буд, ки бо ёрии он ҳамаи хатогиҳои мо ва хатогиҳои он замон Informatica 10 ислоҳ карда шуданд.
Аввалин коре, ки мо бояд барои таҳиягарони дастаи мо ва пудратчӣ анҷом диҳем, ин ба эътидол овардани кори худи Informatica, таъмини фаъолияти консоли маъмурияти веб (Informatica Administrator) буд.
Ҳамин тавр мо бо таҳиягарони Informatica зуд-зуд вомехӯрем
Раванди муайян кардани сабабҳоро як сӯ гузошта, сабаби асосии садамаҳо шакли ҳамкории нармафзори Informatica бо пойгоҳи додаҳои репозиторий буд, ки аз нуқтаи назари манзараи шабакавӣ дар сервери нисбатан дур ҷойгир буд. Ин боиси таъхирҳо гардид ва механизмҳоеро, ки ҳолати домени Informatica назорат мекунанд, халалдор кард. Пас аз чанд танзими пойгоҳи додаҳо, тағир додани параметрҳои Informatica, ки онро ба таъхирҳои пойгоҳи додаҳо таҳаммулпазиртар кард ва дар ниҳоят версияи Informatica ба 10.1 навсозӣ ва интиқоли пойгоҳи додаҳо аз сервери қаблӣ ба сервере, ки ба Informatica наздиктар ҷойгир аст, мушкилот худро гум кард. муҳим аст ва аз он вақт инҷониб мо чунин садамаҳо мушоҳида намекунем.
Яке аз кӯшишҳои ба кор даровардани Informatica Monitor
Вазъияти консоли маъмурият низ вазнин буд. Азбаски рушди фаъол мустақиман дар муҳити нисбатан истеҳсолӣ ҷараён дошт, ҳамкорон ҳамеша бояд кори харитасозӣ ва ҷараёни корро "дар роҳ" таҳлил кунанд. Дар Informatica нав, Хадамоти интегратсияи додаҳо барои чунин мониторинг асбоби алоҳида надорад, аммо дар веб консоли маъмурият бахши мониторинг пайдо шудааст (Informatica Administrator Monitor), ки дар он шумо метавонед кори барномаҳо, ҷараёни кор ва харитаҳоро назорат кунед, ба кор андохта мешавад, журналхо. Давра ба давра, консол комилан дастнорас мешуд, ё маълумот дар бораи равандҳои ҷорӣ дар DIS навсозӣ карданро қатъ мекард ё ҳангоми боркунии саҳифаҳо хатогиҳо рух медоданд.
Интихоби параметрҳои java барои мӯътадил кардани амалиёт
Мушкилот аз бисёр ҷиҳатҳо ислоҳ карда шуд, таҷрибаҳо барои тағир додани параметрҳо гузаронида шуданд, гузоришҳо ва jstack ҷамъоварӣ карда шуданд, ба дастгирӣ фиристода шуданд, ҳамзамон googling фаъол ва оддӣ мушоҳида карда шуд.
Пеш аз ҳама, барои мониторинг як MRS алоҳида таъсис дода шуд, ки баъдтар маълум шуд, ин яке аз истеъмолкунандагони асосии захираҳо дар муҳити мост, зеро харитасозӣ хеле пуршиддат оғоз карда мешавад. Параметрҳо дар бораи теппаи java ва як қатор дигарҳо тағир дода шуданд.
Дар натиҷа, бо навсозии навбатии Informatica 10.1.1, кори консол ва монитор мӯътадил шуд, таҳиягарон самараноктар кор карданд ва равандҳои мунтазам мунтазамтар шуданд.
Таҷрибаи ҳамкории байни рушд ва маъмурият метавонад ҷолиб бошад. Масъалаи фахмиши умумии кор чй тавр кор мекунад, чй кор кардан мумкин аст ва чй кор кардан мумкин нест, дар вакти истифода бурдани системахои мураккаб хамеша мухим аст. Аз ин рӯ, мо метавонем бо эътимод тавсия диҳем, ки шумо аввал гурӯҳи маъмуриро оид ба идоракунии нармафзор ва ба гурӯҳи таҳиякунанда оид ба тарзи навиштани код ва кашидани равандҳо дар система омӯзед ва танҳо баъд якум ва дуюмро барои кор дар натиҷа фиристед. Ин дар ҳақиқат муҳим аст, вақте ки вақт манбаи беохир нест. Бисёр мушкилотро ҳатто тавассути ҷустуҷӯи тасодуфии вариантҳо ҳал кардан мумкин аст, аммо баъзан баъзеҳо дониши априориро талаб мекунанд - ҳолати мо аҳамияти дарки ин аксиомаро тасдиқ мекунад.
Масалан, вақте ки мо кӯшиш кардем, ки версияи MRS-ро фаъол созем (чунон ки дар ниҳоят маълум шуд, версияи дигари SVN лозим буд), пас аз чанд вақт мо аз он огоҳ шудем, ки вақти бозоғозкунии система ба якчанд даҳҳо дақиқа зиёд шудааст. Сабаби таъхир дар оғоз ва ғайрифаъол кардани версияро ёфта, мо боз хуб кор кардем.
Монеаҳои назаррасе, ки бо Informatica алоқаманданд, ҷанги эпикӣ бо риштаҳои афзояндаи java мебошанд. Дар баъзе мавридҳо вақти такрорӣ, яъне паҳн кардани равандҳои муқарраршуда ба шумораи зиёди системаҳои манбаъ фаро расидааст. Маълум шуд, ки на ҳама равандҳо дар 10.1.1 хуб кор мекарданд ва пас аз чанд вақт DIS корношоям шуд. Даҳҳо ҳазор риштаҳо ошкор карда шуданд, ки шумораи онҳо махсусан дар ҷараёни татбиқи барнома ба таври назаррас афзоиш ёфт. Баъзан ман маҷбур мешудам, ки дар як рӯз якчанд маротиба бозоғоз кунам, то коршоямиро барқарор кунам.
Дар ин ҷо мо бояд ба дастгирӣ ташаккур гӯем; мушкилот бо истифода аз EBF (Emergency Bug Fix) локализатсия ва нисбатан зуд ҳал карда шуданд - пас аз ин ҳама эҳсос карданд, ки асбоб воқеан кор мекунад.
Он ҳоло ҳам кор мекунад!
Вақте ки мо ба кор дар реҷаи мақсаднок шурӯъ кардем, Informatica чунин менамуд. Версияи Informatica 10.1.1HF1 (HF1 HotFix1 аст, маҷмӯаи фурӯшанда аз маҷмӯи EBFs) бо EBF-и ба таври иловагӣ насбшуда, ки мушкилоти моро бо миқёс ва баъзеи дигарро ислоҳ мекунад, дар як сервер аз се сервери қисми GRID, 20 ядрои x86_64 ва нигоҳдорӣ, дар массиви бузурги сусти дискҳои маҳаллӣ - ин конфигуратсияи сервер барои кластери Hadoop аст. Дар сервери дигари шабеҳ - DBMS Oracle, ки бо он ҳам домени Informatica ва ҳам механизми идоракунии ETL кор мекунанд. Ҳамаи ин тавассути асбобҳои стандартии мониторинг, ки дар даста (Zabbix + Grafana) дар ҳарду ҷониб истифода мешаванд - худи Informatica бо хидматҳои худ ва равандҳои боркунӣ ба он назорат карда мешаванд. Ҳоло ҳам самаранокӣ ва ҳам устуворӣ, бе назардошти омилҳои беруна, ҳоло аз танзимот вобастаанд, ки сарбориро маҳдуд мекунанд.
Алоҳида, мо метавонем дар бораи GRID бигӯем. Муҳити зист дар се гиреҳ бо имкони мувозинати сарборӣ сохта шудааст. Аммо, ҳангоми санҷиш маълум шуд, ки аз сабаби мушкилоти мутақобила байни мисолҳои иҷрошавандаи замимаҳои мо, ин конфигуратсия тавре ки интизор мерафт, кор накард ва онҳо тасмим гирифтанд, ки муваққатан аз ин схемаи сохтмон даст кашанд ва аз се гиреҳ дуро аз домен хориҷ кунанд. Дар айни замон, худи схема бетағйир монд ва ҳоло он маҳз як хидмати GRID аст, аммо ба як гиреҳ таназзул мекунад.
Дар айни замон, мушкилӣ бо коҳиши кор ҳангоми тоза кардани мунтазами схемаи монитор алоқаманд боқӣ мемонад - бо равандҳои ҳамзамон дар CNN ва тозакунии иҷро, хатогиҳо дар кори механизми идоракунии ETL метавонанд рух диҳанд. Дар айни замон, ин "ҳамчун асобакаш" ҳал карда мешавад - бо роҳи дастӣ тоза кардани схемаи монитор бо гум кардани тамоми маълумоти қаблии он. Ин барои ҳосилнокӣ, ҳангоми кори муқаррарии муқаррарӣ чандон муҳим нест, аммо ҳоло ҷустуҷӯи ҳалли муқаррарӣ идома дорад.
Мушкилоти дигар аз ҳамин вазъият ба миён меояд - баъзан якчанд маротиба ба кор андохтани механизми идоракунии мо рӯй медиҳад.
Оғози якчанд барнома боиси нокомии механизм мегардад
Хангоми аз руи график кор кардан, дар вацти бори вазнин ба система баъзан вазъиятхое руй медиханд, ки боиси вайрон шудани механизм мегардад. Мушкилот то ҳол дастӣ ҳал карда мешавад ва роҳи ҳали доимӣ ҷустуҷӯ мешавад.
Умуман, мо метавонем ҷамъбаст кунем, ки ҳангоми бори вазнин таъмин кардани захираҳои мувофиқ барои он хеле муҳим аст, ин ба захираҳои сахтафзор барои худи Informatica ва ҳамин чиз барои анбори пойгоҳи додаҳои он ва инчунин таъмини танзимоти оптималӣ дахл дорад. барои онҳо. Илова бар ин, савол боз боқӣ мемонад, ки кадом схемаи ҷойгиркунии пойгоҳи додаҳо беҳтар аст - дар ҳости алоҳида ё дар ҳамон ҷое, ки нармафзори Informatica кор мекунад. Аз як тараф, он дар як сервер арзонтар хоҳад буд ва ҳангоми якҷоя кардан, мушкилоти эҳтимолӣ бо ҳамкории шабакавӣ амалан бартараф карда мешавад; аз тарафи дигар, сарбории ҳост аз пойгоҳи додаҳо бо бори Informatica пурра карда мешавад.
Мисли ҳама гуна маҳсулоти ҷиддӣ, Informatica низ лаҳзаҳои хандовар дорад.
Боре, ҳангоми муайян кардани як намуди садама, ман мушоҳида кардам, ки гузоришҳои MRS ба таври аҷиб вақти ҳодисаҳоро нишон медиҳанд.
Дуализми муваққатӣ дар гузоришҳои MRS "аз рӯи тарҳ"
Маълум шуд, ки тамғаҳои вақт дар формати 12 соат, бидуни нишон додани AM/PM, яъне пеш аз нисфирӯзӣ ё баъд аз он навишта мешаванд. Дар ин бора ҳатто ариза кушода шуд ва посухи расмӣ гирифта шуд - ҳамин тавр пешбинӣ шуда буд, дар журнали MRS маҳз ба ҳамин формат аломатҳо навишта мешаванд. Яъне, баъзан дар мавриди замони ба вуқӯъ омадани ягон ХАТО як фитна боқӣ мемонад...
Барои беҳтарин саъй кунед
Имрӯз, Informatica як воситаи хеле устувор аст, ки барои маъмурон ва корбарон қулай буда, аз ҷиҳати қобилиятҳо ва потенсиали кунунии худ бениҳоят тавоно мебошад. Он аз эҳтиёҷоти функсионалии мо чандин маротиба зиёдтар аст ва ҳоло дар лоиҳа амалан ба тарзе истифода мешавад, ки маъмултарин ва маъмулӣ нест. Мушкилиҳо қисман ба тарзи кори механизмҳо алоқаманданд - чизи мушаххас дар он аст, ки дар як муддати кӯтоҳ шумораи зиёди риштаҳо ба кор андохта мешаванд, ки параметрҳоро пуршиддат навсозӣ мекунанд ва бо пойгоҳи додаҳои репозиторий кор мекунанд, дар ҳоле ки захираҳои сахтафзори сервер қариб пурра истифода мешаванд. аз ҷониби CPU.
Мо ҳоло наздик ба гузаштан ба Informatica 10.2.1 ё 10.2.2 ҳастем, ки баъзе механизмҳои дохилиро аз нав коркард кардаанд ва ваъдаҳои дастгирӣ оид ба бартараф кардани баъзе масъалаҳои иҷроиш ва функсионалии мо ҳоло доранд. Ва аз нуқтаи назари сахтафзор, мо интизорем, ки серверҳои конфигуратсияи оптималии барои мо бо назардошти захира барои ояндаи наздик аз ҳисоби афзоиш ва рушди нигоҳдорӣ.
Албатта, дар қисми HA GRID санҷиш, санҷиши мутобиқат ва эҳтимолан тағироти меъморӣ вуҷуд хоҳад дошт. Рушди Informatica идома хоҳад ёфт, зеро дар муддати кӯтоҳ мо наметавонем чизеро барои иваз кардани система таъмин кунем.
Ва онҳое, ки дар оянда барои ин система масъул хоҳанд буд, ҳатман метавонанд онро ба нишондиҳандаҳои зарурии эътимоднокӣ ва самаранокии муштариён пешниҳод кунанд.
Мақоларо гурӯҳи идоракунии маълумотҳои Ростелеком омода кардааст
Логотипи ҷорӣ Informatica
Манбаъ: will.com