Како јефтино и брзо преместити, отпремити и интегрисати веома велике податке? Шта је пусхдовн оптимизација?

Свака операција великих података захтева много рачунарске снаге. Типично премештање података из базе података у Хадооп може трајати недељама или коштати колико и крило авиона. Не желите да чекате и трошите новац? Уравнотежите оптерећење на различитим платформама. Један од начина је оптимизација померања.

Замолио сам водећег руског тренера за развој и администрацију Информатица производа, Алексеја Анањева, да говори о функцији оптимизације спуштања у Информатица Биг Дата Манагемент (БДМ). Да ли сте икада научили да радите са Информатица производима? Највероватније, Алексеј вам је рекао основе ПоверЦентер-а и објаснио како да направите мапирања.

Алексеј Анањев, шеф обуке у ДИС Групи

Шта је потискивање?

Многи од вас су већ упознати са Информатичким управљањем великим подацима (БДМ). Производ може да интегрише велике податке из различитих извора, да их премешта између различитих система, омогућава лак приступ, омогућава вам да их профилишете и још много тога.
У правим рукама, БДМ може да чини чуда: задаци ће бити завршени брзо и са минималним рачунарским ресурсима.

Да ли и ти то желиш? Научите да користите функцију спуштања у БДМ да бисте распоредили рачунарско оптерећење на различите платформе. Пусхдовн технологија вам омогућава да претворите мапирање у скрипту и изаберете окружење у којем ће се ова скрипта изводити. Овај избор вам омогућава да комбинујете предности различитих платформи и постигнете њихове максималне перформансе.

Да бисте конфигурисали окружење за извршавање скрипте, потребно је да изаберете тип падајућег менија. Скрипта се може покренути у потпуности на Хадооп-у или делимично дистрибуирана између извора и синкронизације. Постоје 4 могућа типа потискивања. Мапирање се не мора претварати у скрипту (нативе). Мапирање се може извршити што је више могуће на извору (извору) или потпуно на извору (пуном). Мапирање се такође може претворити у Хадооп скрипту (нема).

Пусхдовн оптимизација

Наведена 4 типа могу се комбиновати на различите начине - пусхдовн се може оптимизовати за специфичне потребе система. На пример, често је прикладније издвојити податке из базе података користећи њене сопствене могућности. А подаци ће бити конвертовани помоћу Хадооп-а, како не би преоптеретили саму базу података.

Размотримо случај када су и извор и одредиште у бази података, а платформа за извршење трансформације може да се изабере: у зависности од подешавања, то ће бити Информатица, сервер базе података или Хадооп. Такав пример ће вам омогућити да најтачније разумете техничку страну рада овог механизма. Наравно, у стварном животу ова ситуација се не појављује, али је најпогоднија за демонстрирање функционалности.

Узмимо мапирање за читање две табеле у једној Орацле бази података. И нека резултати читања буду забележени у табели у истој бази података. Шема мапирања ће бити оваква:

У облику мапирања на Информатици БДМ 10.2.1 то изгледа овако:

Тип спуштања – изворни

Ако изаберемо нативни тип пусхдовн, онда ће се мапирање извршити на Информатица серверу. Подаци ће се читати са Орацле сервера, пренети на Информатица сервер, тамо трансформисати и пренети у Хадооп. Другим речима, добићемо нормалан ЕТЛ процес.

Тип спуштања – извор

Када бирамо тип извора, добијамо прилику да дистрибуирамо наш процес између сервера базе података (ДБ) и Хадооп-а. Када се процес изврши са овом поставком, захтеви за преузимање података из табела ће бити послати у базу података. А остало ће бити изведено у облику корака на Хадооп-у.
Дијаграм извршења ће изгледати овако:

Испод је пример подешавања окружења за извршавање.

У овом случају, мапирање ће се извршити у два корака. У његовим подешавањима видећемо да се претворио у скрипту која ће бити послата извору. Штавише, комбиновање табела и трансформисање података ће бити изведено у облику замењеног упита за извор.
На слици испод видимо оптимизовано мапирање на БДМ-у и редефинисани упит на извору.

Улога Хадооп-а у овој конфигурацији биће сведена на управљање протоком података – његово оркестрирање. Резултат упита ће бити послат у Хадооп. Када се читање заврши, датотека из Хадооп-а ће бити записана у судопер.

Тип спуштања – пуна

Када изаберете пун тип, мапирање ће се у потпуности претворити у упит базе података. И резултат захтева ће бити послат Хадооп-у. Дијаграм таквог процеса је представљен у наставку.

Пример подешавања је приказан испод.

Као резултат, добићемо оптимизовано мапирање слично претходном. Једина разлика је у томе што се сва логика преноси на пријемник у облику поништавања његовог уметања. Пример оптимизованог мапирања је представљен у наставку.

Овде, као иу претходном случају, Хадооп игра улогу диригента. Али овде се извор чита у целини, а затим се логика обраде података изводи на нивоу пријемника.

Тип спуштања је нулл

Па, последња опција је тип пусхдовн, у оквиру којег ће се наше мапирање претворити у Хадооп скрипту.

Оптимизовано мапирање ће сада изгледати овако:

Овде ће се подаци из изворних датотека прво читати на Хадооп-у. Затим ће се, користећи своја средства, ове две датотеке комбиновати. Након тога, подаци ће бити конвертовани и учитани у базу података.

Разумевањем принципа пусхдовн оптимизације, можете врло ефикасно организовати многе процесе за рад са великим подацима. Тако је, сасвим недавно, једна велика компанија, за само неколико недеља, преузела велике податке из складишта у Хадооп, које је претходно прикупљала неколико година.

Извор: ввв.хабр.цом