Како ефтино и брзо да преместите, прикачите и интегрирате многу големи податоци? Што е оптимизација на pushdown?

Секоја операција со големи податоци бара голема компјутерска моќ. Типичното преместување на податоци од базата на податоци до Hadoop може да потрае со недели или да чини колку авионско крило. Не сакате да чекате и да трошите пари? Балансирајте го оптоварувањето на различни платформи. Еден од начините е оптимизацијата на pushdown.

Го замолив водечкиот руски тренер за развој и администрација на производите на Информатика, Алексеј Анањев, да зборува за функцијата за оптимизација на притиснување во управувањето со големи податоци на Информатика (БДМ). Дали некогаш сте научиле да работите со производите на Informatica? Најверојатно, токму Алексеј ви ги кажа основите на PowerCenter и објасни како да изградите мапирања.

Алексеј Анањев, раководител на обука во DIS Group

Што е pushdown?

Многумина од вас веќе се запознаени со Informatica Big Data Management (BDM). Производот може да интегрира големи податоци од различни извори, да ги преместува помеѓу различни системи, овозможува лесен пристап до нив, ви овозможува да ги профилирате и многу повеќе.
Во вистински раце, BDM може да направи чуда: задачите ќе се завршат брзо и со минимални компјутерски ресурси.

Дали и вие го сакате тоа? Научете како да ја користите функцијата pushdown во BDM за да го дистрибуирате компјутерското оптоварување низ различни платформи. Технологијата Pushdown ви овозможува да го претворите мапирањето во скрипта и да ја изберете околината во која ќе работи оваа скрипта. Овој избор ви овозможува да ги комбинирате силните страни на различни платформи и да ги постигнете нивните максимални перформанси.

За да ја конфигурирате околината за извршување на скрипта, треба да го изберете типот на потиснување. Скриптата може целосно да се извршува на Hadoop или делумно да се дистрибуира помеѓу изворот и мијалникот. Постојат 4 можни типа на потиснување. Мапирањето не треба да се претвори во скрипта (мајчин). Мапирањето може да се изврши колку што е можно повеќе на изворот (извор) или целосно на изворот (целосно). Мапирањето исто така може да се претвори во скрипта Hadoop (ниедна).

Pushdown оптимизација

Наведените 4 типа може да се комбинираат на различни начини - pushdown може да се оптимизира за специфичните потреби на системот. На пример, често е посоодветно да се извлечат податоци од базата на податоци користејќи свои сопствени способности. И податоците ќе се конвертираат со помош на Hadoop, за да не се преоптоварува самата база на податоци.

Да го разгледаме случајот кога и изворот и дестинацијата се во базата на податоци, а платформата за извршување на трансформацијата може да се избере: во зависност од поставките, тоа ќе биде Informatica, сервер за база на податоци или Hadoop. Таквиот пример ќе ви овозможи најпрецизно да ја разберете техничката страна на работата на овој механизам. Секако, во реалниот живот, оваа ситуација не се појавува, но најдобро одговара за демонстрација на функционалност.

Ајде да земеме мапирање за да прочитаме две табели во една база на податоци на Oracle. И нека резултатите од читањето се евидентираат во табела во истата база на податоци. Шемата за мапирање ќе биде вака:

Во форма на мапирање на Informatica BDM 10.2.1 изгледа вака:

Тип на притискање – мајчин

Ако го избереме pushdown native типот, тогаш мапирањето ќе се изврши на серверот Informatica. Податоците ќе се читаат од серверот Oracle, ќе се префрлат на серверот Informatica, ќе се трансформираат таму и ќе се префрлат на Hadoop. Со други зборови, ќе добиеме нормален ETL процес.

Тип на притискање – извор

При изборот на типот на изворот, добиваме можност да го дистрибуираме нашиот процес помеѓу серверот за база на податоци (DB) и Hadoop. Кога ќе се изврши процес со оваа поставка, барањата за преземање податоци од табелите ќе бидат испратени до базата на податоци. А остатокот ќе биде изведен во форма на чекори на Hadoop.
Дијаграмот за извршување ќе изгледа вака:

Подолу е пример за поставување на околината за траење.

Во овој случај, мапирањето ќе се изврши во два чекори. Во неговите поставки ќе видиме дека се претвори во скрипта што ќе биде испратена до изворот. Покрај тоа, комбинирањето на табелите и трансформирањето на податоците ќе се изврши во форма на пребришено барање на изворот.
На сликата подолу, гледаме оптимизирано мапирање на BDM и редефинирано барање за изворот.

Улогата на Hadoop во оваа конфигурација ќе се сведе на управување со протокот на податоци - нивно оркестрирање. Резултатот од барањето ќе биде испратен до Hadoop. Откако ќе заврши читањето, датотеката од Hadoop ќе биде запишана во мијалникот.

Тип на притискање - полн

Кога ќе го изберете целосниот тип, мапирањето целосно ќе се претвори во барање за базата на податоци. И резултатот од барањето ќе биде испратен до Hadoop. Дијаграм на таков процес е претставен подолу.

Пример за поставување е прикажан подолу.

Како резултат на тоа, ќе добиеме оптимизирано мапирање слично на претходното. Единствената разлика е во тоа што целата логика се пренесува на приемникот во форма на прескокнување на неговото вметнување. Пример за оптимизирано мапирање е претставен подолу.

Тука, како и во претходниот случај, Хадуп ја игра улогата на диригент. Но, овде изворот се чита во целост, а потоа логиката за обработка на податоците се изведува на ниво на приемник.

Типот на pushdown е нула

Па, последната опција е типот pushdown, во рамките на кој нашето мапирање ќе се претвори во скрипта Hadoop.

Оптимизираното мапирање сега ќе изгледа вака:

Овде податоците од изворните датотеки прво ќе се читаат на Hadoop. Потоа, користејќи свои средства, овие две датотеки ќе се комбинираат. По ова, податоците ќе бидат конвертирани и поставени во базата на податоци.

Со разбирање на принципите на оптимизација на pushdown, можете многу ефикасно да организирате многу процеси за работа со големи податоци. Така, неодамна, една голема компанија, за само неколку недели, преземала големи податоци од складиштето во Hadoop, кои претходно ги собирала неколку години.

Извор: www.habr.com