Как да премествате, качвате и интегрирате много големи данни евтино и бързо? Какво е pushdown оптимизация?

Всяка операция с големи данни изисква много изчислителна мощност. Типичното преместване на данни от база данни към Hadoop може да отнеме седмици или да струва колкото крило на самолет. Не искате да чакате и да харчите пари? Балансирайте натоварването между различни платформи. Един от начините е оптимизация надолу.

Помолих водещия руски обучител за разработване и администриране на продукти на Informatica, Алексей Ананьев, да говори за функцията за оптимизиране на натискане в Informatica Big Data Management (BDM). Учили ли сте се някога да работите с продуктите на Informatica? Най-вероятно Алексей ви е казал основите на PowerCenter и ви е обяснил как да създавате съпоставки.

Алексей Ананьев, ръководител на обучението в DIS Group

Какво е pushdown?

Много от вас вече са запознати с Informatica Big Data Management (BDM). Продуктът може да интегрира големи данни от различни източници, да ги премества между различни системи, осигурява лесен достъп до тях, позволява ви да ги профилирате и много повече.
В правилните ръце BDM може да направи чудеса: задачите ще бъдат изпълнени бързо и с минимални компютърни ресурси.

Искаш ли и това? Научете се да използвате функцията за натискане надолу в BDM, за да разпределите изчислителното натоварване между различни платформи. Технологията Pushdown ви позволява да превърнете картографирането в скрипт и да изберете средата, в която ще се изпълнява този скрипт. Този избор ви позволява да комбинирате силните страни на различни платформи и да постигнете тяхната максимална производителност.

За да конфигурирате средата за изпълнение на скрипта, трябва да изберете типа на натискане надолу. Скриптът може да се изпълнява изцяло на Hadoop или частично разпределен между източника и приемника. Има 4 възможни типа pushdown. Картографирането не е необходимо да се превръща в скрипт (роден). Картографирането може да се извърши колкото е възможно повече върху източника (източник) или изцяло върху източника (пълен). Картографирането може също да се превърне в Hadoop скрипт (няма).

Pushdown оптимизация

Изброените 4 типа могат да се комбинират по различни начини - pushdown може да се оптимизира за специфичните нужди на системата. Например, често е по-подходящо да се извличат данни от база данни, като се използват нейните собствени възможности. И данните ще бъдат преобразувани с помощта на Hadoop, за да не се претоварва самата база данни.

Нека разгледаме случая, когато и източникът, и местоназначението са в базата данни и платформата за изпълнение на трансформацията може да бъде избрана: в зависимост от настройките, това ще бъде Informatica, сървър на база данни или Hadoop. Такъв пример ще ви позволи най-точно да разберете техническата страна на работата на този механизъм. Естествено, в реалния живот тази ситуация не възниква, но е най-подходяща за демонстриране на функционалност.

Нека вземем картографиране за четене на две таблици в една база данни на Oracle. И нека резултатите от четенето се записват в таблица в същата база данни. Схемата за картографиране ще бъде така:

Във формата на картографиране на Informatica BDM 10.2.1 изглежда така:

Тип натискане надолу – естествен

Ако изберем нативен тип за натискане надолу, тогава картографирането ще се извърши на сървъра на Informatica. Данните ще бъдат прочетени от сървъра на Oracle, прехвърлени към сървъра Informatica, трансформирани там и прехвърлени към Hadoop. С други думи, ще получим нормален ETL процес.

Тип натискане надолу – източник

Когато избираме типа на източника, получаваме възможност да разпределим нашия процес между сървъра на базата данни (DB) и Hadoop. Когато процес се изпълнява с тази настройка, заявките за извличане на данни от таблици ще бъдат изпратени към базата данни. А останалото ще бъде изпълнено под формата на стъпки на Hadoop.
Диаграмата за изпълнение ще изглежда така:

По-долу е даден пример за настройка на средата за изпълнение.

В този случай картографирането ще се извърши на две стъпки. В настройките му ще видим, че той се е превърнал в скрипт, който ще бъде изпратен до източника. Освен това комбинирането на таблици и трансформирането на данни ще се извършва под формата на заместена заявка към източника.
На снимката по-долу виждаме оптимизирано картографиране в BDM и предефинирана заявка в източника.

Ролята на Hadoop в тази конфигурация ще бъде сведена до управление на потока от данни - оркестрирането му. Резултатът от заявката ще бъде изпратен на Hadoop. След като четенето приключи, файлът от Hadoop ще бъде записан в мивката.

Тип натискане – пълен

Когато изберете пълния тип, картографирането напълно ще се превърне в заявка за база данни. И резултатът от заявката ще бъде изпратен на Hadoop. Диаграма на такъв процес е представена по-долу.

Примерна настройка е показана по-долу.

В резултат на това ще получим оптимизирано картографиране, подобно на предишното. Единствената разлика е, че цялата логика се прехвърля към приемника под формата на отмяна на неговото вмъкване. Пример за оптимизирано картографиране е представен по-долу.

Тук, както и в предишния случай, Hadoop играе ролята на проводник. Но тук източникът се чете изцяло и след това логиката за обработка на данни се извършва на ниво приемник.

Типът натискане надолу е нула

Е, последната опция е типът pushdown, в рамките на който нашето картографиране ще се превърне в Hadoop скрипт.

Оптимизираното картографиране сега ще изглежда така:

Тук данните от изходните файлове първо ще бъдат прочетени в Hadoop. След това, използвайки собствени средства, тези два файла ще бъдат комбинирани. След това данните ще бъдат конвертирани и качени в базата данни.

Чрез разбирането на принципите на оптимизацията на pushdown можете много ефективно да организирате много процеси за работа с големи данни. Така съвсем наскоро една голяма компания само за няколко седмици изтегли големи данни от хранилище в Hadoop, които преди това е събирала в продължение на няколко години.

Източник: www.habr.com