Как да премествате, извличате и интегрирате много големи данни бързо и на ниска цена? Какво е оптимизация при пускане?

Всяка операция с големи данни изисква големи изчислителни мощности. Обичайното преместване на данни от базата в Hadoop може да отнеме седмици или да струва колкото крилото на самолет. Не искате да чакате и да разходвате? Балансирайте натоварването на различни платформи. Един от начините е pushdown оптимизация.

Помолих водещия в Русия треньор по разработка и администриране на продукти Informatica Алексей Анянев да разкаже за функцията pushdown оптимизация в Informatica Big Data Management (BDM). Някога учихте ли да работите с продуктите на Informatica? Вероятно именно Алексей ви е разказвал основите на PowerCenter и обяснявал как да изграждате мапинги.

Алексей Анянев, ръководител на направление по обучение DIS Group

Какво е pushdown?

Мнозина от вас вече са запознати с Informatica Big Data Management (BDM). Продуктът може да интегрира големи данни от различни източници, да ги премества между различни системи, осигурява лек достъп до тях, позволява профилирането им и много други.
В умели ръце BDM може да създава чудеса: задачите ще се изпълняват бързо и с минимални изчислителни ресурси.

Искате ли и вие така? Научете се да използвате функцията pushdown в BDM за разпределяне на изчислителното натоварване между различни платформи. Технологията pushdown позволява да се превърне мапинга в скрипт и да се избере средата, в която този скрипт ще се стартира. Възможността за такъв избор позволява да се комбинират силните страни на различни платформи и да се постигне максимална производителност.

За настройка на средата за изпълнение на скрипта е необходимо да се избере тип pushdown. Скриптът може да бъде напълно стартиран на Hadoop или частично разпределен между източника и приемника. Има 4 възможни типа pushdown. Мапингът може да не се превръща в скрипт (native). Мапингът може да се изпълни максимално на източника (source) или напълно на източника (full). Освен това, мапингът може да се превърне в Hadoop скрипт (none).

Pushdown оптимизация

Посочените 4 типа могат да се комбинират по различен начин – оптимизирайте pushdown според конкретните нужди на системата. Например, често е целесъобразно да извлечете данни от базата данни, използвайки нейните собствени възможности. А да преобразувате данните – с усилията на Hadoop, за да не натоварвате самата база.

Нека разгледаме случай, при който и източникът, и приемникът са в базата данни, а платформата за изпълнение на преобразованията може да бъде избрана: в зависимост от настройките това ще бъде Informatica, сървър на базата данни или Hadoop. Такъв пример ще позволи най-точно да се разбере техническата страна на работата на този механизъм. Естествено, в реалния живот, такава ситуация не възниква, но за демонстрация на функционалността тя е най-подходяща.

Нека вземем мапинг за четене на две таблици в единна база данни Oracle. А резултатите от четенето нека да се записват в таблица в същата база. Схемата на мапинга ще бъде такава:

В маппинга на Informatica BDM 10.2.1 това изглежда по следния начин:

Тип pushdown – нативен

Ако изберем типа pushdown нативен, маппингът ще се изпълни на сървър Informatica. Данните ще бъдат прочетени от Oracle сървъра, прехвърлени на Informatica сървъра, трансформирани там и предадени в Hadoop. С други думи, ще получим стандартен ETL процес.

Тип pushdown – източник

При избиране на типа източник получаваме възможност да разпределим нашия процес между сървъра. бази данни (БД) и Hadoop. При изпълнение на процеса с тази настройка, в базата ще излизат заявки за извличане на данни от таблиците. А останалото ще бъде извършено в стъпки на Hadoop.
Схемата на изпълнение ще изглежда така:

По-долу – пример на настройка на средата на изпълнение.

В този случай маппингът ще се изпълнява в два етапа. В неговите настройки ще видим, че той е преобразуван в скрипт, който ще бъде изпратен на източника. Освен това, обединението на таблиците и трансформацията на данните ще се извърши като преопределена заявка на източника.
На изображението по-долу виждаме оптимизиран маппинг на BDM, а на източника – преопределена заявка.

Ролята на Hadoop в тази конфигурация ще се свежда до управление на потока на данни – дирижиране на тях. Резултатът от заявката ще бъде изпратен в Hadoop. След завършване на четенето, файлът от Hadoop ще бъде записан в приемника.

Тип pushdown – пълен

При избиране на типа пълен, мапингът напълно ще се превърне в заявка на БД. А резултатът от заявката ще бъде насочен към Hadoop. Схемата на такъв процес е представена по-долу.

Пример на настройката е представен по-долу.

В резултат ще получим оптимизиран маппинг, подобен на предишния. Разликата е, че цялата логика ще бъде прехвърлена на приемника под формата на преопределение на неговото въвеждане. Пример на оптимизиран маппинг е представен по-долу.

Тук, както и в предишния случай, Hadoop играе ролята на диригент. Но тук четенето на източника се извършва изцяло, а след това на ниво приемник се изпълнява логиката на обработка на данните.

Тип pushdown – нула

И последният вариант – тип pushdown, в който нашият мапинг ще се преобразува в скрипт на Hadoop.

Оптимизираният мапинг сега ще изглежда така:

Тук данните от файловете-източници първо ще бъдат прочетени на Hadoop. След това именно с неговите средства тези два файла ще бъдат обединени. След това данните ще бъдат трансформирани и извлечени в БД.

Разбирайки принципите на оптимизацията на pushdown, можем много ефективно да организираме много процеси на работа с големи данни. Така една голяма компания съвсем наскоро изхрани от хранилището в Hadoop огромни данни, които до този момент събираше в продължение на години.

Източник: habr.com