Как да премествате, експортирате и интегрирате много големи данни бързо и евтино? Какво е оптимизация на pushdown?

Всяка операция с големи данни изисква големи изчислителни мощности. Обикновеното преместване на данни от база данни в Hadoop може да отнеме седмици или да струва колкото крило на самолет. Не искате да чакате и да харчите? Балансирайте натоварването между различни платформи. Един от начините е оптимизация на pushdown.

Попитах водещия треньор в Русия по разработка и администриране на продукти Informatica Алексей Ананьев да ни разкаже за функцията на оптимизация на pushdown в Informatica Big Data Management (BDM). Някога учихте ли да работите с продукти на Informatica? Вероятно именно Алексей ви е преподавал основите на PowerCenter и е обяснявал как да изграждате маппинги.

Алексей Ананьев, ръководител на обучението в DIS Group

Какво е pushdown?

Много от вас вече познават Informatica Big Data Management (BDM). Продуктът може да интегрира големи данни от различни източници, да ги премества между различни системи, да осигурява лесен достъп до тях, да ги профилира и много други.
В умелите ръце BDM може да върши чудеса: задачите ще се изпълняват бързо и с минимални изчислителни ресурси.

Искате ли и вие така? Научете се да използвате функцията за оптимизация на pushdown в BDM, за да разпределите изчислителното натоварване между различни платформи. Технологията pushdown позволява да преобразувате мапинга в скрипт и да изберете средата, в която този скрипт да се изпълни. Възможността за такъв избор позволява да комбинирате силните страни на различни платформи и да достигнете тяхната максимална производителност.

За настройки на средата за изпълнение на скрипта трябва да изберете типа на pushdown. Скриптът може да бъде напълно изпълнен на Hadoop или частично разпределен между източника и приемника. Има 4 възможни типа pushdown. Мапингът може да не се преобразува в скрипт (native). Мапингът може да се изпълни максимално на източника (source) или напълно на източника (full). Освен това мапингът може да бъде преобразуван в Hadoop скрипт (none).

Оптимизация на pushdown

Посочените 4 типа могат да бъдат комбинирани по различен начин – да се оптимизира pushdown на специфичните нужди на системата. Например, често е целесъобразно да извлечете данни от базата данни, използвайки собствените й възможности. А преобразуването на данните – чрез Hadoop, за да не се натоварва самата база.

Нека разгледаме случай, в който и източникът, и приемникът се намират в БД, а платформата за изпълнение на трансформации може да бъде избрана: в зависимост от настройките, това ще бъде Informatica, сървър на БД или Hadoop. Такъв пример ще позволи най-точно да се разбере техническата страна на функционирането на този механизъм. Разбира се, в реалния живот, такава ситуация не възниква, но за демонстрация на функционалността тя е най-подходяща.

Нека вземем мапинг за четене на две таблици в единна база данни Oracle. А резултатите от четенето нека да се запишат в таблица в същата база. Схемата на мапинга ще бъде следната:

Във формата на мапинг в Informatica BDM 10.2.1 изглежда по следния начин:

Тип pushdown – native

Ако изберем тип pushdown native, мапингът ще бъде изпълнен на сървър Informatica. Данните ще бъдат прочетени от сървъра Oracle, пренесени до сървъра Informatica, трансформирани там и предадени в Hadoop. С други думи, ще получим обикновен ETL процес.

Тип pushdown – source

При избора на тип source получаваме възможност да разпределим нашия процес между сървър бази данни (БД) и Hadoop. При изпълнението на процеса с тази настройка в базата ще се изпращат заявки за извличане на данни от таблиците. А останалото ще бъде извършено под формата на стъпки в Hadoop.
Схемата на изпълнение ще изглежда така:

По-долу – пример за настройка на средата за изпълнение.

В този случай мапингът ще се изпълнява в два етапа. В настройките му ще видим, че се е трансформирал в скрипт, който ще бъде изпратен на източника. Обединението на таблиците и трансформацията на данните ще бъдат извършени под формата на преопределена заявка на източника.
На изображението по-долу виждаме оптимизиран мапинг на BDM, а на източника – преопределена заявка.

Ролята на Hadoop в тази конфигурация ще се сведе до управление на потока на данни – дирижиране на тях. Резултатът от заявката ще бъде насочен към Hadoop. След приключване на четенето, файлът от Hadoop ще бъде записан в приемника.

Тип pushdown – full

При избора на тип full, мапингът изцяло ще се преобразува в заявка към БД. А резултатът от заявката ще бъде насочен към Hadoop. Схемата на такъв процес е представена по-долу.

Пример за настройка е представен по-долу.

В резултат ще получим оптимизиран мапинг, подобен на предишния. Разликата е само в това, че логиката се прехвърля на приемника под формата на преопределяне на неговото вмъкване. Пример за оптимизиран мапинг е представен по-долу.

Тук, както в предишния случай, Hadoop играе ролята на диригент. Но тук източникът се чете изцяло, а след това на ниво приемник се изпълнява логиката за обработка на данни.

Тип pushdown – null

И последният вариант – тип pushdown, в рамките на който нашето картографиране ще се превърне в скрипт на Hadoop.

Оптимизираното картографиране сега ще изглежда така:

Тук данните от източниковите файлове първо ще бъдат прочетени на Hadoop. След това с помощта на него тези два файла ще бъдат обединени. След това данните ще бъдат преобразувани и изнесени в БД.

Разбирайки принципите на оптимизацията pushdown, е възможно много ефективно да се организират множество процеси на работа с големи данни. Например, съвсем наскоро една голяма компания изтегли от хранилището в Hadoop големи данни, които преди това е събирала в продължение на години.

Източник: habr.com