Jebkura liela datu darbība prasa lielu skaitļošanas jaudu. Tipiska datu pārvietošana no datu bāzes uz Hadoop var ilgt nedēļas vai maksāt tikpat daudz kā lidmašīnas spārns. Vai nevēlaties gaidīt un tērēt naudu? Līdzsvarojiet slodzi dažādās platformās. Viens no veidiem ir nospiežamā optimizācija.
Es jautāju Krievijas vadošajam Informatica produktu izstrādes un administrēšanas trenerim Aleksejam Anaņjevam pastāstīt par nospiežamo optimizācijas funkciju Informatica Big Data Management (BDM). Vai esat kādreiz iemācījies strādāt ar Informatica produktiem? Visticamāk, Aleksejs jums pastāstīja PowerCenter pamatus un paskaidroja, kā izveidot kartējumus.
Aleksejs Anaņjevs, DIS Group apmācību vadītājs
Kas ir pushdown?
Daudzi no jums jau ir iepazinušies ar Informatica Big Data Management (BDM). Produkts var integrēt lielus datus no dažādiem avotiem, pārvietot tos starp dažādām sistēmām, nodrošina ērtu piekļuvi tiem, ļauj tos profilēt un daudz ko citu.
Labās rokās BDM var radīt brīnumus: uzdevumi tiks izpildīti ātri un ar minimāliem skaitļošanas resursiem.
Vai jūs arī to vēlaties? Uzziniet, kā izmantot nospiežamo funkciju BDM, lai sadalītu skaitļošanas slodzi dažādās platformās. Pushdown tehnoloģija ļauj pārvērst kartēšanu skriptā un atlasīt vidi, kurā šis skripts darbosies. Šī izvēle ļauj apvienot dažādu platformu stiprās puses un sasniegt to maksimālo veiktspēju.
Lai konfigurētu skripta izpildes vidi, ir jāizvēlas nospiežamās lejupielādes veids. Skriptu var pilnībā palaist Hadoop vai daļēji izplatīt starp avotu un izlietni. Ir 4 iespējamie pushdown veidi. Kartēšana nav jāpārvērš par skriptu (vietējo). Kartēšanu var veikt pēc iespējas vairāk avotā (avotā) vai pilnībā avotā (pilnā). Kartēšanu var pārvērst arī par Hadoop skriptu (nav).
Pushdown optimizācija
Norādītos 4 veidus var kombinēt dažādos veidos – pushdown var optimizēt konkrētām sistēmas vajadzībām. Piemēram, bieži vien ir pareizāk iegūt datus no datu bāzes, izmantojot tās iespējas. Un dati tiks pārveidoti, izmantojot Hadoop, lai nepārslogotu pašu datu bāzi.
Apskatīsim gadījumu, kad datu bāzē atrodas gan avots, gan galamērķis, un var izvēlēties transformācijas izpildes platformu: atkarībā no iestatījumiem tā būs Informatica, datu bāzes serveris vai Hadoop. Šāds piemērs ļaus visprecīzāk izprast šī mehānisma darbības tehnisko pusi. Dabiski, ka reālajā dzīvē šāda situācija nerodas, taču tā ir vislabāk piemērota funkcionalitātes demonstrēšanai.
Ņemsim kartēšanu, lai nolasītu divas tabulas vienā Oracle datu bāzē. Un lai lasīšanas rezultāti tiek ierakstīti tabulā tajā pašā datubāzē. Kartēšanas shēma būs šāda:
Informatica BDM 10.2.1 kartēšanas veidā tas izskatās šādi:
Pushdown veids — vietējais
Ja izvēlamies nostumšanas uz leju vietējo tipu, kartēšana tiks veikta uz serveris Informatica. Dati tiks nolasīti no Oracle servera, pārsūtīti uz Informatica serveri, tur pārveidoti un pārsūtīti uz Hadoop. Citiem vārdiem sakot, mēs iegūsim standarta ETL procesu.
Pushdown veids – avots
Izvēloties avota veidu, mēs iegūstam iespēju sadalīt savu procesu starp serveris Datu bāzes (DB) un Hadoop. Izpildot procesu ar šo iestatījumu, datu bāzei tiks nosūtīti vaicājumi datu atlasīšanai no tabulām. Pārējais tiks izpildīts kā soļi Hadoop vidē.
Izpildes diagramma izskatīsies šādi:
Tālāk ir sniegts izpildlaika vides iestatīšanas piemērs.
Šajā gadījumā kartēšana tiks veikta divos posmos. Tā iestatījumos mēs redzēsim, ka tas ir pārvērties par skriptu, kas tiks nosūtīts avotam. Turklāt tabulu apvienošana un datu pārveidošana tiks veikta avota ignorēta vaicājuma veidā.
Tālāk esošajā attēlā redzama optimizēta kartēšana BDM un atkārtoti definēts avota vaicājums.
Hadoop loma šajā konfigurācijā tiks samazināta līdz datu plūsmas pārvaldībai - tās organizēšanai. Vaicājuma rezultāts tiks nosūtīts uz Hadoop. Kad nolasīšana ir pabeigta, fails no Hadoop tiks ierakstīts izlietnē.
Pushdown veids – pilns
Atlasot pilnu veidu, kartēšana pilnībā pārvērtīsies par datu bāzes vaicājumu. Un pieprasījuma rezultāts tiks nosūtīts Hadoop. Šāda procesa diagramma ir parādīta zemāk.
Tālāk ir parādīts iestatīšanas piemērs.
Rezultātā mēs iegūsim optimizētu kartēšanu, kas ir līdzīga iepriekšējai. Vienīgā atšķirība ir tā, ka visa loģika tiek pārsūtīta uz uztvērēju, ignorējot tās ievietošanu. Tālāk ir parādīts optimizētas kartēšanas piemērs.
Šeit, tāpat kā iepriekšējā gadījumā, Hadoop spēlē diriģenta lomu. Bet šeit avots tiek izlasīts pilnībā, un tad datu apstrādes loģika tiek veikta uztvērēja līmenī.
Pushdown veids ir nulle
Pēdējā iespēja ir nospiešanas veids, kurā mūsu kartēšana pārvērtīsies par Hadoop skriptu.
Optimizētā kartēšana tagad izskatīsies šādi:
Šeit dati no avota failiem vispirms tiks nolasīti pakalpojumā Hadoop. Pēc tam, izmantojot viņa paša līdzekļus, šie divi faili tiks apvienoti. Pēc tam dati tiks konvertēti un augšupielādēti datu bāzē.
Izprotot nospiežamās optimizācijas principus, jūs varat ļoti efektīvi organizēt daudzus procesus darbam ar lielajiem datiem. Tādējādi pavisam nesen viens liels uzņēmums tikai dažu nedēļu laikā no krātuves Hadoop lejupielādēja lielus datus, kurus tas iepriekš bija apkopojis vairākus gadus.
Avots: www.habr.com
