Nnukwu ọrụ data ọ bụla na-achọ ike ịgbakọ. Ntugharị data sitere na nchekwa data gaa Hadoop nwere ike were izu ma ọ bụ na-eri ihe dị ka nku ụgbọ elu. Ịchọghị ichere na-emefu ego? Hazie ibu ahụ n'ofe nyiwe dị iche iche. Otu ụzọ bụ nkwalite pushdown.
Ajụrụ m onye na-ahụ maka ndị na-eduzi Russia maka mmepe na nchịkwa nke ngwaahịa Informatica, Alexey Ananyev, ka ọ kwuo maka ọrụ njikarịcha pushdown na Informatica Big Data Management (BDM). Ị mụtala ịrụ ọrụ na ngwaahịa Informatica? O yikarịrị, ọ bụ Alexey gwara gị ihe ndị bụ isi nke PowerCenter ma kọwaa otu esi arụ eserese.
Alexey Ananyev, onye isi ọzụzụ na DIS Group
Kedu ihe bụ pushdown?
Ọtụtụ n'ime unu amaralarị Informatica Big Data Management (BDM). Ngwaahịa ahụ nwere ike ijikọ nnukwu data sitere na isi mmalite dị iche iche, bugharịa ya n'etiti usoro dị iche iche, na-enye ohere ịnweta ya dị mfe, na-enye gị ohere ịkọwapụta ya, na ọtụtụ ndị ọzọ.
N'aka aka nri, BDM nwere ike ịrụ ọrụ ebube: a ga-arụcha ọrụ ngwa ngwa yana obere akụrụngwa kọmputa.
Ị chọkwara nke ahụ? Mụta iji njirimara pushdown na BDM iji kesaa ibu mgbakọ n'ofe dị iche iche. Nkà na ụzụ Pushdown na-enye gị ohere ịtụgharị maapụ ka ọ bụrụ edemede wee họrọ gburugburu ebe edemede a ga-agba ọsọ. Nhọrọ a na-enye gị ohere ijikọta ike nke ikpo okwu dị iche iche ma nweta oke arụmọrụ ha.
Iji hazie gburugburu mkpochapụ edemede, ịkwesịrị ịhọrọ ụdị pushdown. Enwere ike ịme edemede ahụ kpamkpam na Hadoop ma ọ bụ kesaa ya n'otu akụkụ n'etiti isi iyi na sink. Enwere ụdị pushdown 4 nwere ike ime. E kwesịghị ịtụgharị eserese eserese ka ọ bụrụ edemede (nwa afọ). Enwere ike ịme eserese dị ka o kwere mee na isi iyi (isi iyi) ma ọ bụ kpamkpam na isi iyi (zuru). Enwere ike ịtụgharị eserese eserese ka ọ bụrụ edemede Hadoop (ọ nweghị).
Nkwalite Pushdown
Enwere ike ijikọta ụdị 4 edepụtara n'ụzọ dị iche iche - enwere ike ịkwalite pushdown maka mkpa ụfọdụ nke usoro. Dịka ọmụmaatụ, ọ na-adịkarị mma iji ike nke ya wepụ data na nchekwa data. A ga-agbanwe data ahụ site na iji Hadoop, ka ọ ghara ibufe nchekwa data n'onwe ya.
Ka anyị tụlee ikpe ahụ mgbe ma isi mmalite na ebe dị na nchekwa data, na mgbanwe mgbanwe ikpo okwu nwere ike họrọ: dabere na ntọala, ọ ga-abụ Informatica, a nchekwa data nkesa, ma ọ bụ Hadoop. Ihe atụ dị otú ahụ ga-enye gị ohere ịghọta nke ọma akụkụ teknụzụ nke ọrụ nke usoro a. Dị ka o kwesịrị ịdị, na ndụ n'ezie, ọnọdụ a adịghị ebili, ma ọ kachasị mma maka igosipụta ọrụ.
Ka anyị were eserese iji gụọ tebụl abụọ n'otu nchekwa data Oracle. Ka e dekọkwa nsonaazụ ọgụgụ na tebụl n'otu nchekwa data ahụ. Atụmatụ maapụ ga-adị ka nke a:
N'ụdị nke maapụ na Informatica BDM 10.2.1 ọ dị ka nke a:
Ụdị ntinye - nwa amaala
Ọ bụrụ na anyị họrọ ụdị pushdown, mgbe ahụ, a ga-eme eserese ahụ na sava Informatica. A ga-agụ data ahụ site na sava Oracle, bufee ya na sava Informatica, gbanwee ebe ahụ wee bufee ya na Hadoop. N'ikwu ya n'ụzọ ọzọ, anyị ga-enweta usoro ETL nkịtị.
Ụdị ntinye - isi iyi
Mgbe ị na-ahọrọ ụdị isi iyi, anyị na-enweta ohere ikesa usoro anyị n'etiti ihe nkesa nchekwa data (DB) na Hadoop. Mgbe ejiri ntọala a rụọ usoro, a ga-eziga arịrịọ iji weghachite data na tebụl na nchekwa data. A ga-eme ihe ndị ọzọ n'ụdị nzọụkwụ na Hadoop.
Eserese mmebe ahụ ga-adị ka nke a:
N'okpuru ebe a bụ ihe atụ nke ịtọlite oge ojiri gaa gburugburu.
N'okwu a, a ga-eme maapụ n'ụzọ abụọ. Na ntọala ya, anyị ga-ahụ na ọ ghọọla edemede nke a ga-eziga na isi mmalite. Ọzọkwa, a ga-eme ijikọ tebụl na ngbanwe data n'ụdị ajụjụ ewepụghị na isi mmalite.
Na foto dị n'okpuru ebe a, anyị na-ahụ nkewa nke kachasị na BDM, yana ajụjụ a kọwapụtara na isi mmalite.
Ọrụ Hadoop na nhazi a ga-ebelata ka ọ bụrụ ijikwa usoro data - nhazi ya. A ga-eziga nsonaazụ ajụjụ a na Hadoop. Ozugbo agụchara ya, a ga-ede faịlụ sitere na Hadoop na sink.
Ụdị ntinye - zuru
Mgbe ịhọrọ ụdị zuru oke, eserese eserese ga-atụgharị kpamkpam ka ọ bụrụ ajụjụ nchekwa data. A ga-eziga nsonaazụ nke arịrịọ ahụ na Hadoop. E gosipụtara eserese nke usoro dị otú ahụ n'okpuru.
Egosiri ntọlite atụ n'okpuru.
N'ihi ya, anyị ga-enweta maapụ kachasị nke yiri nke gara aga. Naanị ihe dị iche bụ na a na-ebufe mgbagha niile na onye na-anata ya n'ụdị nke imechi ntinye ya. E gosipụtara ihe atụ nke eserese kachasị mma n'okpuru.
N'ebe a, dị ka ọ dị na mbụ, Hadoop na-arụ ọrụ nke onye nduzi. Ma ebe a na-agụ isi iyi ahụ n'ozuzu ya, mgbe ahụ, a na-arụ ọrụ nhazi data na ọkwa nnata.
Ụdị pushdown bụ efu
Ọfọn, nke ikpeazụ bụ ụdị pushdown, n'ime nke anyị maapụ ga-aghọ a Hadoop script.
Maapụ kachasị mma ga-adị ka nke a:
Ebe a ga-ebu ụzọ gụọ data sitere na faịlụ isi mmalite na Hadoop. Mgbe ahụ, iji ụzọ nke aka ya, faịlụ abụọ a ga-ejikọta. Mgbe nke a gasịrị, a ga-agbanwe data ahụ ma bulite ya na nchekwa data.
Site n'ịghọta ụkpụrụ nke njikarịcha pushdown, ị nwere ike ịhazi ọtụtụ usoro nke ọma maka iji nnukwu data rụọ ọrụ. Ya mere, n'oge na-adịbeghị anya, otu nnukwu ụlọ ọrụ, n'ime nanị izu ole na ole, budata nnukwu data na nchekwa n'ime Hadoop, nke ọ na-anakọta na mbụ ruo ọtụtụ afọ.
isi: www.habr.com