Nenpòt operasyon done gwo mande anpil pouvwa informatique. Yon mouvman tipik nan done ki sòti nan yon baz done nan Hadoop ka pran semèn oswa koute otan ke yon zèl avyon. Ou pa vle tann epi depanse lajan? Balanse chaj la atravè platfòm diferan. Youn nan fason yo se optimize pushdown.
Mwen te mande antrenè dirijan Larisi a pou devlopman ak administrasyon pwodwi Informatica, Alexey Ananyev, pou pale sou fonksyon optimize pushdown nan Informatica Big Data Management (BDM). Èske w te janm aprann travay ak pwodwi Informatica? Gen plis chans, li te Alexey ki te di ou Basics yo nan PowerCenter ak eksplike ki jan yo bati kat.
Alexey Ananyev, tèt fòmasyon nan DIS Group
Ki sa ki pushdown?
Anpil nan nou deja abitye ak Informatica Big Data Management (BDM). Pwodwi a ka entegre gwo done ki soti nan diferan sous, deplase li ant diferan sistèm, bay aksè fasil a li, pèmèt ou pwofil li, ak plis ankò.
Nan men dwat yo, BDM ka fè bèl bagay: travay yo pral ranpli byen vit ak resous enfòmatik minim.
Ou vle sa tou? Aprann sèvi ak karakteristik pushdown nan BDM pou distribye chaj enfòmatik la sou diferan platfòm. Teknoloji Pushdown pèmèt ou vire kat nan yon script epi chwazi anviwònman kote script sa a pral kouri. Chwa sa a pèmèt ou konbine fòs diferan platfòm ak reyalize pèfòmans maksimòm yo.
Pou configured anviwònman ekzekisyon script la, ou bezwen chwazi kalite pushdown la. Script la ka kouri antyèman sou Hadoop oswa pasyèlman distribye ant sous la ak koule. Gen 4 kalite pushdown posib. Kat yo pa bezwen tounen yon script (natif). Kat ka fèt otank posib sou sous la (sous) oswa konplètman sou sous la (plen). Kat jeyografik kapab tou tounen yon script Hadoop (okenn).
Optimize pushdown
4 kalite ki nan lis yo ka konbine nan diferan fason - pushdown ka optimize pou bezwen espesifik sistèm nan. Pou egzanp, li souvan pi apwopriye pou ekstrè done ki sòti nan yon baz done lè l sèvi avèk kapasite pwòp li yo. Epi done yo pral konvèti lè l sèvi avèk Hadoop, se konsa yo pa twò chaje baz done a tèt li.
Ann konsidere ka a lè tou de sous la ak destinasyon an nan baz done a, epi yo ka chwazi platfòm nan ekzekisyon transfòmasyon: depann sou anviwònman yo, li pral Informatica, yon sèvè baz done, oswa Hadoop. Yon egzanp sa a pral pèmèt ou pi byen konprann bò teknik nan operasyon an nan mekanis sa a. Natirèlman, nan lavi reyèl, sitiyasyon sa a pa rive, men li pi byen adapte pou demontre fonksyonalite.
Ann pran kat pou li de tab nan yon sèl baz done Oracle. Epi kite rezilta lekti yo anrejistre nan yon tablo nan menm baz done a. Konplo kat la pral tankou sa a:
Sou fòm kat sou Informatica BDM 10.2.1 li sanble sa a:
Kalite pushdown - natif natal
Si nou chwazi kalite natif natal pushdown, lè sa a kat la pral fèt sou sèvè Informatica a. Done yo pral li nan sèvè Oracle, transfere nan sèvè Informatica, transfòme la epi transfere nan Hadoop. Nan lòt mo, nou pral jwenn yon pwosesis ETL nòmal.
Kalite pushdown - sous
Lè w ap chwazi kalite sous la, nou jwenn opòtinite pou distribye pwosesis nou an ant sèvè baz done a (DB) ak Hadoop. Lè yon pwosesis egzekite ak anviwònman sa a, demann pou rekipere done ki soti nan tab yo pral voye nan baz done a. Ak rès la pral fèt nan fòm lan nan etap sou Hadoop.
Dyagram ekzekisyon an pral sanble sa a:
Anba la a se yon egzanp mete kanpe anviwònman an ègzekutabl.
Nan ka sa a, kat yo pral fèt an de etap. Nan anviwònman li yo nou pral wè ke li te tounen yon script ki pral voye nan sous la. Anplis, konbine tab yo ak transfòme done yo pral fèt nan fòm lan nan yon rekèt ranvwaye sou sous la.
Nan foto ki anba a, nou wè yon kat optimize sou BDM a, ak yon rechèch redefini sou sous la.
Wòl Hadoop nan konfigirasyon sa a pral redwi a jere koule nan done - orchestrating li. Rezilta rechèch la pral voye bay Hadoop. Yon fwa lekti a fin ranpli, yo pral ekri dosye Hadoop nan koule a.
Kalite pushdown - plen
Lè w chwazi kalite konplè a, kat la pral konplètman tounen yon rechèch baz done. Epi rezilta demann lan pral voye bay Hadoop. Yon dyagram nan pwosesis sa a prezante anba a.
Yon egzanp konfigirasyon yo montre anba a.
Kòm yon rezilta, nou pral jwenn yon kat optimize menm jan ak youn anvan an. Sèl diferans lan se ke tout lojik la transfere nan reseptè a nan fòm lan nan depase ensèsyon li yo. Yon egzanp kat optimize prezante anba a.
Isit la, tankou nan ka anvan an, Hadoop jwe wòl nan kondiktè. Men, isit la li sous la nan antye li yo, ak Lè sa a, lojik nan pwosesis done fèt nan nivo reseptè a.
Kalite pushdown se nil
Oke, opsyon ki sot pase a se kalite a pushdown, nan ki kat nou an pral tounen yon script Hadoop.
Map optimize a pral kounye a sanble tankou sa a:
Isit la done ki soti nan dosye sous yo pral premye li sou Hadoop. Lè sa a, lè l sèvi avèk pwòp mwayen li yo, de dosye sa yo pral konbine. Apre sa, done yo pral konvèti ak Uploaded nan baz done a.
Lè w konprann prensip optimize pushdown, ou ka byen òganize anpil pwosesis pou travay ak done gwo. Kidonk, dènyèman, yon sèl gwo konpayi, nan jis kèk semèn, telechaje gwo done nan depo nan Hadoop, ke li te deja kolekte pou plizyè ane.
Sous: www.habr.com