Eyikeyi iṣẹ ṣiṣe data nla nilo agbara iširo pupọ. Aṣoju gbigbe ti data lati ibi ipamọ data si Hadoop le gba awọn ọsẹ tabi idiyele bi apakan ọkọ ofurufu. Ṣe o ko fẹ lati duro ati lo owo? Ṣe iwọntunwọnsi fifuye kọja awọn iru ẹrọ oriṣiriṣi. Ọna kan ni iṣapeye titari.
Mo beere lọwọ olukọni oludari Russia fun idagbasoke ati iṣakoso awọn ọja Informatica, Alexey Ananyev, lati sọrọ nipa iṣẹ iṣapeye titari ni Informatica Big Data Management (BDM). Njẹ o ti kọ ẹkọ lati ṣiṣẹ pẹlu awọn ọja Informatica? O ṣeese julọ, Alexey ni ẹniti o sọ fun ọ awọn ipilẹ ti PowerCenter ati ṣalaye bi o ṣe le kọ awọn maapu.
Alexey Ananyev, ori ikẹkọ ni Ẹgbẹ DIS
Kini titari?
Pupọ ninu yin ti mọ tẹlẹ pẹlu Informatica Big Data Management (BDM). Ọja naa le ṣepọ data nla lati awọn orisun oriṣiriṣi, gbe lọ laarin awọn ọna ṣiṣe oriṣiriṣi, pese iraye si irọrun, gba ọ laaye lati ṣafihan rẹ, ati pupọ diẹ sii.
Ni awọn ọwọ ọtun, BDM le ṣiṣẹ awọn iṣẹ iyanu: awọn iṣẹ-ṣiṣe yoo pari ni kiakia ati pẹlu awọn orisun iširo kekere.
Ṣe o fẹ iyẹn paapaa? Kọ ẹkọ lati lo ẹya titari ni BDM lati pin kaakiri ẹru iširo kọja awọn iru ẹrọ oriṣiriṣi. Imọ-ẹrọ Pushdown gba ọ laaye lati yi aworan agbaye pada si iwe afọwọkọ ati yan agbegbe ninu eyiti iwe afọwọkọ yii yoo ṣiṣẹ. Yiyan yii n gba ọ laaye lati darapo awọn agbara ti awọn iru ẹrọ oriṣiriṣi ati ṣaṣeyọri iṣẹ ṣiṣe ti o pọju wọn.
Lati tunto agbegbe ipaniyan iwe afọwọkọ, o nilo lati yan iru titari. Awọn iwe afọwọkọ le wa ni ṣiṣe šee igbọkanle lori Hadoop tabi apa kan pin laarin awọn orisun ati ifọwọ. Awọn oriṣi titari 4 ṣee ṣe. A ko gbọdọ yi aworan aworan pada si iwe afọwọkọ (abinibi). Iyaworan le ṣee ṣe bi o ti ṣee ṣe lori orisun (orisun) tabi patapata lori orisun (kikun). Iyaworan tun le yipada si iwe afọwọkọ Hadoop (ko si).
Ti o dara ju titari
Awọn oriṣi 4 ti a ṣe akojọ le ni idapo ni awọn ọna oriṣiriṣi - titari le jẹ iṣapeye fun awọn iwulo pato ti eto naa. Fun apẹẹrẹ, o jẹ deede diẹ sii lati yọkuro data lati ibi ipamọ data nipa lilo awọn agbara tirẹ. Ati pe data naa yoo yipada ni lilo Hadoop, nitorinaa ki o ma ṣe apọju data data funrararẹ.
Jẹ ki a gbero ọran naa nigbati orisun mejeeji ati opin irin ajo wa ninu aaye data, ati pe pẹpẹ ipaniyan le yan: da lori awọn eto, yoo jẹ Informatica, olupin data data, tabi Hadoop. Iru apẹẹrẹ yoo gba ọ laaye lati loye ni pipe ni deede ẹgbẹ imọ-ẹrọ ti iṣẹ ṣiṣe ti ẹrọ yii. Nipa ti, ni igbesi aye gidi, ipo yii ko dide, ṣugbọn o dara julọ fun iṣafihan iṣẹ ṣiṣe.
Jẹ ki a ya aworan agbaye lati ka awọn tabili meji ni aaye data Oracle kan. Ki o si jẹ ki awọn abajade kika ni igbasilẹ ni tabili ni ibi ipamọ data kanna. Ilana iyaworan yoo jẹ bi eleyi:
Ni irisi aworan agbaye lori Informatica BDM 10.2.1 o dabi eyi:
Titari iru – abinibi
Ti a ba yan iru abinibi titari, lẹhinna aworan agbaye yoo ṣee ṣe lori olupin Informatica. A yoo ka data naa lati ọdọ olupin Oracle, gbe lọ si olupin Informatica, yipada sibẹ ati gbe lọ si Hadoop. Ni awọn ọrọ miiran, a yoo gba ilana ETL deede.
Titari iru – orisun
Nigbati o ba yan iru orisun, a ni aye lati pin kaakiri ilana wa laarin olupin data (DB) ati Hadoop. Nigbati ilana kan ba ṣiṣẹ pẹlu eto yii, awọn ibeere lati gba data pada lati awọn tabili ni yoo firanṣẹ si ibi ipamọ data. Ati awọn iyokù yoo ṣee ṣe ni irisi awọn igbesẹ lori Hadoop.
Aworan ipaniyan yoo dabi eyi:
Ni isalẹ jẹ apẹẹrẹ ti siseto agbegbe asiko asiko.
Ni idi eyi, maapu yoo ṣee ṣe ni awọn igbesẹ meji. Ninu awọn eto rẹ a yoo rii pe o ti yipada si iwe afọwọkọ ti yoo firanṣẹ si orisun. Pẹlupẹlu, apapọ awọn tabili ati awọn data iyipada yoo ṣee ṣe ni irisi ibeere ti o bori lori orisun.
Ni aworan ti o wa ni isalẹ, a rii aworan agbaye iṣapeye lori BDM, ati ibeere ti a tunṣe lori orisun.
Ipa Hadoop ni iṣeto yii yoo dinku si ṣiṣakoso sisan ti data - ṣiṣe orchestrating rẹ. Abajade ibeere naa yoo firanṣẹ si Hadoop. Ni kete ti kika ba ti pari, faili lati Hadoop yoo kọ si ibi-ifọwọ.
Titari iru – kun
Nigbati o ba yan iru kikun, aworan agbaye yoo yipada patapata sinu ibeere data data. Ati abajade ibeere naa yoo ranṣẹ si Hadoop. Aworan kan ti iru ilana ti wa ni gbekalẹ ni isalẹ.
Eto apẹẹrẹ kan han ni isalẹ.
Bi abajade, a yoo gba iṣapeye aworan agbaye ti o jọra si ti iṣaaju. Iyatọ kanṣoṣo ni pe gbogbo ọgbọn naa ni a gbe lọ si olugba ni irisi ti o bori fifi sii rẹ. Apẹẹrẹ ti iṣapeye aworan agbaye ti gbekalẹ ni isalẹ.
Nibi, gẹgẹbi ninu ọran ti tẹlẹ, Hadoop ṣe ipa ti oludari. Ṣugbọn nibi orisun ti wa ni kika ni gbogbo rẹ, ati lẹhinna iṣiro ṣiṣe data ni a ṣe ni ipele olugba.
Iru titari jẹ asan
O dara, aṣayan ti o kẹhin ni iru titari, laarin eyiti aworan agbaye yoo yipada si iwe afọwọkọ Hadoop kan.
Iṣaworan agbaye ti iṣapeye yoo dabi eyi:
Nibi data lati awọn faili orisun yoo kọkọ ka lori Hadoop. Lẹhinna, ni lilo awọn ọna tirẹ, awọn faili meji wọnyi yoo ni idapo. Lẹhin eyi, data naa yoo yipada ati gbejade si ibi ipamọ data.
Nipa agbọye awọn ipilẹ ti iṣapeye titari, o le ni imunadoko ni ṣeto ọpọlọpọ awọn ilana fun ṣiṣẹ pẹlu data nla. Nitorinaa, laipẹ, ile-iṣẹ nla kan, ni awọn ọsẹ diẹ, ṣe igbasilẹ data nla lati ibi ipamọ sinu Hadoop, eyiti o ti gba tẹlẹ fun ọdun pupọ.
orisun: www.habr.com