Duk wani babban aiki na bayanai yana buƙatar ƙarfin kwamfuta mai yawa. Motsi na yau da kullun na bayanai daga ma'ajin bayanai zuwa Hadoop na iya ɗaukar makonni ko tsada gwargwadon reshen jirgin sama. Ba ku so ku jira ku kashe kuɗi? Daidaita kaya a kan dandamali daban-daban. Hanya ɗaya ita ce inganta haɓakawa.
Na tambayi babban mai horar da Rasha don haɓakawa da sarrafa samfuran Informatica, Alexey Ananyev, don yin magana game da aikin haɓakawa na turawa a cikin Informatica Big Data Management (BDM). Shin kun taɓa koyon aiki tare da samfuran Informatica? Wataƙila, Alexey ne ya gaya muku ainihin abubuwan PowerCenter kuma ya bayyana yadda ake gina taswira.
Alexey Ananyev, shugaban horo a kungiyar DIS
Menene turawa?
Yawancinku sun riga sun saba da Informatica Big Data Management (BDM). Samfurin na iya haɗa manyan bayanai daga tushe daban-daban, motsa shi tsakanin tsarin daban-daban, yana ba da damar shiga cikin sauƙi, yana ba ku damar bayanin martaba, da ƙari mai yawa.
A hannun dama, BDM na iya yin abubuwan al'ajabi: za a kammala ayyuka da sauri kuma tare da ƙananan albarkatun kwamfuta.
Shin kuna son hakan kuma? Koyi don amfani da fasalin turawa a cikin BDM don rarraba nauyin kwamfuta a kan dandamali daban-daban. Fasahar turawa tana ba ku damar juya taswira zuwa rubutun kuma zaɓi yanayin da wannan rubutun zai gudana. Wannan zaɓin yana ba ku damar haɗa ƙarfi na dandamali daban-daban kuma ku cimma iyakar aikin su.
Don saita yanayin aiwatar da rubutun, kuna buƙatar zaɓar nau'in saukarwa. Ana iya gudanar da rubutun gaba ɗaya akan Hadoop ko kuma a rarraba wani yanki tsakanin tushen da nutsewa. Akwai nau'ikan saukarwa guda 4 masu yiwuwa. Ba lallai ba ne a juya taswira zuwa rubutun (na ƙasa). Ana iya yin taswira gwargwadon yiwuwa akan tushen (tushen) ko gaba ɗaya akan tushen (cikakken). Hakanan za'a iya juya taswira zuwa rubutun Hadoop (babu).
Ƙaddamar da turawa
Za'a iya haɗa nau'ikan nau'ikan 4 da aka lissafa ta hanyoyi daban-daban - ana iya inganta turawa don takamaiman bukatun tsarin. Misali, sau da yawa ya fi dacewa a fitar da bayanai daga rumbun adana bayanai ta hanyar amfani da nasa damar. Kuma za a canza bayanan ta hanyar amfani da Hadoop, don kada a yi lodin bayanan da kanta.
Bari mu yi la'akari da yanayin lokacin da tushen da kuma inda aka nufa suna cikin ma'ajin bayanai, kuma za'a iya zaɓar dandamalin aiwatar da canji: dangane da saitunan, zai zama Informatica, uwar garken bayanai, ko Hadoop. Irin wannan misalin zai ba ku damar fahimtar sashin fasaha na aikin wannan injin daidai. A dabi'a, a cikin rayuwa ta ainihi, wannan yanayin bai tashi ba, amma ya fi dacewa don nuna aiki.
Bari mu ɗauki taswira don karanta tebur biyu a cikin bayanan Oracle guda ɗaya. Kuma bari a rubuta sakamakon karatun a cikin tebur a cikin rumbun adana bayanai guda ɗaya. Tsarin taswira zai kasance kamar haka:
A cikin hanyar taswira akan Informatica BDM 10.2.1 yayi kama da haka:
Nau'in turawa - na asali
Idan muka zaɓi nau'in ɗan ƙasa na turawa, to za a yi taswirar akan sabar Informatica. Za a karanta bayanan daga uwar garken Oracle, a tura su zuwa uwar garken Informatica, a canza su a can kuma a tura su zuwa Hadoop. A takaice dai, za mu sami tsarin ETL na yau da kullun.
Nau'in turawa - tushen
Lokacin zabar nau'in tushen, muna samun damar rarraba tsarinmu tsakanin uwar garken bayanai (DB) da Hadoop. Lokacin da aka aiwatar da tsari tare da wannan saitin, za a aika buƙatun don dawo da bayanai daga tebur zuwa ma'ajin bayanai. Kuma sauran za a yi su ta hanyar matakai akan Hadoop.
Tsarin aiwatarwa zai yi kama da haka:
Da ke ƙasa akwai misalin kafa yanayin lokacin aiki.
A wannan yanayin, za a yi taswira a matakai biyu. A cikin saitunansa za mu ga cewa ya zama rubutun da za a aika zuwa tushen. Bugu da ƙari, haɗa tebur da canza bayanai za a yi a cikin nau'i na tambaya mara kyau akan tushen.
A cikin hoton da ke ƙasa, muna ganin ingantaccen taswira akan BDM, da kuma sake fasalin tambaya akan tushen.
Matsayin Hadoop a cikin wannan tsarin zai ragu zuwa sarrafa kwararar bayanai - tsara shi. Za a aika da sakamakon tambayar zuwa Hadoop. Da zarar an kammala karatun, za'a rubuta fayil ɗin daga Hadoop zuwa ma'aunin ruwa.
Nau'in turawa - cikakke
Lokacin da ka zaɓi cikakken nau'in, taswirar za ta juya gaba ɗaya zuwa tambayar bayanai. Kuma sakamakon buƙatar za a aika zuwa Hadoop. An gabatar da zane na irin wannan tsari a ƙasa.
Ana nuna saitin misali a ƙasa.
Sakamakon haka, za mu sami ingantaccen taswira mai kama da na baya. Bambancin kawai shi ne cewa duk dabarar ana canjawa wuri zuwa mai karɓa ta hanyar kawar da shigar da shi. An gabatar da misalin ingantaccen taswira a ƙasa.
Anan, kamar yadda ya faru a baya, Hadoop yana taka rawar madugu. Amma a nan ana karanta tushen gaba ɗaya, sannan kuma ana aiwatar da dabarun sarrafa bayanai a matakin mai karɓa.
Nau'in turawa ba shi da amfani
Da kyau, zaɓi na ƙarshe shine nau'in turawa, wanda taswirar mu zai juya zuwa rubutun Hadoop.
Ingantacciyar taswira yanzu zai yi kama da haka:
Anan za a fara karanta bayanan daga fayilolin tushen akan Hadoop. Sannan, ta hanyar amfani da nasa hanyoyin, waɗannan fayiloli guda biyu za a haɗa su. Bayan haka, za a canza bayanan kuma a loda su zuwa ma'ajin bayanai.
Ta hanyar fahimtar ƙa'idodin haɓakawa na turawa, zaku iya tsara tsari da yawa yadda ya kamata don aiki tare da manyan bayanai. Don haka, a kwanan nan, wani babban kamfani, a cikin ƴan makonni, ya zazzage manyan bayanai daga ma'adana zuwa Hadoop, wanda a baya ya tattara shekaru da yawa.
source: www.habr.com