Ny fampandehanana angon-drakitra lehibe rehetra dia mitaky hery informatika be dia be. Ny fifindran'ny angona mahazatra avy amin'ny angon-drakitra mankany Hadoop dia mety haharitra herinandro na sarany toy ny elatry ny fiaramanidina. Tsy te hiandry sy handany vola ve ianao? Ampifandanja ny enta-mavesatra amin'ny sehatra samihafa. Ny fomba iray dia ny pushdown optimization.
Nanontany an'i Alexey Ananyev, mpampiofana lehibe ao Rosia momba ny fampivoarana sy ny fitantanana ny vokatra Informatica aho, hiresaka momba ny fiasan'ny fanatsarana ny fampidinana ao amin'ny Informatica Big Data Management (BDM). Efa nianatra niasa tamin'ny vokatra Informatica ve ianao? Azo inoana fa i Alexey no nilaza taminao ny fototry ny PowerCenter ary nanazava ny fomba fananganana sarintany.
Alexey Ananyev, lehiben'ny fiofanana ao amin'ny vondrona DIS
Inona no atao hoe pushdown?
Maro aminareo no efa mahazatra ny Informatica Big Data Management (BDM). Ny vokatra dia afaka mampiditra angon-drakitra lehibe avy amin'ny loharano samihafa, mamindra izany eo amin'ny rafitra samihafa, manome fahafahana miditra mora aminy, mamela anao hanao mombamomba azy, sy ny maro hafa.
Eo amin'ny tanana havanana, ny BDM dia afaka manao fahagagana: ho vita haingana ny asa ary miaraka amin'ny loharanon-karena kely indrindra.
Tianao koa ve izany? Mianara mampiasa ny endri-pamokarana ao amin'ny BDM mba hizarana ny enta-madinika amin'ny sehatra samihafa. Ny teknolojia Pushdown dia ahafahanao mamadika ny sarintany ho script ary mifantina ny tontolo izay handehanan'ity script ity. Ity safidy ity dia ahafahanao manambatra ny tanjaky ny sehatra samihafa ary hahatratra ny fahombiazany ambony indrindra.
Mba hanitsiana ny tontolon'ny famonoana script dia mila misafidy ny karazana pushdown ianao. Ny script dia azo atao amin'ny Hadoop manontolo na zaraina amin'ny ampahany eo anelanelan'ny loharano sy ny rano. Misy karazana pushdown 4 azo atao. Tsy mila avadika ho script (native) ny sarintany. Ny sarintany dia azo atao araka izay azo atao amin'ny loharano (loharano) na tanteraka amin'ny loharano (feno). Ny sarintany dia azo avadika ho script Hadoop (tsy misy).
Fanatsarana ny pushdown
Ny karazany 4 voatanisa dia azo atambatra amin'ny fomba samihafa - azo atao tsara ny pushdown ho an'ny filana manokana amin'ny rafitra. Ohatra, matetika dia mety kokoa ny maka angona avy amin'ny angon-drakitra mampiasa ny fahaizany manokana. Ary ny angon-drakitra dia hiova fo amin'ny alΓ lan'ny Hadoop, mba tsy ho be loatra ny angon-drakitra.
Andeha hojerentsika ny tranga raha samy ao anaty angon-drakitra ny loharano sy ny toerana haleha, ary azo isafidianana ny sehatra fanatanterahana ny fanovana: miankina amin'ny toe-javatra, dia Informatica, mpizara database, na Hadoop. Ny ohatra toy izany dia ahafahanao mahafantatra tsara ny lafiny ara-teknika amin'ny fiasan'ity rafitra ity. Mazava ho azy, amin'ny tena fiainana dia tsy mipoitra io toe-javatra io, fa mety indrindra amin'ny fampisehoana fonctionnaire.
Andao haka sarintany hamaky tabilao roa ao anaty tahiry Oracle tokana. Ary avelao ny valin'ny famakiana ho voarakitra an-databatra iray ihany. Ny drafitra sarintany dia ho toy izao:
Amin'ny endrika sarintany amin'ny Informatica BDM 10.2.1 dia toa izao:
Karazana pushdown - teratany
Raha misafidy ny karazana teratany pushdown isika, dia hatao amin'ny server Informatica ny sarintany. Ny angon-drakitra dia hovakiana avy amin'ny mpizara Oracle, nafindra tany amin'ny mpizara Informatica, niova tao ary nafindra tany Hadoop. Raha lazaina amin'ny teny hafa dia hahazo fizotry ny ETL mahazatra isika.
Karazana fanerena - loharano
Rehefa misafidy karazana loharano isika dia mahazo fahafahana mizara ny fizotrantsika eo amin'ny mpizara database (DB) sy Hadoop. Rehefa vita ny dingana iray miaraka amin'ity toe-javatra ity, dia halefa any amin'ny angona ny fangatahana haka angona avy amin'ny latabatra. Ary ny ambiny dia hatao amin'ny endrika dingana amin'ny Hadoop.
Ny kisary famonoana dia ho toy izao:
Ity ambany ity ny ohatra iray amin'ny fametrahana ny tontolo iainana runtime.
Amin'ity tranga ity, ny sarintany dia hatao amin'ny dingana roa. Amin'ny toe-javatra misy azy dia ho hitantsika fa nivadika ho script izay halefa any amin'ny loharano. Fanampin'izay, ny fampifangaroana tabilao sy ny fanovana angona dia hatao amin'ny endrika fangatahana nosoloina momba ny loharano.
Eo amin'ny sary etsy ambany, dia mahita sari-tany optimized momba ny BDM isika, ary fanontaniana nohavaozina momba ny loharano.
Ny anjara asan'ny Hadoop amin'ity fanitsiana ity dia hahena amin'ny fitantanana ny fikorianan'ny angona - mandrindra izany. Ny valin'ny fanontaniana dia halefa any amin'ny Hadoop. Rehefa vita ny famakiana, ny rakitra avy amin'ny Hadoop dia hosoratana amin'ny lakandrano.
Karazana pushdown - feno
Rehefa misafidy ny karazana feno ianao, ny sarintany dia hivadika tanteraka ho fangatahana angon-drakitra. Ary ny vokatry ny fangatahana dia halefa any amin'ny Hadoop. Ny kisary amin'ny dingana toy izany dia aseho eto ambany.
Misy ohatra setup aseho eto ambany.
Vokatr'izany dia hahazo sari-tany namboarina mitovy amin'ilay teo aloha isika. Ny hany maha samy hafa dia ny lojika rehetra dia nafindra tany amin'ny mpandray amin'ny endrika override ny fampidirana azy. Ohatra iray amin'ny fanaovana sari-tany optimized dia aseho eto ambany.
Eto, toy ny tamin'ny tranga teo aloha, Hadoop dia mitana ny andraikitry ny mpitarika. Fa eto ny loharano dia vakiana manontolo, ary avy eo ny lojika fanodinana data dia atao amin'ny ambaratonga mpandray.
Null ny karazana pushdown
Eny, ny safidy farany dia ny karazana pushdown, izay hivadika ho script Hadoop ny sarintany.
Ny sarintany optimized dia ho toy izao:
Eto ny angon-drakitra avy amin'ny rakitra loharano dia hovakiana voalohany amin'ny Hadoop. Avy eo, amin'ny fampiasana ny fombany manokana, ireo rakitra roa ireo dia hatambatra. Aorian'izany, ny angon-drakitra dia avadika ary ampidirina ao amin'ny tahiry.
Amin'ny alΓ lan'ny fahatakarana ny fitsipiky ny fanatsarana ny pushdown dia afaka mandamina dingana maro ianao amin'ny fiasana amin'ny data lehibe. Araka izany, vao haingana, orinasa lehibe iray, tao anatin'ny herinandro vitsivitsy monja, no naka angona lehibe avy amin'ny fitahirizana ho ao amin'ny Hadoop, izay nangoniny teo aloha nandritra ny taona maromaro.
Source: www.habr.com