{"id":87609,"date":"2020-07-09T01:42:11","date_gmt":"2020-07-08T23:42:11","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/kogda-u-vas-sberovskie-masshtaby-ispolzovanie-ab-initio-pri-rabote-s-hive-i-greenplum"},"modified":"2020-07-09T01:42:11","modified_gmt":"2020-07-08T23:42:11","slug":"kogda-u-vas-sberovskie-masshtaby-ispolzovanie-ab-initio-pri-rabote-s-hive-i-greenplum","status":"publish","type":"post","link":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/kogda-u-vas-sberovskie-masshtaby-ispolzovanie-ab-initio-pri-rabote-s-hive-i-greenplum","title":{"rendered":"Kuidas k\u00e4ituda, kui teie ettev\u00f5tte mastaabid on suured. Ab Initio kasutamine Hive'i ja GreenPlum'i puhul","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p>M\u00f5ni aeg tagasi seisime silmitsi ETL-t\u00f6\u00f6riista valiku k\u00fcsimusega BigData t\u00f6\u00f6tlemiseks. Varem kasutatud lahendus Informatica BDM ei rahuldanud meid piiratud funktsionaalsuse t\u00f5ttu. Selle kasutamine piirdus p\u00f5him\u00f5tteliselt spark-submit k\u00e4skude k\u00e4ivitamise raamistikuga. Turul ei olnud palju sarnaseid lahendusi, mis suudaksid t\u00f6\u00f6tada selliste andmemahtudega, millega me igap\u00e4evaselt toimetame. L\u00f5puks valisime Ab Initio. Pilootdemonstratsioonide k\u00e4igus n\u00e4itas toode v\u00e4ga suurt andmete t\u00f6\u00f6tlemise kiirus. Ab Initio kohta on vene keeles peaaegu mitte mingit teavet, nii et otsustasime jagada oma kogemusi Habr'is.<\/p>\n<p>Ab Initio omab palju klassikalisi ja ebatavalisi transformatsioone, mille kood v\u00f5ib olla laiendatav oma PDL keele abil. V\u00e4ikeettev\u00f5tte jaoks v\u00f5ib see v\u00f5imas t\u00f6\u00f6riist olla ilmselt liiga \u00fcle j\u00f5u k\u00e4iv, ning enamik selle v\u00f5imalustest v\u00f5ib osutuda kalliks ja kasutamatuks. Kuid kui teie mahud l\u00e4hevad sarnaseks Sberbanki omadustega, v\u00f5ib Ab Initio teile huvi pakkuda. <\/p>\n<p>See toetab \u00e4ri globaalselt teadmisi koguma ja \u00f6kos\u00fcsteemi arendama, samas kui arendaja saab oma oskusi ETL-is t\u00e4iendada, oma shell-teadmisi parandada, v\u00f5imaldab PDL-keelt \u00f5ppida, annab visuaalse \u00fclevaate laadimisprotsessidest ning lihtsustab arendust t\u00e4nu rohketele funktsionaalsetele komponentidele.<\/p>\n<p>Postituses r\u00e4\u00e4gin Ab Initio v\u00f5imalustest ja toon v\u00e4lja v\u00f5rdlevad omadused selle t\u00f6\u00f6 kohta Hive'i ja GreenPlumiga.<\/p>\n<ul>\n<li>MDW raamistik ja t\u00f6\u00f6d selle kohandamiseks GreenPlumile<\/li>\n<li>Ab Initio v\u00f5rreldavad j\u00f5udlusomadused Hive'i ja GreenPlumiga t\u00f6\u00f6tamisel<\/li>\n<li>Ab Initio t\u00f6\u00f6 GreenPlumiga Near Real Time re\u017eiimis<\/li>\n<\/ul>\n<p><noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><br \/>\nSelle toote funktsionaalsus on v\u00e4ga lai ja n\u00f5uab \u00f5ppimiseks m\u00e4rkimisv\u00e4\u00e4rselt aega. Siiski, vajalike t\u00f6\u00f6oskuste ja s\u00fcsteemi \u00f5ige seadistamise korral on andmete t\u00f6\u00f6tlemise tulemused \u00fcsna muljetavaldavad. Ab Initio kasutamine arendaja jaoks v\u00f5ib pakkuda huvitavat kogemust. See on uus vaatenurk ETL-arendusele, h\u00fcbriid visuaalse keskkonna ja laadimise arendamise vahel skriptitaolises keeles.<\/p>\n<p>\u00c4ri arendab oma \u00f6kos\u00fcsteeme ja see t\u00f6\u00f6riist on sel hetkel \u00e4\u00e4rmiselt kasulik. Ab Initio abil saab koguda teadmisi praeguse \u00e4ri kohta ja neid teadmisi kasutada vanade laiendamiseks ja uute avamiseks. Ab Initio alternatiividena v\u00f5ib nimetada visuaalse arenduse keskkondi, nagu Informatica BDM, ning mittevisuaalseid keskkondi nagu Apache Spark.<\/p>\n<h3>Ab Initio kirjeldus<\/h3>\n<p>\nAb Initio, nagu teised ETL t\u00f6\u00f6riistad, on tootegrupp.<\/p>\n<p><img decoding=\"async\" alt=\"Kuidas k\u00e4ituda, kui teie ettev\u00f5tte mastaabid on suured. Ab Initio kasutamine Hive&#039;i ja GreenPlum&#039;i puhul\" src=\"\/wp-content\/uploads\/2020\/07\/c467fe1e8455805075856967b577f8b7.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nAb Initio GDE (Graphical Development Environment) on arendaja keskkond, kus ta seadistab andmete transformatsioone ja \u00fchendab neid andmevoogudega noolte kujul. Sellist transformatsioonide kogumit nimetatakse graafiks:<\/p>\n<p><img decoding=\"async\" alt=\"Kuidas k\u00e4ituda, kui teie ettev\u00f5tte mastaabid on suured. Ab Initio kasutamine Hive&#039;i ja GreenPlum&#039;i puhul\" src=\"\/wp-content\/uploads\/2020\/07\/7b0c19a82ae8b461a9bd85117555e106.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nFunktsionaalsete komponentide sisenemise ja v\u00e4ljundi \u00fchendused on pordid ja sisaldavad arvutatud v\u00e4lju transformatsioonide sees. Mitmed graafikud, mis on \u00fchendatud nooltega nende t\u00e4itmise j\u00e4rjekorras, nimetatakse plaaniks.<\/p>\n<p>Saab on mitu sada funktsionaalset komponenti, mis on v\u00e4ga palju. Paljusid neist kasutatakse spetsiifiliselt. Klassikaliste transformatsioonide v\u00f5imalused Ab Initios on laiemad kui teistes ETL-t\u00f6\u00f6tlustes. N\u00e4iteks Join'il on mitu v\u00e4ljundit. Lisaks dataste \u00fchendamise tulemusele saab v\u00e4ljundiks saada ka sissetulevate dataste kirjeid, mille alustel ei \u00f5nnestunud \u00fchendada. Samuti on v\u00f5imalik saada reject'e, vigu ja transformatsiooni t\u00f6\u00f6 logi, mida saab lugeda samas graafikus tekstifailina ning t\u00f6\u00f6delda teiste transformatsioonidega.<\/p>\n<p><img decoding=\"async\" alt=\"Kuidas k\u00e4ituda, kui teie ettev\u00f5tte mastaabid on suured. Ab Initio kasutamine Hive&#039;i ja GreenPlum&#039;i puhul\" src=\"\/wp-content\/uploads\/2020\/07\/c7d70879daad364a3d4aa41a0a1b738d.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nV\u00f5i n\u00e4iteks v\u00f5ib andmete vastuv\u00f5tjat materialiseerida tabelina ning samas graafikus lugeda selle andmeid.<\/p>\n<p>On originaalsed transformatsioonid. N\u00e4iteks transformatsioon Scan omab funktsionaalsust nagu anal\u00fc\u00fctilised funktsioonid. On transformatsioonid, millel on k\u00f5nekeelsed nimed: Create Data, Read Excel, Normalize, Sort within Groups, Run Program, Run SQL, Join with DB jne. Graafikutes v\u00f5ib kasutada k\u00e4itamisparameetreid, sealhulgas on v\u00f5imalik edastada parameetreid operatsioonis\u00fcsteemist v\u00f5i operatsioonis\u00fcsteemi. Valmis parameetrite kogumite failid, mis edastatakse graafikule, nimetatakse parameter sets (psets).<\/p>\n<p>Nagu ikka, on Ab Initio GDE-l oma register, mida nimetatakse EME (Enterprise Meta Environment). Arendajatel on v\u00f5imalus t\u00f6\u00f6tada kohalike koodiversioonidega ja salvestada oma arengud keskregisterisse.<\/p>\n<p>V\u00f5imalus on graafiku ajal v\u00f5i p\u00e4rast selle t\u00e4itmist kl\u00f5psata igal \u00fchendaval transforatsioonivoos ja vaadata andmeid, mis on l\u00e4binud need transformatsioonid:<\/p>\n<p><img decoding=\"async\" alt=\"Kuidas k\u00e4ituda, kui teie ettev\u00f5tte mastaabid on suured. Ab Initio kasutamine Hive&#039;i ja GreenPlum&#039;i puhul\" src=\"\/wp-content\/uploads\/2020\/07\/a674507b2cd25b980cb862bda2e10cbe.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nSamuti on v\u00f5imalik kl\u00f5psata igal voolul ja vaadata j\u00e4lgimise detaile \u2013 mitu paralleeli transformatsioon t\u00f6\u00f6tas, kui palju ridu ja tariifide baidu laaditi sisse igas paralleelis:<\/p>\n<p><img decoding=\"async\" alt=\"Kuidas k\u00e4ituda, kui teie ettev\u00f5tte mastaabid on suured. Ab Initio kasutamine Hive&#039;i ja GreenPlum&#039;i puhul\" src=\"\/wp-content\/uploads\/2020\/07\/6188d17bebe756ee59e6956f9a40ec43.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nOn v\u00f5imalus jagada graafiku t\u00e4itmine faasideks ja m\u00e4rkida, milliseid transformatsioone tuleb t\u00e4ita esmalt (nullfaasis), j\u00e4rgmised esimeses ja teised teises faasis jne.<\/p>\n<p>Iga transformatsiooni puhul on v\u00f5imalik valida nn paigutus (kus see t\u00e4idetakse): ilma paralleelideta v\u00f5i paralleelsetes voogudes, mille arvu saab seadistada. Samuti saab Ab Initio t\u00f6\u00f6tluste k\u00e4igus loodud ajutised failid paigutada nii failis\u00fcsteemi <a class=\"wpil_keyword_link\" href=\"https:\/\/prohoster.info\/et\/server\/dts-los-angeles\/\"   title=\"serverile\" data-wpil-keyword-link=\"linked\"  data-wpil-monitor-id=\"3635\">serverile<\/a>, kui ka HDFS-isse.<\/p>\n<p>Igas transformatsioonis, mis p\u00f5hineb vaike\u0161ablonil, on v\u00f5imalik luua oma PDL-keeles skript, mis meenutab veidi shell'i. <\/p>\n<p>PDL-keele abil saate laiendada transformatsioonide funktsionaalsust ning eelk\u00f5ige luua d\u00fcnaamiliselt (t\u00e4itmise ajal) suvalisi koodifragmentide genereerimise s\u00f5ltuvalt t\u00e4itmise parameetritest.<\/p>\n<p>Samuti on Ab Initios h\u00e4sti arenenud integratsioon OS-iga shell'i kaudu. Spetsiaalselt Sberbankis kasutatakse linux ksh. V\u00f5imalik on vahetada shell'iga muudatusi ja kasutada neid graafide parameetritena. Shell'ist on v\u00f5imalik kutsuda esile Ab Initio graafide t\u00e4ideviimist ja hallata Ab Initio't.<\/p>\n<p>Lisaks Ab Initio GDE-le sisaldab tarnet palju teisi tooteid. Seal on oma Co&gt;Operation System, mis pretendeerib operatsioonis\u00fcsteemiks. On Control&gt;Center, kus saab graafikule seada ja j\u00e4lgida laadimisvooge. On tooted, mis v\u00f5imaldavad arendust palju primitiivsemal tasemel kui Ab Initio GDE v\u00f5imaldab.<\/p>\n<h3>MDW raamistik ja t\u00f6\u00f6d selle kohandamiseks GreenPlumile<\/h3>\n<p>\nKoos oma toodetega pakub tarnija MDW (Metadata Driven Warehouse) toodet, mis on graafide konfigureerija, loodud andmehoidlate v\u00f5i data vaultide t\u00e4itmise t\u00fc\u00fcpiliste \u00fclesannete aitamiseks.<\/p>\n<p>See sisaldab kasutaja (projekti spetsiifilisi) metaandmete parsijaid ja valmis koodigeneraatorit \u201ekarbist v\u00e4lja\u201d.<\/p>\n<p><img decoding=\"async\" alt=\"Kuidas k\u00e4ituda, kui teie ettev\u00f5tte mastaabid on suured. Ab Initio kasutamine Hive&#039;i ja GreenPlum&#039;i puhul\" src=\"\/wp-content\/uploads\/2020\/07\/0842ecb9550f369875103ccb23cdf121.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\nMDW saab sisendiks andmemudeli, konfiguratsioonifaili andmebaasiga (Oracle, Teradata v\u00f5i Hive) \u00fchenduse seadistamiseks ja m\u00f5ned muud seaded. Projekti spetsiifiline osa, n\u00e4iteks rakendab mudeli andmebaasi. Tootetooted genereerivad graafid ja nendega seotud seadistusteaded mudeli tabelitesse andmete laadimise k\u00e4igus. Samuti luuakse graafid (ja pset'id) mitmete algse ja inkrementaalse tegevuse laadimise re\u017eiimide jaoks.<\/p>\n<p>Hive'i ja RDBMS-i korral genereeritakse erinevad graafid algse ja inkrementaalse andmete v\u00e4rskendamise jaoks.<\/p>\n<p>Hive'i puhul liidetakse saadud delta andmed Ab Initio Join'i kaudu varasemate tabelis olnud andmetega. MDW andmeedastajad (nii Hive'is kui RDBMS-is) mitte ainult ei sisalda uusi delta andmeid, vaid sulgevad ka andmete kehtivuse perioodid, mis p\u00f5hinevad peamistel v\u00f5tmetel, mille kaudu delta saabus. Lisaks tuleb uuesti kirjutada muutumatud andmete osad. Kuid see on vajalik, kuna Hive'is ei ole delete v\u00f5i update toiminguid.<\/p>\n<p><img decoding=\"async\" alt=\"Kuidas k\u00e4ituda, kui teie ettev\u00f5tte mastaabid on suured. Ab Initio kasutamine Hive&#039;i ja GreenPlum&#039;i puhul\" src=\"\/wp-content\/uploads\/2020\/07\/36b6dd7c4d45727ad7d7aa1183fdd5fd.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nRDBMS-i puhul n\u00e4evad andmete j\u00e4rkj\u00e4rguline uuendamine v\u00e4lja optimaalselt, kuna RDBMS-idel on reaalne uuendamise v\u00f5imalus.<\/p>\n<p><img decoding=\"async\" alt=\"Kuidas k\u00e4ituda, kui teie ettev\u00f5tte mastaabid on suured. Ab Initio kasutamine Hive&#039;i ja GreenPlum&#039;i puhul\" src=\"\/wp-content\/uploads\/2020\/07\/b62ac222bed575a60b632b13e012f603.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nSaadud delta laaditakse vahe tabelisse andmebaasis. P\u00e4rast seda \u00fchendatakse delta varasemate tabelis olnud andmetega. Ja see toimub SQL'i abiga genereeritud SQL-p\u00e4ringu kaudu. Edasi toimub delete+insert SQL-k\u00e4skude abil uute delta andmete sisestamine sihttabelisse ja andmete kehtivuse perioodide sulgemine, mille peamiste v\u00f5tmete kaudu delta saabus. <br \/>\nMuutumatute andmete uuesti kirjutamine ei ole vajalik.<\/p>\n<p>Seega j\u00f5udsime j\u00e4reldusele, et Hive'i puhul peab MDW kogu tabeli \u00fcmber kirjutama, kuna Hive'il puudub uuendamise funktsioon. T\u00e4ielik andmete \u00fcmberkirjutamine uuendamise puhul on parim lahendus.<\/p>\n<p>Sberbanki projekti jaoks loome uue korduvkasutatava andmebaasi laadija teostuse GreenPlum'ile. See p\u00f5hineb versioonil, mille MDW genereerib Teradata jaoks. Just Teradata, mitte Oracle, sobis paremini, kuna see on samuti MPP-s\u00fcsteem. T\u00f6\u00f6meetodid ja Teradata ning GreenPlum'i s\u00fcntaks osutusid sarnasteks.<\/p>\n<p>MDW jaoks kriitilised erinevused erinevate RDBMS-ide vahel on j\u00e4rgmised. GreenPlum'is, erinevalt Teradata'st, tuleb tabelite loomisel kirjutada klausli<\/p>\n<pre><code class=\"sql\">distributed by<\/code><\/pre>\n<p>\nTeradata's kirjutatakse<\/p>\n<pre><code class=\"sql\">kustuta &lt;table&gt; all<\/code><\/pre>\n<p>\n, aga GreenPlum'is kirjutatakse<\/p>\n<pre><code class=\"sql\">kustuta &lt;table&gt;<\/code><\/pre>\n<p>\nOracle'is optimeerimise eesm\u00e4rgil kirjutatakse<\/p>\n<pre><code class=\"sql\">delete from t where rowid in ()<\/code><\/pre>\n<p>\n, aga Teradata's ja GreenPlum'is kirjutatakse<\/p>\n<pre><code class=\"sql\">delete from t where exists (select * from delta where delta.pk=t.pk)<\/code><\/pre>\n<p>\n\u00dcks oluline t\u00e4helepanek on see, et Ab Initio t\u00f6\u00f6tamiseks GreenPlumiga tuli installida GreenPlumi klient k\u00f5ikidele Ab Initio klastrinoodidele. See on vajalik, kuna me \u00fchendasime GreenPlumiga samaaegselt k\u00f5ikide meie klastri s\u00f5lmede kaudu. Ja et andmete lugemine GreenPlumist oleks paralleelne ning iga paralleelne Ab Initio voog saaks lugeda oma andmepartii GreenPlumist, tuli SQL-p\u00e4ringute \u00abwhere\u00bb sektsiooni lisada Ab Initio-se arusaadav konstruktsioon.<\/p>\n<pre><code class=\"sql\">where ABLOCAL()<\/code><\/pre>\n<p>\nja m\u00e4\u00e4rata selle konstruktsiooni v\u00e4\u00e4rtus, viidates DB-lt lugedes muundamise parameetrile<\/p>\n<pre><code class=\"sql\">ablocal_expr=\u00abstring_concat(&quot;mod(t.&quot;, string_filter_out(&quot;{$TABLE_KEY}&quot;,&quot;{}&quot;), &quot;,&quot;, (decimal(3))(number_of_partitions()),&quot;)=&quot;, (decimal(3))(this_partition()))\u00bb<\/code><\/pre>\n<p>\n, mis kompileerub millekski sarnaseks<\/p>\n<pre><code class=\"sql\">mod(sk,10)=3<\/code><\/pre>\n<p>\n, st peab GreenPlumile andma igasuguse filtri iga partitsiooni jaoks. Muude andmebaaside (Teradata, Oracle) puhul saab Ab Initio seda paralleelset t\u00f6\u00f6tlemist automaatselt teostada.<\/p>\n<h3>Ab Initio v\u00f5rreldavad j\u00f5udlusomadused Hive'i ja GreenPlumiga t\u00f6\u00f6tamisel<\/h3>\n<p>\nSberbankis viidi l\u00e4bi katse, et v\u00f5rrelda Hive'i ja GreenPlumi genereeritud MDW graafide tulemuslikkust. Katse k\u00e4igus oli Hive'il 5 s\u00f5lme samas klastris kui Ab Initio, samas kui GreenPlumil oli 4 s\u00f5lme eraldi klastris. See t\u00e4hendab, et Hive'il oli teatav eelis GreenPlumi ees \"rauda\u201c arvestades.<\/p>\n<p>Vaatluse all oli kaks graafide paari, mis t\u00e4idavad sama andmete v\u00e4rskendamise \u00fclesannet Hive'is ja GreenPlumis. Samuti k\u00e4ivitati graafid, mille oli genereerinud MDW konfigureerija:<\/p>\n<ul>\n<li>alglaadimine + juhuslikult genereeritud andmete inkrementaalne laadimine Hive'i tabelisse<\/li>\n<li>alglaadimine + juhuslikult genereeritud andmete inkrementaalne laadimine samasse tabelisse GreenPlumis<\/li>\n<\/ul>\n<p>\nM\u00f5lemas kohas (Hive'is ja GreenPlumis) k\u00e4ivitati laadimised 10 paralleelses voos samas Ab Initio klastris. Vaheandmeid Ab Initio arvutamiseks salvestati HDFS-sse (Ab Initio tingimustes kasutati HDFS-i MFS paigutust). \u00dcks rida juhuslikult genereeritud andmeid v\u00f5ttis m\u00f5lemas kohas 200 baiti.<\/p>\n<p>Tulemus oli j\u00e4rgmine:<\/p>\n<p><b>Hive:<\/b><\/p>\n<p><b>Alglaadimine Hive'is<\/b><\/p>\n<p>Sisestatud rida<br \/>\n6 000 000<br \/>\n60 000 000<br \/>\n600 000 000<\/p>\n<p>Initsialiseerimise kestus<br \/>\nlaadimine sekundites<br \/>\n41<br \/>\n203<br \/>\n1 601<\/p>\n<p><b>Inkrementaalne laadimine Hive'is<\/b><\/p>\n<p>Reede ridade arv, mis olid<br \/>\nsihttabletis eksperimenti alguses<br \/>\n6 000 000<br \/>\n60 000 000<br \/>\n600 000 000<\/p>\n<p>Delta ridade arv, mis rakendati<br \/>\nsihttabletile eksperimendi k\u00e4igus<br \/>\n6 000 000<br \/>\n6 000 000<br \/>\n6 000 000<\/p>\n<p>Inkrementaalse laadimise kestus<br \/>\nlaadimine sekundites<br \/>\n88<br \/>\n299<br \/>\n<b>2 541<\/b><\/p>\n<p>\n<b>GreenPlum:<\/b><\/p>\n<p><b>Initsialiseerimise laadimine GreenPlum'is<\/b><\/p>\n<p>Sisestatud rida<br \/>\n6 000 000<br \/>\n60 000 000<br \/>\n600 000 000<\/p>\n<p>Initsialiseerimise kestus<br \/>\nlaadimine sekundites<br \/>\n72<br \/>\n360<br \/>\n3 631<\/p>\n<p><b>Inkrementaalne laadimine GreenPlum'is<\/b><\/p>\n<p>Reede ridade arv, mis olid<br \/>\nsihttabletis eksperimenti alguses<br \/>\n6 000 000<br \/>\n60 000 000<br \/>\n600 000 000<\/p>\n<p>Delta ridade arv, mis rakendati<br \/>\nsihttabletile eksperimendi k\u00e4igus<br \/>\n6 000 000<br \/>\n6 000 000<br \/>\n6 000 000<\/p>\n<p>Inkrementaalse laadimise kestus<br \/>\nlaadimine sekundites<br \/>\n159<br \/>\n199<br \/>\n<b>321<\/b><\/p>\n<p>\nN\u00e4gime, et initsialiseerimise laadimise kiirus nii Hive'is kui ka GreenPlum'is s\u00f5ltub lineaarselt andmete mahust ja parema riistvara t\u00f5ttu on see Hive'is veidi kiirem kui GreenPlum'is.<\/p>\n<p>Inkrementaalne laadimine Hive'is s\u00f5ltub samuti lineaarselt sihttabletis eelnevalt laetud andmete mahust ja toimub piisavalt aeglaselt mahuga suurenemisega. See on tingitud vajadusest t\u00e4ielikult sihttablett uuesti kirjutada. See t\u00e4hendab, et v\u00e4ikeste muudatuste rakendamine suurtele tabelitele ei ole Hive'i jaoks v\u00e4ga hea kasutusvariant.<\/p>\n<p>GreenPlum'i inkrementaalne laadimine s\u00f5ltub v\u00e4he sihtm\u00e4rgi tabelis varasemalt laaditud andmete mahust ja toimub piisavalt kiiresti. See on v\u00f5imalik SQL JOIN-de ja GreenPlum'i arhitektuuri t\u00f5ttu, mis v\u00f5imaldab kustutamisoperatsiooni.<\/p>\n<p>Seega sissetoodab GreenPlum deltat meetodiga delete+insert, kuid Hive'is ei ole kustutamis- ega uuendamisoperatsioone, mist\u00f5ttu pidi kogu andmehmotiik inkrementaalse uuendamise korral t\u00e4ielikult kirjutama. K\u00f5ige ilmsem on rasvase tekstiga esile t\u00f5stetud lahtrite v\u00f5rdlemine, sest see vastab k\u00f5ige sagedasemale ressursimahukate laadimisoperatsioonide kasutusviisile. N\u00e4eme, et GreenPlum v\u00f5itis selle testi Hive'ist 8 korda.<\/p>\n<h3>Ab Initio t\u00f6\u00f6 GreenPlumiga Near Real Time re\u017eiimis<\/h3>\n<p>\nSelles katses kontrollime Ab Initio suutlikkust uuendada GreenPlum'i tabelit juhuslikult genereeritud andmeportjonite abil sisuliselt reaalajas. Vaatleme tabelit GreenPlum dev42_1_db_usl.TESTING_SUBJ_org_finval, millega t\u00f6\u00f6d alustatakse.<\/p>\n<p>Kasutame kolme Ab Initio graafi selle t\u00f6\u00f6tlemiseks:<\/p>\n<p>1) Graaf Create_test_data.mp \u2013 loob 10 paralleelses voos faile HDFS-is, mis sisaldavad 6 000 000 rida andmeid. Andmed on juhuslikud, nende struktuur on korraldatud meie tabelisse sisestamiseks.<\/p>\n<p><img decoding=\"async\" alt=\"Kuidas k\u00e4ituda, kui teie ettev\u00f5tte mastaabid on suured. Ab Initio kasutamine Hive&#039;i ja GreenPlum&#039;i puhul\" src=\"\/wp-content\/uploads\/2020\/07\/8cac605c1c5931313bd016a48fb6384e.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\n<img decoding=\"async\" alt=\"Kuidas k\u00e4ituda, kui teie ettev\u00f5tte mastaabid on suured. Ab Initio kasutamine Hive&#039;i ja GreenPlum&#039;i puhul\" src=\"\/wp-content\/uploads\/2020\/07\/b86988bf1722329bde60013ba025d600.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\n2) Graaf mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset \u2013 genereeritud MDW graaf meie tabelisse andmete algse lisamise jaoks 10 paralleelses voos (kasutatakse graafi (1) genereeritud testandmeid)<\/p>\n<p><img decoding=\"async\" alt=\"Kuidas k\u00e4ituda, kui teie ettev\u00f5tte mastaabid on suured. Ab Initio kasutamine Hive&#039;i ja GreenPlum&#039;i puhul\" src=\"\/wp-content\/uploads\/2020\/07\/b4228a13c088c6b96abba35e9e58fe8e.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\n3) Graaf mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset \u2013 genereeritud MDW graaf meie tabeli inkrementaalse uuendamise jaoks 10 paralleelses voos v\u00e4rskete saabuvate andmete (deltad) kasutamisel, genereeritud graafi (1) poolt<\/p>\n<p><img decoding=\"async\" alt=\"Kuidas k\u00e4ituda, kui teie ettev\u00f5tte mastaabid on suured. Ab Initio kasutamine Hive&#039;i ja GreenPlum&#039;i puhul\" src=\"\/wp-content\/uploads\/2020\/07\/714a901616cf84e5a1fd7a764373e30f.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nK\u00e4ivitame alltoodud stsenaariumi NRT-re\u017eiimis:<\/p>\n<ul>\n<li>genereerida 6 000 000 testirida<\/li>\n<li>teha alglaadimine, sisestada 6 000 000 testirida t\u00fchja tabelisse<\/li>\n<li>korrata 5 korda inkrementaalset laadimist\n<ul>\n<li>genereerida 6 000 000 testirida<\/li>\n<li>teha inkrementaalne sisestamine 6 000 000 testirida tabelisse (samal ajal m\u00e4\u00e4ratakse vanadele andmetele aegumise aeg valid_to_ts ja sisestatakse uuemad andmed sama peamise v\u00f5tmega)<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<p>\nSelline stsenaarium emuleerib teatud \u00e4ris\u00fcsteemi reaalajas t\u00f6\u00f6tamise re\u017eiimi \u2013 reaalajas ilmub piisavalt mahukas kogus uusi andmeid ja voolab kohe GreenPlumi.<\/p>\n<p>N\u00fc\u00fcd vaatame stsenaariumi t\u00f6\u00f6logi:<\/p>\n<p><i>Alustage Create_test_data.input.pset 2020-06-04 11:49:11<br \/>\nL\u00f5petage Create_test_data.input.pset 2020-06-04 11:49:37<br \/>\nAlustage mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:49:37<br \/>\nL\u00f5petage mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:50:42<br \/>\nAlustage Create_test_data.input.pset 2020-06-04 11:50:42<br \/>\nL\u00f5petage Create_test_data.input.pset 2020-06-04 11:51:06<br \/>\nAlustage mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:51:06<br \/>\nL\u00f5petage mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:53:41<br \/>\nAlustage Create_test_data.input.pset 2020-06-04 11:53:41<br \/>\nL\u00f5petage Create_test_data.input.pset 2020-06-04 11:54:04<br \/>\nAlustage mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:54:04<br \/>\nL\u00f5petage mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:56:51<br \/>\nAlustage Create_test_data.input.pset 2020-06-04 11:56:51<br \/>\nL\u00f5petage Create_test_data.input.pset 2020-06-04 11:57:14<br \/>\nAlustage mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:57:14<br \/>\nL\u00f5petage mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 11:59:55<br \/>\nAlustage Create_test_data.input.pset 2020-06-04 11:59:55<br \/>\nL\u00f5petage Create_test_data.input.pset 2020-06-04 12:00:23<br \/>\nAlustage mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 12:00:23<br \/>\nL\u00f5petage mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 12:03:23<br \/>\nAlustage Create_test_data.input.pset 2020-06-04 12:03:23<br \/>\nL\u00f5petage Create_test_data.input.pset 2020-06-04 12:03:49<br \/>\nAlustage mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 12:03:49<br \/>\nL\u00f5petage mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset 2020-06-04 12:06:46<\/i><\/p>\n<p>Kujuneb selline pilt:<\/p>\n<p>Diagramm<br \/>\nAlgusaeg<br \/>\nL\u00f5petamise aeg<br \/>\nPikkus<\/p>\n<p>Create_test_data.input.pset<br \/>\n04.06.2020 11:49:11<br \/>\n04.06.2020 11:49:37<br \/>\n00:00:26<\/p>\n<p>mdw_load.day_one.current.<br \/>\ndev42_1_db_usl_testing_subj_org_finval.pset<br \/>\n04.06.2020 11:49:37<br \/>\n04.06.2020 11:50:42<br \/>\n00:01:05<\/p>\n<p>Create_test_data.input.pset<br \/>\n04.06.2020 11:50:42<br \/>\n04.06.2020 11:51:06<br \/>\n00:00:24<\/p>\n<p>mdw_load.regular.current.<br \/>\ndev42_1_db_usl_testing_subj_org_finval.pset<br \/>\n04.06.2020 11:51:06<br \/>\n04.06.2020 11:53:41<br \/>\n00:02:35<\/p>\n<p>Create_test_data.input.pset<br \/>\n04.06.2020 11:53:41<br \/>\n04.06.2020 11:54:04<br \/>\n00:00:23<\/p>\n<p>mdw_load.regular.current.<br \/>\ndev42_1_db_usl_testing_subj_org_finval.pset<br \/>\n04.06.2020 11:54:04<br \/>\n04.06.2020 11:56:51<br \/>\n00:02:47<\/p>\n<p>Create_test_data.input.pset<br \/>\n04.06.2020 11:56:51<br \/>\n04.06.2020 11:57:14<br \/>\n00:00:23<\/p>\n<p>mdw_load.regular.current.<br \/>\ndev42_1_db_usl_testing_subj_org_finval.pset<br \/>\n04.06.2020 11:57:14<br \/>\n04.06.2020 11:59:55<br \/>\n00:02:41<\/p>\n<p>Create_test_data.input.pset<br \/>\n04.06.2020 11:59:55<br \/>\n04.06.2020 12:00:23<br \/>\n00:00:28<\/p>\n<p>mdw_load.regular.current.<br \/>\ndev42_1_db_usl_testing_subj_org_finval.pset<br \/>\n04.06.2020 12:00:23<br \/>\n04.06.2020 12:03:23<br \/>\n00:03:00<\/p>\n<p>Create_test_data.input.pset<br \/>\n04.06.2020 12:03:23<br \/>\n04.06.2020 12:03:49<br \/>\n00:00:26<\/p>\n<p>mdw_load.regular.current.<br \/>\ndev42_1_db_usl_testing_subj_org_finval.pset<br \/>\n04.06.2020 12:03:49<br \/>\n04.06.2020 12:06:46<br \/>\n00:02:57<\/p>\n<p>\nN\u00e4gime, et 6 000 000 rida inkrementi t\u00f6\u00f6deldakse 3 minutiga, mis on piisavalt kiire.<br \/>\nSihtt\u00e4idetud tabelis on andmed jaotatud j\u00e4rgmiselt:<\/p>\n<pre><code class=\"sql\">select valid_from_ts, valid_to_ts, count(1), min(sk), max(sk) from dev42_1_db_usl.TESTING_SUBJ_org_finval group by valid_from_ts, valid_to_ts order by 1,2;<\/code><\/pre>\n<p>\n<img decoding=\"async\" alt=\"Kuidas k\u00e4ituda, kui teie ettev\u00f5tte mastaabid on suured. Ab Initio kasutamine Hive&#039;i ja GreenPlum&#039;i puhul\" src=\"\/wp-content\/uploads\/2020\/07\/baefcfd8142f4ad6275333e3dcfccf94.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\nSaab eristada sisestatud andmete vastavust graafikute k\u00e4ivitamise momentidele.<br \/>\nSee t\u00e4hendab, et Ab Initios saab k\u00e4ivitada andmete inkrementaalset laadimist GreenPlumi v\u00e4ga suure sagedusega ning j\u00e4lgida nende andmete k\u00f5rget sisestamiskiirust GreenPlumis. Loomulikult ei saa k\u00e4ivitada iga sekundi j\u00e4rel, kuna Ab Initio, nagu k\u00f5ik ETL-t\u00f6\u00f6riistad, vajab k\u00e4ivitamisel aega \u201esoojenemiseks\u201c.<\/p>\n<h2>Kokkuv\u00f5te<\/h2>\n<p>\nPraegu kasutatakse Ab Initio Sberbankis \u00fchtse semantilise andmekihi (ESS) ehitamiseks. See projekt h\u00f5lmab erinevate panga\u00e4ri \u00fcksuste oleku \u00fchtse versiooni loomist. Teave tuleb erinevatest allikatest, mille koopiad valmistatakse Hadoopis. \u00c4ri vajadustest l\u00e4htuvalt koostatakse andmemudel ja kirjeldatakse andmete transforme. Ab Initio laadib teabe ESS-i, kusjuures laaditud andmed on huvitavad mitte ainult \u00e4ri jaoks, vaid teenivad ka andmevitriinide loomiseks allikana. Toote funktsionaalsus v\u00f5imaldab kasutada erinevaid s\u00fcsteeme (Hive, Greenplum, Teradata, Oracle) vastuv\u00f5tjana, mis v\u00f5imaldab andmete valmistamist \u00e4ri jaoks vajalikes formaatides ilma eriliste raskusteta.<\/p>\n<p>Ab Initio v\u00f5imalused on suured, n\u00e4iteks kaasatud MDW raamistik v\u00f5imaldab luua tehnilist ja \u00e4rilugu andmetest \u201ckarbist v\u00e4lja\u201d. Ab Initio annab arendajatele v\u00f5imaluse \u201cnot reinvent the wheel\u201d, vaid kasutada mitmeid olemasolevaid funktsionaalseid komponente, mis on p\u00f5him\u00f5tteliselt vajalikud andmetega t\u00f6\u00f6tamiseks.<\/p>\n<blockquote><p>Autor on Sberbanki SberProfi DWH \/ BigData professionaalse kogukonna ekspert. Professionaalne SberProfi DWH \/ BigData kogukond vastutab oskuste arendamise eest valdkondades nagu Hadoopi \u00f6kos\u00fcsteem, Teradata, Oracle DB, GreenPlum ning BI t\u00f6\u00f6riistades Qlik, SAP BO, Tableau jms.<\/p><\/blockquote>\n<p>Allikas: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/sberbank\/blog\/509936\/\">habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u041d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u043d\u0430\u0437\u0430\u0434 \u043f\u0435\u0440\u0435\u0434 \u043d\u0430\u043c\u0438 \u0432\u0441\u0442\u0430\u043b \u0432\u043e\u043f\u0440\u043e\u0441 \u0432\u044b\u0431\u043e\u0440\u0430 ETL-\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0430 \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 BigData. \u0420\u0430\u043d\u0435\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0432\u0448\u0435\u0435\u0441\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0435 Informatica BDM \u043d\u0435 \u0443\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u043b\u043e \u043d\u0430\u0441 \u0438\u0437-\u0437\u0430 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u0415\u0451 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u0432\u0435\u043b\u043e\u0441\u044c \u043a \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0443 \u043f\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0443 \u043a\u043e\u043c\u0430\u043d\u0434 spark-submit. \u041d\u0430 \u0440\u044b\u043d\u043a\u0435 \u0438\u043c\u0435\u043b\u043e\u0441\u044c \u043d\u0435 \u0442\u0430\u043a \u043c\u043d\u043e\u0433\u043e \u0430\u043d\u0430\u043b\u043e\u0433\u043e\u0432, \u0432 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b\u0445 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u0442\u0435\u043c \u043e\u0431\u044a\u0451\u043c\u043e\u043c \u0434\u0430\u043d\u043d\u044b\u0445, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043c\u044b \u0438\u043c\u0435\u0435\u043c \u0434\u0435\u043b\u043e \u043a\u0430\u0436\u0434\u044b\u0439 \u0434\u0435\u043d\u044c. [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":87610,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-87609","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 4.9.10 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u041d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u043d\u0430\u0437\u0430\u0434 \u043f\u0435\u0440\u0435\u0434 \u043d\u0430\u043c\u0438 \u0432\u0441\u0442\u0430\u043b \u0432\u043e\u043f\u0440\u043e\u0441 \u0432\u044b\u0431\u043e\u0440\u0430 ETL-\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0430 \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 BigData. \u0420\u0430\u043d\u0435\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0432\u0448\u0435\u0435\u0441\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0435 Informatica BDM \u043d\u0435 \u0443\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u043b\u043e \u043d\u0430\u0441 \u0438\u0437-\u0437\u0430 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u0415\u0451 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u0432\u0435\u043b\u043e\u0441\u044c \u043a \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0443 \u043f\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0443 \u043a\u043e\u043c\u0430\u043d\u0434 spark-submit. \u041d\u0430 \u0440\u044b\u043d\u043a\u0435 \u0438\u043c\u0435\u043b\u043e\u0441\u044c \u043d\u0435 \u0442\u0430\u043a \u043c\u043d\u043e\u0433\u043e \u0430\u043d\u0430\u043b\u043e\u0433\u043e\u0432, \u0432 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b\u0445 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u0442\u0435\u043c \u043e\u0431\u044a\u0451\u043c\u043e\u043c \u0434\u0430\u043d\u043d\u044b\u0445, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043c\u044b \u0438\u043c\u0435\u0435\u043c \u0434\u0435\u043b\u043e \u043a\u0430\u0436\u0434\u044b\u0439 \u0434\u0435\u043d\u044c.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/kogda-u-vas-sberovskie-masshtaby-ispolzovanie-ab-initio-pri-rabote-s-hive-i-greenplum\" \/>\n\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 4.9.10\" \/>\n\t\t<meta property=\"og:locale\" content=\"et_EE\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041a\u043e\u0433\u0434\u0430 \u0443 \u0432\u0430\u0441 \u0441\u0431\u0435\u0440\u043e\u0432\u0441\u043a\u0438\u0435 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u044b. \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 Ab Initio \u043f\u0440\u0438 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441 Hive \u0438 GreenPlum | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u041d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u043d\u0430\u0437\u0430\u0434 \u043f\u0435\u0440\u0435\u0434 \u043d\u0430\u043c\u0438 \u0432\u0441\u0442\u0430\u043b \u0432\u043e\u043f\u0440\u043e\u0441 \u0432\u044b\u0431\u043e\u0440\u0430 ETL-\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0430 \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 BigData. \u0420\u0430\u043d\u0435\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0432\u0448\u0435\u0435\u0441\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0435 Informatica BDM \u043d\u0435 \u0443\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u043b\u043e \u043d\u0430\u0441 \u0438\u0437-\u0437\u0430 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u0415\u0451 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u0432\u0435\u043b\u043e\u0441\u044c \u043a \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0443 \u043f\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0443 \u043a\u043e\u043c\u0430\u043d\u0434 spark-submit. \u041d\u0430 \u0440\u044b\u043d\u043a\u0435 \u0438\u043c\u0435\u043b\u043e\u0441\u044c \u043d\u0435 \u0442\u0430\u043a \u043c\u043d\u043e\u0433\u043e \u0430\u043d\u0430\u043b\u043e\u0433\u043e\u0432, \u0432 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b\u0445 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u0442\u0435\u043c \u043e\u0431\u044a\u0451\u043c\u043e\u043c \u0434\u0430\u043d\u043d\u044b\u0445, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043c\u044b \u0438\u043c\u0435\u0435\u043c \u0434\u0435\u043b\u043e \u043a\u0430\u0436\u0434\u044b\u0439 \u0434\u0435\u043d\u044c.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/kogda-u-vas-sberovskie-masshtaby-ispolzovanie-ab-initio-pri-rabote-s-hive-i-greenplum\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2020-07-08T23:42:11+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-07-08T23:42:11+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Kui teil on Sberbanki m\u00f5\u00f5tmed. Ab Initio kasutamine Hive'i ja GreenPlumiga | ProHoster","description":"M\u00f5ni aeg tagasi seisis meil silmitsi ETL-t\u00f6\u00f6riista valimise k\u00fcsimus BigData jaoks. Varasemalt kasutatava lahenduse Informatica BDM funktsionaalsus ei rahuldanud meid. Selle kasutamine piirdus spark-submit k\u00e4skude t\u00e4itmise raamistiku kasutamisega. Turul oli mitte nii palju analooge, mis suudaksid toime tulla andmemahtudega, millega me iga p\u00e4ev silmitsi seisame.","canonical_url":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/kogda-u-vas-sberovskie-masshtaby-ispolzovanie-ab-initio-pri-rabote-s-hive-i-greenplum","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"et_EE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041a\u043e\u0433\u0434\u0430 \u0443 \u0432\u0430\u0441 \u0441\u0431\u0435\u0440\u043e\u0432\u0441\u043a\u0438\u0435 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u044b. \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 Ab Initio \u043f\u0440\u0438 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441 Hive \u0438 GreenPlum | ProHoster","og:description":"\u041d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u043d\u0430\u0437\u0430\u0434 \u043f\u0435\u0440\u0435\u0434 \u043d\u0430\u043c\u0438 \u0432\u0441\u0442\u0430\u043b \u0432\u043e\u043f\u0440\u043e\u0441 \u0432\u044b\u0431\u043e\u0440\u0430 ETL-\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0430 \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 BigData. \u0420\u0430\u043d\u0435\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0432\u0448\u0435\u0435\u0441\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0435 Informatica BDM \u043d\u0435 \u0443\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u043b\u043e \u043d\u0430\u0441 \u0438\u0437-\u0437\u0430 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u0415\u0451 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u0432\u0435\u043b\u043e\u0441\u044c \u043a \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0443 \u043f\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0443 \u043a\u043e\u043c\u0430\u043d\u0434 spark-submit. \u041d\u0430 \u0440\u044b\u043d\u043a\u0435 \u0438\u043c\u0435\u043b\u043e\u0441\u044c \u043d\u0435 \u0442\u0430\u043a \u043c\u043d\u043e\u0433\u043e \u0430\u043d\u0430\u043b\u043e\u0433\u043e\u0432, \u0432 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b\u0445 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u0442\u0435\u043c \u043e\u0431\u044a\u0451\u043c\u043e\u043c \u0434\u0430\u043d\u043d\u044b\u0445, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043c\u044b \u0438\u043c\u0435\u0435\u043c \u0434\u0435\u043b\u043e \u043a\u0430\u0436\u0434\u044b\u0439 \u0434\u0435\u043d\u044c.","og:url":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/kogda-u-vas-sberovskie-masshtaby-ispolzovanie-ab-initio-pri-rabote-s-hive-i-greenplum","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-07-08T23:42:11+00:00","article:modified_time":"2020-07-08T23:42:11+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"87609","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 13:47:29","updated":"2026-02-22 15:29:30"},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/posts\/87609","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/comments?post=87609"}],"version-history":[{"count":1,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/posts\/87609\/revisions"}],"predecessor-version":[{"id":162163,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/posts\/87609\/revisions\/162163"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/media\/87610"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/media?parent=87609"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/categories?post=87609"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/tags?post=87609"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}