Te tono o te waehere iti i roto i nga papahanga tātari

E nga kaipānui, tena ra!

Ko te mahi ki te hanga papaa IT mo te kohi me te tātari raraunga i muri tata ake nei ka ara ake mo tetahi kamupene kei te ahu mai to pakihi i runga i te tauira tuku ratonga kua utaina ki te hinengaro, ki te hanga hua hangarau uaua ranei. Ko te hanga i nga papahanga tātari he mahi uaua me te whakapau wa. Heoi, ka taea te whakangwarihia nga mahi katoa. I roto i tenei tuhinga e hiahia ana ahau ki te whakapuaki i aku wheako ki te whakamahi taputapu iti-waehere hei awhina i te hanga otinga tātari. I whiwhihia tenei wheako i te wa o te whakatinanatanga o te maha o nga kaupapa i roto i te ahunga Raraunga Raraunga Nui o te kamupene Neoflex. Mai i te tau 2005, ko te ahunga Raraunga Raraunga Nui a Neoflex e pa ana ki nga take o te hanga whare putunga raraunga me nga roto, te whakaoti rapanga o te arotau i te tere o te tukatuka korero me te mahi i runga i te tikanga mo te whakahaere kounga raraunga.

Kaore tetahi e kaha ki te karo i te kohikohinga mohio o nga raraunga ngoikore me te kaha kaha ranei. Tena pea ahakoa kei te korero tatou mo nga pakihi iti. I muri i nga mea katoa, i te wa e whakanui ana i te pakihi, ka pa ki te kaipakihi whai mana ki nga take o te whakawhanake i te kaupapa pono, ka hiahia ki te tarai i te whai hua o nga waahi hoko, ka whakaaro mo nga panui kua whaaia, ka pohehe i te tono mo nga hua e whai ake nei. . Ki te tata tuatahi, ka taea te whakatau i te raruraru "i runga i te turi". Engari i te wa e tipu haere ana te pakihi, ko te haere mai ki te turanga tātari kare e taea te karo.

Heoi, he aha te take ka taea e nga mahi tātari raraunga te whakawhanake ki nga raruraru akomanga "Rocket Science"? Tena pea i tenei wa e korero ana tatou mo nga raraunga nui.
Kia ngawari ake te Rocket Science, ka taea e koe te kai i te wahi arewhana ma ia wahanga.

Ko te motuhake me te motuhake o o tono/ratonga/ratonga moroiti, ka ngawari ake ma koe, o hoa mahi me te umanga katoa ki te keri i te arewhana.

Tata ki te katoa o a maatau kaihoko i tae mai ki tenei panui, na te hanga ano i te whenua i runga i nga mahi miihini a nga roopu DevOps.

Engari ahakoa he kai "motuhake, elephantine", he pai te tupono ki te "whakanui" o te whenua IT. I tenei wa he pai ki te tu, te manawa me te titiro ki te taha turanga hangarau iti-waehere.

He maha nga kaiwhakawhanake kei te mataku i te ahua o te mutunga kore i roto i a raatau mahi i te wa e neke atu ana mai i te tuhi tika i te waehere ki te "toia" nga pere i roto i nga atanga UI o nga punaha-iti. Engari ko te taenga mai o nga taputapu miihini kaore i arahi ki te ngaro o nga miihini, engari i kawe mai a raatau mahi ki te taumata hou!

Kia mohio tatou he aha.

Ko te tātaritanga raraunga i roto i te waahi o te arorau, te umanga waea, te rangahau pāpāho, te waahanga putea e pa ana ki nga patai e whai ake nei:

• Te tere o te tātari aunoa;
• Te kaha ki te whakahaere i nga whakamatautau me te kore e pa ki te rerenga whakaputanga raraunga matua;
• Te pono o nga raraunga kua whakaritea;
• Hurihia te aroturuki me te whakaputanga;
• Whakaaturanga Raraunga, Raraunga Raraunga, CDC;
• Te tuku tere o nga ahuatanga hou ki te taiao whakaputa;
• Na te mea rongonui: te utu mo te whanaketanga me te tautoko.

Arā, he maha nga mahi taumata-tiketike a nga miihini, ka taea te whakaoti me te tino pai ma te whakakore i o raatau mohio ki nga mahi whanaketanga taumata-iti.

Ko nga tikanga mo nga kaiwhakawhanake kia neke ki te taumata hou ko te whanaketanga me te whakarorohikotanga o te pakihi. Kei te rereke ano te uara o te kaiwhakawhanake: he iti rawa nga kaiwhakawhanake ka taea te ruku ki nga kaupapa o te pakihi e mahia ana.

Me tuhi whakataurite ki nga reo hotaka taumata iti me te taumata teitei. Ko te whakawhiti mai i nga reo taumata-iti ki nga reo taumata-tiketike he whakawhiti mai i te tuhi i nga "tohutohu tika i roto i te reo o te taputapu" ki "nga tohutohu i roto i te reo tangata". Arā, te taapiri i etahi paparanga tangohanga. I roto i tenei take, ko te whakawhiti ki nga papaahi-waehere iti mai i nga reo whakamaori taumata-tiketike he whakawhiti mai i nga "tohutohu i roto i te reo o te tangata" ki "nga tohutohu i roto i te reo pakihi." Mena he kaiwhakawhanake kei te pouri mo tenei meka, kua pouri ratou, tera pea, mai i te wa i whanau mai ai a Java Script, e whakamahi ana i nga mahi tohatoha raupapa. A ko enei mahi, ko te tikanga, he whakatinanatanga rorohiko i raro i te awhi na etahi atu tikanga o taua kaupapa taumata-tiketike.

Na reira, ko te iti-waehere te ahua o tetahi atu taumata tangohanga.

Te wheako i whakamahia ma te whakamahi i te waehere iti

Ko te kaupapa o te iti-waehere he tino whanui, engari inaianei ka hiahia ahau ki te korero mo te whakamahinga whaitake o "nga ariā iti-waehere" ma te whakamahi i te tauira o tetahi o a maatau kaupapa.

Ko te wahanga Raraunga Raraunga Nui o Neoflex he tohungatanga ake ki te wahanga putea o te pakihi, te hanga whare putunga raraunga me nga roto me te whakaaunoa i nga momo purongo. I roto i tenei niche, kua roa te whakamahi i te waehere iti hei paerewa. I roto i etahi atu taputapu iti-waehere, ka taea e matou te whakahua i nga taputapu mo te whakarite i nga tukanga ETL: Informatica Power Center, IBM Datastage, Pentaho Data Integration. Oracle Apex ranei, e mahi ana hei taiao mo te whanaketanga tere o nga hononga mo te uru me te whakatika raraunga. Heoi, ko te whakamahi i nga taputapu whanaketanga-iti karekau e uru ki te hanga i nga tono e tino arohia ana ki runga i te puranga hangarau arumoni me te tino whakawhirinaki ki te kaihoko.

Ma te whakamahi i nga papaa-waehere iti, ka taea hoki e koe te whakarite i nga rerenga raraunga, te hanga i nga papaaaao pūtaiao raraunga, hei tauira, nga waahanga mo te tirotiro i te kounga raraunga.

Ko tetahi o nga tauira o te wheako ki te whakamahi i nga taputapu whanaketanga-iti ko te mahi tahi i waenga i a Neoflex me Mediascope, tetahi o nga kaiarahi o te maakete rangahau panui a Ruhia. Ko tetahi o nga whaainga pakihi a tenei kamupene ko te whakaputa raraunga i runga i te kaupapa o nga kaiwhakatairanga, papaa ipurangi, pouaka whakaata, reo irirangi, tari panui me nga waitohu e whakatau ana mo te hoko panui me te whakamahere i a raatau korero hokohoko.

Ko te rangahau päpäho he waahi hangarau o te pakihi. Te mohio ki nga raupapa ataata, te kohikohi raraunga mai i nga taputapu e tarai ana i te tirohanga, te ine i nga mahi i runga i nga rauemi paetukutuku - ko enei mea katoa he nui nga kaimahi IT me te wheako nui ki te hanga otinga tātari. Engari ko te tipu haere o te nui o nga korero, te maha me te maha o ona punawai e kaha ana te ahumahi raraunga IT ki te ahu whakamua tonu. Ko te otinga tino ngawari ki te whakarahi i te papahanga tātari Mediascope e mahi ana ko te whakapiki ake i nga kaimahi IT. Engari ko te otinga tino whai hua ko te tere ake i te mahi whanaketanga. Ko tetahi o nga huarahi e arahi ana i tenei huarahi ko te whakamahi i nga papaahi-iti.

I te wa i timata ai te kaupapa, kei te kamupene he otinga hua mahi. Heoi, ko te whakatinanatanga o te otinga i roto i te MSSQL kaore e taea te whakatutuki i nga tumanakohanga mo te tauine mahi i te wa e mau tonu ana te utu mo te whanaketanga.

Ko te mahi i mua i a maatau he tino hiahia - Neoflex me Mediascope me hanga he otinga ahumahi i roto i te iti iho i te kotahi tau, i raro i te tukunga o te MVP i roto i te hauwhā tuatahi o te ra tiimata.

Ko te taapu hangarau Hadoop i tohua hei turanga mo te hanga i tetahi papaaho raraunga hou i runga i te rorohiko iti-waehere. Ko te HDFS te paerewa mo te rokiroki raraunga ma te whakamahi i nga konae parquet. Hei uru atu ki nga raraunga kei roto i te papaahi, i whakamahia a Hive, kei te whakaatuhia nga toa katoa e waatea ana ki te ahua o nga tepu o waho. Ko te uta i nga raraunga ki te rokiroki i whakatinanahia ma te whakamahi i Kafka me Apache NiFi.

Ko te taputapu Lowe-code i roto i tenei ariā i whakamahia ki te arotau i te mahi tino whakapau kaha ki te hanga i tetahi papahanga tātari - te mahi o te tatauranga raraunga.

Ko te taputapu Raraunga Raraunga iti-waehere i tohua hei kaupapa matua mo te mahere raraunga. Raraunga Neoflex he taputapu hei whakawhanake i nga huringa me nga rerenga raraunga.
Ma te whakamahi i tenei taputapu, ka taea e koe te mahi me te kore e tuhi a-ringa i te waehere Scala. Ka hangaia aunoatia te waehere Scala ma te whakamahi i te huarahi Hoahoanga Kaihanga Tauira.

Ko te painga nui o tenei huarahi ko te tere ake o te tukanga whanaketanga. Heoi, i tua atu i te tere, kei reira ano nga painga e whai ake nei:

• Te tiro i te ihirangi me te hanganga o nga puna / kaiwhiwhi;
• Te whai i te takenga mai o nga mea rere raraunga ki nga mara takitahi (whakapapa);
• Te whakatinanatanga o nga huringa me te maataki i nga hua takawaenga;
• Te arotake i te waehere puna me te whakatika i mua i te mahi;
• Te whakamana aunoa o nga huringa;
• Tikina raraunga aunoa 1 i roto i te 1.

He iti rawa te arai ki te whakauru ki nga otinga-waehere iti mo te whakaputa huringa: me mohio te kaiwhakawhanake ki te SQL me te whai wheako ki te mahi me nga taputapu ETL. He mea tika kia whakahuahia ko nga kaihanga hurihanga a-waehere ehara i te taputapu ETL i roto i te tikanga whanui o te kupu. Ko nga taputapu iti-waehere kaore pea i a raatau ake taiao mahi waehere. Arā, ka mahia te waehere i hangaia i roto i te taiao i noho i runga i te tautau tae noa ki mua i te whakauru i te otinga-waehere iti. A koinei pea tetahi atu taapiri mo te karma iti-waehere. Mai i te mea, i roto i te whakarara me te roopu iti-waehere, ka taea e te roopu "matarohia" te mahi e whakatinana ana i nga mahi, hei tauira, i roto i te waehere Scala parakore. Ko te kawe mai i nga whakapainga mai i nga roopu e rua ki roto i nga mahi ka ngawari, ka ngawari.

He mea tika kia mohiohia he taapiri atu ki te iti-waehere, kei reira ano nga otinga kore-waehere. A, i to raatau kaupapa, he mea rereke enei. Waehere-iti ka taea e te kaiwhakawhanake te pokanoa ake ki te waehere i hangaia. Mo te Raraunga Raraunga, ka taea te tiro me te whakatika i te waehere Scala kua hangaia; kaore pea he tohu-kore e whai waahi penei. Ko tenei rereketanga he mea tino nui ehara i te mea mo te ngawari o te otinga, engari mo te whakamarie me te hihiri i roto i nga mahi a nga miihini raraunga.

hoahoanga otinga

Me ngana ki te whakaaro me pehea te awhina a te taputapu iti-waehere ki te whakaoti rapanga o te arotau i te tere o te whakawhanake i nga mahi tatauranga raraunga. Tuatahi, me titiro ki te hoahoanga mahi o te punaha. Ko tetahi tauira mo tenei keehi ko te tauira whakaputa raraunga mo te rangahau pāpāho.

Ko nga puna raraunga i roto i ta maatau keehi he tino rerekee me te rereke:

• Ko nga mita tangata (meita pouaka whakaata) he taputapu rorohiko me nga taputapu e panui ana i nga whanonga a nga kaiwhakamahi mai i nga kaiwhakautu pouaka whakaata - ko wai, nohea, he aha te hongere pouaka whakaata i maatakihia i roto i te whare e uru ana ki te rangahau. Ko nga korero kua tukuna he awa o nga waahi maataki paanui e hono ana ki te kete panui me te hua pāpāho. Ko nga raraunga i te wa e utaina ana ki roto i te Roto Raraunga ka taea te whakarangatira ki nga huanga o te taupori, te whakatakotoranga whenua, te waahi waahi me etahi atu korero e tika ana hei tātari i te tirohanga pouaka whakaata o tetahi hua pāpāho. Ka taea te whakamahi i nga inenga ki te wetewete, ki te whakamahere kaupapa panui, ki te aromatawai i nga mahi me nga hiahia o te hunga whakarongo, me te whakahiato i te whatunga päpäho;
• Ko nga raraunga ka puta mai i nga punaha aroturuki mo te whakawhiti i nga panui pouaka whakaata me te ine i te tirohanga o nga rauemi ataata i runga i te Ipurangi;
• Utauta ine i roto i te taiao tukutuku, tae atu ki nga mita-a-papa me nga mita-kaiwhakamahi. Ka taea e te kaiwhakarato raraunga mo te Raraunga Raraunga he taapiri tirotiro tirotiro pae rangahau me te tono waea pūkoro me te VPN whakauru.
• Ka tae mai ano nga raraunga mai i nga waahi e whakakotahi ana i nga hua o te whakakii i nga paatai ​​ipurangi me nga hua o nga uiui waea i roto i nga rangahau a nga kamupene;
• Ko etahi atu whakarangatira o te roto raraunga ka puta ma te tango korero mai i nga raarangi o nga kamupene hoa.

Ko te whakatinanatanga o te mea kei te utaina mai i nga punaha puna ki te whakatakotoranga tuatahi o nga raraunga mata ka taea te whakarite ma nga huarahi rereke. Mena ka whakamahia te iti-waehere mo enei kaupapa, ka taea te whakaputa aunoa o nga tuhinga tuhi i runga i nga metadata. I roto i tenei take, kaore he take ki te heke ki te taumata o te whakawhanake i te puna ki te aro ki nga mapi. Hei whakatinana i te uta aunoa, me whakatu he hononga ki te puna, katahi ka tautuhi ki te atanga utaina te rarangi o nga hinonga ka utaina. Ko te hanganga whaiaronga i roto i te HDFS ka hangaia aunoa, ka rite ki te hanganga rokiroki raraunga i runga i te punaha puna.

Heoi, i roto i te horopaki o tenei kaupapa, i whakatau matou kia kaua e whakamahi i tenei ahuatanga o te papaarangi-iti na te mea kua timata te kamupene Mediascope ki te mahi takitahi ki te whakaputa i tetahi ratonga rite ma te whakamahi i te huinga Nifi + Kafka.

He mea tika kia tohu tonu ko enei taputapu ehara i te mea rereke, engari he mea hono. Ka taea e Nifi me Kafka te mahi tika (Nifi -> Kafka) me te hononga whakamuri (Kafka -> Nifi). Mo te turanga rangahau pāpāho, i whakamahia te putanga tuatahi o te paihere.

I roto i ta maatau take, me tukatuka e NayFi nga momo raraunga mai i nga punaha puna me te tuku atu ki te kaihokohoko Kafka. I tenei take, i tukuna nga karere ki tetahi kaupapa Kafka motuhake ma te whakamahi i nga tukatuka PublishKafka Nifi. Ko te whakariterite me te tiaki i enei paipa ka mahia i roto i te atanga ataata. Ko te taputapu Nifi me te whakamahi i te huinga Nifi + Kafka ka taea hoki te karanga he huarahi iti-waehere ki te whakawhanaketanga, he iti te arai ki te whakauru ki nga hangarau Raraunga Nui me te tere ake i te tukanga whanaketanga tono.

Ko te waahanga o muri mai i te whakatinanatanga kaupapa ko te kawe i nga raraunga taipitopito ki te whakatakotoranga paparanga oro kotahi. Mēnā he huanga o mua tētahi hinonga, ka mahia te tātaitanga i roto i te horopaki o te wehewehenga e pa ana. Mena karekau te hinonga i te hitori, katahi ka taea te tatau ano i nga ihirangi katoa o te ahanoa, kaore ranei e whakaae ki te tatau ano i tenei ahanoa (na te kore o nga huringa). I tenei wahanga, ka hangaia nga taviri mo nga hinonga katoa. Kei te rongoa nga taviri i roto i nga raarangi Hbase e rite ana ki nga taonga matua, kei roto he reta i waenga i nga taviri i te papahanga tātari me nga kii mai i nga punaha puna. Ko te whakakotahitanga o nga hinonga ngota ka haere tahi me te whakarangatira me nga hua o te tatauranga tuatahi o nga raraunga tātari. Ko te anga mo te tatauranga raraunga ko Spark. Ko te mahi i whakaahuahia mo te kawe raraunga ki tetahi tohutoro kotahi i whakatinanahia i runga i nga mapi mai i te taputapu Datagram iti-waehere.

Ko te hoahoanga whaainga e hiahia ana kia uru atu a SQL ki nga raraunga mo nga kaiwhakamahi pakihi. I whakamahia te hive mo tenei whiringa. Ka rehitatia nga mea ki roto i te Hive ka taea e koe te "Rehita Hive Ripanga" kōwhiringa i roto i te taputapu iti-waehere.

Whakahaere rerenga tatau

He atanga to Datagram mo te hanga hoahoa rerenga rerengamahi. Ka taea te whakarewahia nga mahere ma te whakamahi i te Mahere Oozie. I roto i te atanga kaiwhakawhanake awa, ka taea te hanga kaupapa mo nga huringa raraunga whakarara, raupapa, mahi-whakaaro ranei. He tautoko mo nga tuhinga anga me nga kaupapa java. Ka taea hoki te whakamahi i te tūmau Apache Livy. Ka whakamahia a Apache Livy ki te whakahaere tono tika mai i te taiao whanaketanga.

Mena kei te kamupene ano tana ake kaitoi, ka taea te whakamahi i te REST API ki te whakauru i nga mapi ki roto i te rerenga o naianei. Hei tauira, i tino angitu matou ki te whakauru i nga mahere ki Scala ki roto i nga kaitoi i tuhia ki te PLSQL me te Kotlin. Ko te REST API o te taputapu iti-waehere kei roto nga mahi penei i te whakaputa i te tau ka taea te whakahaere i runga i te hoahoa mahere, te karanga i te mapi, te karanga i te raupapa o nga mapi, me te tikanga, te tuku i nga tawhā ki te URL hei whakahaere mapi.

I te taha o Oozie, ka taea te whakarite i te rerenga tatauranga ma te whakamahi Airflow. Kaore pea au e noho roa mo te whakataurite i waenga i a Oozie me te Airflow, engari ka kii noa i roto i te horopaki o te mahi i runga i te kaupapa rangahau pāpāho, i taka te whiringa ki te Airflow. Ko nga tohenga matua i tenei wa ko te hapori kaha ake ki te whakawhanake i te hua me te atanga whakawhanakehia ake + API.

He pai hoki te rere o te hau na te mea ka whakamahia e ia te Python aroha ki te whakaahua i nga tikanga tatauranga. A, i te nuinga o te waa, kaore i te maha nga papaaho whakahaere rerengamahi puna tuwhera. Ko te whakarewa me te aro turuki i nga mahi o nga mahi (tae atu ki te tūtohi Gantt) ka taapiri noa nga tohu ki te karma a Airflow.

Ko te whakatakotoranga konae whirihoranga mo te whakarewatanga o nga mapi otinga-waehere iti kua puta kee te korakora-tuku. E rua nga take i tupu ai tenei. Tuatahi, ko te korakora-tuku ka taea e koe te whakahaere tika i tetahi konae ipu mai i te papatohu. Tuarua, kei roto katoa nga korero e tika ana hei whirihora i te rerengamahi (he maamaa ake te tuhi i nga tuhinga e whakaputa ana i a Dag).
Ko te mea tino noa o te rerengamahi Rererangi i roto i a maatau ko te SparkSubmitOperator.

Ka taea e SparkSubmitOperator koe ki te whakahaere ipu - mapi Raraunga Raraunga me nga tawhā whakauru i mua i hangaia mo ratou.

He mea tika kia whakahuahia ko ia mahi Rererangi e rere ana i roto i te miro motuhake karekau e mohio ki etahi atu mahi. Na reira, ko te taunekeneke i waenga i nga mahi ka mahia ma te whakamahi i nga kaiwhakahaere mana, penei i te DummyOperator, i te BranchPythonOperator ranei.

I whakakotahihia, ko te whakamahi i te otinga Waehere-iti a Datagram i te taha o te whakakotahitanga o nga konae whirihoranga (te hanga Dag) i arahi ki te tere tere me te ngawari o te tukanga o te whakawhanake i nga rerenga uta raraunga.

Nga tatauranga whakaatu

Tena pea ko te waahanga kua utaina e te hinengaro i roto i te hanga raraunga tātari ko te taahiraa o nga whakaaturanga hanga whare. I roto i te horopaki o tetahi o nga tatauranga raraunga a te kamupene rangahau e rere ana, i tenei waahanga, ka whakahekehia nga raraunga ki te panui tohutoro, me te whakaaro ki nga whakatikatika mo nga waahi waahi me te hono atu ki te maatai ​​korero. Ka taea hoki te whakatika mo te whatunga haapurororaa a-rohe (nga korero a rohe me nga panui). I roto i etahi atu mea, ko tenei taahiraa ka pakaru i nga waahi o te maataki tonu i nga hua pāpāho i runga i te tātaritanga o nga waahi tirohanga. I te wa tonu, ko nga uara tirohanga ka "taimaha" i runga i nga korero mo o raatau hiranga (te tatauranga o te take whakatika).

Ko tetahi waahanga motuhake mo te whakarite whakaaturanga ko te whakamana raraunga. Ko te hātepete whakamanatanga he whakamahi i te maha o nga tauira pūtaiao pangarau. Heoi, ma te whakamahi i te papaa-waehere iti ka taea e koe te wawahi i tetahi algorithm matatini ki roto i te maha o nga mapi motuhake ka taea te panui. Ka mahia e ia mahere he mahi whaiti. Ko te mutunga, ka taea te patuiro takawaenga, te takiuru me te whakakitenga o nga wahanga whakareri raraunga.

I whakatauhia kia wehewehea te algorithm whakamana ki nga waahanga iti e whai ake nei:

• Te hanga whakamuri o nga hononga maataki whatunga pouaka whakaata i tetahi rohe me te maataki i nga whatunga katoa o te rohe mo nga ra 60.
• Te tataunga o nga toenga kua akona (he rereke o nga uara tuturu mai i nga mea i tohuhia e te tauira whakahekenga) mo nga tohu whakahekenga katoa me te ra tatau.
• He kowhiringa o nga takirua-a-rohe-whatunga rerekee, ko te toenga o nga akonga o te ra whakataunga ka nui ake i te tikanga (kua tohua e nga tautuhinga mahi).
• Te tatau i te toenga kua whakatikahia e te tauira mo nga takirua whatunga rohe-TV mo ia kaiurupare i maataki i te whatunga o te rohe, me te whakatau i te koha o tenei kaiurupare (te nui o te whakarereketanga o te toenga kua akona) ina whakakorehia te tirohanga o tenei kaiwhakautu mai i te tauira .
• Rapua nga kaitono e whakahoki mai ana te toenga o te ra utu ki te tikanga o te korenga.

Ko te tauira i runga ake nei e whakapumau ana i te whakapae he nui rawa te whakaaro o te miihini raraunga ... A, ki te mea he "kaihanga" tenei, ehara i te "coder," na te wehi o te whakahekenga ngaio i te wa e whakamahi ana i nga taputapu iti-waehere ia. me hoki whakamuri.

He aha atu ka taea e te waehere iti?

Ko te whānuitanga o te tono taputapu iti-waehere mo te tukatuka raraunga puranga me te rere me te kore e hiahia ki te tuhi a-ringa i te waehere ki Scala kaore e mutu i reira.

Ko te whakamahi i te waehere iti i roto i te whanaketanga o te datalake kua waiho hei paerewa mo tatou. Ka taea pea e maatau te kii ko nga otinga i runga i te taapu Hadoop e whai ana i te ara whanaketanga o nga DWH matarohia i runga i te RDBMS. Ka taea e nga taputapu waehere iti i runga i te taapu Hadoop te whakaoti i nga mahi tukatuka raraunga me te mahi ki te hanga hononga BI whakamutunga. I tua atu, me tohu ko BI te tikanga ehara i te mea ko te whakaatu i nga raraunga anake, engari ko ta raatau whakatika e nga kaiwhakamahi pakihi. He maha nga wa ka whakamahia e matou tenei mahi i te wa e hanga ana i nga papahanga tātari mo te waahanga putea.

I roto i etahi atu mea, ma te whakamahi i te iti-waehere, ina koa, Raraunga Raraunga, ka taea te whakaoti i te raru o te whai i te takenga mai o nga mea rerenga raraunga me te atomicity ki raro ki nga mara takitahi (whakapapa). Ki te mahi i tenei, ka whakatinanahia e te taputapu iti-waehere te atanga ki a Apache Atlas me Cloudera Navigator. Ko te tikanga, me rehita e te kaiwhakawhanake he huinga taonga ki nga papakupu Atlas me te tohutoro i nga mea kua rehitatia ina hanga mahere. Ko te tikanga mo te whai i te takenga mai o te raraunga, te tātari ranei i nga whakawhirinakitanga ahanoa ka whakaora i te wa e tika ana ki te whakapai ake i nga huringa tatauranga. Hei tauira, i te wa e whakarite ana i nga korero putea, ka taea e tenei waahanga te noho pai ake i te wa o nga huringa ture. I muri i nga mea katoa, ko te pai ake o to maatau mohio ki te ti'aturi i roto i nga ahuatanga o nga taonga o te paparanga taipitopito, ko te iti ake ka pa ki nga hapa "ohorere" me te whakaiti i te maha o nga mahi.

Kounga Raraunga & Waehere-iti

Ko tetahi atu mahi i whakatinanahia e te taputapu iti-waehere i runga i te kaupapa Mediascope ko te mahi karaehe Kounga Raraunga. Ko te ahuatanga o te whakatinanatanga o te paipa whakaū raraunga mo te kaupapa kamupene rangahau ko te kore o te paanga ki te mahi me te tere o te rerenga tatauranga raraunga matua. Kia taea ai e koe te whakarite i nga rerenga manatokonga raraunga motuhake, i whakamahia te Apache Airflow kua mohiohia. I te mea kua reri ia taahiraa o te hanga raraunga, i whakarewahia he wahanga motuhake o te paipa DQ i te whakarara.

Ka whakaarohia he mahi pai ki te aro turuki i te kounga o nga raraunga mai i te wa i timata ai i roto i te papahanga tātari. Ma te whai korero mo te metadata, ka taea e taatau te tirotiro i te tutukitanga o nga tikanga taketake mai i te wa ka uru nga korero ki te paparanga tuatahi - kaua e kore, herea, ki nga taviri ke. Ka whakatinanahia tenei taumahinga i runga i nga mahere hanga aunoa o te whanau kounga raraunga i Raraunga Raraunga. Ko te whakaputanga waehere i tenei keehi kei runga ano i te tauira metadata. I runga i te kaupapa Mediascope, i mahia te atanga me nga metadata o te hua Enterprise Architect.

Ma te hono i te taputapu waehere iti me te Kaihanga Kaihanga, i mahia aunoatia nga arowhai e whai ake nei:

• Te tirotiro mo te waahi o nga uara "null" i roto i nga mara me te whakarereke "kaore i te kore";
• Te tirotiro i te aroaro o nga taarua o te matua matua;
• Te arowhai i te taviri ke o tetahi hinonga;
• Te tirotiro i te ahurei o te aho i runga i te huinga o nga mara.

Mo nga arowhai uaua ake mo te waatea me te pono o nga raraunga, i hangaia he mapi me te Scala Expression, hei whakauru i tetahi waehere taki Spark SQL o waho kua whakaritea e nga kaitätari i Zeppelin.

Ko te tikanga, me tere haere te whakaputanga arowhai aunoa. I roto i te anga o te kaupapa kua whakaahuatia, i mua i tenei ko nga waahanga e whai ake nei:

• I whakatinanahia te DQ ki nga pukapuka Zeppelin;
• DQ hangaia ki te mahere;
• DQ i te ahua o nga mapi nui motuhake kei roto te huinga katoa o nga arowhai mo tetahi hinonga motuhake;
• Mahere DQ tawhā mo te ao e whakaae ana ki nga korero mo nga metadata me nga arowhai pakihi hei whakaurunga.

Tena pea ko te painga nui o te hanga i tetahi ratonga taki tawhā ko te whakahekenga o te waa ki te tuku mahi ki te taiao whakaputa. Ka taea e nga arowhai kounga hou te karo i te tauira matarohia o te tuku i nga waehere ma nga taiao whanaketanga me te whakamatautau:

• Ko nga arowhai metadata katoa ka hangaia aunoa ina whakarereketia te tauira i roto i te EA;
• Ko nga arowhai i te waatea o nga raraunga (te whakatau i te waahi o nga raraunga i tetahi wa) ka taea te hanga i runga i te raarangi e pupuri ana i te waa e tumanakohia ana mo te ahua o te waahanga raraunga e whai ake nei i roto i te horopaki o nga taonga;
• Ko nga arowhai whakamana raraunga pakihi ka hangaia e nga kaitätari i roto i nga pukapuka pukapuka Zeppelin. Mai i reira ka tukuna tika atu ki nga ripanga tatūnga kōwae DQ i te taiao whakaputa.

Karekau he morearea o te tuku tika i nga tuhinga tuhi ki te hanga. Ahakoa he hapa wetereo, ko te nui rawa e whakatuma ana i a tatou ko te kore e mahi i tetahi haki, na te mea kua wehe te rere o te tatauranga raraunga me te rere o te whakarewanga o te kounga.

Ko te tikanga, kei te whakahaere tonu te ratonga DQ i roto i te taiao whakangao me te rite ki te timata i ana mahi i te wa ka puta mai nga waahanga o muri.

Engari o te mutunga

Ko te painga o te whakamahi iti-waehere ka kitea. Kaore nga kaihanga e hiahia ki te whakawhanake i te tono mai i te wahanga. A ko te kaitakataka kua wetea mai i etahi atu mahi ka tere ake nga hua. Ko te tere, ka whakawāteahia he wa taapiri mo te whakatau i nga take arotautanga. Na reira, i tenei keehi, ka taea e koe te whakawhirinaki ki te otinga pai ake me te tere.

Ae ra, ko te iti-waehere ehara i te panacea, kaore hoki te makutu e puta i a ia ano:

• Ko te ahumahi iti-waehere kei te haere i roto i te waahi "ka kaha ake", kaore ano kia rite nga paerewa ahumahi;
• He maha nga otinga iti-waehere kaore i te kore utu, a, ko te hoko i aua mea he mahi mohio, me mahi ma te tino maia ki nga painga moni o te whakamahi;
• He maha nga rongoā iti-waehere kare e mahi pai me te GIT/SVN. Kaore ranei e pai ki te whakamahi mena ka hunahia te waehere i hangaia;
• A, no te whakawhänui i te hoahoanga, he mea tika ki te whakamahine i te otinga-iti-waehere - na te mea, ka whakapataritari i te paanga o te "whakapiri me te ti'aturi" ki te kaiwhakarato o te otinga-iti.
• Ka taea te taumata o te haumarutanga, engari he tino kaha te mahi me te uaua ki te whakatinana i nga miihini punaha iti-waehere. Ko nga papaahi-waehere iti me whiriwhiri ehara i te mea anake mo te rapu painga mai i ta raatau whakamahinga. I te wa e whiriwhiri ana, he mea tika ki te patai i nga paatai ​​​​mo te waatea o nga mahi mo te mana uru me te tuku / whakanui i nga raraunga tautuhi ki te taumata o te whenua IT katoa o te whakahaere.

Engari, ki te mohio koe ki nga hapa katoa o te punaha whiriwhiri, me nga painga o tana whakamahinga, ahakoa, kei roto i te nuinga o te nuinga, katahi ka neke atu ki te waehere iti me te kore wehi. I tua atu, ko te whakawhitinga ki a ia kaore e taea - pera me nga whanaketanga katoa kare e taea.

Mena ka tere ake te mahi a tetahi kaiwhakawhanake i runga i te papa-waehere iti ake i nga kaiwhakawhanake e rua kaore he tohu-iti, na tenei ka tiimata te kamupene ki nga ahuatanga katoa. Ko te paepae mo te urunga ki nga otinga-waehere iti he iti ake i nga hangarau "tuku iho", a he pai te painga o tenei ki te take o te kore o nga kaimahi. I te wa e whakamahi ana i nga taputapu iti-waehere, ka taea te tere ake te taunekeneke i waenga i nga roopu mahi me te whakatau tere mo te tika o te huarahi kua tohua mo te rangahau pūtaiao raraunga. Ka taea e nga papaapapa taumata-iti te akiaki i te huringa matihiko o tetahi whakahaere na te mea ko nga otinga ka taea te maarama e nga tohunga kore-hangarau (ina koa nga kaiwhakamahi pakihi).

Mena kei a koe nga wa kati, te arorau pakihi kua utaina, te kore o te tohungatanga hangarau, me tere to wa ki te maakete, na ko te waehere iti tetahi huarahi hei whakatutuki i o hiahia.

Kaore e taea te whakakore i te hiranga o nga taputapu whanaketanga tawhito, engari i roto i te maha o nga take, ko te whakamahi i nga rongoā iti-waehere te huarahi pai ki te whakanui ake i te kaha o nga mahi e whakaotihia ana.

Source: will.com