Kei te hiahia tatou i te roto raraunga? Me aha ki te whare putunga raraunga?

Ko tenei tuhinga he whakamaoritanga o taku tuhinga mo te reo - Me timata ki te Roto Raraunga, i puta mai he tino rongonui, na te ngawari pea. Na reira, i whakatau ahau ki te tuhi i roto i te reo Ruhia me te taapiri i tetahi mea iti kia marama ai ki te tangata noa ehara nei i te tohungatanga raraunga he aha te whare putunga raraunga (DW), he aha te roto raraunga (Data Lake), me pehea noho tahi.

He aha ahau i hiahia ai ki te tuhi mo te roto raraunga? Neke atu i te 10 tau ahau e mahi ana me nga raraunga me nga tātaritanga, a inaianei kei te mahi ahau me nga raraunga nui i Amazon Alexa AI i Cambridge, kei Boston, ahakoa kei te noho ahau ki Wikitoria i te Moutere o Vancouver me te toro haere ki Boston, Seattle. , e I Vancouver, e i te tahi mau taime i Moscou, te paraparau nei au i te mau amuiraa. Ka tuhi ano ahau i ia wa, engari ko te nuinga o taku tuhi ki te reo pakeha, kua oti kee au te tuhi etahi pukapuka, He hiahia ano ahau ki te tiri i nga tikanga tātaritanga mai i Amerika Te Taitokerau, a ka tuhi ahau i etahi wa telegram.

I mahi tonu ahau me nga whare putunga raraunga, a mai i te tau 2015 i timata ahau ki te mahi tata ki nga Ratonga Tukutuku a Amazon, me te nuinga o te wa ka huri ki te tātari kapua (AWS, Azure, GCP). Kua kite ahau i te whanaketanga o nga otinga tātaritanga mai i te tau 2007 me te mahi ano mo te kaihoko whare putunga raraunga Teradata me te whakatinana i te Sberbank, a i reira ka puta mai nga Raraunga Nui me Hadoop. I timata nga tangata katoa ki te kii kua pahemo te wa o te rokiroki a inaianei kei runga i a Hadoop nga mea katoa, katahi ka timata te korero mo te Raraunga Raraunga, ano, inaianei kua tae mai te mutunga o te whare putunga raraunga. Engari ko te waimarie (pea he kino mo etahi i nui te moni ki te whakatu Hadoop), kaore te whare putunga raraunga i haere.

I roto i tenei tuhinga ka titiro tatou he aha te roto raraunga. Ko te tikanga tenei tuhinga mo nga tangata he iti nei, he kore mohio ranei ki nga whare putunga raraunga.

Kei te pikitia ko Lake Bled, koinei tetahi o aku roto tino pai, ahakoa kotahi noa ahau i reira, ka maumahara ahau mo nga wa katoa o toku oranga. Engari ka korero tatou mo tetahi atu momo roto - he roto raraunga. He maha pea o koutou kua rongo ake mo tenei kupu neke atu i te kotahi, engari ko tetahi atu whakamaramatanga e kore e kino tetahi.

Tuatahi, koinei nga whakamaramatanga rongonui o te Roto Raraunga:

"he rokiroki konae mo nga momo raraunga mata katoa e waatea ana hei tātari ma tetahi o te whakahaere" - Martin Fowler.

"Ki te whakaaro koe he pounamu wai te maakete raraunga - kua purea, kua kohia me te kohi mo te kai pai, na ko te roto raraunga he puna wai nui ki tona ahua. E nga kaiwhakamahi, ka taea e au te kohi wai maku, te ruku hohonu, te torotoro haere” - James Dixon.

Inaianei kua tino mohio matou ko te roto raraunga e pa ana ki te tātaritanga, ka taea e matou te penapena i te nui o nga raraunga i roto i tona ahua taketake me te whai waahi tika me te waatea ki nga raraunga.

He pai ki ahau te whakangawari i nga mea, mena ka taea e au te whakamaarama i tetahi kupu uaua ki nga kupu ngawari, katahi ahau ka marama ki ahau ake te mahi me te aha e hiahiatia ana. I tetahi ra, kei te huri haere ahau i roto i te taiwhanga whakaahua iPhone, katahi ka marama mai ki ahau, he roto raraunga pono tenei, i hanga e ahau he kiriata mo nga huihuinga:

He tino ngawari nga mea katoa. Ka tangohia e matou he whakaahua i runga i te waea, ka tiakina te whakaahua i runga i te waea ka taea te penapena ki iCloud (te rokiroki konae kapua). Ka kohia ano e te waea nga metadata whakaahua: he aha e whakaatuhia ana, tohu tohu, wa. Ko te mutunga, ka taea e tatou te whakamahi i te atanga ratarata-kaiwhakamahi o te iPhone ki te kimi i to maatau whakaahua me te kite ano i nga tohu, hei tauira, ka rapu ahau mo nga whakaahua me te kupu ahi, ka kitea e au nga whakaahua e 3 me te ahua o te ahi. Ki ahau nei, he rite tonu tenei ki te taputapu Pakihi Pakihi e tino tere ana, e marama ana.

A ko te tikanga, kaua tatou e wareware ki te haumarutanga (whakamana me te motuhēhēnga), ki te kore ka ngawari noa o taatau raraunga ki te rohe whanui. He maha nga korero mo nga umanga nui me nga tiimata kua puta mai o raatau raraunga na te kore o nga kaihanga me te kore e whai i nga ture ngawari.

Ahakoa he pikitia ngawari penei ka awhina tatou ki te whakaaro he aha te roto raraunga, ona rereketanga mai i te whare putunga raraunga tuku iho me ona waahanga matua:

1. Uta Raraunga Ko (te whakauru) tetahi waahanga matua o te roto raraunga. Ka taea e nga raraunga te uru ki te whare putunga raraunga i roto i nga huarahi e rua - te puranga (ka utaina i nga waahi) me te rere (rerenga raraunga).
2. Te rokiroki kōnae Ko (Te Rokiroki) te waahanga matua o te Roto Raraunga. I hiahia matou ki te rokiroki kia ngawari te tauine, tino pono, me te utu iti. Hei tauira, i roto i te AWS ko S3.
3. Putumōhio me te Rapu (Catalog and Search) - kia karohia e tatou te repo Raraunga (koinei ka makahia nga raraunga katoa ki roto i te puranga kotahi, katahi ka kore e taea te mahi), me hanga he paparanga metadata hei whakarōpū i nga raraunga. kia ngawari ai nga kaiwhakamahi ki te rapu i nga raraunga, e hiahiatia ana hei tātari. I tua atu, ka taea e koe te whakamahi i etahi atu otinga rapu penei i te ElasticSearch. Ka awhina te Rapu ki te rapu i nga raraunga e hiahiatia ana ma te atanga ratarata-kaiwhakamahi.
4. Te tukatuka (Tukanga) - ko tenei taahiraa te kawenga mo te tukatuka me te whakarereke i nga raraunga. Ka taea e tatou te whakarereke i nga raraunga, te whakarereke i tona hanganga, te horoi, me te maha atu.
5. Haumarutanga (Haumarutanga) - He mea nui ki te whakapau wa mo te hoahoa haumarutanga o te otinga. Hei tauira, te whakamunatanga raraunga i te wa o te rokiroki, te tukatuka me te uta. He mea nui ki te whakamahi tikanga motuhēhēnga me te whakamanatanga. Ka mutu, ka hiahiatia he taputapu arotake.

Mai i te tirohanga whaitake, ka taea e tatou te tohu i te roto raraunga ma nga huanga e toru:

1. Kohikohia me te penapena i tetahi mea — kei roto i te roto raraunga nga raraunga katoa, nga raraunga karekau i tukatia mo nga wa katoa me nga raraunga tukatuka/horoia.
2. Matawai Hohonu — he roto raraunga ka taea e nga kaiwhakamahi te tuhura me te tātari raraunga.
3. Te urunga ngawari - Ko te roto raraunga e whakarato ana i te uru ngawari mo nga raraunga rereke me nga ahuatanga rereke.

Inaianei ka taea e taatau te korero mo te rereketanga o te whare putunga raraunga me te roto raraunga. Ko te tikanga ka patai nga tangata:

• Me pehea te whare putunga raraunga?
• Kei te whakakapi tatou i te whare putunga raraunga me te roto raraunga kei te whakawhanuihia ranei?
• Ka taea tonu te mahi me te kore he roto raraunga?

Hei poto, kaore he whakautu marama. Ka whakawhirinaki katoa ki te ahuatanga motuhake, nga pukenga o te roopu me te putea. Hei tauira, te heke i te whare putunga raraunga ki Oracle ki AWS me te hanga i tetahi roto raraunga na tetahi apiti Amazon - Woot - Ko ta matou korero roto raraunga: Me pehea te hanga a Woot.com i te roto raraunga kore-tumau i runga i te AWS.

I tetahi atu taha, ko te kaihoko a Snowflake e kii ana kaore koe e whakaaro mo te roto raraunga, na te mea ko ta raatau papaa raraunga (tae noa ki te 2020 he whare putunga raraunga) ka taea e koe te whakakotahi i te roto raraunga me te whare putunga raraunga. Kaore au i mahi nui ki te Snowflake, a he tino hua ahurei ka taea tenei. Ko te utu o te take he mea ke atu.

Hei whakamutunga, ko taku ake whakaaro me hiahia tonu tatou ki te whare putunga raraunga hei puna raraunga matua mo a tatou purongo, a ko nga mea e kore e pai ka rongoahia e tatou ki roto i te roto raraunga. Ko te mahi katoa o te wetewete he whakarato huarahi ngawari mo te pakihi ki te whakatau whakatau. Ahakoa he aha te korero a tetahi, he pai ake te mahi a nga kaipakihi me te whare putunga raraunga i te roto raraunga, hei tauira i Amazon - kei reira ko Redshift (whatunga raraunga tātari) kei reira ko Redshift Spectrum/Athena (atanga SQL mo te roto raraunga i S3 i runga Hive/Presto). Ka pa ano ki etahi atu whare putunga raraunga tātari hou.

Kia titiro tatou ki tetahi hoahoanga whare putunga raraunga angamaheni:

He otinga matarohia tenei. Kei a matou nga punaha puna, ma te whakamahi i te ETL/ELT ka kapehia e matou nga raraunga ki roto i te whare putunga raraunga tātari ka hono atu ki tetahi otinga Pakihi Pakihi (ko taku tino pai ko Tableau, me pehea koe?).

Kei tenei otinga nga ngoikoretanga e whai ake nei:

• Ko nga mahi ETL/ELT me whai wa me nga rauemi.
• Ko te tikanga, ko te mahara mo te penapena raraunga i roto i te whare putunga raraunga tātaritanga ehara i te mea iti (hei tauira, Redshift, BigQuery, Teradata), na te mea me hoko tatou i tetahi tautau katoa.
• Ka whai waahi nga kaiwhakamahi pakihi ki nga raraunga kua horoia, kua whakahiatohia, kaore hoki e uru ki nga raraunga mata.

Ko te tikanga, ka whakawhirinaki katoa ki to keehi. Ki te kore koe e raru ki to whare putunga raraunga, karekau koe e hiahia ki te roto raraunga. Engari ka puta mai nga raru me te kore o te waahi, te mana, te utu ranei he mahi nui, katahi ka taea e koe te whakaaro ki te kowhiringa o te roto raraunga. Koinei te take i tino rongonui ai te roto raraunga. Anei tetahi tauira o te hangahanga roto raraunga:

Ma te whakamahi i te huarahi o te roto raraunga, ka utaina e matou nga raraunga mata ki roto i ta matou roto raraunga (te puranga, te rere ranei), ka tukatukahia e matou nga raraunga ina hiahiatia. Ko te roto raraunga ka taea e nga kaipakihi pakihi te hanga i a raatau ake huringa raraunga (ETL/ELT) ranei te tātari raraunga i roto i nga otinga Pakihi Pakihi (mehemea kei te waatea te taraiwa e tika ana).

Ko te whainga o tetahi otinga tātaritanga ko te mahi ki nga kaiwhakamahi pakihi. Na reira, me mahi tonu tatou i runga i nga whakaritenga pakihi. (I Amazon koinei tetahi o nga kaupapa - mahi whakamuri).

Ma te mahi tahi me te whare putunga raraunga me te roto raraunga, ka taea e taatau te whakataurite i nga otinga e rua:

Ko te whakatau matua ka taea te tuhi ko te whare putunga raraunga kaore i te whakataetae ki te roto raraunga, engari ka whakakiia. Engari kei a koe te whakatau he aha te mea tika mo to keehi. He mea pai ki te whakamatau i a koe ano me te whakatau i nga whakatau tika.

Kei te pirangi ano ahau ki te korero ki a koe tetahi o nga keehi i timata ahau ki te whakamahi i te huarahi roto raraunga. He iti noa nga mea katoa, i whakamatau ahau ki te whakamahi i tetahi taputapu ELT (kei a matou a Matillion ETL) me Amazon Redshift, i mahi taku otinga, engari kaore i pai ki nga whakaritenga.

Me tango e au nga raarangi tukutuku, whakarereke me te whakahiato hei whakarato raraunga mo nga keehi e 2:

1. I hiahia te roopu hokohoko ki te tarai i nga mahi bot mo SEO
2. I hiahia a IT ki te titiro ki nga inenga mahinga paetukutuku

Tino ngawari, tino ngawari nga raarangi. Anei he tauira:

https 2018-07-02T22:23:00.186641Z app/my-loadbalancer/50dc6c495c0c9188 
192.168.131.39:2817 10.0.0.1:80 0.086 0.048 0.037 200 200 0 57 
"GET https://www.example.com:443/ HTTP/1.1" "curl/7.46.0" ECDHE-RSA-AES128-GCM-SHA256 TLSv1.2 
arn:aws:elasticloadbalancing:us-east-2:123456789012:targetgroup/my-targets/73e2d6bc24d8a067
"Root=1-58337281-1d84f3d73c47ec4e58577259" "www.example.com" "arn:aws:acm:us-east-2:123456789012:certificate/12345678-1234-1234-1234-123456789012"
1 2018-07-02T22:22:48.364000Z "authenticate,forward" "-" "-"

He 1-4 mekapaita te taumaha o tetahi konae.

Engari kotahi te uaua. E 7 a matou rohe huri noa i te ao, a 7000 mano nga konae i hangaia i te ra kotahi. Ehara i te mea nui ake te rōrahi, 50 kikipaita anake. Engari he iti ano te rahi o ta matou kahui Redshift (4 nodes). He meneti kotahi pea te utaina o tetahi konae i runga i te tikanga tuku iho. Arā, karekau te raruraru i whakatau i te upoko. A koinei te take i taku whakatau ki te whakamahi i te huarahi roto raraunga. He penei te ahua o te otinga:

He tino ngawari (e hiahia ana ahau ki te mohio ko te painga o te mahi i roto i te kapua ko te ngawari). I whakamahia e ahau:

• AWS Elastic Map Reduce (Hadoop) mo te Hiko Hiko
• AWS S3 hei rokiroki konae me te kaha ki te whakamuna raraunga me te whakaiti i te uru
• Spark hei mana rorohiko InMemory me PySpark mo te arorau me te huringa raraunga
• Parquet hei hua o Spark
• AWS Glue Crawler hei kaikohi metadata mo nga raraunga hou me nga wehewehenga
• Redshift Spectrum hei atanga SQL ki te roto raraunga mo nga kaiwhakamahi Redshift inaianei

Ko te kohinga EMR+Spark iti rawa i tukatuka i te puranga katoa o nga konae i roto i te 30 meneti. Ko etahi atu keehi mo te AWS, ina koa he maha nga mea e pa ana ki a Alexa, he nui nga raraunga.

No tata nei i ako ahau tetahi o nga ngoikoretanga o te roto raraunga ko GDPR. Ko te raruraru ko te wa e tono ana te kiritaki ki te whakakore me te raraunga kei roto i tetahi o nga konae, kaore e taea e matou te whakamahi i te Raraunga Raraunga Raraunga me te MORE mahi penei i roto i te putunga raraunga.

Ko taku tumanako kua whakamaramatia e tenei tuhinga te rereketanga o te whare putunga raraunga me te roto raraunga. Mena kei te pirangi koe, ka taea e au te whakamaori i etahi atu o aku tuhinga, tuhinga ranei a nga tohunga i panuihia e au. Me korero ano mo nga otinga e mahi ana ahau me o raatau hoahoanga.

Source: will.com