Kei te noho tatou i roto i te wa whakamiharo ka taea e koe te hono tere me te ngawari ki te hono atu i nga taputapu tuwhera-tuwhera kua rite, ka whakatauhia me to "whakamutua te mahara" kia rite ki nga tohutohu a stackoverflow, me te kore e uru ki nga "reta maha", ka whakarewahia. ratou ki te mahi arumoni. A, ki te hiahia koe ki te whakahou/whakawhanui, ki te whakaara ano ranei tetahi i etahi miihini e rua - ka mohio koe kua timata te ahua o te moemoea kino i roto i te mooni, kua tino uaua nga mea katoa kaore e mohiotia, kaore he hokinga ki muri, he maamaa te heke mai. me te haumaru ake, kaua ki te whakahoahoa, whakawhānau pi me te mahi tiihi.
Ehara i te mea ko nga hoa mahi mohio ake, me o ratou mahunga kua ruia e nga pepeke, no reira kua hina, e whakaaro ana ki te tino tere o te tukunga o nga kete "putea" i roto i nga "cubes" ki runga i te maha o nga kaitoro i roto i nga "reo huatau" me te tautoko i roto karekau i te aukati I/O, me te ataata ngawari. A ka wahangu tonu ratou ki te panui ano i te "man ps", ka uru ki roto i te "nginx" waehere puna tae noa ki te toto o o ratou kanohi, me te tuhi, te tuhi, te tuhi i nga whakamatautau wae. Kei te mohio nga hoa mahi ko te mea tino pai ka tae mai ka "katoa enei" i tetahi ra i te po i te Po o te Tau Hou. A ka awhinahia ratou e te maarama hohonu ki te ahua o te unix, te tepu ahua TCP/IP kua maumahara me nga algorithm rapu-rapu taketake. Hei whakaora i te punaha i te wa e pa ana nga tangi.
Ae, he iti noa te raruraru, engari ko taku tumanako ka taea e au te whakaatu i te ahua o te tumanako.
I tenei ra e hiahia ana ahau ki te whakapuaki i o maatau wheako ki te tuku i tetahi puranga watea me te utu mo DataLake, e whakaoti ana i te nuinga o nga mahi tātari i roto i te kamupene mo nga wehenga hanganga rereke.
I etahi wa kua pahure ake nei, ka mohio matou kei te hiahia nui nga kamupene ki nga hua o nga hua me nga tātaritanga hangarau (kaore i te whakahua i te huka i runga i te keke i te ahua o te ako miihini) me te mohio ki nga ahuatanga me nga tupono - me kohikohi me te tātari. nui noa atu nga inenga.
Te tātari hangarau taketake i roto i te Bitrix24
He maha nga tau ki muri, i te wa ano me te whakarewatanga o te ratonga Bitrix24, i whakapau kaha matou ki te wa me nga rauemi ki te hanga i tetahi papaaatari ngawari me te pono ka awhina i te kite tere i nga raru o te hanganga me te whakamahere i nga mahi ka whai ake. Ko te tikanga, he mea tika ki te tango i nga taputapu kua oti te hanga he maamaa me te maarama. Ko te mutunga, i whiriwhiria nga nagios mo te aro turuki me te munin mo te tātari me te tirohanga. Inaianei kei a matou nga mano tini o nga arowhai i roto i nga nagios, nga rau o nga tūtohi i te munin, a ka whakamahi angitu a maatau hoa mahi ia ra. He maamaa nga inenga, he maamaa nga kauwhata, he maha nga tau e mahi pono ana te punaha me nga whakamatautau me nga kauwhata hou ka taapirihia ki a ia: ka whakauruhia he ratonga hou, ka taapirihia e matou etahi whakamatautau me nga kauwhata. Waimarie.
Maihao i runga i te Pulse - Arotahi Hangarau Hangarau
Ko te hiahia ki te whiwhi korero mo nga raru "i te mea ka taea" i arahina matou ki nga whakamatautau kaha me nga taputapu maamaa me te mohio - pinba me xhprof.
I tukuna mai e Pinba he tatauranga ki a matou i roto i nga paatete UDP mo te tere o te mahi o nga waahanga o nga wharangi paetukutuku i roto i te PHP, a ka taea e matou te kite i te ipurangi i roto i te rokiroki MySQL (Ka tae mai a Pinba me tana ake miihini MySQL mo te tātari kaupapa tere) he rarangi poto o nga raru me te whakautu ki ratou. Na te xhprof i whakaae ki a maatau ki te kohi kauwhata mo te mahinga o nga wharangi PHP puhoi mai i nga kaihoko me te tātari i nga mea ka puta mai tenei - marie, ringihia te ti, tetahi atu mea kaha ake ranei.
I etahi wa kua pahure ake nei, i whakakiia te kete taputapu me tetahi atu miihini tino maamaa me te maarama i runga i te huringa tohu tohu whakamuri, i tino whakatinanahia i roto i te whare pukapuka rongonui a Lucene - Elastic/Kibana. Ko te whakaaro ngawari mo te rekoata maha-miro o nga tuhinga ki roto i te taupae Lucene hurihuri i runga i nga huihuinga i roto i nga raarangi me te rapu tere ma te whakamahi i te wehenga taha ka tino whai hua.
Ahakoa te ahua hangarau o nga tirohanga ki Kibana me nga ariā taumata-iti penei i te "peere" "e rere whakarunga" me te reo hou o te taurangi whanaungatanga kaore ano kia tino warewarehia, i timata te taputapu ki te awhina pai i a matou i roto i nga mahi e whai ake nei:
- E hia nga hapa PHP i mahia e te kiritaki Bitrix24 i runga i te tomokanga p1 i te haora kua hipa, ko wai hoki? Kia mohio, murua, kia tere te whakatika.
- E hia nga waea ataata i mahia i runga i nga tomokanga i Tiamana i roto i nga haora 24 o mua, he aha te kounga me nga raru o te hongere/whatunga?
- He pehea te pai o te mahinga o te punaha (to tatou toronga C mo te PHP), i whakahiato mai i te puna i roto i te whakahou ratonga hou ka tukuna atu ki nga kiritaki, ka mahi? He hapa motuhake?
- Ka uru nga raraunga kaihoko ki te mahara PHP? He hapa ranei mo te nui ake o te mahara kua tohaina ki nga tukanga: "kaore i te mahara"? Kimihia ka whakakore.
Anei he tauira raima. Ahakoa nga whakamatautau tino me te maha o nga taumata, ko te kaihoko, me te keehi tino kore-paerewa me nga raraunga whakauru kua pakaru, ka whiwhi i tetahi hapa hoha me te ohorere, ka tangi te tangi a ka timata te tukanga o te whakatika tere:
I tua atu, ka taea e kibana te whakarite i nga whakamohiotanga mo nga huihuinga kua tohua, a i roto i te wa poto ka timata te taputapu i roto i te kamupene ki te whakamahia e te tini o nga kaimahi mai i nga tari rereke - mai i te tautoko hangarau me te whanaketanga ki te QA.
Ko nga mahi o tetahi tari i roto i te kamupene kua watea ki te whai me te ine - hei utu mo te tātari a-ringa i nga raarangi i runga i nga kaitoro, me whakatu e koe nga poro poroporo kia kotahi, ka tuku atu ki te kahui rapa hei pai, hei tauira, te whakaaro ki te kibana papatohu te maha o nga punua upoko-rua i hokona i taia ki te kaituhi Ahu-3 mo te marama marama kua hipa.
Nga Tatari Pakihi Taketake
E mohio ana te katoa ko nga mahi tātari pakihi i roto i nga kamupene ka tiimata me te whakamahi tino kaha, ae, Excel. Engari ko te mea nui kaore e mutu i reira. Ka taapirihia e Google Analytics e ahu mai ana i te kapua he wahie ki te ahi - ka timata koe ki te waia ki nga mea pai.
I roto i ta maatau kamupene e whakawhanake ana, kei konei nga "poropiti" o nga mahi kaha ake me nga raraunga nui ake ka timata te puta. Ko te hiahia mo nga purongo hohonu me te maha o nga ahuatanga ka timata te puta i nga wa katoa, a na roto i nga mahi a nga taangata mai i nga tari rereke, i etahi wa i mua i whakaritea he otinga ngawari me te mahi - he huinga o ClickHouse me PowerBI.
Mo te wa roa, he nui te awhina o tenei otinga ngawari, engari ka timata te mohiotanga ko ClickHouse ehara i te rapa kaore e taea te tawai penei.
I konei he mea nui kia mohio pai ko ClickHouse, penei i a Druid, penei i a Vertica, penei i a Amazon RedShift (e ahu mai ana i runga i nga postgres), he miihini tātari kua arotauhia mo nga tātaritanga tino watea (nga moni, whakahiato, iti-mōrahi mā te tīwae me etahi hononga ka taea. ), na te mea kua whakaritea mo te rokiroki pai o nga pou o nga ripanga hononga, kaore i rite ki a MySQL me etahi atu papaaarangi (whakaaro-haurangi) e mohiotia ana e matou.
Ko te tikanga, ko te ClickHouse he "papanga raraunga" ake ake, me te kore e tino watea ki te whakauru i nga tohu-a-ira (koinei te tikanga, he pai nga mea katoa), engari he pai nga tātaritanga me te huinga o nga mahi kaha mo te mahi me nga raraunga. Ae, ka taea e koe te hanga kapoi - engari kei te mohio koe kaore i te tino tika te patu i nga whao me te karu karu ka timata matou ki te rapu i etahi atu otinga.
Te tono mo te python me nga kaitirotiro
He maha nga kaiwhakawhanake a taatau kamupene e tuhi ana i nga waehere tata i ia ra mo te 10-20 tau i roto i te PHP, JavaScript, C#, C/C++, Java, Go, Rust, Python, Bash. He maha ano hoki nga kaiwhakahaere punaha mohio kua pa ki nga aitua nui atu i te kotahi kaore e uru ki nga ture o te tatauranga (hei tauira, ka ngaro te nuinga o nga kopae i roto i te raid-10 e te uira kaha). I roto i nga ahuatanga penei, mo te wa roa kaore i tino marama he aha te "kaitono python". He rite te Python ki te PHP, he iti te roa o te ingoa, he iti ake nga tohu o nga matū whakarereke hinengaro i roto i te waehere puna a te kaiwhakamaori. Heoi, i te maha o nga purongo wetewete i hangaia, ka timata nga kaiwhakawhanake mohio ki te mohio ki te hiranga o te whai waahi ki nga taputapu penei i te numpy, pandas, matplotlib, seaborn.
Ko te mahi whakatau, te nuinga, i takarohia e te ngoikore ohorere o nga kaimahi mai i te whakakotahitanga o nga kupu "regression logistic" me te whakaaturanga o te purongo whai hua mo nga raraunga nui ma te whakamahi, ae, ae, pyspark.
Ko Apache Spark, ko tana tauira mahi e pai ana te taurangi hononga, me ona kaha i puta te whakaaro ki nga kaiwhakawhanake kua waia ki a MySQL kua marama te hiahia ki te whakakaha i nga rarangi me nga kaititata mohio i te ra.
Ko etahi atu nganatanga a Apache Spark/Hadoop ki te tango me nga mea kaore i tino rite ki te tuhinga
Heoi, katahi ka marama he mea kaore i tino tika ki a Spark, he mea tika ranei kia pai ake te horoi i o ringaringa. Mēnā he mea hanga te tāpae Hadoop/MapReduce/Lucene e ngā kaihātaka tino mohio, ka kitea mena ka ata titiro koe ki te waehere puna i roto i te Java, i nga whakaaro ranei a Doug Cutting i Lucene, katahi ka tuhia a Spark ki te reo kehe Scala, ara. tino tautohetia mai i te tirohanga o te whaihua me te kore e whanake i tenei wa. Na te hekenga auau o nga tatauranga i runga i te kahui Spark na te mahi pohehe me te kore e tino marama me te tohatoha mahara mo te whakaiti i nga mahi (he maha nga taviri ka tae mai i te wa kotahi) kua hanga he kauruku huri noa i tetahi mea he waahi ki te tipu. I tua atu, i kaha ake te ahuatanga na te maha o nga tauranga tuwhera kee, nga konae rangitahi e tipu ana i nga waahi tino kore e maarama me te reinga o te ti'aturi o te ipu - na te mea i puta nga whakaaro o nga kaiwhakahaere o te punaha i mohiotia mai i te wa o te tamarikitanga: te mauahara kino (mehemea pea. me horoi o ratou ringa ki te hopi).
Ko te mutunga mai, kua "ora" matou i etahi kaupapa tātari-a-roto e kaha ana ki te whakamahi i a Apache Spark (tae atu ki te Spark Streaming, Spark SQL) me te punaha hauropi Hadoop (me etahi atu mea). Ahakoa te roa o te wa ka ako matou ki te whakarite me te aro turuki i "te mea" pai, a "ka" ka mutu te pakaru ohorere na te whakarereketanga o te ahua o nga raraunga me te koretake o te hashing RDD, te hiahia ki te tango i tetahi mea kua rite. , kua whakahoutia me te whakahaere i tetahi waahi o te kapua ka kaha ake, ka kaha ake. I tenei wa ka ngana matou ki te whakamahi i te huihuinga kapua kua rite a Amazon Ratonga Tukutuku - a, i muri mai, ka ngana ki te whakaoti rapanga ma te whakamahi. Ko te EMR te Apache Spark i whakaritea e Amazon me etahi atu rorohiko mai i te puunaha rauwiringa kaiao, penei i te hanga a Cloudera/Hortonworks.
Ko te rokiroki kōnae rapa mo te tātaritanga he hiahia tere
Ko te wheako o te "tunu" Hadoop/Spark me te weranga ki nga tini wahanga o te tinana kaore i maumau. Ko te hiahia ki te hanga i tetahi rokiroki konae kotahi, iti te utu me te pono ka taea e koe te aukati i nga ngoikoretanga o nga taputapu, ka taea hoki te penapena i nga konae i roto i nga whakatakotoranga rereke mai i nga punaha rereke me te hanga tauira pai me te wa-waahi mo nga purongo mai i enei raraunga ka piki haere. marama.
I hiahia ano ahau kia kore te whakahou i te rorohiko o tenei papaahi i huri hei moemoea mo te Tau Hou me te panui i nga tohu Java 20-wharangi me te tarai i nga raarangi taipitopito kiromita-roa o te kapoi ma te whakamahi i te Spark History Server me te karaihe whakanui whakamuri. I pirangi ahau ki te whai taputapu maamaa me te maamaa kaore e hiahiatia te ruku auau i raro i te kaapu mena ka mutu te tono a te kaiwhakawhanake MapReduce paerewa i te wa i ngaro ai te mahara o te kaimahi raraunga iti na te mea kaore i tino pai te whiriwhiri i te punaha whakawehenga raraunga.
He kaitono a Amazon S3 mo DataLake?
Ko te wheako ki a Hadoop/MapReduce i ako mai e hiahia ana matou ki te punaha konae, pono, me nga kaimahi whakahiato i runga ake, "ka tata" ki nga raraunga kia kore ai e peia nga raraunga i runga i te whatunga. Me kaha nga kaimahi ki te panui raraunga i roto i nga ahuatanga rereke, engari kaua e panui i nga korero e kore e tika ana me te kaha ki te penapena raraunga i mua i nga whakatakotoranga e waatea ana mo nga kaimahi.
Ano, ko te whakaaro taketake. Karekau he hiahia ki te "ringihia" nga raraunga nui ki roto i te miihini tātari kapoi kotahi, ka tere ka koowaotia e koe, ka pakaru koe. Kei te pirangi au ki te penapena i nga konae, ko nga konae noa, i roto i te whakatakotoranga maamaa me te mahi i nga patai tātari whai hua ki runga i a raatau ma te whakamahi i nga taputapu rereke engari e marama ana. A ka nui noa atu nga konae kei roto i nga ahuatanga rereke. A he pai ake te tarai i te miihini, engari ko nga raraunga puna. Kei te hiahia matou ki te Raraunga Raraunga whanui me te ao katoa, i whakatau matou...
He aha mena ka rokiroki koe i nga konae ki roto i te rokiroki kapua tauineine rongonui me te rongonui a Amazon S3, me te kore e whakarite i a koe ake tapatapahi mai i Hadoop?
E marama ana he "iti" nga raraunga whaiaro, engari me pehea etahi atu raraunga mena ka tangohia e tatou ki waho ka "peia tika"?
Cluster-bigdata-analytics rauwiringa kaiao o Amazon Ratonga Tukutuku - i roto i nga kupu tino ngawari
Ma te whakatau i o maatau wheako me AWS, kua roa te whakamahi a Apache Hadoop/MapReduce ki reira i raro i nga momo ranu, hei tauira i roto i te ratonga DataPipeline (Ka hae ahau ki aku hoa mahi, i ako ratou ki te whakarite tika). I konei ka whakaturia e matou he taapiri mai i nga ratonga rereke mai i nga ripanga DynamoDB:
A he maha nga tau e rere ana ratou i runga i nga tautau Hadoop/MapReduce penei i te mahi karaka. “Whakaturia ka warewaretia”:
Ka taea hoki e koe te whai waahi ki te satanism raraunga ma te whakatuu i nga rorohiko a Jupiter ki te kapua mo nga kaitätari me te whakamahi i te ratonga AWS SageMaker ki te whakangungu me te tuku tauira AI ki te pakanga. Anei te ahua mo tatou:
Ae, ka taea e koe te tiki i tetahi pona maau, he kaitirotiro ranei i roto i te kapua ka whakapiri atu ki te kahui Hadoop/Spark, mahia nga tatauranga ka whao nga mea katoa ki raro:
He tino watea mo nga kaupapa tātari takitahi me etahi kua angitu taatau ki te whakamahi i te ratonga EMR mo nga tatauranga nui me te tātari. Me pehea te otinga punaha mo DataLake, ka mahi? I tenei wa kua tata matou ki te tumanako me te pouri, ka haere tonu te rapu.
AWS Glue - he pai te takai a Apache Spark ki runga steroids
I puta mai ko AWS tana ake putanga o te puranga "Hive / Pig / Spark". Ko te mahi a Hive, i.e. Ko te rarangi o nga konae me o raatau momo i roto i te DataLake ka mahia e te ratonga "Raraunga Raraunga", e kore e huna i tona hototahi ki te whakatakotoranga Apache Hive. Me taapiri koe i nga korero ki tenei ratonga mo te waahi kei hea o konae me te aha te whakatakotoranga. Ko nga raraunga kaore i te s3 anake, engari ano hoki i roto i te papaarangi, engari ehara tera i te kaupapa o tenei pou. Anei te whakatakotoranga o to maatau whaiaronga raraunga DataLake:
Kua rehitatia nga konae, pai. Mena kua whakahouhia nga konae, ka whakarewahia e matou nga ngoki a-ringa, i runga ranei i te waarangi, ka whakahou i nga korero mo ratou mai i te roto ka tiakina. Na ka taea te tukatuka i nga raraunga mai i te roto ka tukuna nga hua ki tetahi waahi. I roto i te take ngawari, ka tukuna ano e matou ki te s3. Ka taea te mahi tukatuka raraunga ki nga waahi katoa, engari ko te whakaaro kia whirihora koe i te tukatuka i runga i te huinga Apache Spark ma te whakamahi i nga kaha matatau ma te AWS Glue API. Inaa, ka taea e koe te tango i te waehere python tawhito me te mohio ma te whakamahi i te whare pukapuka pyspark me te whirihora i tana mahi ki runga i nga kohinga N o te kahui o etahi kaha me te aro turuki, me te kore e keri ki roto i te kopu o Hadoop me te toia nga ipu docker-moker me te whakakore i nga pakanga whakawhirinaki. .
Ano, he whakaaro ngawari. Kaore he hiahia ki te whirihora i te Apache Spark, me tuhi noa koe i te waehere python mo te pyspark, whakamatautauhia i te rohe i runga i to papamahi ka whakahaere i runga i te kahui nui i roto i te kapua, me te tohu kei hea te puna raraunga me te waahi ka waiho te hua. I etahi wa e tika ana, e whai hua ana hoki, me penei ta matou whakarite:
Na, ki te hiahia koe ki te tatau i tetahi mea i runga i te kahui Spark ma te whakamahi i nga raraunga i roto i te s3, ka tuhia e matou he waehere ki te python/pyspark, ka whakamatauhia, ka waimarie ki te kapua.
He aha te mahi whakahiato? Ka pehea mena ka hinga te mahi ka ngaro? Ae, e whakaarohia ana kia hanga he paipa ataahua i roto i te momo Apache Pig a ka whakamatauria e matou, engari mo tenei wa ka whakatau matou ki te whakamahi i a maatau whakahiatotanga hohonu i roto i te PHP me te JavaScript (E mohio ana ahau, kei reira te rereketanga o te hinengaro, engari he pai, mo tau me te kore he).
Ko te whakatakotoranga o nga konae kei roto i te roto te mea matua mo te mahi
He mea nui, he mea nui kia mohio ki etahi atu kaupapa matua e rua. Kia tere ai te mahi i nga patai mo nga raraunga konae kei roto i te roto, kia kore ai e heke te mahi ina taapirihia nga korero hou, me:
- Whakaorangia nga pou o nga konae wehe (kia kore koe e panui i nga rarangi katoa kia mohio ai koe he aha kei roto i nga pou). Mo tenei i tangohia e matou te whakatakotoranga parquet me te pupuhi
- He mea nui ki te wehewehe i nga konae ki roto i nga kōpaki penei: te reo, te tau, te marama, te ra, te wiki. Ko nga miihini e mohio ana ki tenei momo tiritiri ka titiro anake ki nga kōpaki e tika ana, me te kore e tarai i nga raraunga katoa i te rarangi.
Ko te tikanga, ma tenei huarahi, ka whakatakotohia e koe nga raraunga puna i roto i te ahua tino pai mo nga miihini tātari e whakairihia ana ki runga, ahakoa i roto i nga kopaki marumaru ka taea te whakauru me te panui i nga pou e tika ana mai i nga konae. Kaore koe e hiahia ki te "whakakii" i nga raraunga ki hea (ka pakaru noa te rokiroki) - katahi tonu ka uru ki roto i te punaha konae ki te whakatakotoranga tika. Ko te tikanga, me maarama i konei ko te penapena i tetahi konae csv nui ki DataLake, me panui i te rarangi ma te raina ma te roopu hei tango i nga pou, kaore i te tino pai. Whakaarohia nga waahanga e rua i runga ake nei mena kaore ano kia marama he aha enei mea katoa.
AWS Athena - te jack-in-the-box
Na, i te wa e hanga ana he roto, i tupono noa matou ki runga i a Amazon Athena. Ohorere ana ka puta mai ma te ata whakarite i a maatau konae raarangi nui ki roto i nga kopaki kopaki i roto i te whakatakotoranga pou (parquet) tika, ka taea e koe te kowhiringa tino korero mai i a raatau me te hanga purongo KORE, kaore he kahui Apache Spark/Glue.
Ko te miihini Athena e whakahaerea ana e nga raraunga i roto i te s3 e ahu mai ana i nga korero rongonui - he māngai o te whanau MPP (tukatuka whakarara nui) o nga huarahi ki te tukatuka raraunga, tango raraunga ki te waahi e takoto ana, mai i s3 me Hadoop ki Cassandra me nga konae tuhinga noa. Me tono noa koe ki a Athena kia mahia he patai SQL, katahi ka "hohoro me te aunoa te mahi." He mea nui kia mahara he "maamaa" a Athena, ka haere noa ki nga kōpaki e tika ana, ka panuihia nga pou e hiahiatia ana i roto i te tono.
He rawe hoki te utu mo nga tono ki a Athena. Ka utua e matou . Ko era. ehara mo te maha o nga miihini i roto i te kohinga ia meneti, engari ... mo nga raraunga i tino karapahia i runga i nga miihini 100-500, ko nga raraunga anake e tika ana hei whakaoti i te tono.
Na ma te tono noa i nga pou e tika ana mai i nga kopaki kua pakaru tika, ka puta ko te ratonga Athena he utu tekau taara ia marama. Ana, pai, tata kore utu, whakaritea ki te tātari i runga i nga tautau!
Ma te ara, me pehea e wehewehe ai o maatau raraunga ki te s3:
Ko te mutunga, i roto i te wa poto, nga tari rereke katoa i roto i te kamupene, mai i te haumarutanga korero ki te tātaritanga, ka tiimata ki te tono tono ki a Athena me te tere, i roto i nga hēkona, ka whiwhi whakautu whai hua mai i nga raraunga "nui" mo nga wa roa: marama, hawhe tau, etc P.
Engari i haere atu matou ka timata ki te haere ki te kapua mo nga whakautu : ka tuhia e te kaitätari he uiui SQL i roto i te papatohu mohio, i runga i nga miihini 100-500 "mo nga pene" ka tukuna nga raraunga ki te s3 me te whakahoki i te whakautu i te nuinga o te waa i roto i etahi hēkona. Te whakamarie. A tere. Kaore tonu au e whakapono.
Ko te mutunga mai, i te whakatau ki te penapena raraunga i roto i te s3, i roto i te whakatakotoranga pourangi pai me te tiritiri tika o nga raraunga ki roto i nga kōpaki... i whiwhi matou i te DataLake me te miihini tātari tere me te iti - mo te kore utu. Na ka tino rongonui ia i roto i te kamupene, na te mea ... e mohio ana ki te SQL me te mahi tere ake i nga ota nui atu i te tiimata / whakamutu / whakatu i nga tautau. "A mena he rite te hua, he aha te utu nui ake?"
He penei te ahua o te tono ki a Athena. Ki te hiahiatia, o te akoranga, ka taea e koe te hanga nui , engari ka whakawhäitihia e mätou ki te whakarōpūtanga ngawari. Kia kite tatou he aha nga waehere whakautu a te kiritaki i etahi wiki kua hipa i roto i nga raarangi tūmau tukutuku me te whakarite karekau he hapa:
kitenga
I muri i te haere, ehara i te kii he huarahi roa, engari he huarahi mamae, me te aromatawai tika i nga tupono me te taumata o te uaua me te utu o te tautoko, i kitea e matou he otinga mo DataLake me nga tātaritanga e kore e mutu te pai ki a matou me te tere me te utu o te mana rangatira.
I puta ko te hanga i tetahi DataLake whai hua, tere me te utu mo nga hiahia o nga tari rereke katoa o te kamupene kei roto i nga kaha o nga kaiwhakawhanake mohio kaore ano kia mahi hei kaihoahoa me te kore e mohio ki te tuhi tapawha ki nga tapawha. pere me te mohio ki nga kupu 50 mai i te rauwiringa kaiao Hadoop.
I te timatanga o te haerenga, i wehe taku mahunga mai i nga tini kararehe mohoao o te rorohiko tuwhera me te kati me te mohio ki te taumahatanga o te kawenga ki nga uri. Me timata noa ki te hanga i to DataLake mai i nga taputapu ngawari: nagios/munin -> elastic/kibana -> Hadoop/Spark/s3..., kohikohi urupare me te tino mohio ki te ahupūngao o nga tukanga e mahia ana. Nga mea uaua me nga mea pouri - hoatu ki nga hoariri me nga kaiwhakataetae.
Mena kaore koe e hiahia ki te haere ki te kapua me te pai ki te tautoko, ki te whakahou me te papaki i nga kaupapa tuwhera-puna, ka taea e koe te hanga i tetahi kaupapa e rite ana ki to tatou rohe, i runga i nga miihini tari utu iti me Hadoop me Presto ki runga. Ko te mea nui kia kaua e mutu me te anga whakamua, tatau, rapua nga otinga ngawari me te maamaa, ka tino pai nga mea katoa! Waimarie ki te katoa ka kite ano koe!
Source: will.com