E ai ki , Ko te miihini raraunga i tenei wa he umanga kei te tere haere te hiahia ki era atu. He mea nui te mahi a te miihini raraunga i roto i tetahi whakahaere - te hanga me te pupuri i nga paipa me nga papaa raraunga e whakamahia ana ki te tukatuka, ki te huri me te penapena raraunga. He aha nga pukenga e hiahiatia ana e nga kanohi o tenei umanga i te tuatahi? He rereke te rarangi mai i nga mea e hiahiatia ana e nga kaiputaiao raraunga? Ka ako koe mo enei mea katoa mai i taku tuhinga.
I tātarihia e au nga waahi mo te tuunga o te miihini raraunga i te marama o Hanuere 2020 kia mohio ai ko nga pukenga hangarau e tino rongonui ana. Na ka whakatauritea e au nga hua ki nga tatauranga mo nga waahi mo te tuunga kaiputaiao raraunga - a ka puta etahi rereke rereke.
Kaore he korero nui, koinei nga hangarau tino tekau e whakahuahia ana i roto i nga tuku mahi:
Te whakahua i nga hangarau i roto i nga waahi mo te tuunga o te miihini raraunga i te 2020
Kia ata whakaarohia.
Ko nga kawenga a te miihini raraunga
I tenei ra, ko nga mahi e mahia ana e nga miihini raraunga he mea nui mo nga whakahaere - koinei nga tangata e whai mana ana ki te penapena korero me te kawe mai ki tetahi ahua ka taea e etahi atu kaimahi te mahi tahi. Ka hangaia e nga miihini Raraunga nga paipa ki te rere, ki te puranga raraunga mai i nga puna maha. Ko nga Pipelines ka mahi i nga mahi tangohanga, whakarereke, me te utaina (ara, nga tikanga ETL), kia pai ake ai nga raraunga mo te whakamahi ano. I muri i tenei, ka tukuna nga raraunga ki nga kaitätari me nga kaiputaiao raraunga mo te tukatuka hohonu. Ka mutu, ka mutu te haere o nga raraunga i roto i nga papatohu, nga purongo, me nga tauira ako miihini.
I rapu ahau mo nga korero e taea ai e au te whakatau he aha nga hangarau e tino hiahiatia ana i roto i nga mahi a te miihini raraunga i tenei wa.
Nga tikanga
I kohia e au nga korero mai i nga waahi rapu mahi e toru − , и me te titiro ki nga kupu matua i puta mai i te taha o te "kaiwhakamahi raraunga" i roto i nga tuhinga o nga waahi e whai ana ki nga kainoho o Amerika. Mo tenei mahi i whakamahia e ahau nga whare pukapuka Python e rua − и . I roto i nga kupu matua, i whakauruhia e ahau nga mea e rua i whakauruhia ki te rarangi o mua mo te tarai i nga waahi mo te tuunga o te kaiputaiao raraunga, me era i tohua e au i te wa e panui ana nga tuku mahi mo nga miihini raraunga. Kaore a LinkedIn i whakauruhia ki te rarangi o nga punawai, i te mea i aukatihia ahau ki reira i muri i taku nganatanga whakamutunga ki te kohikohi raraunga.
Mo ia kupu matua, i tatauhia e au te paheketanga o nga paahitanga mai i te tapeke o nga tuhinga i ia waahi, katahi ka tatauhia te toharite mo nga puna e toru.
Результаты
Kei raro nei nga kupu hangarau raraunga hangarau e toru tekau me nga kaute teitei puta noa i nga waahi mahi e toru.
Anei ano nga tau, engari ka whakaatuhia ki te ahua ripanga:
Me haere tatou i runga i te raupapa.
Te arotake i nga hua
Ko te SQL me te Python ka puta i roto i te neke atu i te rua hautoru o nga whakatuwheratanga mahi i arotakehia. Ko enei hangarau e rua e whai tikanga ana ki te ako i te tuatahi. he reo hötaka tino rongonui e whakamahia ana mo te mahi me nga raraunga, te hanga paetukutuku, me te tuhi tuhinga. e tu ana mo te Reo Uiui Hangaia; kei roto he paerewa kua whakatinanahia e te roopu reo ka whakamahia hei tiki raraunga mai i nga paaunga hononga. I puta mai i mua noa atu, kua kitea he tino atete.
Ka whakahuahia te korakora i roto i te haurua o nga tuunga. he "whakakotahi miihini tātari raraunga nui me nga waahanga whakauru mo te rere, SQL, ako miihini, me te tukatuka kauwhata." He tino rongonui i waenga i te hunga e mahi ana me nga papaa raraunga nui.
Ka puta te AWS ki te 45% o nga tuku mahi. He papa rorohiko kapua i hangaia e Amazon; kei a ia te waahanga nui rawa atu o te maakete i waenga i nga papaahi kapua katoa.
Ka haere mai a Java me Hadoop - neke atu i te 40% mo to raua tuakana. he reo korero whanui, kua whakamatauria te whawhai i whakawhiwhia ki te wahi whakatekau i roto i nga reo e whakapouri ana i waenga i nga kaiwhakaputa. Engari, ko Python te reo tuarua e tino arohaina ana. Ko te reo Java e whakahaeretia ana e Oracle, a ko nga mea katoa e hiahia ana koe ki te mohio mo tera ka maarama mai i tenei whakaahua o te wharangi whaimana mai i Hanuere 2020.
He rite ki te eke ki te miihini taima
ka whakamahi i te tauira hotaka MapReduce me nga tautau tūmau mo nga raraunga nui. Inaianei kei te whakarerea tenei tauira.
Na ka kite tatou i a Hive, Scala, Kafka me NoSQL - kua whakahuahia enei hangarau i roto i te hauwhā o nga waahi kua tukuna. Ko Apache Hive he raupaparorohiko putunga raraunga e "whakawari ana ki te panui, ki te tuhi, ki te whakahaere i nga huingararaunga nui e noho ana i nga toa tohatoha ma te whakamahi i te SQL." – he reo hötaka e kaha whakamahia ana ina mahi ana me nga raraunga nui. Ina koa, i hangaia a Spark i Scala. I roto i nga korero kua whakahuahia ake nei mo nga reo wehi, ko Scala te rarangi tekau ma tahi. – he turanga toha mo te tukatuka i nga karere roma. He tino rongonui hei huarahi whakawhiti raraunga.
he rereke ki a SQL. He rerekee i te mea he hononga-kore, he kore hanga, he tauinei whakapae. Kua tino rongonui a NoSQL, engari ko te hiahia mo te huarahi, tae noa ki te waahi o nga poropititanga ka whakakapihia a SQL hei tauira rokiroki tino nui, kua mutu.
Te whakatairite ki nga kupu i roto i nga tuunga kaiputaiao raraunga
Anei e toru tekau nga kupu hangarau e tino kitea ana i waenga i nga kaituku mahi putaiao raraunga. I whiwhi ahau i tenei rarangi ka rite ki te korero i runga ake mo te miihini raraunga.
Ko nga korero mo te hangarau i nga waahi mo te tuunga o te kaiputaiao raraunga i te 2020
Mena ka korero tatou mo te katoa o nga nama, ka whakatauritea ki te whakaurunga i whakaarohia i mua, he 28% te maha atu o nga waahi (12 ki te 013). Kia kite tatou ko nga hangarau he iti ake i nga waahi mo nga kaiputaiao raraunga i nga miihini raraunga.
He rongonui ake i roto i te hangarau raraunga
Ko te kauwhata i raro nei e whakaatu ana i nga kupu matua me te rereketanga toharite nui ake i te 10% iti iho ranei i te -10%.
Ko nga rereketanga nui rawa atu i te auau kupu matua i waenga i te miihini raraunga me te kaiputaiao raraunga
E whakaatu ana te AWS i te pikinga tino nui: i roto i te hangarau raraunga ka kitea e 25% te nui ake i nga wa o te aoiao raraunga (tata ki te 45% me te 20% o te tapeke o nga waahi waahi). Ka kitea te rereketanga!
Anei nga raraunga rite i roto i te whakaaturanga paku rereke - kei te kauwhata, ko nga hua mo te kupu matua kotahi i roto i nga waahi mo te tuunga o te miihini raraunga me te kaiputaiao raraunga kei te taha taha.
Ko nga rereketanga nui rawa atu i te auau kupu matua i waenga i te miihini raraunga me te kaiputaiao raraunga
Ko te peke nui i muri mai i kite ahau i roto i te Spark - he maha nga wa e mahi ana tetahi miihini raraunga me nga raraunga nui. i piki ake ano ma te 20%, ara, tata ki te wha nga wa ka whakaritea ki te hua mo nga tuunga kaiputaiao raraunga. Ko te whakawhiti raraunga tetahi o nga kawenga matua o te miihini raraunga. I te mutunga, ko te maha o nga whakahuatanga he 15% teitei ake i roto i te waahi o te hangarau raraunga mo Java, NoSQL, Redshift, SQL me Hadoop.
He iti ake te rongonui i roto i te hangarau raraunga
Inaianei kia tirohia ko nga hangarau he iti ake te rongonui i roto i nga tuunga miihini raraunga.
Ko te tino paheketanga ka whakatauritea ki te rängai pütaiao raraunga i puta i roto : i reira i puta ia i roto i te ahua 56% o nga waahi, i konei - i te 17% anake. Whakamīharo. Ko te reo R he reo hootaka e paingia ana e nga kaiputaiao me nga tohunga tatauranga, a ko te reo tuawaru e tino wehi ana i te ao.
ka kitea hoki i roto i nga waahi mo te tuunga o te miihini raraunga he iti rawa te waa - ko te rereketanga ko te 14%. Ko te SAS he reo rangatira i hangaia mo te mahi me nga tatauranga me nga raraunga. Te mea whakamere: ko te whakatau i nga hua , kua ngaro te whenua ina tata nei—nui atu i era atu hangarau.
I roto i te tono i roto i rua hangarau raraunga me te pūtaiao raraunga
Me tohu ko te waru o nga tuunga tuatahi tekau o nga huinga e rua he rite tonu. Ko te SQL, Python, Spark, AWS, Java, Hadoop, Hive me Scala i eke ki te tekau o runga mo te umanga raraunga me te ahumahi pūtaiao raraunga. I roto i te kauwhata i raro nei ka kite koe i nga hangarau rongonui tekau ma rima i waenga i nga kaituku mahi miihini raraunga, a kei te taha o raatau ko to raatau waahi mo nga kaiputaiao raraunga.
tūtohutanga
Mena kei te pirangi koe ki te whakauru ki nga mahi miihini raraunga, ka tohutohu atu ahau ki a koe kia mohio koe ki nga hangarau e whai ake nei - ka whakarārangihia e au i roto i te raupapa o te kaupapa matua tata.
Akohia te SQL. Kei te anga atu ahau ki te PostgreSQL na te mea he puna tuwhera, he tino rongonui i roto i te hapori, kei roto i te wahanga tipu. Ka taea e koe te ako me pehea te whakamahi i te reo mai i te pukapuka My Memorable SQL - kei te waatea tana putanga pairati .
Kaiwhakaako Python, ahakoa kaore i te taumata tino pakari. Ko taku Python Memorable he mea hanga motuhake mo te hunga timata. Ka taea te hoko mai i , kape hiko, kape tinana ranei, nau i pai ai, tango mai ranei ki te whakatakotoranga pdf, epub ranei .
Kia mohio koe ki te Python, neke atu ki nga pandas, he whare pukapuka Python e whakamahia ana mo te horoi me te tukatuka raraunga. Mena kei te whai koe ki te mahi i roto i tetahi kamupene e hiahia ana ki te tuhi ki te Python (a koinei te nuinga o ratou), ka tino mohio koe ko te mohio mo nga pandas ka riro ma te taunoa. Kei te whakaoti ahau i tetahi aratohu whakataki mo te mahi me nga pandas - ka taea e koe kia kore ai e ngaro te wa tuku.
Kaiwhakaako AWS. Mena kei te hiahia koe ki te noho hei miihini raraunga, kaore e taea e koe te mahi me te kore he papaa kapua i roto i te waahi, a ko AWS te mea tino rongonui. I tino awhina nga akoranga i ahau i ahau e ako ana , Ki taku whakaaro ka pai ano a raatau rauemi mo AWS.
Mena kua oti ia koe tenei rarangi katoa me te hiahia kia tipu ake i nga kanohi o nga kaituku mahi hei miihini raraunga, ka whakaaro ahau ki te taapiri i a Apache Spark mo te mahi me nga raraunga nui. Ahakoa i kitea e taku rangahau mo nga tuunga kaiputaiao raraunga kua heke te paanga, i waenga i nga miihini raraunga ka kitea tonu i roto i nga waahi tuarua.
I te whakamutunga
Ko taku tumanako i kitea e koe tenei tirohanga o nga hangarau tino tono mo nga miihini raraunga e whai hua ana. Mena kei te whakaaro koe he pehea te ahua o nga mahi kaitātari, panui . Ka hari te mahi miihini!
Source: will.com