Kia ora ano! Ko te taitara o te tuhinga e korero ana mo ia ano. I te tatari mo te timatanga o te akoranga E kii ana matou kia mohio koe ko wai nga miihini raraunga. He maha nga hononga whai hua i roto i te tuhinga. Kia hari te panui.
He aratohu ngawari me pehea te hopu i te ngaru Hangarau Raraunga me te kore e tuku kia toia koe ki te torere.
Te ahua nei kei te pirangi nga tangata katoa ki te noho hei Kairangataiao Raraunga i enei ra. Engari me pehea te Hangarau Raraunga? Ko te tikanga, he momo ranu tenei o te kaitätari raraunga me te kaiputaiao raraunga; Ko te miihini raraunga te kawenga mo te whakahaere rerenga mahi, te tukatuka paipa, me nga tikanga ETL. Na te hiranga o enei mahi, koinei tetahi atu korero rongonui rongonui e kaha haere ana.
Ko nga utu nui me te tono nui he waahanga iti noa iho te mea e tino ataahua ai tenei mahi! Mena kei te pirangi koe ki te uru atu ki nga rarangi toa, kaore i te wa roa ki te timata ki te ako. I roto i tenei pou, kua kohia e ahau nga korero katoa hei awhina i a koe ki te mahi i o mahi tuatahi.
Na, kia timata taatau!
He aha te Hangarau Raraunga?
Ma te pono, kaore he whakamarama pai ake i tenei:
“Ka kitea e te kaiputaiao he whetu hou, engari kaore e taea e ia te hanga. Me tono ia ki tetahi miihini ki te mahi i a ia."
–Gordon Lindsay Glegg
No reira, he mea tino nui te mahi a te miihini raraunga.
Ko te ingoa e kii ana, ko te hangarau raraunga e pa ana ki nga raraunga, ara ko te tuku, te rokiroki me te tukatuka. No reira, ko te mahi matua a nga miihini ko te whakarato i nga hanganga pono mo nga raraunga. Mena ka titiro tatou ki te hierarchy AI mo nga hiahia, ko te miihini raraunga kei roto i nga waahanga 2-3 tuatahi: kohinga, nekehanga me te rokiroki, te whakarite raraunga.
He aha te mahi a te miihini raraunga?
I te taenga mai o nga raraunga nui, kua tino rerekee te whānuitanga o te kawenga. Mena i mua i tuhia e enei tohunga nga paatai SQL nui me nga raraunga kua whakakorehia ma te whakamahi i nga taputapu penei i te Informatica ETL, Pentaho ETL, Talend, inaianei kua piki ake nga whakaritenga mo nga miihini raraunga.
Ko te nuinga o nga kamupene whai waahi tuwhera mo te tuunga o te miihini raraunga e whai ake nei nga whakaritenga:
- He tino mohio ki te SQL me te Python.
- He wheako ki nga papaahi kapua, ina koa nga Ratonga Tukutuku a Amazon.
- Ko te mohio ki te Java/Scala pai ake.
- He pai te mohio ki nga raraunga SQL me te NoSQL (te whakatauira raraunga, te putunga raraunga).
Kia maumahara, ko enei anake nga mea nui. Mai i tenei rarangi, ka taea te whakaaro ko nga miihini raraunga he tohunga ki te waahanga o te whanaketanga rorohiko me te tuara.
Hei tauira, ki te timata te kamupene ki te whakaputa i te nui o nga raraunga mai i nga momo puna, ko to mahi hei miihini raraunga ko te whakarite i te kohinga korero, i tana tukatuka me te rokiroki.
Ko te rarangi o nga taputapu e whakamahia ana i roto i tenei keehi ka rereke, ka whakawhirinaki katoa ki te nui o tenei raraunga, te tere o tana whiwhinga me te rerekee. Ko te nuinga o nga kamupene karekau e aro ki nga raraunga nui, na te mea he putunga putunga, e kiia nei ko te whare putunga raraunga, ka taea e koe te whakamahi i te paataka raraunga SQL (PostgreSQL, MySQL, me etahi atu) me te huinga iti o nga tuhinga e whangai ana i nga raraunga ki roto. te whare putunga.
Ko nga tangata nunui IT penei i a Google, Amazon, Facebook, Dropbox ranei he nui ake nga whakaritenga: te mohio ki te Python, Java, Scala ranei.
- He wheako me nga raraunga nui: Hadoop, Spark, Kafka.
- Te mohio ki nga algorithms me nga hanganga raraunga.
- Te maarama ki nga tikanga o nga punaha toha.
- Ko te wheako ki nga taputapu whakaata raraunga penei i a Tableau, ElasticSearch ranei ka pai ake.
Arā, he mārama te huri ki ngā raraunga nui, arā, i roto i tana tukatuka i raro i nga kawenga teitei. Ko enei kamupene kua piki ake nga whakaritenga mo te aukati i nga hapa o te punaha.
Engineers Raraunga vs. kaiputaiao raraunga
Kati, he whakataurite ngawari me te rorirori (kare he mea mo te tangata ake), engari he tino uaua ake.
Tuatahi, me mohio koe he nui te rangirua i roto i te whakatakotoranga o nga mahi me nga pukenga o te kaiputaiao raraunga me te miihini raraunga. Arā, ka taea e koe te pohehe mo nga pukenga e hiahiatia ana hei tohunga miihini raraunga angitu. Ko te tikanga, tera ano etahi pukenga e inaki ana ki nga mahi e rua. Engari he maha ano nga pukenga e whakahē ana.
He pakihi nui te pütaiao raraunga, engari kei te anga whakamua tatou ki te ao o te pütaiao raraunga mahi e taea ai e nga kaimahi te mahi i a raatau ake tātaritanga. Kia taea ai te paipa raraunga me nga hanganga raraunga whakauru, me hiahia koe ki nga miihini raraunga, kaua ki nga kaiputaiao raraunga.
He nui ake te hiahia o te miihini raraunga i te kaiputaiao raraunga?
- Ae, na te mea i mua i to mahi keke karoti, me mahi tuatahi koe ki te kohi, ki te tihorea me te penapena i nga karoti!
He pai ake te mohio o te kaitoi raraunga ki te hotaka i nga kaiputaiao raraunga, engari ka tae mai ki nga tatauranga, he pono.
Engari koinei te painga o te miihini raraunga:
Ki te kore ia, ko te uara o te tauira tauira, i te nuinga o te waa ko tetahi waahanga o te tohu kounga kino i roto i te konae Python, i riro mai i te kaiputaiao raraunga me te whakaputa hua, ka kore.
Ki te kore he miihini raraunga, e kore tenei waehere e waiho hei kaupapa, kaore hoki he raruraru pakihi e whakaoti tika. Kei te ngana te miihini raraunga ki te huri i enei mea katoa hei hua.
Ko nga korero taketake me mohio te miihini raraunga
Na, ki te puta mai te marama i roto i a koe e tenei mahi, ka ngakau nui koe - ka taea e koe te ako, ka taea e koe te mohio ki nga pukenga katoa e tika ana, ka noho hei whetu toka tuuturu i roto i nga mahi miihini raraunga. Ae, ka taea e koe te tango i tenei ahakoa kaore he pukenga hotaka me etahi atu matauranga hangarau. He uaua, engari ka taea!
He aha nga taahiraa tuatahi?
Me whai whakaaro nui koe mo te aha.
Tuatahi, ko te Hangarau Raraunga e pa ana ki te hangarau rorohiko. He mea nui ake, me mohio koe ki nga algorithms pai me nga hanganga raraunga. Tuarua, i te mea e mahi ana nga miihini raraunga me nga raraunga, he mea tika kia maarama ki nga maataapono o nga papaa raraunga me nga hanganga kei raro i a raatau.
Hei tauira, ko nga papaa raraunga SQL B-rakau tikanga i runga i te hanganga raraunga B-Tree, me, i roto i nga putunga tohatoha hou, LSM-Tree me etahi atu whakarereketanga o nga ripanga hash.
*Ko enei kaupae kei runga i te tuhinga pai . Na, ki te mohio koe ki te reo Russian, tautokohia tenei kaituhi me te panui .
1. Algorithms me nga hanganga raraunga
Ma te whakamahi i te hanganga raraunga tika ka tino pai ake te mahi o te algorithm. Ko te mea pai, me ako tatou katoa mo nga hanganga raraunga me nga algorithms i roto i o tatou kura, engari he iti rawa te korero. I tetahi take, kaore i te wa roa ki te mohio.
Na, koinei aku akoranga tino pai mo te ako i nga hanganga raraunga me nga algorithm:
Hei taapiri kaua e wareware ki nga mahi matarohia a Thomas Corman mo nga algorithms - . Koinei te tohutoro tino pai ina hiahia koe ki te whakahou i to mahara.
- Hei whakapai ake i o pukenga, whakamahia .
Ka taea hoki e koe te ruku ki te ao o nga papaa raraunga me nga ataata whakamiharo mai i te Whare Wananga o Carnegie Mellon i runga Youtube:
- .
- .
2. Ako SQL
Ko to tatou oranga katoa he raraunga. A, ki te tango i enei raraunga mai i te paataka korero, me "korero" koe i te reo kotahi ki a ia.
Ko te SQL (Structured Query Language) te reo korero i roto i te rohe raraunga. Ahakoa he aha te korero a tetahi, kua ora a SQL, kei te ora, ka ora mo te wa roa.
Mena kua roa koe i te whakawhanaketanga, kua kite pea koe ka puta ake nga korero mo te mate tata o SQL. I whakawhanakehia te reo i te timatanga o te tekau tau atu i 70, he tino rongonui tonu i waenga i nga kaitätari, kaiwhakawhanake me te hunga kaingākau noa.
Ki te kore e mohio ki te SQL karekau he mahi i roto i nga mahi miihini raraunga na te mea me hanga patai koe hei tiki raraunga. Ko nga whare putunga raraunga nui hou e tautoko ana i te SQL:
- Amazon RedShift
- HP Vertica
- Oracle
- Tūmau SQL
... me te tini ke atu.
Hei tātari i te paparanga nui o nga raraunga kei roto i nga punaha tohatoha penei i te HDFS, i hangaia nga miihini SQL: Apache Hive, Impala, me etahi atu. Tirohia, kaore e haere ki hea.
Me pehea te ako i te SQL? Me mahi noa i roto i te mahi.
Ki te mahi i tenei, ka tūtohu ahau ki te tirotiro i tetahi akoranga tino pai, na te mea, he kore utu, mai i .
He aha te mea motuhake o enei akoranga he taiao tauwhitiwhiti e taea ai e koe te tuhi me te whakahaere i nga patai SQL i to kaitirotiro. Rauemi e kore e hirahira. A ka taea e koe te whakamahi i tenei matauranga ki i roto i te waahanga Raraunga Raraunga.
3. Papatonotanga i roto i te Python me te Java/Scala
He aha koe e ako ai i te reo kaupapa Python, kua tuhia e au i roto i te tuhinga . Ka tae mai ki a Java me Scala, ko te nuinga o nga taputapu mo te penapena me te tukatuka i nga raraunga nui ka tuhia ki enei reo. Hei tauira:
- Apache Kafka (Scala)
- Hadoop, HDFS (Java)
- Apache Spark (Scala)
- Apache Cassandra (Java)
- HBase (Java)
- Apache Hive (Java)
Kia mohio koe ki te mahi o enei taputapu, me mohio koe ki nga reo e tuhia ana. Ko te huarahi mahi a Scala ka taea e koe te whakaoti rapanga tukatuka raraunga whakarara. Ko te Python, kaore e taea e ia te whakamanamana mo te tere me te tukatuka whakarara. I te nuinga o te waa, he pai te mohiotanga ki nga reo maha me nga tauira kaupapa mo te whanuitanga o nga huarahi ki te whakaoti rapanga.
Ki te ruku ki te reo Scala, ka taea e koe te panui mai i te kaituhi o te reo. I whakaputaina ano e Twitter he aratohu whakataki pai - .
Mo Python, e whakapono ana ahau pukapuka taumata waenganui pai.
4. Nga taputapu mo te mahi me nga raraunga nui
Anei te rarangi o nga taputapu rongonui i te ao o nga raraunga nui:
- Apache Spark
- Apache Kafka
- Apache Hadoop (HDFS, HBase, Hive)
- Apache cassandra
Ka kitea e koe etahi atu korero mo te hanga poraka raraunga nui i roto i tenei miiharo . Ko nga taputapu rongonui ko Spark me Kafka. He tino pai ki te ako, he mea tika kia maarama me pehea te mahi mai i roto. I whakaputaina e Jay Kreps (kaituhi tahi o Kafka) tetahi mahi whakahirahira i te tau 2013 Ma te ara, ko nga whakaaro matua mai i tenei Talmud i whakamahia hei hanga Apache Kafka.
- He whakataki ki Hadoop ka taea .
- Ko te aratohu tino whanui mo Apache Spark mo au ko - .
5. Kapua tüäpapa
Ko te mohiotanga mo te iti rawa o te papaahi kapua kei runga i te rarangi o nga whakaritenga taketake mo nga kaitono mo te tuunga o te miihini raraunga. He pai ake nga kaituku mahi ki nga Ratonga Tukutuku a Amazon, me te turanga kapua a Google i te waahi tuarua me Microsoft Azure e whakaawhiwhi ana i te tuatoru o runga.
Me tino mohio koe mo Amazon EC2, AWS Lambda, Amazon S3, DynamoDB.
6. Nga punaha toha
Ko te mahi me nga raraunga nui e tohu ana i te noho mai o nga tautau o nga rorohiko mahi takitahi, ko te whakawhitiwhiti korero i waenga i te mea ka whakahaerehia ma te whatunga. Ko te nui o te tautau, ka nui ake te tupono o te kore o ona pona mema. Hei kaiputaiao raraunga nui, me maarama koe ki nga raru me nga otinga o naianei mo nga punaha tohatoha. He tawhito, he uaua tenei waahi.
E kiia ana ko Andrew Tanenbaum he paionia mo tenei mara. Mo te hunga e kore e mataku ki te ariā, ka tūtohu ahau ki tana pukapuka , he ahua whakararuraru mo te hunga timata, engari ka tino awhina koe ki te whakakoi i o pukenga.
Ka whakaaro ahau pukapuka whakataki pai. Ma te ara, he mea whakamiharo a Martin . Ko ana mahi ka awhina i te punaha matauranga mo te hanga hanganga hou mo te rokiroki me te tukatuka raraunga nui.
Mo te hunga e pai ana ki te matakitaki ataata, he akoranga kei runga Youtube .
7. Raraunga paipa
Ko nga raina paipa raraunga he mea e kore e taea e koe te noho ki te kore he miihini raraunga.
Ko te nuinga o nga wa, ka hangaia e te miihini raraunga he pipeline raraunga e kiia nei, ara, ka hangaia e ia he tukanga mo te tuku raraunga mai i tetahi waahi ki tetahi atu. Ko enei pea he tuhinga ritenga ka haere ki te API o tetahi ratonga o waho, ki te hanga patai SQL ranei, ki te whakanui i nga raraunga, ka hoatu ki roto i te toa matua (whare putunga raraunga) he toa raraunga kore hanga ranei (nga roto raraunga).
Hei whakarapopototanga: te rarangi arowhai taketake mo te miihini raraunga
Hei whakarapopototanga, me maarama pai ki nga mea e whai ake nei:
- Pūnaha Pārongo;
- Te whakawhanaketanga rorohiko (Agile, DevOps, Hangarau Hoahoa, SOA);
- Ko nga punaha toha me nga hotaka whakarara;
- Kaupapa Raraunga Raraunga - Whakamahere, Hoahoa, Mahi me te Rapanga;
- Hoahoa o nga whakamatautau - Nga whakamatautau A/B ki te whakamatau i nga ariā, ki te whakatau i te pono, te mahinga o te punaha, me te whakawhanake i nga huarahi pono kia tere ai te tuku otinga pai.
He iti noa enei o nga whakaritenga kia noho hei miihini raraunga, no reira ako me te mohio ki nga punaha raraunga, nga punaha korero, te tuku tonu/te tuku/te whakaurunga, nga reo hootaka, me etahi atu kaupapa putaiao rorohiko (kaore i nga waahanga kaupapa katoa).
Ka mutu, ko te mea whakamutunga engari tino nui e hiahia ana ahau ki te korero.
Ko te huarahi ki te hanga Hangarau Raraunga ehara i te mea ngawari ki te ahua. Kaore ia e muru, ka pouri ia, a me rite koe mo tenei. Ko etahi wa o tenei haerenga ka akiaki koe ki te tuku. Engari he mahi tuturu tenei, he mahi ako.
Kaua rawa e koti huka mai i te timatanga. Ko te kaupapa katoa o te haere ko te ako i nga mea e taea ana me te noho rite mo nga wero hou.
Anei tetahi pikitia pai i kitea e au e whakaatu pai ana i tenei kaupapa:
Ae, kia mahara ki te karo i te wera me te okioki. He mea nui ano tenei. Waimarie!
He aha to whakaaro mo te tuhinga, e hoa ma? Ka tono matou ki a koe , ka tu i tenei ra i te 20.00. I roto i te webinar, ka matapakihia me pehea te hanga i tetahi punaha tukatuka raraunga whai hua me te tauineine mo te kamupene iti, whakaoho ranei i te utu iti. Hei mahi, ka mohio tatou ki nga taputapu tukatuka raraunga a Google Cloud. Ka kite koe!
Source: will.com