Kia ora koutou katoa, ko Alexander toku ingoa, he miihini Kounga Raraunga ahau e tirotiro ana i nga raraunga mo tona kounga. Ka korero tenei tuhinga mo te pehea i tae mai ai ahau ki tenei me te aha i te tau 2020 ko tenei waahanga whakamatautau kei runga i te ngaru o te ngaru.
Te ia o te ao
Ko te ao o tenei ra kei te kite i tetahi atu huringa hangarau, ko tetahi ahuatanga ko te whakamahi i nga raraunga kua kohia e nga momo kamupene katoa ki te whakatairanga i o raatau ake hoko, hua me te PR. Te ahua nei ko te noho mai o nga raraunga pai (kounga), tae atu ki nga roro mohio ka whai moni mai i a ia (he tika te tukatuka, te whakaata, te hanga tauira ako miihini, me etahi atu), kua waiho hei matua mo te angitu mo te tini o enei ra. Mena 15-20 tau ki muri ko nga kamupene nui te nuinga i uru ki nga mahi kaha me te kohi raraunga me te monetization, i tenei ra koinei te nuinga o nga tangata mohio katoa.
I runga i tenei kaupapa, i etahi tau ki muri, ka tiimata nga waahi katoa kua whakatapua ki te rapu mahi huri noa i te ao ki te whakakii i nga waahi mo nga Kairangataiao Raraunga, na te mea i tino mohio nga tangata katoa, na te utu i taua tohungatanga, ka taea te hanga i tetahi tauira o te ako miihini. , matapae te heke mai me te mahi i te "peke nui" mo te kamupene. I te wa o te wa, ka mohio nga tangata ko tenei huarahi kaore e mahi i nga waahi katoa, na te mea kaore nga raraunga katoa ka taka ki nga ringa o enei tohunga e tika ana mo nga tauira whakangungu.
Na ka timata nga tono a nga Kairangataiao Raraunga: "Me hoko atu nga raraunga mai i enei me era ...", "Kaore i te nui nga raraunga...", "Kei te hiahia etahi atu raraunga, he pai ake te kounga teitei..." . I runga i enei tono, he maha nga taunekeneke i timata ki te hanga i waenga i nga kamupene kei a raatau tetahi waahanga raraunga ranei. Ko te tikanga, ko tenei i hiahiatia te whakahaere hangarau o tenei mahi - te hono ki te puna raraunga, te tango, te tirotiro kua utaina ki te katoa, me etahi atu. I timata te maha o nga tukanga penei ki te tipu, a, i tenei ra he hiahia nui mo tetahi atu momo. tohunga - Kaihanga Kounga Raraunga - ko te hunga ka aro turuki i te rere o nga raraunga i roto i te punaha (nga raina paipa raraunga), te kounga o nga raraunga i te whakaurunga me te whakaputanga, me te whakatau whakatau mo to ratou rawaka, te tapatahi me etahi atu ahuatanga.
Ko te ahua mo nga miihini Kounga Raraunga i tae mai ki a matou mai i nga USA, i reira, i waenganui o te wa riri o te whakapaipai, kaore he tangata e rite ki te ngaro i te pakanga mo nga raraunga. Kei raro nei kua whakaratohia e au nga whakaahua mai i nga waahi rapu mahi rongonui e rua i te US: и — e whakaatu ana i nga raraunga mai i te Maehe 17, 2020 mo te maha o nga waahi kua tukuna ma te whakamahi i nga kupumatua: Kounga Raraunga me te Kaitaiao Raraunga.
Kairangataiao Raraunga - 21416 nga waahi
Kounga Raraunga - 41104 nga waahi
Kairangataiao Raraunga - 404 nga waahi
Kounga Raraunga - 2020 nga waahi
Ko te tikanga, kaore enei umanga e whakataetae ana tetahi ki tetahi. Ma nga whakaahua, i hiahia noa ahau ki te whakaatu i te ahuatanga o naianei i runga i te maakete mahi mo nga tono mo nga miihini Kounga Raraunga, he nui ake te hiahia inaianei i nga Kairangataiao Raraunga.
I te Hune 2019, EPAM, e whakautu ana i nga hiahia o te maakete IT hou, i wehea te Kounga Raraunga hei mahi motuhake. Ko nga miihini Kounga Raraunga, i roto i a raatau mahi o ia ra, ka whakahaere i nga raraunga, tirohia ana whanonga i roto i nga tikanga hou me nga punaha, te aro turuki i te whai kiko o nga raraunga, tona rawaka me te whai take. Na enei mea katoa, i roto i te tikanga mahi, he iti noa te wa e whakapaua ana e nga miihini Kounga Raraunga ki nga whakamatautau mahi puāwaitanga, Tuhinga ka whakawhirinaki nui tenei ki te kaupapa (ka hoatu e ahau he tauira i raro nei).
Ko nga kawenga a te miihini Kounga Raraunga ehara i te mea anake ki te arowhai a-ringa/aunoa mo nga "kore, tatau me nga moni" i roto i nga ripanga papaa raraunga, engari me tino mohio ki nga hiahia pakihi a te kaihoko, me te kaha ki te whakarereke i nga raraunga e waatea ana ki roto. nga korero pakihi whai hua.
Te Tikanga Kounga Raraunga
Kia pai ake ai te whakaaro ki te mahi a taua miihini, me whakaaro he aha te Kounga Raraunga kei roto i te ariā.
Kounga Raraunga — tetahi o nga wahanga o te Whakahaere Raraunga (he ao katoa ka waiho e matou hei ako maau ake) me te kawenga mo te tātari raraunga i runga i nga paearu e whai ake nei:
Ki taku whakaaro kaore he take ki te whakamaarama i ia tohu (i roto i te ariā e kiia ana ko "nga rahinga raraunga"), he pai te korero i roto i te pikitia. Engari ko te mahi whakamatautau kaore e kii i te kape i enei waahanga ki nga keehi whakamatautau me te tirotiro. I roto i te Kounga Raraunga, pera i etahi atu momo whakamatautau, ko te mea tika, ko te tuatahi, ki te hanga i runga i nga whakaritenga kounga raraunga kua whakaaehia me nga kaiuru kaupapa e whakatau ana i nga mahi pakihi.
I runga i te kaupapa Kounga Raraunga, ka taea e tetahi miihini te mahi rerekee: mai i te kaiwhakamatautau aunoa me te aro matawai o te kounga o te raraunga, ki te tangata e whakahaere ana i nga korero hohonu o nga raraunga e ai ki nga paearu o runga ake nei.
Ko te tino whakamaarama mo te Whakahaere Raraunga, Te Kounga Raraunga me nga tukanga e pa ana ki te korero i roto i te pukapuka e kiia nei "DAMA-DMBOK: Roopu Whakahaere Raraunga o te Matauranga: Putanga Tuarua". Ka tino taunaki ahau i tenei pukapuka hei whakataki mo tenei kaupapa (ka kitea e koe he hononga ki te mutunga o te tuhinga).
Taku hitori
I roto i te ahumahi IT, i piki ake ahau mai i te Kaiwhakamatau Teina i roto i nga kamupene hua ki te Kaitohu Kounga Raraunga Arahi i EPAM. I muri tata ki te rua tau o te mahi hei kaiwhakamatau, i tino whakapono ahau kua mahia e au nga momo whakamatautau katoa: te whakaheke, te mahi, te ahotea, te pumau, te haumarutanga, te UI, me etahi atu - me te whakamatau i te maha o nga taputapu whakamatautau, he i mahi i te wa ano i roto i nga reo whakamaoritanga e toru: Java, Scala, Python.
Ki te titiro whakamuri, kei te mohio ahau he aha i tino rerekee ai taku huinga pukenga—i uru ahau ki nga kaupapa e peia ana e te raraunga, nui me te iti. Koinei te mea i kawe mai ahau ki roto i te ao o nga taputapu maha me nga waahi mo te tipu.
Ki te maioha ki nga momo taputapu me nga whai waahi ki te whiwhi matauranga hou me nga pukenga, tirohia noa te pikitia i raro nei, e whakaatu ana i nga mea rongonui i te ao "Raraunga & AI".
Ko tenei momo whakaahua ka whakahiatohia ia tau e tetahi o nga kaipakihi rongonui rongonui a Matt Turck, i ahu mai i te whanaketanga rorohiko. I konei ki tana rangitaki me , i reira e mahi ana ia hei hoa.
I tino tere taku tipu ngaiotanga i te mea ko au anake te kaiwhakaatu mo te kaupapa, i te timatanga ranei o te kaupapa. I tenei wa ka whai kawenga koe mo te katoa o nga mahi whakamatautau, a kaore koe e whai waahi ki te hoki whakamuri, ko mua anake. I te tuatahi he whakamataku, engari inaianei ko nga painga katoa o taua whakamatautau ka tino kitea ki ahau:
- Ka timata koe ki te korero ki te roopu katoa kaore ano i mua, na te mea kaore he kaiwawao mo te whakawhitiwhiti korero: kaore te kaiwhakahaere whakamatautau me nga hoa whakamatautau.
- Ko te ruku ki roto i te kaupapa ka hohonu rawa atu, a kei a koe nga korero mo nga waahanga katoa, te whanui me nga korero.
- Kare nga kaiwhakawhanake e titiro ki a koe ko "te tangata mai i te whakamatautau kaore e mohio ki tana mahi," engari he rite tonu ki te whakaputa hua whakamiharo mo te roopu me ana whakamatautau aunoa me te tumanako ka puta nga pepeke i roto i tetahi waahanga motuhake o te hua.
- Ko te mutunga, he pai ake koe, he tohu ake, he nui ake te hiahia.
I te tipu haere o te kaupapa, i roto i te 100% o nga keehi ka noho ahau hei kaiawhina mo nga kaiwhakamatautau hou, ako ia ratou me te tuku i nga matauranga i akohia e au ano. I te wa ano, i runga i te kaupapa, kaore au i whiwhi i nga taumata teitei o nga tohunga whakamatautau motuka mai i te whakahaere me te hiahia ki te whakangungu i a raatau ki te miihini (mo te hunga e hiahia ana) ki te hanga taputapu ranei hei whakamahi i nga mahi o ia ra (taputapu). mo te whakaputa raraunga me te utaina ki roto i te punaha , he taputapu mo te mahi whakamatautau kawenga/whakamatautau pumau "tere", me etahi atu).
He tauira o te kaupapa motuhake
Ko te mea pouri, na te kore korero-kore, kaore e taea e au te korero taipitopito mo nga kaupapa i mahi ai ahau, engari ka hoatu e au etahi tauira o nga mahi angamaheni a te Kaihanga Kounga Raraunga mo tetahi o nga kaupapa.
Ko te tino kaupapa o te kaupapa ko te whakatinana i tetahi papa mo te whakarite raraunga mo te whakangungu i nga tauira ako miihini i runga ano. Ko te kaihoko he kamupene rongoa nui mai i te USA. Ko te tikanga he tautau , piki ki tauira, me te maha o nga ratonga moroiti me te kaupapa o te Open Source o EPAM - , he mea whakarite ki nga hiahia o tetahi kaihoko motuhake (inaianei kua whanau ano te kaupapa ki ). I whakaritea nga tukanga ETL ma te whakamahi me te neke raraunga mai pūnaha kiritaki i roto i Peere. I muri mai, he ahua Docker o te tauira ako miihini i horahia ki runga i te papaahi, i whakangungua mo nga raraunga hou, a, ma te whakamahi i te atanga REST API, i whakaputa matapae e pai ana ki te pakihi me te whakaoti rapanga motuhake.
Ki te titiro, he penei te ahua o nga mea katoa:
He maha nga whakamatautau mahi mo tenei kaupapa, me te tere o te whakawhanaketanga o nga ahuatanga me te hiahia ki te pupuri i te tere o te huringa tuku (e rua wiki nga sprint), me whakaaro tonu mo te whakamatautau aunoa i nga waahanga tino nui. te punaha. Ko te nuinga o te papaapapa-a-Kubernetes ake i hipokina e nga whakamatautau aunoa i whakauruhia ki roto + Python, engari he mea tika ki te tautoko me te whakawhānui i a raatau. I tua atu, mo te pai o te kaihoko, i hangaia he GUI hei whakahaere i nga tauira ako miihini kua tukuna ki te kohinga, me te kaha ki te tautuhi i te waahi me te waahi me whakawhitihia nga raraunga mo te whakangungu i nga tauira. Ko tenei taapiri nui i uru ki te whakawhānui ake i nga whakamatautau mahi aunoa, i mahia i te nuinga o nga waea REST API me te iti o nga whakamatautau UI mutunga-2-mutunga. Huri noa i te equator o tenei nekehanga katoa, i uru atu matou ki tetahi kaiwhakamatautau a-ringa i mahi tino pai ki te whakamatautau whakaaetanga o nga putanga hua me te korero ki te kaihoko mo te whakaaetanga o te tukunga e whai ake nei. I tua atu, na te taenga mai o tetahi tohunga hou, i taea e matou te tuhi i a maatau mahi me te taapiri i etahi arowhai a-ringa tino nui he uaua ki te mahi aunoa i tenei wa tonu.
Ka mutu, i muri i to maatau tutukitanga mai i te papanga me te taapiri GUI ki runga, ka tiimata matou ki te hanga i nga paipa ETL ma te whakamahi i nga Apache Airflow DAG. Ko te arowhai i te kounga raraunga aunoa i mahia ma te tuhi i nga DAG Airflow motuhake i tirotirohia nga raraunga i runga i nga hua o te mahi ETL. Hei waahanga o tenei kaupapa, i waimarie matou, a na te kaihoko i tuku te uru ki nga huinga raraunga ingoamuna i whakamatauhia e matou. I tirotirohia e matou te rarangi raraunga ma te raina mo te hanganga ki nga momo, te aroaro o nga raraunga pakaru, te tapeke o nga rekoata i mua me muri, te whakataurite o nga huringa i mahia e te tukanga ETL mo te whakahiato, te whakarereke i nga ingoa o te pou, me etahi atu mea. I tua atu, i whakatauhia enei arowhai ki nga puna raraunga rereke, hei tauira, hei taapiri atu ki a SalesForce, ki MySQL hoki.
Ko nga arowhai kounga o nga raraunga whakamutunga kua mahia i te taumata S3, i reira ka penapenahia, ka rite ki te whakamahi mo te whakangungu tauira ako miihini. Hei tiki raraunga mai i te konae CSV whakamutunga kei runga i te Peere S3 me te whakamana, i tuhia te waehere ma te whakamahi .
He whakaritenga ano mai i te kaihoko ki te penapena i tetahi waahanga o nga raraunga ki tetahi Peere S3 me tetahi waahanga ki tetahi atu. Me tuhi ano hoki tenei i etahi atu arowhai hei tirotiro i te pono o taua momo tohatoha.
He wheako whanui mai i etahi atu kaupapa
He tauira o te rarangi tino whanui o nga mahi a te miihini Kounga Raraunga:
- Whakaritehia nga raraunga whakamatautau (he muhu nui iti) ma te taputapu aunoa.
- Tukuna nga huinga raraunga kua rite ki te puna taketake ka tirohia kua reri mo te whakamahi.
- Whakarewahia nga tukanga ETL mo te tukatuka i te huinga raraunga mai i te rokiroki puna ki te rokiroki whakamutunga, takawaenga ranei ma te whakamahi i etahi huinga tautuhinga (mehemea ka taea, whakaritea nga tawhā whirihora mo te mahi ETL).
- Manatokohia nga raraunga i tukatukahia e te tukanga ETL mo tona kounga me te hanganga ture ki nga whakaritenga pakihi.
I te wa ano, ko te kaupapa matua o nga arowhai kia kaua noa i runga i te meka ko te rere o nga raraunga i roto i te punaha, i runga i te kaupapa, kua mahi, kua tae ki te mutunga (he waahanga o te whakamatautau mahi), engari ko te nuinga ki te tirotiro me te whakamana i nga raraunga. mo te whakatutuki i nga whakaritenga e tumanakohia ana, te tautuhi i nga kohihiko me etahi atu mea.
Utauta
Ko tetahi o nga tikanga mo te whakahaere raraunga penei ko te whakahaere i nga arowhai mekameka i ia waahanga o te tukatuka raraunga, ko te "mekameka raraunga" i roto i nga tuhinga - te whakahaere i nga raraunga mai i te puna ki te waahi o te whakamahinga whakamutunga. Ko enei momo arowhai ka mahia ma te tuhi i nga patai SQL. E marama ana ko nga patai penei kia mama noa me te tirotiro i nga waahanga o te kounga raraunga takitahi (metadata ripanga, raina tuwhera, NULL, Hapa i roto i te syntax - etahi atu huanga e hiahiatia ana hei tirotiro).
Mo te whakamatautau whakamuri, e whakamahi ana i nga huinga raraunga kua rite (kaore e taea te whakarereke, paku rereke), ka taea e te waehere whakamatautau aunoa te penapena i nga tauira kua rite mo te tirotiro i nga raraunga mo te whainga ki te kounga (whakaahuatanga o nga metadata ripanga e tumanakohia ana; rarangi tauira tauira ka taea kua tohua matapōkeretia i te wā o te whakamātautau, me ētahi atu).
Ano, i te wa o te whakamatautau, me tuhi koe i nga tukanga whakamatautau ETL ma te whakamahi i nga anga penei i te Apache Airflow, he taputapu momo kapua pouaka pango ranei , A pera tonu. Ko tenei ahuatanga ka akiakihia te miihini whakamatautau ki te ruku ia ia ki roto i nga tikanga whakahaere o nga taputapu o runga ake nei, me te pai ake te whakahaere i nga whakamatautau mahi (hei tauira, nga tikanga ETL kei runga i tetahi kaupapa) me te whakamahi hei tirotiro i nga raraunga. Ina koa, kua rite a Apache Airflow mo te mahi me nga papaa raraunga tātari rongonui, hei tauira . Ko te tauira tino taketake o tona whakamahinga kua oti te whakatakoto , no reira e kore ahau e tukurua.
I tua atu i nga otinga kua rite, kaore he tangata e aukati i a koe ki te whakatinana i o ake tikanga me o taputapu. Ehara tenei i te mea ka whai hua noa mo te kaupapa, engari mo te Raraunga Kounga Engineer ake ano, ma reira ka whakapai ake i ona ahuatanga hangarau me ana pukenga tohu.
Me pehea te mahi i runga i te tino kaupapa
Ko te ahua pai o nga wharangi whakamutunga mo te "mekameka raraunga", ETL me nga tirotiro katoa ko nga mahi e whai ake nei mai i tetahi o nga tino kaupapa:
I konei, he maha nga raraunga (maaori, kua whakaritea e matou) ka uru ki te whakaurunga "kore" o ta maatau punaha: he tika, he muhu, he konatunatua, me etahi atu, katahi ka tātarihia ka mutu ki roto i te rokiroki takawaenga, katahi ano ka pa ki etahi momo huringa. ka whakanohoia ki roto i te rokiroki whakamutunga, mai i tera, ka whakahaeretia te tātaritanga, te hanga i nga maakete raraunga me te rapu matauranga pakihi. I roto i taua punaha, me te kore e tirotirohia nga mahi o nga tikanga ETL, ka aro taatau ki te kounga o nga raraunga i mua i muri i muri i nga huringa, tae atu ki te putanga ki te tātaritanga.
Hei whakarapopototanga i runga ake nei, ahakoa nga waahi i mahi ai ahau, i nga waahi katoa i uru atu ahau ki nga kaupapa Raraunga e whakaatu ana i nga ahuatanga e whai ake nei:
- Ma te mahi aunoa ka taea e koe te whakamatautau i etahi keehi me te whakatutuki i tetahi huringa tuku e manakohia ana e te umanga.
- Ko te kaiwhakaatu mo taua kaupapa ko tetahi o nga mema tino whakaute o te roopu, na te mea he nui nga painga ki ia o nga kaiuru (te whakatere o te whakamatautau, nga raraunga pai mai i te Kairangataiao Raraunga, te tautuhi i nga hapa i nga waahanga tuatahi).
- Kare he aha mena ka mahi koe i runga i a koe ake taputapu, i roto ranei i nga kapua - ka tangohia nga rauemi katoa ki roto i te roopu penei i a Hortonworks, Cloudera, Mesos, Kubernetes, etc.
- Ka hangaia nga kaupapa i runga i te huarahi ratonga moroiti, ka tohatohahia, ka noho whakarara te nuinga o te rorohiko.
E hiahia ana ahau ki te kite i te wa e mahi ana i nga whakamatautau i roto i te mara o te Kounga Raraunga, ka huri tetahi tohunga whakamatautau i tana arotahi ngaio ki te waehere o te hua me nga taputapu e whakamahia ana.
Nga ahuatanga motuhake o te whakamatautau Kounga Raraunga
I tua atu, mo au ake, kua kitea e au nga mea e whai ake nei (Ka mahia e au he rahui he TINO whanui me te kaupapa motuhake) nga ahuatanga motuhake o te whakamatautau i nga kaupapa Raraunga (Raraunga Raraunga) (nga punaha) me etahi atu waahanga:
hononga whaihua
- Tikanga: .
- EPAM
- Nga rauemi e taunaki ana mo te miihini kounga raraunga timatanga:
- Akoranga kore utu mo Stepik: .
- Akoranga mo LinkedIn Ako: .
- Tuhinga:
- ;
- ;
- ;
- Ataata:
- ;
- ;
mutunga
Kounga Raraunga he huarahi tino pai rawa atu, kia uru ki roto i te tikanga kia uru atu ki te timatanga. Kia tae ki te Kounga Raraunga, ka rukuhia koe ki te maha o nga hangarau hou, i roto i te tono, engari ko te mea nui, ka tuwhera nga huarahi nui ki a koe ki te whakaputa me te whakatinana i o whakaaro. Ka taea e koe te whakamahi i te huarahi whakapai tonu ehara i te kaupapa anake, engari mo koe ano, e whakawhanake tonu ana hei tohunga.
Source: will.com