Kaihanga Raraunga me te Kairangataiao Raraunga: He aha te rereke?

He maha nga wa e rangirua ana nga mahi a te Kairangataiao Raraunga me te Kaihanga Raraunga. Kei ia kamupene ana ake korero mo te mahi me nga raraunga, nga kaupapa rereke mo o raatau tātaritanga me te whakaaro rereke mo tehea tohunga hei mahi mo tehea waahanga o te mahi, no reira kei a ia ano nga whakaritenga. 

Kia mohio tatou he aha te rereketanga o enei tohungatanga, he aha nga raruraru pakihi ka whakaotihia e ratou, he aha nga pukenga kei a ratou me te nui o te moni whiwhi. I kitea he nui nga korero, no reira ka wehewehea kia rua nga pukapuka.

I roto i te tuhinga tuatahi, ko Elena Gerasimova, te tumuaki o te kura "Pūtaiao Raraunga me te tātaritanga" i roto i te Netology, he korero he aha te rereketanga i waenga i te Kairangataiao Raraunga me te Kaihanga Raraunga me nga taputapu e mahi ana ratou.

He pehea te rereke o nga mahi a nga miihini me nga kaiputaiao

Ko te miihini raraunga he tohunga, i tetahi taha, ki te whakawhanake, ki te whakamatautau me te pupuri i nga hanganga raraunga: nga papaa raraunga, te rokiroki me nga punaha tukatuka papatipu. I tetahi atu taha, koinei te tangata e horoi ana me te "heru" nga raraunga hei whakamahi ma nga kaitätari me nga kaiputaiao raraunga, ara, ka hangaia he paipa tukatuka raraunga.

Hangaia e te Kairangataiao Raraunga me te whakangungu i nga tauira matapae (me etahi atu) ma te whakamahi i nga huringa ako miihini me nga whatunga neural, e awhina ana i nga pakihi ki te rapu tauira huna, ki te matapae i nga whanaketanga me te arotau i nga tikanga pakihi matua.

Ko te rereketanga nui i waenga i te Kaiputaiao Raraunga me te Kaihanga Raraunga ko te tikanga he rereke nga whaainga. Ka mahi nga mea e rua ki te whakarite kia waatea nga raraunga me te kounga teitei. Engari ka kitea e te Kairangataiao Raraunga nga whakautu ki ana patai me te whakamatautau i nga whakapae i roto i te rauwiringa kaiao raraunga (hei tauira, i runga i te Hadoop), a ka hangaia e tetahi Kaihanga Raraunga he paipa mo te mahi miihini ako miihini i tuhia e tetahi kaiputaiao raraunga i roto i te kahui Spark i roto ano. rauwiringa kaiao. 

Ka whai wariu te miihini raraunga ki tetahi pakihi ma te mahi hei waahanga o te roopu. Ko tana mahi ko te mahi hei hononga nui i waenga i nga kaiuru rereke: mai i nga kaiwhakawhanake ki nga kaihoko pakihi o te ripoata, me te whakanui ake i te hua o nga kaitätari, mai i te hokohoko me te hua ki te BI. 

Ko te Kaiputaiao Raraunga, engari, ka whai waahi kaha ki te rautaki a te kamupene me te tango i nga tirohanga, te whakatau whakatau, te whakatinana i nga huringa aunoa, te whakatauira me te whakaputa uara mai i nga raraunga.


Ko te mahi me nga raraunga kei raro i te kaupapa GIGO (parapara ki roto - paru ki waho): mena ka mahi nga kaitätari me nga kaiputaiao raraunga ki nga raraunga karekau i rite, karekau pea i te he, katahi ka he nga hua ahakoa te whakamahi i nga huringa tātaritanga tino matatau. 

Ka whakatauhia e nga miihini raraunga tenei raru ma te hanga paipa mo te tukatuka, te horoi me te whakarereke i nga raraunga me te tuku i nga kaiputaiao raraunga ki te mahi me nga raraunga kounga teitei. 

He maha nga taputapu kei runga i te maakete mo te mahi me nga raraunga e kapi ana i nga waahanga katoa: mai i te ahua o nga raraunga ki te whakaputa ki te papatohu mo te poari whakahaere. A ko te mea nui ko te whakatau ki te whakamahi i a raatau ma te miihini - ehara i te mea he huatau, engari na te mea ka tino awhina ia i nga mahi a etahi atu kaiuru i roto i te mahi. 

Ko te tikanga: ki te hiahia tetahi kamupene ki te hono i waenga i te BI me te ETL - te uta i nga raraunga me te whakahou i nga purongo, koinei te turanga tuku iho ma te Kaihanga Raraunga (he pai mena he hoahoa ano kei te roopu).

Nga kawenga a te Kaihanga Raraunga

• Te whakawhanaketanga, te hanga me te tiaki i nga hanganga tukatuka raraunga.
• Te whakahaere hapa me te hanga paipa tukatuka raraunga pono.
• Te kawe mai i nga raraunga kaore i hangaia mai i nga momo puna hihiri ki te ahua e tika ana mo nga mahi a nga kaitätari.
• Te whakarato taunakitanga hei whakapai ake i te riterite me te kounga o nga raraunga.
• Te whakarato me te pupuri i te hoahoanga raraunga e whakamahia ana e nga kaiputaiao raraunga me nga kaitätari raraunga.
• Tukatuka me te penapena raraunga i nga wa katoa me te whai hua i roto i te roopu tohatoha o nga tekau, rau ranei o nga tūmau.
• Aromātaihia te hokohoko hangarau o nga taputapu ki te hanga hoahoanga ngawari engari pakari ka ora i te raruraru.
• Te whakahaere me te tautoko i nga rerenga raraunga me nga punaha e pa ana (te whakarite i te aroturuki me te matohi).

He tohungatanga ano kei roto i te arataki Raraunga Engineer - miihini ML. Hei poto, he tohunga enei miihini ki te kawe mai i nga tauira ako miihini ki te whakatinanatanga me te whakamahi ahumahi. I te nuinga o nga wa, ko tetahi tauira i whakawhiwhia mai i tetahi kaiputaiao raraunga he waahanga o te rangahau, a ka kore pea e mahi i roto i nga ahuatanga whawhai.

Nga kawenga a te Kairangataiao Raraunga

• Te tango i nga ahuatanga mai i nga raraunga hei whakamahi i nga miihini ako miihini.
• Te whakamahi i nga momo taputapu ako miihini ki te matapae me te whakarōpū tauira i roto i nga raraunga.
• Te whakapai ake i te mahi me te tika o nga miihini ako miihini ma te whakatikatika me te arotau i nga algorithms.
• Te hanga i nga whakapae "kaha" i runga i te rautaki a te kamupene e tika ana kia whakamatauria.

Ko te Kaihanga Raraunga me te Kaiputaiao Raraunga e tohatoha ana ki te whakawhanaketanga o te ahurea raraunga, e taea ai e te kamupene te whakaputa hua taapiri, te whakaheke utu ranei.

He aha nga reo me nga taputapu e mahi ana nga miihini me nga kaiputaiao?

I tenei ra, kua rereke nga tumanako mo nga kaiputaiao raraunga. I mua, i kohia e nga miihini nga paatai ​​SQL nui, i tuhia a MapReduce me te tukatuka raraunga ma te whakamahi i nga taputapu penei i te Informatica ETL, Pentaho ETL, Talend. 

I te tau 2020, kaore e taea e tetahi tohunga te mahi me te kore e mohio ki te Python me nga taputapu tatauranga hou (hei tauira, Airflow), te maarama ki nga tikanga o te mahi me nga papaa kapua (ma te whakamahi ki te penapena i runga i nga taputapu, me te tirotiro i nga kaupapa haumaru).

SAP, Oracle, MySQL, Redis he taputapu tawhito mo nga miihini raraunga i roto i nga kamupene nui. He pai, engari ko te utu o nga raihana he nui rawa atu ko te ako ki te mahi tahi me ratou ka whai tikanga noa i roto i nga kaupapa ahumahi. I te wa ano, he rereke noa i te ahua o Postgres - he kore utu me te pai mo te whakangungu anake. 

I nga wa o mua, ka kitea nga tono mo Java me Scala, ahakoa i te wa e whanake ana nga hangarau me nga huarahi, ka memeha enei reo ki te papamuri.

Heoi, ko BigData pakeke: Hadoop, Spark me era atu o te zoo ehara i te mea e tika ana mo te miihini raraunga, engari he momo taputapu hei whakaoti rapanga e kore e taea e te ETL tuku iho. 

Ko te ahua ko nga ratonga mo te whakamahi i nga taputapu me te kore mohio ki te reo i tuhia ai (hei tauira, Hadoop me te kore mohio ki te Java), me te whakarato i nga ratonga kua rite mo te tukatuka i nga raraunga rerenga (te whakamohiotanga reo, te tohu whakaahua ranei i runga i te ataata. ).

Ko nga otinga ahumahi mai i te SAS me te SPSS he rongonui, ko te Ripanga, Rapidminer, Stata me Julia e whakamahia whanuitia ana e nga kaiputaiao raraunga mo nga mahi a-rohe.

Ko te kaha ki te hanga pipeline ake i puta ki nga kaitätari me nga kaiputaiao raraunga i nga tau e rua ki muri: hei tauira, kua taea kee te tuku raraunga ki te rokiroki-a-PostgreSQL ma te whakamahi i nga tuhinga ngawari. 

I te nuinga o te waa, ko te whakamahi i nga pipeline me nga hanganga raraunga whakauru ka noho tonu te kawenga a nga miihini raraunga. Engari i tenei ra, he kaha ake te ahua o nga tohunga ahua-T me nga pukenga whanui i roto i nga mara e pa ana, na te mea kei te ngawari tonu nga taputapu.

He aha te Kaihanga Raraunga me te Kaiputaiao Raraunga e mahi tahi ai

Ma te mahi tahi me nga miihini, ka taea e nga Kairangataiao Raraunga te aro ki te taha rangahau, ki te hanga i nga huringa miihini ako miihini kua rite.
A me arotahi nga miihini ki runga i te tauineine, te whakamahi ano i nga raraunga, me te whakarite kia u ki te hoahoanga o te ao te whakaurunga raraunga me nga raina whakaputa i ia kaupapa.

Ko tenei wehenga o nga kawenga ka whakarite kia rite ki nga roopu e mahi ana i nga kaupapa ako miihini rereke. 

Ka whai hua te mahi tahi ki te hanga hua hou. Ko te tere me te kounga ka tutuki ma te taurite i waenga i te hanga ratonga mo te katoa (te rokiroki o te ao me te whakauru o nga papatohu) me te whakatinana i ia hiahia motuhake, kaupapa ranei (paipa tino motuhake, hono atu i nga puna o waho). 

Ko te mahi tahi me nga kaiputaiao raraunga me nga kaitätari ka awhina i nga miihini ki te whakawhanake i nga pukenga tātari me te rangahau kia pai ake ai te tuhi waehere. Ko te tiritiri matauranga i waenga i nga kaiwhakamahi whare putunga me nga roto raraunga ka pai ake, ka kaha ake nga kaupapa me te whakaputa hua mo te wa roa.

I roto i nga kamupene e whai ana ki te whakawhanake i te ahurea o te mahi me nga raraunga me te hanga i nga tikanga pakihi i runga i a raatau, ko te Kairangataiao Raraunga me te Kaihanga Raraunga ka whakakiia tetahi ki tetahi me te hanga i tetahi punaha tātari raraunga katoa. 

I roto i te tuhinga e whai ake nei ka korero tatou mo te ahua o te maatauranga me whai i tetahi Kaihanga Raraunga me nga Kairangataiao Raraunga, he aha nga pukenga hei whakawhanake me pehea te mahi o te maakete.

Mai i nga kaiwhakatikatika o Netology

Mena kei te titiro koe ki te umanga o te Kaihanga Raraunga, Kairangataiao Raraunga ranei, ka tono koe kia ako koe i a maatau kaupapa akoranga:

• Mahi "Kaihanga Raraunga".  
• Mahi "Pūtaiao Raraunga".

Source: will.com