Ko nga whakaaro me nga hui e pa ana ki etahi atu tukanga ka taea te mahi aunoa i roto i nga pakihi o ia ra. Engari i tua atu i te meka he nui te wa ka taea ki te hanga i tetahi tauira, me whakapau e koe ki te aromatawai me te tirotiro ko te hua kaore i te ohorere. I muri i te whakatinanatanga, me aro turuki tetahi tauira me te tirotiro i ia wa.
A koinei nga waahanga katoa e hiahia ana koe ki te haere i roto i tetahi kamupene, ahakoa te rahi. Mena kei te korero tatou mo te tauine me nga taonga tuku iho o Sberbank, ka piki ake te maha o nga whakatikatika pai. I te mutunga o te 2019, neke atu i te 2000 nga tauira kua whakamahia i Sberbank. Ehara i te nui noa ki te whakawhanake i tetahi tauira, he mea tika ki te whakauru ki nga punaha ahumahi, te whakawhanake i nga maakete raraunga mo te hanga tauira, me te whakarite i te mana whakahaere i runga i te roopu.
Kei te whanakehia e ta maatau roopu te kaupapa Sber.DS. Ka taea e koe te whakaoti rapanga ako miihini, te tere ake i te tukanga o te whakamatautau i nga whakapae, i roto i te kaupapa ka ngawari te tukanga o te whakawhanake me te whakamana i nga tauira, me te whakahaere hoki i te hua o te tauira i roto i te PROM.
Kia kore ai e whakapohehe i o tumanako, e hiahia ana ahau ki te kii i mua ko tenei pou he mea whakataki, a, i raro i te tapahi, mo te timatanga, ka korerohia mo te mea kei raro i te papa o te Sber.DS. Ka korerohia e matou nga korero mo te huringa ora o tetahi tauira mai i te hanganga ki te whakatinanatanga motuhake.
He maha nga waahanga a Sber.DS, ko nga mea nui ko te whare pukapuka, te punaha whanaketanga, me te punaha whakahaere tauira.
Ka whakahaerehia e te whare pukapuka te huringa ora o te tauira mai i te wa i puta mai ai te whakaaro ki te whakawhanake ki tona whakatinanatanga i roto i te PROM, te aroturuki me te whakakore. He maha nga ahuatanga o te whare pukapuka e tohuhia ana e nga ture a te kaiwhakahaere, hei tauira, te ripoata me te rokiroki o nga tauira whakangungu me te whakamana. Inaa, he rehita tenei o a tatou tauira katoa.
Ko te punaha whanaketanga he mea mo te whanaketanga ataata o nga tauira me nga tikanga whakamana. Ko nga tauira kua whakawhanakehia he whakamanatanga tuatahi, ka tukuna ki te punaha whakahaere hei mahi i a raatau mahi pakihi. Ano hoki, i roto i te punaha whakahaere, ka taea te whakanoho i te tauira ki runga i te kaitutei kia taea ai te whakarewa i nga tikanga whakamana hei whakahaere i tana mahi.
He maha nga momo node i roto i te punaha. Ko etahi i hangaia hei hono atu ki nga momo puna raraunga, etahi atu - hei whakarereke i te puna raraunga me te whakarangatira (tohu). He maha nga pona hei hanga i nga momo tauira me nga pona hei whakamana. Ka taea e te kaiwhakawhanake te uta i nga raraunga mai i nga punawai, te huri, te tātari, te tiro i nga raraunga takawaenga, ka wehea ki etahi waahanga.
Kei roto ano i te papaa nga waahanga kua oti te hanga ka taea te toia ki te waahi kaupapa. Ko nga mahi katoa ka mahia ma te whakamahi i te atanga tirohanga. Ko te tikanga, ka taea e koe te whakaoti i te raruraru kaore he rarangi waehere kotahi.
Mena kaore i te nui nga kaha o roto, ka tukuna e te punaha te kaha ki te hanga tere i o ake waahanga. Kua hangahia e matou he aratau whanaketanga whakauru i runga i mo te hunga e hanga ana i nga waahanga hou mai i te wahanga.
Ko te hoahoanga Sber.DS i hangaia i runga i nga ratonga miihini. He maha nga whakaaro mo te aha te microservices. Ko etahi e whakaaro ana he nui noa te wehewehe i te waehere monolithic ki etahi waahanga, engari ka haere tonu ratou ki te paparangi raraunga kotahi. Me korero to maatau ratonga moroiti ki tetahi atu ratonga moroiti ma te REST API anake. Karekau he huarahi mahi mo te uru tika ki te papaunga raraunga.
Ka ngana matou ki te pupuri i nga ratonga kia kaua e tino nui, kia puhoi: kia kotahi te tauira kaua e pau ake i te 4-8 gigabytes o te RAM me te kaha ki te whakatau whakapae i nga tono ma te whakarewa i nga tauira hou. Ka whakawhitiwhiti korero ia ratonga ki etahi atu ma te REST API anake (). Ko te kapa hei kawenga mo te ratonga me pupuri i te API ki muri kia hototahi tae noa ki te kaihoko whakamutunga e whakamahi ana.
Ko te kaupapa matua o te tono ka tuhia ki Java ma te whakamahi i te Anga Puna. Ko te otinga i hangaia i te tuatahi mo te tuku tere i roto i nga hanganga kapua, na reira ka hangaia te tono ma te whakamahi i te punaha whakauru (). Kei te tipu haere tonu te papaaho, i runga i te piki haere o nga mahi pakihi (honohono hou, AutoML kua taapirihia), me te pai o te hangarau.
Ko tetahi o nga "maramataka" o to maatau papaahi ka taea e taatau te whakahaere i te waehere kua whakawhanakehia i roto i te atanga ataata i runga i tetahi punaha whakahaere tauira Sberbank. Inaianei kua rua ano enei: tetahi kei Hadoop, tetahi kei OpenShift (Docker). E kore matou e mutu ki reira ka hanga i nga waahanga whakauru hei whakahaere waehere i runga i nga hanganga katoa, tae atu ki te waahi me te kapua. I runga i nga tikanga mo te whakaurunga whai hua ki roto i te puunaha rauwiringa kaiao Sberbank, kei te whakamahere ano matou ki te tautoko i nga mahi me nga taiao wa whakahaere. I te wa kei te heke mai, ka taea te whakauru ngawari te otinga "i waho o te pouaka" ki tetahi whenua o tetahi whakahaere.
Ko te hunga kua kaha ki te pupuri i tetahi otinga e whakahaere ana i te Python i runga i te Hadoop i PROM e mohio ana kaore e ranea ki te whakarite me te tuku i tetahi taiao python ritenga ki ia datanode. He maha nga whare pukapuka C / C ++ mo te ako miihini e whakamahi ana i nga waahanga Python e kore koe e okioki i runga i te rangimarie. Kaua e wareware ki te whakahou i nga kohinga ka taapirihia nga whare pukapuka hou, nga kaitoro ranei, me te pupuri i te hototahi whakamuri me te waehere tauira kua whakatinanahia.
He maha nga huarahi ki te mahi i tenei. Hei tauira, whakarite i nga whare pukapuka maha e whakamahia ana i mua, ka whakatinana i roto i te PROM. Ka whakamahia e Cloudera's Hadoop tohatoha . Inaianei ano kei Hadoop he waahi ki te oma - ipu. I etahi wa ngawari ka taea te tuku i te waehere me te kete .
Ka tino kaha te peeke ki te whakahaere i nga waehere tuatoru, na reira ka tino whai hua matou i nga ahuatanga hou o te kernel Linux, kei reira he mahinga i roto i te taiao taratahi. , ka taea e koe te aukati, hei tauira, te uru ki te whatunga me te kōpae o te rohe, ka tino whakaitihia te tupono o te waehere kino. Ko nga waahi raraunga o ia tari ka tiakina, ka waatea noa ki nga kaipupuri o aua raraunga. Ko te papaaapapa ka whakarite ko nga raraunga mai i tetahi rohe ka taea anake te uru ki tetahi atu rohe na roto i te tukanga whakaputa raraunga me te mana whakahaere i nga waahanga katoa mai i te uru atu ki nga puna ki te taunga raraunga ki te maakete whaainga.
I tenei tau ka whakamahere matou ki te whakaoti i te MVP o nga tauira rere i tuhia ki te Python/R/Java ki Hadoop. I whakatauhia e maatau te mahi whakahirahira ki te ako me pehea te whakahaere i tetahi taiao kaiwhakamahi i runga i te Hadoop, kia kore ai e whakatiki i nga kaiwhakamahi o to maatau papaaho ahakoa he aha.
I tua atu, he maha nga tohungatanga DS e tino pai ana ki te pangarau me te tatauranga, te hanga tauira hauhautanga, engari kaore i te tino mohio ki nga huringa raraunga nui, me te awhina a o maatau miihini raraunga ki te whakarite tauira whakangungu. I whakatau matou ki te awhina i o maatau hoa mahi me te hanga i nga waahanga ngawari mo te whakarereke me te whakarite i nga ahuatanga mo nga tauira i runga i te miihini Spark. Ma tenei ka nui ake te wa e whakatapua ki te whakawhanake tauira me te kore e tatari mo nga miihini raraunga ki te whakarite i tetahi huingararaunga hou.
He tangata whai matauranga ki nga waahi rereke: Linux me DevOps, Hadoop me Spark, Java me Spring, Scala me Akka, OpenShift me Kubernetes. A muri ake ka korero tatou mo te whare pukapuka o nga tauira, me pehea te haere o te tauira i roto i te huringa ora i roto i te kamupene, me pehea te whakamana me te whakatinanatanga.
Source: will.com