Mathoasong a December, ke ile ka etsa phoso e tebileng 'me ka fetola bophelo ba ka joaloka moqapi 'me ka fallela sehlopheng sa Data Engineering (DE) ka har'a k'hamphani. Sehloohong sena ke tla arolelana maikutlo ao ke a entseng nakong ea likhoeli tse peli tsa ho sebetsa sehlopheng sa DE.
Hobaneng ha Data Engineering?
Leeto la ka la ho ea DE le qalile lehlabuleng la 2019, ha re ha re eeng ho , ’me moo ke ile ka fumana tsebo. Ke ile ka qala ho thahasella sehlooho, ho ithuta li-algorithms esita le ka tsona , ebe o nahana ka boholo ba kopo mme o fumane kapele hore ts'ebeliso e sebetsang k'hamphaning ea rona e abuoa li-database.
Sehlopha sa rona se etsa eng hantle? Rona, joalo ka bashanyana le banana bohle ba fesheneng, re batla ho ba K'hamphani ea Data Driven. 'Me e le hore sena se khonehe, re hloka bonyane ho haha setsi sa polokelo se tšepahalang, se ka sebelisoang ho haha litlaleho leha e le life tseo k'hamphani e li hlokang. Empa ntho ea bohlokoa ka ho fetisisa ke hore data e polokelong ena e tlameha ho tšeptjoa. Ho feta moo, ho sebelisa lintlha tsena, u lokela ho khona ho tsosolosa boemo ba tsamaiso ka nako t. Sena sohle se rarahane ke taba ea hore re phela lefatšeng le lecha le sebete la li-microservices, 'me khopolo ena e fana ka maikutlo a hore tšebeletso e' ngoe le e 'ngoe e sebelisa ts'ebetso ea eona e nyane, database ea eona ke khoebo ea eona,' me e ka e hlakola bonyane letsatsi le leng le le leng. ka nako e tšoanang re tlameha ho fumana le ho sebetsana le boemo ba tšebeletso.
Haeba u batla ho ba Data Driven, qala ka ho ba Event Driven
Ha ho bonolo hakaalo. Liketsahalo li fapane, 'me moqapi le moenjiniere oa data ba li sheba ka tsela e fapaneng. Ho bua ka liketsahalo ke sehlooho sa sengoloa se arohaneng, kahoo nke ke ka kena ho sona mona. Ho phaella moo, sehlooho se joalo se se se ntse se le teng Martin Fowler ya itseng, nke ke ka mo amoha bokgabane, le yena a tuma.
Ka kakaretso, ho na le lintho tse ngata tseo u ka nahanang ka tsona 'me ke kahoo sebaka sena se khahlehang. Hoa etsahala hore k'hamphaning ea rona, Moenjiniere oa Lintlha ke sebaka se pharalletseng sa boikarabello ho feta motho ea ngolang liphaephe tsa ETL/ELT (haeba o sa tsebe hore na likhutsufatso tsena li bolelang, tloho . E le papatso ea maemo).
Re sebetsana le meralo ea polokelo, mohlala oa data, litaba tse amanang le ts'ireletso ea data, le lipeipi ka botsona, ehlile. Re boetse re hloka ho etsa bonnete ba hore, ka lehlakoreng le leng, boteng ba rona ha bo boima haholo ho baetsi ba lihlahisoa mme ba tlameha ho sitisoa hanyane ka moo ho ka khonehang ke litlhoko tsa rona ha re seha likarolo tse ncha tsamaisong, 'me ka lehlakoreng le leng, re li hloka ho li fa lintlha tse bolokiloeng hantle bakeng sa bahlahlobisisi le sehlopha sa BI. Ke kamoo re phelang kateng.
Mathata ha o tloha ho ntshetsopele
Letsatsing la ka la pele la mosebetsi, ke ile ka kopana le mathata a mangata ao ke batlang ho a arolelana le uena.
1. Ntho ea pele eo ke e boneng e ne e le ho ba sieo ha tuling le mekhoa e meng. Ka mohlala, nka khaso ea khoutu ka liteko. Re na le meralo ea liteko tse makholo ho nts'etsopele. Ha u sebetsa le data, ntho e 'ngoe le e' ngoe e thata haholoanyane. Ee, re ka leka liphaephe tsa ETL ho data ea liteko, empa re tlameha ho e etsa kaofela ka letsoho le ho batla tharollo bakeng sa nyeoe e 'ngoe le e 'ngoe. Ka lebaka leo, tšireletso ea liteko e mpe haholo. Ka lehlohonolo, ho na le karolo e 'ngoe ea maikutlo ka mokhoa oa ho beha leihlo le ho ngola lintlha, empa sena se se se hloka hore re arabele ka mokhoa o ts'oanelang ho e-na le ho nka khato, e leng ntho e halefisang le e nyahamisang.
2. Lefatše ho tloha ponong ea DE ha ho joalo ho hang ho bonahala ho moetsi ea tloaelehileng oa sehlahisoa (hantle, ha e le hantle, 'mali ha a joalo,' me o se a ntse a tseba ntho e 'ngoe le e' ngoe, empa ke ne ke sa tsebe 'me joale ke ntse ke senya. holimo). Joaloka moqapi, ke iketsetsa microservice ea ka, ke kenya data ho [database ea khetho ea hau], boloka boemo ba ka moo, fumana ho hong ka ID mme ho lokile. Tšebeletso e tsamaea butle, litaelo lia ferekanya, ke phetho. Ba nkopa hore ke batle boemo ba ka tšebeletsong e 'ngoe, kahoo ke tla lahlela ketsahalo ho RabbitMQ e' ngoe 'me ke eona. Mme mona re boetse re khutlela tabeng ea liketsahalo tse hlalositsoeng ka holimo.
Seo tšebeletso e se hlokang bakeng sa mosebetsi oa ts'ebetso ha se lumellane le rona bakeng sa lintlha tsa histori, kahoo potso ea ho tsosolosa likonteraka tsa tšebeletso le mosebetsi o haufi le lihlopha tsa nts'etsopele e qala. U ke ke ua nahana hore na ho ile ha re nka lihora tse kae hore re lumellane: ke mofuta ofe oa Event Driven eo a leng ho eona k'hamphaning ea rona.
3. U lokela ho nahana ka hlooho. Che, ha ke bolele hore bahlahisi ha ba nahane (le hoja ke le mang hore ke bue bakeng sa motho e mong le e mong), ke feela hore nts'etsopele ea sehlahisoa hangata u se u ntse u e-na le mofuta o itseng oa meralo, 'me u khaola li-shuffles tse fapaneng ho tloha ka morao. Ha e le hantle, sena se hloka ho rera le ho nahana, empa sena ke mosebetsi oa ho phalla, moo bothata bo ka sehloohong e leng feela ho o etsa hantle le ka katleho.
Ho rona, ha ho bonolo haholo hobane phetisetso ea likarolo tse fapaneng tsa sistimi ho tloha monolith e futhumetseng le e monate ho ea lefats'eng la meru e hlaha ea microservice ha e bonolo haholo. Ha tšebeletso e qala ho hlahisa liketsahalo, ho hlokahala hore u nahane hape ka lebaka la ho tlatsa polokelo, hobane data joale e shebahala e fapane. Mona ke moo o hlokang ho nahana haholo le ka botlalo, ha e sa le moqapi, empa e le moenjiniere oa data. Ke pale e tloaelehileng ha u qeta matsatsi u e-na le bukana ea ho ngolla le pene kapa u e-na le letšoao botong. Ho thata haholo, ha ke rate ho nahana, le 'na ke rata tlhahiso.
4. Mohlomong ntho ea bohlokoa ka ho fetisisa ke boitsebiso. Re etsa’ng ha re hloka tsebo? Ke mang ea itseng stackoverflow? Ntša motho enoa ka kamoreng. Re ea bala litokomane, libuka tse mabapi le sehlooho, hape ho na le sechaba se hlophisang liforamu, likopano le likopano. Litokomane li ntle, empa, ka bomalimabe, e ka ba tse sa fellang. Re sebelisa Cosmos DB mererong e mengata. Mahlohonolo a ho bala litokomane tsa sehlahisoa sena. Libuka ke tsona feela poloko; ka lehlohonolo, li teng, 'me li ka fumanoa, li na le tsebo e ngata ea bohlokoa,' me u tlameha ho bala haholo le kamehla. Empa bothata bo ho sechaba.
Hona joale ho thata ho fumana bonyane kopano e le 'ngoe e lekaneng kapa kopano sebakeng sa rona. Che, ho joalo, ho na le likopano tse ngata tse nang le lentsoe Data, empa haufi le lentsoe lena hangata ho na le khutsufatso e makatsang joalo ka ML kapa AI. Kahoo, sena ha se bakeng sa rona, re bua ka mokhoa oa ho haha litsi tsa polokelo, eseng mokhoa oa ho itlotsa ka li-neurons. Li-hipsters tsena li nkile ntho e 'ngoe le e' ngoe. Ka lebaka leo, ha re na sechaba. Ka tsela, haeba u Moenjiniere oa Boitsebiso 'me u tseba sechaba se setle, ka kopo ngola litlhaloso.
Qetello le phatlalatso ea kopano
Re qetella ka eng? Phihlelo ea ka ea pele e mpolella hore maikutlo a lieta tsa moenjiniere oa data a tla ba molemo ho moqapi e mong le e mong. E mpa e re lumella hore re shebe lintho ka tsela e fapaneng 'me re se ke ra makala ha mahlo a rona a e-ba le mali ha re bona kamoo bahlahisi ba tšoarang lintlha tsa bona kateng. Kahoo, haeba ho na le DE k'hamphaning ea hau, bua feela le bahlankana bana, u tla ithuta lintho tse ngata tse ncha (ka uena).
Mme qetellong, phatlalatso. Kaha ho thata ho fumana likopano ka sehlooho sa rona motšehare, re ile ra etsa qeto ea ho iketsetsa tsa rona. Ke hobane'ng ha re le bobe le ho feta? Ka lehlohonolo re na le ntho e makatsang le metsoalle ea rona e tsoang ho , bao, joalo ka rona, ba ikutloang hore lienjineri tsa data ha li na tlhokomelo ka mokhoa o sa lokang.
Ke nka monyetla ona, ke mema bohle ba tsotellang ho tla kopanong ea rona ea pele ea sechaba ka sehlooho se ts'episang "DE or DIE", se tla etsahala ka la 27.02.2020 Hlakubele XNUMX ofising ea Dodo Pizza. Lintlha ho .
Haeba ho etsahala eng kapa eng, ke tla be ke le teng, u ka mpolella ka bonna hore na ke fositse hakae ka bahlahisi.
Source: www.habr.com