Ni ibẹrẹ Oṣu Kejìlá, Mo ṣe aṣiṣe apaniyan kan ati pe o ṣe aaye iyipada ninu igbesi aye mi bi olupilẹṣẹ ati gbe lọ si ẹgbẹ Data Engineering (DE) laarin ile-iṣẹ naa. Ninu nkan yii Emi yoo pin diẹ ninu awọn akiyesi ti Mo ṣe lakoko oṣu meji ti ṣiṣẹ ni ẹgbẹ DE.
Kini idi ti Imọ-ẹrọ Data?
Irin-ajo mi si DE bẹrẹ ni igba ooru ti ọdun 2019, nigbati a jẹ ki a lọ si , ati nibẹ ni mo ti gba oye. Mo bẹrẹ lati nifẹ si koko-ọrọ, awọn algorithms iwadi ati paapaa nipa wọn , ati lẹhinna ronu nipa ipari ohun elo ati yarayara rii pe ohun elo ti o wulo ni ile-iṣẹ wa ti pin awọn apoti isura data.
Kini gangan ni ẹgbẹ wa ṣe? A, bii gbogbo awọn ọmọkunrin ati awọn ọmọbirin asiko, fẹ lati di Ile-iṣẹ Iwakọ Data. Ati pe ki eyi le ṣee ṣe, a nilo lati kọ ile-iṣẹ ipamọ ti o gbẹkẹle, eyiti o le ṣee lo lati kọ awọn ijabọ eyikeyi ti ile-iṣẹ nilo. Ṣugbọn ohun pataki julọ ni pe data ni ibi ipamọ yii gbọdọ jẹ igbẹkẹle. Jubẹlọ, lilo awọn wọnyi data, o nilo lati wa ni anfani lati mu pada awọn ipinle ti awọn eto ni akoko t. Gbogbo eyi jẹ idiju nipasẹ otitọ pe a n gbe ni agbaye tuntun ti o ni igboya ti awọn iṣẹ microservices, ati pe arosọ yii tumọ si pe iṣẹ kọọkan n ṣe iṣẹ ṣiṣe kekere tirẹ, data data rẹ jẹ iṣowo tirẹ, ati pe o le paarẹ o kere ju lojoojumọ, ṣugbọn ni gbogbo ọjọ. ni akoko kanna a gbọdọ ni anfani lati gba ati ilana ipo iṣẹ naa.
Ti o ba fẹ jẹ Wakọ Data, akọkọ di Iṣẹlẹ Wakọ
Ko ki o rọrun. Awọn iṣẹlẹ yatọ, ati olupilẹṣẹ ati ẹlẹrọ data wo wọn yatọ. Sọrọ nipa awọn iṣẹlẹ jẹ koko-ọrọ fun nkan lọtọ, nitorinaa Emi kii yoo lọ sinu rẹ nibi. Ni afikun, iru nkan kan ti tẹlẹ Martin Fowler kan, Emi kii yoo gba awọn laureli rẹ, jẹ ki o tun di olokiki.
Ni gbogbogbo, ọpọlọpọ wa lati ronu ati idi idi ti agbegbe yii jẹ wuni. O kan ṣẹlẹ pe ni ile-iṣẹ wa, Onimọ-ẹrọ Data jẹ agbegbe ti o gbooro pupọ ti ojuse ju eniyan kan ti o kọ awọn opo gigun ti ETL / ELT (ti o ko ba mọ kini awọn kuru wọnyi tumọ si, wa si . Bi contextual ipolongo).
A ṣe pẹlu faaji ibi ipamọ, awoṣe data, awọn ọran ti o ni ibatan si aabo data, ati awọn opo gigun ti ara wọn, dajudaju. A tun nilo lati rii daju pe, ni apa kan, wiwa wa ko ni ẹru pupọ fun awọn olupilẹṣẹ ọja ati pe wọn ni lati ni idamu bi o ti ṣee ṣe nipasẹ awọn ibeere wa nigbati gige awọn ẹya tuntun sinu eto, ati ni apa keji, a nilo lati pese wọn ni irọrun ti a gbe kalẹ ni data ibi ipamọ fun awọn atunnkanka ati ẹgbẹ BI. Bi a se n gbe niyen.
Awọn iṣoro nigba iyipada lati idagbasoke
Ní ọjọ́ àkọ́kọ́ tí mo fi ṣiṣẹ́, mo kojú ọ̀pọ̀ ìṣòro tí mo fẹ́ sọ fún ẹ.
1. Ohun akọkọ ti Mo rii ni isansa ti tuling ati diẹ ninu awọn iṣe. Mu, fun apẹẹrẹ, koodu agbegbe pẹlu awọn idanwo. A ni awọn ọgọọgọrun awọn ilana idanwo ni idagbasoke. Nigbati o ba n ṣiṣẹ pẹlu data, ohun gbogbo jẹ idiju diẹ sii. Bẹẹni, a le ṣe idanwo awọn opo gigun ti ETL lori data idanwo, ṣugbọn a ni lati ṣe gbogbo rẹ pẹlu ọwọ ati wa awọn solusan fun ọran kọọkan pato. Bi abajade, agbegbe idanwo buru pupọ. Da, nibẹ ni miran Layer ti esi ni irisi ibojuwo ati awọn àkọọlẹ, sugbon yi tẹlẹ nbeere wa lati fesi kuku ju anfanni, eyi ti o jẹ infuriating ati aibalẹ.
2. Awọn aye lati kan DE irisi ni ko ni gbogbo ohun ti o dabi lati arinrin ọja Olùgbéejáde (daradara, dajudaju awọn RSS ni ko bi ti, ati awọn ti o ti mọ ohun gbogbo, sugbon Emi ko mọ ki o si bayi Mo n screwing). soke). Gẹgẹbi olupilẹṣẹ, Mo ṣẹda microservice ti ara mi, fi data sinu [database ti o fẹ], fi ipo mi pamọ sibẹ, gba nkankan nipasẹ ID ati pe o dara. Iṣẹ naa lọra, awọn aṣẹ jẹ airoju, iyẹn ni gbogbo. Wọn beere lọwọ mi lati wa ipinlẹ mi ni iṣẹ miiran, nitorinaa Emi yoo sọ iṣẹlẹ kan sinu diẹ ninu RabbitMQ ati pe iyẹn ni. Ati pe nibi a tun pada si ọran ti awọn iṣẹlẹ ti a ṣalaye loke.
Ohun ti iṣẹ nilo fun iṣẹ ṣiṣe ko baamu wa fun data itan, nitorinaa ibeere ti awọn adehun iṣẹ atunṣe ati iṣẹ isunmọ pẹlu awọn ẹgbẹ idagbasoke bẹrẹ. O ko le paapaa fojuinu iye awọn wakati ti o gba wa lati gba: kini Iru Iṣẹlẹ Ti o wa ni ile-iṣẹ wa.
3. O nilo lati ronu pẹlu ori rẹ. Rara, Emi ko tumọ si pe awọn olupilẹṣẹ ko ronu (botilẹjẹpe tani Emi lati sọ fun gbogbo eniyan), o kan pe ni idagbasoke ọja ni igbagbogbo o ti ni iru faaji kan, ati pe o ge awọn oriṣiriṣi awọn shuffles lati ẹhin. Nitoribẹẹ, eyi nilo igbero ati ironu, ṣugbọn eyi jẹ iṣẹ ṣiṣan, nibiti iṣoro akọkọ jẹ rọrun lati ṣe daradara ati daradara.
Fun wa, kii ṣe rọrun pupọ nitori gbigbe ti ọpọlọpọ awọn paati eto lati inu monolith ti o gbona ati itunu sinu agbaye ti igbo microservice egan kii ṣe rọrun. Nigbati iṣẹ naa ba bẹrẹ awọn iṣẹlẹ spewing, o nilo lati tun ronu ọgbọn fun kikun ibi ipamọ, nitori data bayi dabi oriṣiriṣi. Eyi ni ibiti o nilo lati ronu pupọ ati daradara, kii ṣe bi olupilẹṣẹ, ṣugbọn bi ẹlẹrọ data. O jẹ itan deede nigbati o ba lo awọn ọjọ pẹlu iwe ajako ati pen tabi pẹlu asami ni igbimọ. O nira pupọ, Emi ko fẹ lati ronu, Mo nifẹ iṣelọpọ paapaa.
4. Boya ohun pataki julọ ni alaye. Kí la máa ń ṣe tí a kò bá ní ìmọ̀? Ti o wi stackoverflow? Mu eniyan yii kuro ninu yara naa. A lọ ka awọn iwe aṣẹ, awọn iwe lori koko, ati pe agbegbe tun wa ti o ṣeto awọn apejọ, awọn apejọ ati awọn apejọ. Iwe-ipamọ jẹ nla, ṣugbọn laanu, o le jẹ pe. A lo Cosmos DB ni nọmba awọn iṣẹ akanṣe. Orire ti o dara kika iwe fun ọja yii. Awọn iwe jẹ igbala nikan; O da, wọn wa ati pe o le rii, wọn ni ọpọlọpọ imọ-ipilẹ ipilẹ ati pe o ni lati ka pupọ ati nigbagbogbo. Ṣugbọn iṣoro naa wa pẹlu agbegbe.
Bayi o nira lati wa o kere ju apejọ kan ti o peye tabi ipade ni agbegbe wa. Rara, nitorinaa, ọpọlọpọ awọn ipade pẹlu ọrọ Data, ṣugbọn lẹgbẹẹ ọrọ yii awọn abbreviations ajeji nigbagbogbo wa bi ML tabi AI. Nitorina, eyi kii ṣe fun wa, a n sọrọ nipa bi a ṣe le kọ awọn ohun elo ipamọ, kii ṣe bi a ṣe le fi ara wa pẹlu awọn neuronu. Awọn hipsters wọnyi ti gba ohun gbogbo. Bi abajade, a wa laisi agbegbe kan. Nipa ọna, ti o ba jẹ Onimọ-ẹrọ Data ati mọ awọn agbegbe ti o dara, jọwọ kọ sinu awọn asọye.
Awọn ipari ati ikede ti ipade naa
Kini a pari pẹlu? Iriri akọkọ mi sọ fun mi pe rilara ninu bata ti ẹlẹrọ data yoo wulo fun gbogbo idagbasoke. O kan gba wa laaye lati wo awọn nkan ni oriṣiriṣi ati ki o ma ṣe iyalẹnu nigbati oju wa ba gba ẹjẹ nigba ti a rii bii awọn olupilẹṣẹ ṣe tọju data wọn. Nitorinaa, ti DE ba wa ni ile-iṣẹ rẹ, kan ba awọn eniyan wọnyi sọrọ, iwọ yoo kọ ọpọlọpọ awọn nkan tuntun (nipa ara rẹ).
Ati nikẹhin, ikede naa. Niwọn bi o ti ṣoro lati wa awọn ipade lori koko-ọrọ wa lakoko ọjọ, a pinnu lati ṣe tiwa. Kini idi ti a buruju? Oriire a ni ohun iyanu ati awọn ọrẹ wa lati , ti o, bi wa, lero wipe data Enginners ti wa ni aiṣedeede finnufindo akiyesi.
Ni gbigba aye yii, Mo pe gbogbo eniyan ti o bikita lati wa si ipade agbegbe akọkọ wa pẹlu akọle ileri “DE tabi DIE”, eyiti yoo waye ni Kínní 27.02.2020, XNUMX ni ọfiisi Dodo Pizza. Awọn alaye ni .
Ti ohunkohun ba ṣẹlẹ, Emi yoo wa nibẹ, o le sọ fun mi tikalararẹ si oju mi bi o ṣe jẹ aṣiṣe ti Mo jẹ nipa awọn idagbasoke.
orisun: www.habr.com