Salaan qof walba, magacaygu waa Alexander, waxaana ahay injineer tayada xogta oo hubiya xogta tayadeeda. Maqaalkani wuxuu ka hadli doonaa sida aan u imid tan iyo sababta 2020 goobtan tijaabada ahi ay ugu jirtay qulqulka hirarka.
Isbeddelka caalamiga ah
Adduunka maanta waxa uu la kulmaa kacdoon kale oo dhinaca tignoolajiyada ah, kaas oo dhinac ka mid ah uu yahay adeegsiga xogta urursan ee dhammaan noocyada kala duwan ee shirkaduhu si ay kor ugu qaadaan duullimaadyada iibka, faa'iidada iyo PR. Waxay u muuqataa in joogitaanka xogta wanaagsan (tayo), iyo sidoo kale maskax xirfad leh oo lacag ka samayn kara (si sax ah u habaynta, sawirida, dhisida moodooyinka barashada mashiinka, iwm), waxay noqdeen furaha guusha dad badan maanta. Haddii 15-20 sano ka hor shirkado waaweyn ay inta badan ku lug lahaayeen shaqo degdeg ah oo leh xog ururin iyo lacag ururin, maanta tani waa inta badan dhammaan dadka miyirka qaba.
Marka tan la eego, dhowr sano ka hor, dhammaan portals u heellan shaqo raadinta adduunka oo dhan waxay bilaabeen inay buuxiyaan boosaska Saynisyahanada Xogta, maadaama qof kastaa hubo in, isagoo shaqaaleysiiyay khabiir noocaas ah, ay suurtagal tahay in la dhiso qaab-dhismeedka mashiinka mashiinka. , saadaali mustaqbalka oo samee "quantum leap" shirkadda. Waqti ka dib, dadku waxay ogaadeen in habkani uusan waligiis shaqeynin meel kasta, maadaama dhammaan xogta ku dhacda gacmaha khabiirada noocan oo kale ah aysan ku habboonayn moodooyinka tababarka.
Codsiyada Saynisyahannada Xogta ayaa bilaabay: "Aan soo iibsanno xog badan kuwan iyo kuwan...", "Ma hayno xog nagu filan...", "Waxaan u baahanahay xog dheeraad ah, gaar ahaan mid tayo sare leh..." . Iyada oo ku saleysan codsiyadan, isdhexgal badan ayaa bilaabay in ay dhismaan shirkado leh hal ama xog kale. Dabcan, tani waxay u baahan tahay abaabulka farsamada ee habkan - isku xirka ilaha xogta, soo dejinta, hubinta in si buuxda loo buuxiyey, iwm. Tirada hababka noocan oo kale ah ayaa bilaabay inay koraan, maantana waxaan haysanaa baahi weyn oo loogu talagalay nooc kale oo ah khabiiro - Injineerada Tayada Xogta - kuwa la socon doona socodka xogta nidaamka (tuubooyinka xogta), tayada xogta wax-soo-saarka iyo soo-saarka, oo soo saara gabagabada ku filnaantooda, daacadnimadooda iyo astaamo kale.
Isbeddelka injineerada tayada xogta ayaa nooga yimi USA, halkaas oo, iyada oo lagu jiro xilliga kacsan ee hanti-wadaaga, qofna diyaar uma aha inuu lumiyo dagaalka xogta. Hoos waxaan ka bixiyay sawiro laga qaaday laba ka mid ah goobaha shaqo raadinta ee ugu caansan Maraykanka: ΠΈ - kaasoo soo bandhigaya xogta laga bilaabo Maarso 17, 2020 tirada boosaska la soo dhejiyay ee la helay iyadoo la adeegsanayo ereyada muhiimka ah: Tayada Xogta iyo Saynisyahanka Xogta.
Saynisyahanada Xogta - 21416 boosaska banaan
Tayada Xogta - 41104 boosaska banaan
Saynisyahannada Xogta β 404 boosas
Tayada xogta - 2020 boosaska banaan
Sida iska cad, xirfadahani sinaba uma tartamayaan midba midka kale. Sawirada shaashadda, kaliya waxaan rabay in aan muujiyo xaalada hadda jirta ee suuqa shaqada marka la eego codsiyada injineerada tayada xogta, kuwaas oo aad uga baahan hadda in ka badan Saynisyahanada Xogta.
Bishii Juun 2019, EPAM, oo ka jawaabaysa baahiyaha suuqa IT-ga casriga ah, waxay u kala saartay tayada xogta mid gaar ah. Injineerada Tayada Xogta, inta ay ku guda jiraan shaqadooda maalinlaha ah, waxay maareeyaan xogta, hubiyaan hab dhaqankeeda xaaladaha iyo nidaamyada cusub, la socdaan muhiimada xogta, ku filnaanteeda iyo ku habboonaanta. Waxaas oo dhan marka la eego, macno wax ku ool ah, injineerada Tayada Xogta ayaa runtii waqti yar ku bixiya tijaabada shaqada caadiga ah, Laakiin Tani waxay si weyn ugu xiran tahay mashruuca (waxaan ku siin doonaa tusaale hoose).
Mas'uuliyadaha Injineer Tayada Xogta kuma koobna oo keliya hubinta buug-gacmeedka caadiga ah/si toos ah ee "wax-kama-jiraan, tirinta iyo wadarta" ee miisaska xogta, laakiin waxay u baahan yihiin faham qoto dheer oo ku saabsan baahiyaha ganacsi ee macaamilka iyo, sidaas awgeed, awoodda loogu beddelo xogta la heli karo macluumaad ganacsi oo faa'iido leh.
Aragtida Tayada Xogta
Si aan si buuxda u qiyaasno doorka injineerka noocan oo kale ah, aan ogaano waxa tayada Xogtu ku jirto aragtida.
Tayada Data - mid ka mid ah marxaladaha Maareynta Xogta (adduun dhan oo aan kuugu deyn doono inaad adigu keligaa wax ku barato) waxayna mas'uul ka tahay falanqaynta xogta iyadoo loo eegayo shuruudaha soo socda:
Waxaan u maleynayaa in aan loo baahnayn in la kala saaro mid kasta oo ka mid ah dhibcaha (aragti ahaan waxaa loo yaqaan "cabbirka xogta"), si fiican ayaa loogu sharraxay sawirka. Laakiin habka tijaabinta laftiisu maaha mid si adag u koobiyaynaya sifooyinkan kiisaska tijaabada iyo hubinta iyaga. Tayada Xogta, sida nooc kasta oo kale oo imtixaan ah, waxaa lagama maarmaan ah, marka hore, in la dhiso shuruudaha tayada xogta ee lagu heshiiyey ka qaybgalayaasha mashruuca ee go'aannada ganacsiga sameeya.
Iyadoo ku xiran mashruuca tayada xogta, injineerku wuxuu qaban karaa hawlo kala duwan: laga bilaabo tijaabiyaha otomaatiga ah ee caadiga ah oo leh qiimeyn sare oo tayada xogta ah, ilaa qofka si qoto dheer u sifeynaya xogta sida waafaqsan shuruudaha sare.
Tilmaan aad u faahfaahsan oo ku saabsan Maareynta Xogta, Tayada Xogta iyo hababka la xidhiidha ayaa si fiican loogu sifeeyey buugga la yidhaa "DAMA-DMBOK: Hay'adda Maareynta Xogta: Daabacaadda 2aad". Waxaan aad ugu talinayaa buuggan inuu hordhac u noqdo mawduucan (waxa aad ka heli doontaa xidhiidhkiisa dhammaadka maqaalka).
Taariikhdayda
Warshadaha IT-ga, waxaan ka soo shaqeeyay tijaabiyaha Junior ee shirkadaha wax soo saarka ilaa Injineer Tayada Xogta Hogaaminta ee EPAM. Ka dib laba sano oo aan u shaqeynayay tijaabiye ahaan, waxaan helay xukun adag oo ah inaan sameeyay gabi ahaanba dhammaan noocyada imtixaanada: dib u noqoshada, shaqeynta, walbahaarka, xasilloonida, amniga, UI, iwm. - waxaanan isku dayay tiro badan oo qalab tijaabo ah, anigoo haysta Isla mar ahaantaana ka shaqeeyay saddex luqadood oo barnaamij ah: Java, Scala, Python.
Dib-u-fiirinta, waxaan fahamsanahay sababta xirfadayda xirfadeed ay u kala duwan tahay-waxaan ku lug lahaa mashaariicda xogta ay wado, weyn iyo kuwa yarba. Tani waa waxa i keenay adduunyo badan oo qalab iyo fursado korriin ah.
Si aad u qadariso noocyada kala duwan ee qalabka iyo fursadaha si aad u hesho aqoon cusub iyo xirfado, kaliya fiiri sawirka hoose, kaas oo muujinaya kuwa ugu caansan adduunka "Data & AI".
Sawirka noocan oo kale ah waxaa sannadkiiba soo ururiyay mid ka mid ah maal-qabeenada caanka ah ee Matt Turck, kaas oo ka yimid horumarinta software. Halkan in uu blog iyo , halkaas oo uu ka shaqeeyo lammaane ahaan.
Waxaan u koray si xirfad leh gaar ahaan si dhakhso ah markii aan ahaa tijaabiyaha kaliya ee mashruuca, ama ugu yaraan bilawga mashruuca. Waa wakhtigan oo kale in aad mas'uul ka tahay dhammaan habka imtixaanka, oo aadan haysan fursad aad dib ugu noqotid, kaliya hore u soco. Markii hore waxay ahayd cabsi, laakiin hadda dhammaan faa'iidooyinka tijaabadan oo kale ayaa ii muuqda:
- Waxaad bilaabaysaa inaad kooxda oo dhan ula xidhiidho si aan waligeed hore loo arag, maadaama aanay jirin wakiil xidhiidhiya: maamulaha imtixaanka iyo tijaabiyaasha midna.
- Mashruucu wuxuu noqonayaa mid qoto dheer oo cajiib ah, waxaadna haysaa macluumaad ku saabsan dhammaan qaybaha, guud ahaan iyo si faahfaahsan labadaba.
- Horumariyayaashu kuuguma eegaan inaad tahay "ninkaas tijaabada ah ee aan garanayn waxa uu samaynayo," laakiin halkii ay ka siman yihiin oo u soo saara faa'iidooyin cajiib ah kooxda oo leh tijaabooyinkiisa otomaatiga ah iyo filashooyinka cayayaanka ee ka muuqda qayb gaar ah alaabta.
- Natiijo ahaan, waxaad noqonaysaa mid wax ku ool ah, aad u tayo badan, oo aad u baahan tahay.
Mashruucii koray, 100% kiisaska waxaan noqday lataliye imtixaan-qaadayaal cusub, oo wax bara oo u gudbiya aqoontii aan bartay naftayda. Isla mar ahaantaana, iyada oo ku xidhan mashruuca, mar walba kama helin heerka ugu sarreeya ee takhasuska baaritaanka baabuurta ee maamulka waxaana jiray baahi loo qabo in lagu tababaro qalabaynta (kuwa xiiseynaya) ama la abuuro qalab loo isticmaalo hawlaha maalinlaha ah (qalabka). soo saarista xogta iyo ku shubista nidaamka , qalab loogu talagalay samaynta tijaabinta culeyska / tijaabada xasiloonida "si degdeg ah", iwm.).
Tusaale mashruuc gaar ah
Nasiib darro, sababtoo ah waajibaadka qarsoodiga ah, si faahfaahsan ugama hadli karo mashaariicda aan ka shaqeeyay, laakiin waxaan ku siin doonaa tusaalayaal hawlaha caadiga ah ee Injineer Tayada Xogta mid ka mid ah mashaariicda.
Nuxurka mashruucu waa in la hirgaliyo madal lagu diyaarinayo xogta tababarida moodooyinka barashada mashiinka iyadoo lagu salaynayo. Macmiilku wuxuu ahaa shirkad weyn oo dawooyinka soo saarta oo ka timid USA. Farsamo ahaan waxay ahayd koox , u kacaya tusaale ahaan, oo leh dhawr adeeg oo yar yar iyo mashruuca Isha Furan ee hoose ee EPAM - , oo la waafajiyay baahida macaamiil gaar ah (hadda mashruuca dib ayaa loo soo celiyay ). Nidaamyada ETL ayaa la abaabulay iyadoo la adeegsanayo oo xogta laga raray nidaamyada macaamiisha ee Baaldiyada. Marka xigta, sawirka Docker ee qaabka barashada mashiinka ayaa la geeyey goobta, kaas oo lagu tababaray xog cusub oo, iyadoo la adeegsanayo REST API interface, waxay soo saartay saadaalo xiiso u leh ganacsiga oo xalliyey dhibaatooyin gaar ah.
Muuqaal ahaan, wax walbaa waxay u ekaayeen sidan:
Waxaa jiray tijaabo badan oo shaqeyneysa mashruucan, waxaana la siiyay xawaaraha horumarinta muuqaalka iyo baahida loo qabo in la ilaaliyo xawaaraha wareegga siideynta (labada toddobaad ee sprints), waxaa lagama maarmaan ahayd in isla markiiba laga fekero si otomaatig ah baaritaanka qaybaha ugu muhiimsan nidaamka. Inta badan goobta Kubernetes-ku-salaysan lafteedu waxa daboolay autotests oo lagu hirgaliyay + Python, laakiin sidoo kale waxay ahayd lagama maarmaan in la taageero oo la balaadhiyo. Intaa waxaa dheer, si ay ugu habboonaato macaamilka, GUI ayaa la sameeyay si loo maareeyo moodooyinka barashada mashiinka ee la geeyay kooxda, iyo sidoo kale awoodda lagu qeexo halka iyo goobta xogta loo baahan yahay in lagu wareejiyo si loo tababaro moodooyinka. Kordhintan ballaadhan waxa ay keentay balaadhinta tijaabada shaqaynta tooska ah, kaas oo inta badan lagu samayn jiray wicitaanada REST API iyo tiro yar oo ah dhamaadka-2-dhamaadka UI. Agagaarka dhulbaraha dhaqdhaqaaqan oo dhan, waxaa nagu soo biiray tijaabiyaha gacanta oo qabtay shaqo aad u wanaagsan tijaabinta aqbalida noocyada badeecada iyo la xiriirka macaamilka ee ku saabsan aqbalaada sii deynta soo socota. Intaa waxaa dheer, imaatinka khabiir cusub awgeed, waxaan awoodnay inaan diiwaangelinno shaqadeena oo aan ku darno dhowr jeeg-gacmeed oo aad muhiim u ah oo ay adkeyd in isla markiiba si otomaatig ah loo sameeyo.
Ugu dambeyntiina, ka dib markii aan ka helnay xasillooni ka timid goobta iyo GUI-da ku-darka dusheeda, waxaan bilownay dhismaha dhuumaha ETL anagoo adeegsanayna Apache Airflow DAGs. Hubinta tayada xogta otomaatig ah ayaa lagu sameeyay iyada oo la qorayo DAG-yada gaarka ah ee hawada hawada kuwaas oo hubiyay xogta ku saleysan natiijooyinka habka ETL. Iyada oo qayb ka ah mashruucan, waanu nasiib badanay, macaamiishuna waxay na siiyeen helitaanka xogta xogta aan la shaacin ee aan ku tijaabinay. Waxaan ku eegnay xariiqda xogta iyadoo la raacayo noocyada, joogitaanka xogta jaban, tirada guud ee diiwaannada ka hor iyo ka dib, isbarbardhigga isbeddellada ay sameeyeen habka ETL ee isu-ururinta, beddelidda magacyada tiirarka, iyo waxyaabo kale. Intaa waxaa dheer, jeegagyadan waxaa lagu miisaamay ilo xogo kala duwan, tusaale ahaan, marka lagu daro SalesForce, sidoo kale MySQL.
Hubinta tayada xogta kama dambaysta ah ayaa horay loo sameeyay heerka S3, halkaasoo lagu kaydiyay oo ay diyaar u ahaayeen in loo isticmaalo tababarida moodooyinka barashada mashiinka. Si aad xogta uga hesho faylka CSV-ga u dambeeya ee ku yaal S3 Bucket oo loo xaqiijiyo, koodka ayaa la qoray iyadoo la isticmaalayo .
Waxa kale oo jirtay shuruud ah in macmiilku ku kaydiyo qayb ka mid ah xogta hal baaldi oo S3 ah oo qayb kale. Tani waxay sidoo kale u baahday qorista jeegag dheeri ah si loo hubiyo isku halaynta kala soocidda noocaas ah.
Waayo-aragnimada guud ee mashaariicda kale
Tusaalaha liiska ugu guud ee waxqabadyada injineerka tayada xogta:
- Ku diyaari xogta tijaabada (yar yar oo aan sax ahayn) iyada oo loo marayo qalab otomaatig ah.
- U soo rar xogta diyaarsan oo ku dheji isha asalka ah oo hubi inay diyaar u tahay isticmaalka.
- Bilaw hababka ETL ee habaynta xogta xogta laga soo bilaabo kaydinta isha ilaa kaydinta kama dambaysta ah ama dhexdhexaadka ah iyada oo la adeegsanayo qaybo cayiman (haddii ay suurtogal tahay, u deji cabbirada habaysan ee hawsha ETL).
- Hubi xogta ay habayso habka ETL tayadiisa iyo u hogaansanaanta shuruudaha ganacsiga.
Isla mar ahaantaana, diiradda ugu weyn ee jeegaga waa in aysan aheyn oo kaliya xaqiiqda ah in socodka xogta ee nidaamka uu leeyahay, mabda'a, shaqeeyay oo gaadhay dhamaadka (taas oo qayb ka ah baaritaanka shaqada), laakiin inta badan hubinta iyo xaqiijinta xogta u hoggaansanaanta shuruudaha la filayo, ogaanshaha cilladaha iyo waxyaabo kale.
alaabtii
Mid ka mid ah farsamooyinka xakamaynta xogta noocan oo kale ah waxay noqon kartaa abaabulka jeegaga silsiladda marxalad kasta oo ka mid ah xogta xogta, waxa loogu yeero "silsiladda xogta" ee suugaanta - xakamaynta xogta laga soo bilaabo isha ilaa isticmaalka ugu dambeeya. Jeegaga noocaan ah waxaa inta badan lagu fuliyaa iyadoo la qorayo hubinta weydiimaha SQL. Way caddahay in weydiimaha noocan ahi ay noqdaan kuwa fudud intii suurtagal ah oo hubi qaybo gaar ah oo tayada xogta ah (miisaska metadata, khadadka maran, NULLs, khaladaadka ku jira syntax - sifooyinka kale ee loo baahan yahay hubinta).
Marka laga hadlayo tijaabinta dib u noqoshada, oo adeegsata xogta diyaarsan (aan la beddeli karin, wax yar la beddeli karo), koodhka autotest wuxuu kaydin karaa qaabab diyaarsan oo lagu hubinayo xogta u hoggaansanaanta tayada si aan kala sooc lahayn loo doortay inta lagu jiro imtixaanka, iwm.).
Sidoo kale, inta lagu jiro tijaabada, waa inaad qortaa hababka tijaabada ETL adoo isticmaalaya qaab-dhismeedka sida Apache Airflow, ama xitaa qalabka nooca daruuriga ah ee sanduuqa madow , Iyo wixi la mida. Xaaladani waxay ku qasbaysaa injineerka tijaabada ah inuu naftiisa ku dhex milmo mabaadi'da hawlgalka aaladaha kor ku xusan iyo xitaa si wax ku ool ah labadaba u sameeyaan tijaabinta shaqeynta (tusaale, hababka ETL ee jira ee mashruuca) oo u isticmaalo si uu u hubiyo xogta. Gaar ahaan, Apache Airflow waxay leedahay hawl-wadeeno diyaarsan oo la shaqeeya xog-ururinta caanka ah, tusaale ahaan . Tusaalaha ugu aasaasiga ah ee isticmaalkeeda ayaa horey loo qeexay , sidaas darteed kuma celin doono naftayda.
Marka laga reebo xalalka diyaarsan, qofna kuma mamnuucayo inaad hirgeliso farsamooyinkaaga iyo qalabkaaga. Tani kaliya faa'iido u yeelan mayso mashruuca, laakiin sidoo kale Engineer Tayada Xogta laftiisa, kaas oo kor u qaadi doona aragtidiisa farsamo iyo xirfadihiisa codaynta.
Sida ay uga shaqeyso mashruuc dhab ah
Tusaale wanaagsan oo ku saabsan cutubyada ugu dambeeya ee ku saabsan "silsiladda xogta", ETL iyo jeegaga meel kasta waa habka soo socda ee mid ka mid ah mashaariicda dhabta ah:
Halkan, xog kala duwan (dabiici ahaan, annaga oo diyaarsanay) geli gelinta "funnel" ee nidaamkayaga: sax ah, aan sax ahayn, isku dhafan, iwm. waxaana lagu dhejiyaa kaydinta kama dambaysta ah, taas oo, markaa, falanqaynta, dhisidda xogta macluumaadka iyo raadinta fikradaha ganacsiga ayaa la fulin doonaa. Nidaamkan oo kale, iyada oo aan si shaqeyn ah loo hubin hawlgalka ETL, waxaan diiradda saareynaa tayada xogta ka hor iyo ka dib isbeddelada, iyo sidoo kale wax soo saarka falanqaynta.
Si aan u soo koobo arrimaha kore, iyada oo aan loo eegin goobaha aan ka shaqeeyay, meel kasta oo aan ku lug lahaa mashaariicda Xogta ee wadaaga sifooyinka soo socda:
- Automation kaliya ayaad ku tijaabin kartaa kiisaska qaarkood oo aad ku guuleysan kartaa wareeg siideynta oo la aqbali karo ganacsiga.
- Tijaabada mashruucan oo kale waa mid ka mid ah xubnaha ugu ixtiraamka badan kooxda, maadaama ay faa'iido weyn u keenayso mid kasta oo ka mid ah ka qaybgalayaasha (dardargelinta imtixaanka, xogta wanaagsan ee Saynisyahanka Xogta, aqoonsiga cilladaha marxaladaha hore).
- Dhib malahan haddii aad ku shaqeyso qalabkaaga ama daruuraha - dhammaan agabyada waxaa lagu soo koobay koox sida Hortonworks, Cloudera, Mesos, Kubernetes, iwm.
- Mashruucyada waxaa lagu dhisay hab adeeg-yar oo adeeg-yar ah, xisaabinta la qaybiyay iyo kuwa is-bar-bar yaacaya ayaa u badan.
Waxaan jeclaan lahaa in aan ogaado in marka la samaynayo tijaabinta goobta Tayada Xogta, khabiirka imtixaanku wuxuu u beddelaa diiradda xirfadiisa code ee alaabta iyo qalabka loo isticmaalo.
Tilmaamaha gaarka ah ee baaritaanka tayada xogta
Intaa waxaa dheer, naftayda, waxaan aqoonsaday kuwan soo socda (waxaan isla markiiba samayn doonaa boos celin ah inay yihiin AAD guud oo gaar ah) sifooyin gaar ah oo imtixaannada mashaariicda (nidaamka xogta) iyo meelaha kale:
Xiriiro faa'iido leh
- Aragti: .
- EPAM
- Agabka lagu taliyay injineer tayada xogta bilawga ah:
- Koorso bilaash ah oo ku saabsan Stepik: .
- Koorsada Barashada LinkedIn: .
- Maqaallo:
- ;
- ;
- ;
- Video:
- ;
- ;
gunaanad
Tayada Data waa tilmaan rajo leh oo aad u da'yar, in aad ka mid noqoto taas macnaheedu waa in aad ka mid noqoto bilawga. Marka aad hesho Tayada Xogta, waxa lagu dhex milmi doonaa tiro badan oo tignoolajiyada casriga ah, ee baahida loo qabo, laakiin tan ugu muhiimsan, fursadaha waaweyn ayaa kuu furmi doona si aad u dhaliso oo aad u hirgeliso fikradahaaga. Waxaad awoodi doontaa inaad isticmaasho habka horumarinta joogtada ah ma aha oo kaliya mashruuca, laakiin sidoo kale naftaada, si joogto ah u kobcinta takhasus ahaan.
Source: www.habr.com