Codsiga kood-hooseeya ee goobaha gorfaynta

Akhristayaasheena sharafta lahow, maalin wanaagsan!

Hawsha dhisidda aaladaha IT-ga ee ururinta iyo falanqaynta xogta mar dhow ama hadhow waxay u soo baxdaa shirkad kasta oo ganacsigeedu ku salaysan yahay qaab adeeg oo caqli ahaan raran ama abuurista alaab farsamo ahaan adag. Dhisida goobo gorfayntu waa hawl adag oo waqti badan qaadanaysa. Si kastaba ha ahaatee, hawl kasta waa la fududayn karaa. Maqaalkan waxaan rabaa inaan la wadaago waayo-aragnimadayda isticmaalka aaladaha kood-hoosaadka si aan gacan uga geysto abuurista xalalka falanqaynta. Khibradan waxaa la helay intii lagu jiray hirgelinta dhowr mashruuc oo ku saabsan jihada Xallinta Xogta Weyn ee shirkadda Neoflex. Laga soo bilaabo 2005, jihada Xalka Xogta Weyn ee Neoflex waxay la tacaalaysay arrimaha dhismaha bakhaarada xogta iyo harooyinka, xallinta dhibaatooyinka hagaajinta xawaaraha xogta xogta iyo ka shaqeynta habka maaraynta tayada xogta.

Qofna ma awoodi doono inuu iska ilaaliyo ururinta miyirka ah ee daciifnimada iyo/ama xogta xooggan ee habaysan. Laga yaabee xitaa haddii aan ka hadlayno ganacsiyada yaryar. Ka dib oo dhan, marka la xisaabinayo ganacsiga, ganacsade rajo leh ayaa la kulmi doona arrimaha horumarinta barnaamijka daacadnimada, wuxuu rabi doonaa inuu falanqeeyo waxtarka dhibcaha iibka, wuxuu ka fekeri doonaa xayaysiisyada la beegsanayo, waxaana la yaabi doonaa baahida alaabta la socota. . Qiyaasta ugu horreysa, dhibaatada waxaa lagu xallin karaa "jilibka". Laakiin sida ganacsigu u korayo, imaatinka goobta falanqaynta wali waa lama huraan.

Si kastaba ha ahaatee, xaaladdee ayaa hawlaha falanqaynta xogta u kobcin karaan dhibaatooyinka fasalka "Sayniska Rocket"? Waxaa laga yaabaa in xilligan aan ka hadlayno xogta dhabta ah ee weyn.
Si aad u fududayso Sayniska Gantaalka, waxaad cuni kartaa gabal maroodiga.

Mar kasta oo ay codsiyadaada/adeegyadaada/adeegyada yar yar aad u kala madax-banaan yihiin, ayaa adiga, asxaabtaada iyo ganacsigaaga oo dhanba kuugu fududaan doontaa inaad dheefshiiddo maroodiga.

Ku dhawaad ​​dhammaan macaamiisheena waxay yimaadeen boostadan, iyagoo dib u dhis ku sameeyay muuqaalka iyadoo lagu saleynayo dhaqamada injineernimada ee kooxaha DevOps.

Laakiin xitaa iyada oo leh "cunto gooni ah, maroodi", waxaan haysanaa fursad wanaagsan oo ah "ka badan" muuqaalka IT-ga. Waqtigan xaadirka ah waxaa habboon in la joojiyo, neefta oo la eego dhinaca madal injineernimada code-hoose.

Horumariyayaal badan ayaa ka baqaya rajada laga qabo dhamaadka dhimashadda ee xirfaddooda marka ay ka guurayaan si toos ah kood u qorista ee "jiidista" fallaadhaha is-dhexgalka UI ee nidaamyada kood-hoose. Laakin imaatinka qalabka mashiinada ma keenin in injineerada la waayo, laakiin waxay shaqadooda gaarsiiyeen heer cusub!

Aynu ogaano sababta.

Falanqaynta xogta ee dhinaca saadka, warshadaha isgaarsiinta, cilmi baarista warbaahinta, waaxda maaliyadda ayaa had iyo jeer la xiriirta su'aalaha soo socda:

• Xawaaraha falanqaynta iswada;
• Awoodda samaynta tijaabooyinka iyada oo aan saameyn ku yeelan socodka wax soo saarka xogta ugu muhiimsan;
• Kalsoonida xogta la diyaariyay;
• Beddel raadraaca iyo habaynta;
• Xaqiijinta xogta, xogta xogta, CDC;
• Gaadhida degdega ah ee sifooyinka cusub ee deegaanka wax soo saarka;
• Iyo kuwa caanka ah: kharashka horumarinta iyo taageerada.

Taasi waa, injineeradu waxay leeyihiin tiro aad u badan oo hawlo heer sare ah, kuwaas oo lagu dhammayn karo hufnaan ku filan oo keliya in la nadiifiyo miyirkooda hawlaha horumarinta heerka hoose.

Shuruudaha looga baahan yahay horumariyayaashu inay u gudbaan heer cusub waxay ahaayeen kobcinta iyo dijitaalaynta ganacsiga. Qiimaha horumariyaha ayaa sidoo kale isbedelaya: waxaa jirta yaraanta horumariyeyaasha kuwaas oo isku dhex milmi kara fikradaha ganacsiga si otomaatig ah loo sameeyo.

Aynu sawirno isbarbardhig leh luuqadaha barnaamijyada heerka hoose iyo kuwa sare. U gudubka luqadaha heerka hoose ee loo gudbayo kuwa heerkoodu sareeyo waa ka gudubka qorista "dardaaranka tooska ah ee luqadda qalabka" ee ku wajahan "awaamiirta afka dadka". Taasi waa, ku darista lakabka wax soo saarka. Xaaladdan oo kale, u gudubka goobaha code-hoose ee luuqadaha barnaamijyada heerka sare ah waa ka gudubka "awaamiirta luqadda dadka" ee loo maro "awaamiirta luqadda ganacsiga". Haddii ay jiraan horumariyayaal ka murugooday xaqiiqadan, markaa way murugoodeen, laga yaabee, tan iyo markii Java Script uu dhashay, kaas oo adeegsada shaqooyinka kala-soocidda. Hawlahan, dabcan, waxay leeyihiin hirgelinta software hoosteeda iyada oo loo marayo habab kale oo isku mid ah barnaamij heer sare ah.

Sidaa darteed, kood-hoosaadku waa uun muuqaalka heer kale oo la taaban karo.

Khibrad la dabaqay iyadoo la adeegsanayo kood-hoose

Mawduuca code-hoosaadku waa mid aad u ballaadhan, laakiin hadda waxaan jeclaan lahaa inaan ka hadlo codsiga la taaban karo ee "fikradaha code-hoose" anigoo isticmaalaya tusaale mid ka mid ah mashaariicdayada.

Qaybta Xallinta Xogta Weyn ee Neoflex waxay aad ugu takhasustay qaybta maaliyadeed ee ganacsiga, dhisidda bakhaarrada xogta iyo harooyinka iyo toosinta warbixinnada kala duwan. Niche-kan, isticmaalka kood-hoosaadka ayaa muddo dheer noqday halbeeg. Qalabka kale ee kood-hoosaadka ah, waxaan ka xusi karnaa qalabka lagu abaabulo hababka ETL: Xarunta Awoodda Informatica, IBM Datastage, Isku-dhafka Xogta Pentaho. Ama Oracle Apex, kaas oo u shaqeeya sidii jawi loogu talagalay horumarinta degdega ah ee is-dhexgalka ee gelitaanka iyo tafatirka xogta. Si kastaba ha ahaatee, isticmaalka qalabka horumarinta code-hoose had iyo jeer kuma lug lahaado dhisidda codsiyada aadka loo beegsaday ee xirmada tignoolajiyada ganacsiga iyada oo si cad loogu tiirsan yahay iibiyaha.

Isticmaalka aaladaha kood-hoosaadka ah, waxa kale oo aad abaabuli kartaa habaynta xogta durdurrada xogta, samayn kartaa aaladaha sayniska xogta ama, tusaale ahaan, qaybo lagu hubinayo tayada xogta.

Mid ka mid ah tusaalooyinka la dabaqay ee waayo-aragnimada isticmaalka qalabka horumarinta code-hoose waa iskaashiga ka dhexeeya Neoflex iyo Mediascope, mid ka mid ah hoggaamiyeyaasha suuqa cilmi-baarista warbaahinta Ruushka. Mid ka mid ah ujeedooyinka ganacsi ee shirkaddan waa soo saarista xogta ku salaysan taas oo xayaysiisay, dhufto ee Internet, channels TV, idaacadaha, wakaaladaha xayeysiiska iyo noocyada ay go'aan ka gaaraan iibsashada Xayeysiiska iyo qorsheeyaan isgaarsiinta suuqgeyntooda.

Cilmi-baarista warbaahintu waa aag ganacsi oo tignoolajiyadeed raran. Aqoonsiga taxanaha fiidiyowga, ururinta xogta aaladaha falanqeynaya daawashada, cabbiraadda dhaqdhaqaaqa ilaha shabakadda - waxaas oo dhan waxay tusinaysaa in shirkaddu leedahay shaqaale IT oo weyn iyo khibrad weyn oo xagga dhisidda xalalka falanqaynta. Laakiin kobaca jibbaarada ee qadarka macluumaadka, tirada iyo kala duwanaanta iloheeda ayaa ku qasbaya warshadaha xogta IT-ga inay si joogto ah u horumaraan. Xalka ugu fudud ee lagu qiyaasi karo madal falanqaynta Mediascope ee hore u shaqaynaysay waxay noqon kartaa in la kordhiyo shaqaalaha IT-ga. Laakiin xal aad u waxtar badan ayaa ah in la dedejiyo geeddi-socodka horumarinta. Mid ka mid ah tillaabooyinka hogaaminaya jihadaan ayaa laga yaabaa inay tahay isticmaalka aaladaha kood-hoosaadka ah.

Waqtiga mashruucu bilaabmay, shirkadu waxay horey u lahayd xal wax soo saar oo shaqeynaya. Si kastaba ha ahaatee, hirgelinta xalka MSSQL ayaa si buuxda u buuxin kari waayay rajada laga qabo in la kordhiyo iyadoo la ilaalinayo kharashka horumarka ee la aqbali karo.

Hawsha ina hortaala waxay ahayd mid hami leh - Neoflex iyo Mediascope waxay ahayd inay abuuraan xal warshadeed wax ka yar hal sano, iyadoo ku xidhan sii deynta MVP rubuci hore ee taariikhda bilawga ah.

Xirmada tignoolajiyada Hadoop ayaa loo doortay inay noqoto aasaaska dhisidda madal xogeed cusub oo ku salaysan xisaabinta kood-hoose. HDFS waxa ay noqotay halbeega kaydinta xogta iyadoo la isticmaalayo faylalka parquet. Si loo helo xogta ku taal goobta, Hive ayaa la isticmaalay, kaas oo dhammaan bakhaarrada la heli karo lagu soo bandhigay qaab miisas dibadda ah. Ku shubida xogta kaydinta ayaa la hirgaliyay iyadoo la adeegsanayo Kafka iyo Apache NiFi.

Qalabka Lowe-code ee fikraddan waxaa loo adeegsaday in lagu wanaajiyo hawsha ugu xoogga badan ee dhisidda goob gorfaynta - hawsha xisaabinta xogta.

Qalabka Datagram-ka kood-hoose ayaa loo doortay habka ugu muhiimsan ee khariidaynta xogta. Neoflex Datagram waa qalab lagu horumariyo isbeddelada iyo socodka xogta.
Isticmaalka qalabkan, waxaad samayn kartaa adigoon gacanta ku qorin koodka Scala. Koodhka Scala si toos ah ayaa loo soo saaray iyadoo la isticmaalayo habka Model Driven Architecture.

Faa'iidada muuqata ee habkani waa dedejinta geeddi-socodka horumarinta. Si kastaba ha ahaatee, marka lagu daro xawaaraha, waxaa sidoo kale jira faa'iidooyinka soo socda:

• Daawashada waxa ku jira iyo qaab dhismeedka ilaha/qaatayaasha;
• Baafinta asalka xogta walxaha u qulqulaya meelo gaar ah (nasab);
• Fulinta qayb ka mid ah isbeddellada iyadoo la eegayo natiijooyinka dhexdhexaadka ah;
• Dib u eegista koodhka isha iyo hagaajinta ka hor inta aan la fulin;
• Xaqiijinta tooska ah ee isbeddelada;
• Soo deji xogta tooska ah 1 ee 1.

Caqabadda gelitaanka xalalka kood-hoosaadka ee abuurista isbeddelku aad bay u hooseeyaan: horumariyahu wuxuu u baahan yahay inuu ogaado SQL oo uu waayo-aragnimo u yeesho la shaqaynta aaladaha ETL. Waxaa mudan in la xuso in koronto-dhaliyeyaasha isbeddelka ee kood-ku-hawlgalayaasha aysan ahayn aaladda ETL ee macnaha ballaaran ee ereyga. Aaladaha kood-hooseeya waxaa laga yaabaa inaysan lahayn deegaan fulin kood u gaar ah. Taasi waa, koodhka la soo saaray waxaa lagu fulin doonaa deegaanka ka jiray kooxda xitaa ka hor inta aan la rakibin xalka hoose ee koodka. Tanina waxaa laga yaabaa inay tahay mid kale oo lagu daray karma kood-hoose. Maaddaama, marka la barbar dhigo kooxda kood-hoosaadka, kooxda "classic" waxay ka shaqayn kartaa fulinta shaqeynta, tusaale ahaan, koodka Scala saafiga ah. Keenista horumarinta labada kooxood ee wax soo saarka waxay noqon doontaa mid fudud oo aan kala go 'lahayn.

Waxaa laga yaabaa inay mudan tahay in la ogaado in marka lagu daro koodka hooseeya, ay sidoo kale jiraan xalal-kood ah. Iyo guntooda, kuwani waa waxyaabo kala duwan. Koodhka-hoose wuxuu u oggolaanayaa horumariyaha inuu faragelin badan ku sameeyo koodka la sameeyay. Xaaladda Datagram, waa suurtagal in la eego oo la tafatiro koodka Scala ee la soo saaray; koodka la'aantu ma bixin karo fursad noocaas ah. Farqigani aad ayuu muhiim u yahay ma aha oo kaliya marka la eego dabacsanaanta xalka, laakiin sidoo kale marka la eego raaxada iyo dhiirigelinta shaqada injineerada xogta.

Qaab dhismeedka xalka

Aan isku dayno inaan si sax ah u ogaano sida aaladda kood-hoose ay u caawiso xallinta dhibaatada hagaajinta xawaaraha horumarinta xisaabinta xogta. Marka hore, aynu eegno qaab-dhismeedka functional ee nidaamka. Tusaale ahaan kiiskan waa qaabka wax soo saarka xogta ee cilmi-baarista warbaahinta.

Ilaha xogta kiiskeena aad bay u kala duwan yihiin waana kala duwan yihiin:

• Dadka mitirka ah (mitirka TV-ga) waa aaladaha software-ka iyo hardware-ka akhriya hab-dhaqanka isticmaalaha ee jawaab-bixiyeyaasha talefishanka - kuwaas oo, goorma iyo waxa kanaalka TV-ga lagu daawado qoyska ka qayb qaadanaya daraasadda. Macluumaadka la keenay waa qulqulka daawashada baahinta ee ku xiran xirmada warbaahinta iyo badeecada warbaahinta. Xogta heerka raritaanka harada xogta waxaa lagu hodmin karaa sifooyin tirakoobka, geostratification, aagga waqtiga iyo macluumaadka kale ee lagama maarmaanka u ah falanqaynta daawashada telefishinka ee badeecad gaar ah. Cabirka la qaaday waxa loo isticmaali karaa in lagu falanqeeyo ama lagu qorsheeyo ololayaasha xayaysiisyada, qiimaynta waxqabadka iyo dookhyada dhagaystayaasha, iyo ururinta shabakada baahinta;
• Xogtu waxay ka iman kartaa nidaamyada la socodka ee baahinta baahinta telefishanka iyo cabbiraadda daawashada agabka fiidyowga ee internetka;
• Aaladaha cabbiraadda ee deegaanka shabakadda, oo ay ku jiraan labada mitir ee barta-goob iyo xuddunta isticmaale. Bixiyaha xogta ee Lake Data wuxuu noqon karaa bar-biraawsar daraasaad iyo codsi moobil oo VPN ku dhex jira.
• Xogtu waxay sidoo kale ka iman kartaa boggaga xoojiya natiijooyinka buuxinta su'aalaha onlineka iyo natiijooyinka waraysiyada telefoonka ee sahaminta shirkadda;
• Xoojinta dheeraadka ah ee harada xogta waxay ku imaan kartaa soo dejinta macluumaadka diiwaanka shirkadaha shuraakada ah.

Dhaqangelinta sida laga soo raray nidaamyada ilaha oo la galiyo dejinta aasaasiga ah ee xogta cayriin waxaa loo habayn karaa siyaabo kala duwan. Haddii kood-hoosaad loo isticmaalo ujeeddooyinkan, soo saarista tooska ah ee qoraallada rarka ee ku salaysan xogta badan waa suurtogal. Xaaladdan oo kale, looma baahna in hoos loo dhigo heerka horumarinta ilaha si loo beegsado khariidadaha. Si loo hirgeliyo loading si toos ah, waxaan u baahan nahay in la dhiso xiriir la isha, ka dibna ku qeexan interface loading liiska hay'adaha la raro. Qaab dhismeedka tusaha ee HDFS si toos ah ayaa loo abuuri doonaa wuxuuna u dhigmi doonaa qaab dhismeedka kaydinta xogta ee nidaamka isha.

Si kastaba ha ahaatee, marka la eego macnaha mashruucan, waxaanu go'aansanay inaanan isticmaalin habkan qaabka hoose ee code-ka sababtoo ah shirkadda Mediascope ayaa mar horeba si madax-bannaan u bilowday shaqada si ay u soo saarto adeeg la mid ah iyadoo la adeegsanayo isku-dhafka Nifi + Kafka.

Waxaa habboon in isla markiiba la muujiyo in qalabkani aanu ahayn mid la beddeli karo, laakiin halkii la kaabi lahaa. Nifi iyo Kafka waxay awoodaan inay u shaqeeyaan labadaba si toos ah (Nifi -> Kafka) iyo dhinaca (Kafka -> Nifi) isku xirka. Goobta cilmi baarista ee warbaahinta, nuqulkii ugu horreeyay ee xirmada ayaa la isticmaalay.

Xaaladeena, NayFi waxay u baahday inay ka baaraandegto noocyada kala duwan ee xogta nidaamyada ilaha oo u dirto dilaalka Kafka. Xaaladdan oo kale, fariimaha ayaa loo diray mawduuc gaar ah oo Kafka iyadoo la adeegsanayo soo-saareyaasha PublishKafka Nifi. Habaynta iyo dayactirka dhuumahaas waxaa lagu fuliyaa muuqaal muuqaal ah. Qalabka Nifi iyo isticmaalka Nifi + Kafka isku-dhafka ah ayaa sidoo kale loogu yeeri karaa habka hoose ee koodhka ee horumarinta, kaas oo leh caqabad hoose oo lagu galo teknoolajiyada Xogta Weyn waxayna dedejisaa habka horumarinta codsiga.

Marxaladda xigta ee hirgelinta mashruucu waxay ahayd in la keeno xog faahfaahsan qaab lakabka semantic ah. Haddi cidi leedahay sifooyin taariikhi ah, xisaabinta waxaa lagu sameeyaa macnaha guud ee qaybta su'aasha. Haddii hay'addu aysan ahayn mid taariikhi ah, markaa ikhtiyaar ahaan waa suurtogal in dib loo xisaabiyo dhammaan waxa ku jira shayga, ama gebi ahaanba diido in dib loo xisaabiyo shaygan (sababtoo ah isbeddel la'aanta). Marxaladdan, furayaasha ayaa loo soo saaray dhammaan hay'adaha. Furayaasha waxaa lagu kaydiyaa tusaha Hbase ee u dhiganta shayada sayidka, kuwaas oo ka kooban waraaqo u dhexeeya furayaasha goobta falanqaynta iyo furayaasha nidaamyada isha. Isku-dubbaridka hay'adaha atomiga waxaa weheliya kobcinta natiijooyinka xisaabinta hordhaca ah ee xogta falanqaynta. Qaab dhismeedka xisaabinta xogta wuxuu ahaa Spark. Shaqeynta la sharraxay ee keenista xogta hal semanti ayaa sidoo kale la hirgeliyay iyadoo lagu salaynayo khariidado laga soo qaatay aaladda Datagram-ka hoose.

Qaab dhismeedka bartilmaameedku wuxuu u baahday helitaanka SQL xogta isticmaalayaasha ganacsiga. Rugta ayaa loo isticmaalay doorashadan. Walxaha si toos ah ayaa loogu diwaan gashanayaa rugta marka aad awooddo "Miiska Diiwaanka Diiwaangelinta" ee qalabka koodka hooseeya.

Xakamaynta socodka xisaabinta

Datagram waxay leedahay is-dhexgal abuurista naqshadaha socodka socodka shaqada. Khariidadaha waxaa lagu bilaabi karaa iyadoo la isticmaalayo jadwalka Oozie. Isku xidhka horumariyaha qulqulka, waxa suurtogal ah in la abuuro qorshayaal isbarbar socda, isdabajoog ah, ama isbeddel ku-tiirsan xogta. Waxaa jira taageero loogu talagalay qoraallada qolofka iyo barnaamijyada Java. Waxa kale oo suurtagal ah in la isticmaalo server-ka Apache Livy. Apache Livy waxaa loo isticmaalaa si toos ah codsiyada deegaanka horumarinta.

Haddii shirkadu ay hore u leedahay hab-raac u gaar ah, waxa suurtogal ah in la isticmaalo REST API si loogu dhejiyo khariidadaha socodka jira. Tusaale ahaan, waxaan leenahay waayo-aragnimo guul leh oo ku dhejinta khariidadaha Scala ee ku jira orchestrators ee ku qoran PLSQL iyo Kotlin. REST API ee aaladda kood-hoosaadka waxaa ka mid ah hawlo ay ka mid yihiin abuurista sanad la fulin karo oo ku salaysan naqshadaynta khariidaynta, wacida khariidaynta, wacida taxanaha khariidadaha, iyo, dabcan, u gudbinta xuduudaha URL si ay u socodsiiso khariidadaha.

Oozie oo weheliya, waxaa suurtogal ah in la habeeyo socodka xisaabinta iyadoo la isticmaalayo Hawada hawada. Waxaa laga yaabaa inaanan ku dheeraan doonin isbarbardhigga u dhexeeya Oozie iyo Airflow, laakiin waxaan si fudud u sheegi doonaa in macnaha guud ee shaqada ee mashruuca cilmi baarista warbaahinta, doorashadu ay ku dhacday doorka Hawada. Doodaha ugu waaweyn ee waqtigan waxay ahaayeen bulsho firfircoon oo horumarinaysa badeecada iyo interface aad u horumarsan + API.

Socodka hawadu sidoo kale wuu fiican yahay sababtoo ah waxay isticmaashaa Python-ka la jecel yahay si ay u sharaxdo hababka xisaabinta. Iyo guud ahaan, ma jiraan meelo badan oo furan oo lagu maamulo socodka shaqada. Bilaabida iyo la socodka fulinta hababka (oo ay ku jiraan jaantuska Gantt) kaliya waxay ku daraan dhibco karma Hawada Hawada.

Qaabka faylka qaabeynta ee bilaabida khariidadaha xalalka kood-hoose ayaa noqday dhimbiil-soo gudbin. Tani waxay ku dhacday laba sababood. Marka hore, Spark-Submit wuxuu kuu ogolaanayaa inaad si toos ah uga socodsiiso faylka weelka ee console-ka. Marka labaad, waxay ka koobnaan kartaa dhammaan macluumaadka lagama maarmaanka ah si loo habeeyo socodka shaqada (taas oo sahlaysa in la qoro qoraallada abuura Dag).
Shayga ugu caansan ee socodka shaqada hawadu kiiskeena wuxuu ahaa SparkSubmitOperator.

SparkSubmitOperator wuxuu kuu oggolaanayaa inaad socodsiiso dhalooyinka - khariidadaha Datagram-ka baakadaysan oo leh cabbiraadyo hore loo soo saaray iyaga.

Waxaa xusid mudan in hawl kasta oo hawo-marineedku ay ku socoto dun gaar ah oo aanay waxba kala socon hawlo kale. Sidaa darteed, isdhexgalka ka dhexeeya hawlaha waxaa lagu fuliyaa iyadoo la isticmaalayo kantaroolayaasha, sida DummyOperator ama BranchPythonOperator.

Isku soo wada duuboo, adeegsiga Datagram-ka xal-qodobeedka-yar oo ay weheliso caalamiyaynta faylalka qaabaynta (samaynta Dag) ayaa horseeday dardar-gelinta iyo fududaynta hab-socodka kobcinta qulqulka xogta.

Soo bandhig xisaabaadka

Waxaa laga yaabaa in marxaladda caqli ahaan ugu raran tahay soo saarista xogta falanqaynta ay tahay tallaabada dhismaha bandhigyada. Marka la eego mid ka mid ah qulqulka xisaabinta xogta shirkadda cilmi-baarista, marxaladdan, xogta ayaa loo dhimay baahinta tixraaca, iyada oo la tixgelinayo hagaajinta aagagga wakhtiga oo lagu xiro shabakada baahinta. Waxa kale oo suurtogal ah in lagu hagaajiyo shabakada baahinta maxalliga ah (warrarka maxalliga ah iyo xayaysiinta). Waxyaabaha kale, tallaabadani waxay jebinaysaa muddada u dhaxaysa daawashada joogtada ah ee alaabta warbaahinta oo ku salaysan falanqaynta daawashada. Isla markiiba, qiyamka daawashada waa "miisaan" iyadoo lagu saleynayo macluumaadka ku saabsan muhiimadooda ( xisaabinta qodobka sixitaanka).

Talaabada goonida ah ee diyaarinta bandhigyada waa ansaxinta xogta. Ansixinta algorithm waxay ku lug leedahay isticmaalka dhowr nooc oo saynis xisaabeed ah. Si kastaba ha ahaatee, isticmaalka madal kood-hooseeya ayaa kuu oggolaanaya inaad jebiso algorithm adag oo aad u kala saarto tiro khariidado muuqaal ah oo kala duwan. Mid kasta oo ka mid ah khariidadaha ayaa qabata hawl cidhiidhi ah. Natiijo ahaan, qaladka dhexdhexaadka ah ee dhexdhexaadka ah, gooynta iyo aragtida heerarka diyaarinta xogta ayaa suurtagal ah.

Waxaa la go'aamiyay in la kala saaro algorithmamka ansaxinta heerarkan hoose:

• Dhisidda dib-u-celinta ku tiirsanaanta daawashada shabakadda TV-ga ee gobol leh daawashada dhammaan shabakadaha gobolka 60 maalmood.
• Xisaabinta hadhaaga ardaynimada (waxyeellada qiyamka dhabta ah ee kuwa lagu saadaaliyay qaabka regression) ee dhammaan dhibcaha dib u noqoshada iyo maalinta la xisaabiyay.
• Xulashada lammaane-shabakad aan caadi ahayn oo gobolka ah, halkaas oo hadhaaga la ardday ee maalinta dejinta uu ka sarreeyo heerka caadiga ah (oo lagu qeexay goobaha hawlgalka).
• Dib u xisaabinta hadhaaga ardayga ee la saxay ee lamaanaha shabakada TV-ga ee jawaab bixiye kasta oo daawaday shabakada gobolka, go'aaminta tabaruca jawaab bixiyahan (cadadiga isbeddelka ee hadhaaga ardayga) marka laga reebo daawashada jawaab bixiyahan muunada .
• Raadi musharrixiinta ka-saariddu waxay ku soo celinaysaa hadhaaga ardaynimada ee maalinta lacag-bixinta sidii caadiga ahayd.

Tusaalaha kor ku xusan wuxuu xaqiijinayaa mala-awaalka ah in injineerka xogta uu horeyba maskaxdiisa ugu badan yahay ... Iyo, haddii tani runtii tahay "injineer" oo aan ahayn "coder", ka dibna cabsida hoos u dhigista xirfadda marka la isticmaalayo qalabka hoose ee koodka. waa in ugu danbeyn dib u gurtaan.

Maxaa kale oo kood yar qaban karaa?

Baaxadda codsiga aaladda kood-hoose ee dufcadda iyo socodsiinta xogta iyada oo aan loo baahnayn in gacanta lagu qoro koodka Scala kuma dhammaanayo halkaas.

Isticmaalka koodhka hoose ee horumarinta datalake ayaa mar horeba noo noqday halbeeg. Waxaan u badan tahay inaan dhihi karno in xalalka ku saleysan xirmada Hadoop ay raacaan dariiqa horumarineed ee DWH-yada caadiga ah ee ku saleysan RDBMS. Aaladaha kood-hoosaadka ah ee ku jira xidhmada Hadoop waxay xallin karaan labadaba hawlaha habaynta xogta iyo hawsha dhisidda isku-xidhka BI ee u dambeeya. Waxaa intaa dheer, waa in la ogaadaa in BI macnaheedu maaha oo kaliya matalaadda xogta, laakiin sidoo kale tafatirka isticmaalayaasha ganacsiga. Inta badan waxaan isticmaalnaa shaqadan marka aan dhisno goobo gorfayneed ee qaybta maaliyadda.

Waxyaalaha kale, iyadoo la adeegsanayo koodhka hooseeya iyo, gaar ahaan, Datagram, waxaa suurtagal ah in la xalliyo dhibaatada raadinta asalka walxaha qulqulka xogta oo leh atomity ilaa meelo gaar ah (nasab). Si tan loo sameeyo, aaladda kood-hoose waxay fulisaa is-dhexgalka Apache Atlas iyo Cloudera Navigator. Asal ahaan, horumariyahu waxa uu u baahan yahay in uu ka diwaan galiyo qaybo walxaha ka mid ah qaamuusyada Atlas oo uu tixraaco walxaha diiwaangashan marka la dhisayo maabaynta. Habka dabagalka asalka xogta ama falanqaynta ku tiirsanaanta shayga waxay badbaadisaa waqti badan marka ay lagama maarmaan noqoto in la hagaajiyo xisaabinta algorithms. Tusaale ahaan, marka la diyaarinayo warbixinnada maaliyadeed, sifadani waxay kuu oggolaanaysaa inaad si raaxo leh uga badbaado muddada isbeddellada sharci-dejinta. Ka dib oo dhan, si fiican ayaanu u fahamsanahay ku-tiirsanaanta qaab-dhismeedka ee macnaha guud ee walxaha lakabka faahfaahsan, wax yar ayaanu la kulmi doonaa cilladaha "kadis ah" oo yareynaya tirada dib-u-shaqaynta.

Tayada Xogta & Koodhka hooseeya

Hawsha kale ee ay fulisay aaladda kood-hoose ee mashruuca Mediascope waxay ahayd hawsha heerka tayada xogta. Farqiga u gaarka ah ee hirgelinta dhuumaha xaqiijinta xogta ee mashruuca shirkadda cilmi-baadhistu waxay ahayd saamayn la'aanta waxqabadka iyo xawaaraha socodka xisaabinta xogta muhiimka ah. Si loo awoodo in la habeeyo socodka xaqiijinta xogta madax-banaan, Apache Airflow hore loo yaqaan ayaa la isticmaalay. Maaddaama tallaabo kasta oo wax-soo-saar xog ahi ay diyaar ahayd, qayb gaar ah oo ka mid ah dhuumaha DQ ayaa la bilaabay si barbar socda.

Waxaa loo arkaa ku-dhaqan wanaagsan in lala socdo tayada xogta laga bilaabo xilliga la aasaasay ee goobta falanqaynta. Haysashada macluumaadka ku saabsan xog-ururinta badan, waxaan hubin karnaa u hoggaansanaanta shuruudaha aasaasiga ah laga bilaabo wakhtiga ay akhbaartu gasho lakabka aasaasiga ah - ma aha waxba, xannibaadyo, furayaal shisheeye. Shaqadan waxaa la hirgeliyay iyadoo lagu salaynayo khariidado si toos ah loo sameeyay ee tayada xogta qoyska ee ku jirta Datagram. Jiilka koodka kiiskan sidoo kale wuxuu ku salaysan yahay xogta badan ee moodeelka. Mashruuca Mediascope, interface-ka waxaa lagu fuliyay xogta badan ee alaabta dhismaha ee Enterprise.

Marka la isku daro aaladda kood-hoose ee Enterprise Architect, jeegaga soo socda ayaa si toos ah loo soo saaray:

• Hubinta joogitaanka qiyamka "null" ee goobaha aan lahayn wax ka beddelka "aan waxba jirin";
• Hubinta joogitaanka nuqullada furaha aasaasiga ah;
• Hubinta furaha shisheeye ee hay'ad;
• Hubinta kala-duwanaanta xadhigga iyadoo lagu salaynayo goobo badan.

Si loo hubiyo in badan oo kakan oo ah helitaanka xogta iyo isku halaynta, khariidad ayaa lagu sameeyay Scala Expression, taas oo u qaadanaysa galinta koodka hubinta Spark SQL ee dibadda oo ay diyaariyeen falanqeeyayaasha Zeppelin.

Dabcan, abuurista tooska ah ee hubinta waa in si tartiib tartiib ah loo gaaro. Qaabka mashruuca la tilmaamay, tan waxaa ka horreeyay tillaabooyinka soo socda:

• DQ lagu hirgeliyay buugaagta xusuus qorka ee Zeppelin;
• DQ oo lagu dhisay khariidad;
• DQ oo ah qaab khariidado waaweyn oo kala duwan oo ay ku jiraan jeegag dhan oo ah cid gaar ah;
• Khariidadaha DQ ee heer caalami ah oo aqbala macluumaadka ku saabsan xog-ururinta iyo hubinta meheradda sida gelinta.

Waxaa laga yaabaa in faa'iidada ugu weyn ee abuurista adeegga hubinta la xaddiday ay tahay dhimista waqtiga ay qaadaneyso in la gaarsiiyo shaqeynta deegaanka wax soo saarka. Hubinta tayada cusub waxay dhaafi kartaa qaabka caadiga ah ee bixinta koodka si aan toos ahayn iyada oo loo marayo horumarinta iyo deegaanka tijaabinta:

• Dhammaan hubinta xogta meta waxaa si toos ah loo soo saaraa marka qaabka wax laga beddelo EA;
• Hubinta helitaanka xogta (go'aaminta jiritaanka xog kasta oo wakhti ah) ayaa la soo saari karaa iyadoo lagu salaynayo tusaha kaydiya wakhtiga la filayo ee muuqaalka xogta qaybta xigta ee macnaha guud ee walxaha;
• Jeegaga ansaxinta xogta ganacsiga waxaa abuuray falanqeeyayaasha buugaagta xusuus qorka ee Zeppelin. Halkaa waxaa si toos ah loogu diraa miisaska dejinta moduleka DQ ee deegaanka wax soo saarka.

Ma jiraan khataro ah in si toos ah loo raro qoraallada wax soo saarka. Xitaa iyada oo qaladka syntax, ugu badnaan ee nagu hanjabaya waa guul-darro in la sameeyo hal jeeg, sababtoo ah socodka xisaabinta xogta iyo socodka hubinta tayada ayaa midba midka kale ka soocaa.

Nuxur ahaan, adeegga DQ wuxuu si joogto ah ugu shaqeeyaa deegaanka wax soo saarka wuxuuna diyaar u yahay inuu bilaabo shaqadiisa marka qaybta xigta ee xogta ay soo baxdo.

Halkii gabagabo

Faa'iidada isticmaalka kood-hoosaadka waa wax iska cad. Horumariyayaashu uma baahna inay arjiga ka soo saaraan eber. Barnaamij-sameeyaha laga xoreeyay hawlo dheeraad ah wuxuu soo saaraa natiijooyin degdeg ah. Xawaaruhu, isna, wuxuu xoreeyaa wakhti dheeraad ah oo lagu xalliyo arrimaha hagaajinta. Sidaa darteed, kiiskan, waxaad ku xisaabtami kartaa xal fiican oo degdeg ah.

Dabcan, kood-hoosaadku maaha dawo, sixirkuna ma dhici doono keligiis:

• Warshadaha kood-hoosaadka ahi waxa ay marayaan heer “xoog-siimaya”, mana jiraan heerar warshadeed isku mid ah weli;
• Qaar badan oo xalal hoose ah maaha kuwo bilaash ah, iibsigooduna waa inuu noqdaa tallaabo miyir leh, kaas oo lagu sameeyo kalsooni buuxda faa'iidooyinka maaliyadeed ee isticmaalka;
• Qaar badan oo xalal hoose ah had iyo jeer si fiican uguma shaqeeyaan GIT/SVN. Ama ay dhib ku yihiin in la isticmaalo haddii koodka la soo saaray uu qarsoon yahay;
• Marka la balaadhiyo qaab-dhismeedka, waxa lagama maarmaan noqon karta in la sifeeyo xal-qodobeedka hoose - taas oo, iyana, kicinaysa saamaynta "ku-xidhnaanta iyo ku-tiirsanaanta" alaab-qeybiyaha xal-qodobeedka hoose.
• Heer ku filan oo ammaan ah ayaa suurtagal ah, laakiin waa mid aad u xoog badan oo adag in la hirgeliyo matoorada nidaamka hoose. Goobaha kood-hoosaadka ah waa in aan la dooran kaliya mabda'a raadinta faa'iidooyinka isticmaalkooda. Markaad dooranayso, waxaa habboon in la waydiiyo su'aalo ku saabsan helitaanka shaqeynta ee xakamaynta marin-u-helidda iyo ergada / kordhinta xogta aqoonsiga ilaa heerka guud ahaan muuqaalka IT-ga ee ururka.

Si kastaba ha noqotee, haddii dhammaan cilladaha nidaamka la doortay ay tahay mid aad ogtahay, iyo faa'iidooyinka isticmaalka, si kastaba ha ahaatee, ayaa ku jira aqlabiyadda ugu badan, ka dibna u gudub koodh yar oo aan cabsi lahayn. Intaa waxaa dheer, u gudubka u gudubka waa lama huraan - sida horumar kasta oo aan laga fursan karin.

Haddii hal horumariye oo ku yaal meel yar oo code ah uu shaqadiisa si ka dhakhso badan u qabto laba horumariye oo aan lahayn kood-hoosaad, markaa tani waxay siinaysaa shirkad madax bilow ah dhammaan dhinacyada. Heerka gelitaanka xalalka code-hoose ayaa ka hooseeya tignoolajiyada "caadiga ah", taasina waxay saameyn togan ku leedahay arrinta yaraanta shaqaalaha. Markaad isticmaalayso qalabka code-ka hooseeya, waxaa suurtogal ah in la dedejiyo isdhexgalka ka dhexeeya kooxaha shaqeeya oo la sameeyo go'aamo degdeg ah oo ku saabsan saxnaanta waddada la doortay ee cilmi-baarista sayniska. Goobaha heerka hoose waxay kicin karaan isbeddelka dhijitaalka ah ee ururka sababtoo ah xalalka la soo saaro waxaa fahmi kara khabiiro aan farsamo ahayn (gaar ahaan isticmaalayaasha ganacsiga).

Haddii aad haysato waqtiyo kama-dambays ah, caqli-gal ganacsi oo raran, la'aanta khibradda tignoolajiyada, oo aad u baahan tahay inaad ku dedejiso wakhtigaaga suuqgeynta, markaa kood-hoosaadku waa hal dariiqo oo lagu daboolo baahiyahaaga.

Ma jirto wax dafiri kara muhiimadda ay leedahay agabka horumarinta dhaqameed, laakiin marar badan, adeegsiga xalalka code-hoosaadka ayaa ah habka ugu wanaagsan ee lagu kordhin karo hufnaanta hawlaha la xallinayo.

Source: www.habr.com