Sida laga soo xigtay , Injineer xogeed hadda waa xirfad dalabkeedu aad u korayo si ka dhakhso badan kuwa kale. Injineer xogeed ayaa door muhiim ah ka ciyaara ururka - abuuritaanka iyo dayactirka dhuumaha iyo kaydka xogta ee loo isticmaalo habaynta, beddelka iyo kaydinta xogta. Xirfado noocee ah ayay wakiilada mihnaddani u baahan yihiin marka hore? Liisku ma ka duwan yahay waxa looga baahan yahay saynisyahannada xogta? Waxaas oo dhan waxaad ka baran doontaa maqaalkayga.
Waxaan falanqeeyay shaqooyinka bannaan ee booska injineernimada xogta sida ay ku jiraan Janaayo 2020 si aan u fahmo xirfadaha tignoolajiyada ugu caansan. Kadibna waxaan barbardhigay natiijooyinka tirakoobyada boosaska banaan ee booska saynisyahanka xogta - iyo qaar ka mid ah kala duwanaanshiyaha xiisaha leh ayaa soo baxay.
Iyada oo aan la helin horudhac badan, halkan waxaa ah tobanka tignoolajiyada ugu sarreeya ee inta badan lagu sheego dhejinta shaqada:
Sheeg tignoolajiyada boosaska banaan ee booska injineerka xogta 2020
Aynu ogaanno.
Waajibaadka injineerka xogta
Maanta, shaqada ay injineerada xogta qabtaan ayaa muhiimad weyn u leh ururada - kuwani waa dadka ka masuulka ah kaydinta macluumaadka iyo keenista qaab ay shaqaalaha kale kula shaqayn karaan. Injineerada xogtu waxay dhisaan dhuumo si ay u daadiyaan ama u dufeeyaan xogta ilo badan. Tubooyinku waxay markaa fuliyaan hawlgallada soo saarista, beddelka, iyo rarista (si kale haddii loo dhigo, hababka ETL), taasoo ka dhigaysa xogta mid ku habboon isticmaalka dheeraadka ah. Taas ka dib, xogta waxaa loo gudbiyaa falanqeeyayaasha iyo saynisyahanada xogta si qoto dheer loo farsameeyo. Ugu dambeyntii, xogtu waxay ku dhammaataa safarkeeda dashboards, warbixinnada, iyo moodooyinka barashada mashiinka.
Waxaan raadinayay macluumaad ii oggolaanaya inaan gunaanado tignoolajiyada ugu baahida badan ee shaqada injineerka xogta xilligan.
Dariiqooyinka
Waxaan xogta ka soo ururiyay saddex goobood oo shaqo raadis ah - , ΠΈ oo fiiriyey waxa ereyada muhiimka ah ay la kulmeen "injineer xogta" qoraallada boosaska banaan ee loogu talagalay deganayaasha Mareykanka. Hawshan waxaan u adeegsaday laba maktabadood Python - ΠΈ . Ka mid ah ereyada muhiimka ah, waxaan ku daray labadaba kuwa lagu daray liiskii hore ee falanqaynta boosaska bannaan ee jagada saynisyahanka xogta, iyo kuwa aan gacanta ku doortay markaan akhriyo shaqooyinka ay bixiyaan injineerada xogta. LinkedIn laguma darin liiska ilaha, tan iyo markii la iga mamnuucay halkaas ka dib isku daygii ugu dambeeyay ee ururinta xogta.
Kelmad kasta oo muhiim ah, waxaan xisaabiyay boqolleyda hits ee tirada guud ee qoraallada ku yaal goob kasta si gaar ah, ka dibna waxaan xisaabiyay celceliska saddexda ilo.
Π Π΅Π·ΡΠ»ΡΡΠ°ΡΡ
Hoos waxaa ah soddonka eray ee injineernimada xogta farsamada ee leh buundooyinka ugu sarreeya dhammaan saddexda goobood ee shaqada.
Oo waa kuwan tiro isku mid ah, laakiin waxaa lagu soo bandhigay qaab shax:
Aan u kala hormarno.
Dib u eegista natiijooyinka
Labada SQL iyo Python labaduba waxay ka soo muuqdaan in ka badan saddex-meelood laba meelood ee furitaanka shaqada ee dib loo eegay. Waa labadan teknooloji ee macno samaynaya in la barto marka hore. waa luuqad barnaamijeed aad loo jecel yahay oo loo isticmaalo ka shaqaynta xogta, samaynta mareegaha, iyo qorista qoraallada. waxay u taagan tahay Luuqadda Wayddiinta ee Qaabaysan; waxay ku lug leedahay halbeeg ay fuliyeen koox luuqado ah waxaana loo isticmaalaa in lagu soo saaro xogta xogta macluumaadka. Waxay soo muuqatay wakhti dheer ka hor waxayna isku cadeeysay inay tahay mid aad u adkaysi badan.
Spark waxa lagu sheegay ilaa kala badh boosaska banaan. waa "matoorka falanqaynta xogta weyn ee midaysan oo leh qaybo ku dhex dhisan oo loogu talagalay baahinta, SQL, barashada mashiinka, iyo habaynta garaafyada." Waxay si gaar ah caan ugu tahay kuwa ka shaqeeya keydka macluumaadka ee waaweyn.
AWS waxay ka muuqataa ku dhawaad ββ45% shaqooyinka la soo dhejiyo. Waa madal xisaabinta daruuraha oo ay samaysay Amazon; waxay leedahay saamiga ugu badan ee suuqa ee dhammaan aaladaha daruuraha.
Waxaa ku xiga Java iyo Hadoop - in ka yar 40% walaalkood. waa luqad si weyn loogu hadlo, dagaal lagu tijaabiyay oo waxaa lagu abaalmariyay kaalinta tobnaad ee luuqadaha cabsida ku abuura barnaamij-yaqaannada. Taas bedelkeeda, Python waxay ahayd luqadda labaad ee loogu jecel yahay. Luuqadda Java waxaa maamula Oracle, wax kasta oo aad u baahan tahay inaad ka ogaato waxa laga fahmi karaa sawirka bogga rasmiga ah laga bilaabo Janaayo 2020.
Waxay la mid tahay fuulista mashiinka waqtiga
waxay u isticmaashaa qaabka barnaamijka MapReduce oo wata kooxo server ah si ay u helaan xog weyn. Hadda qaabkani waa mid sii kordheysa in laga tago.
Kadibna waxaan aragnaa Hive, Scala, Kafka iyo NoSQL - mid kasta oo ka mid ah tignoolajiyadan ayaa lagu sheegay rubuc boosaska banaan ee la soo gudbiyay. Apache Hive waa software bakhaar xogta ah kaas oo "fududeynaya in la akhriyo, qoro, oo maamulo xog-ururinta waaweyn ee degan dukaamada la qaybiyey iyadoo la adeegsanayo SQL." - luqadda barnaamijka oo si firfircoon loo isticmaalo marka lagu shaqeynayo xogta weyn. Gaar ahaan, Spark waxaa lagu abuuray Scala. Qiimaynta hore ee luuqadaha laga cabsado, Scala waxay gashay kaalinta kow iyo tobnaad. β madal la qaybiyey oo loogu talagalay socodsiinta fariimaha qulqulka. Aad caan u ah si loo helo xogta.
iska soo horjeeda SQL. Waxay ku kala duwan yihiin inay yihiin kuwo aan xidhiidh ahayn, aan qaabaysan, oo si siman loo cabbiri karo. NoSQL waxay heshay xoogaa caan ah, laakiin xiisaha loogu talagalay habka, xitaa illaa heerka waxsii sheegyada inay bedeli doonto SQL oo ah jaantuska kaydinta ugu weyn, ayaa u muuqda inuu dhammaaday.
Isbarbardhigga shuruudaha boosaska saynis yahanka xogta
Halkan waxaa ah soddon eray oo tignoolajiyadeed oo ugu caansan loo shaqeeyayaasha sayniska xogta. Waxaan liiskan ku helay si la mid ah sida kor lagu sharaxay ee injineernimada xogta.
Sheegista tignoolajiyada ee boosaska banaan ee jagada saynisyahanka xogta sanadka 2020
Haddii aan ka hadalno tirada guud, marka loo eego shaqaalaysiinta hore loo tixgeliyey, waxaa jiray 28% boosas ka badan (12 oo ka soo horjeeda 013). Aynu aragno tignoolajiyada ay ku yar yihiin shaqooyinka bannaan ee saynisyahannada xogta marka loo eego injineerada xogta.
Caan ka ah injineernimada xogta
Jaantuska hoose wuxuu muujinayaa ereyada muhiimka ah oo celcelis ahaan farqi ka weyn 10% ama ka yar -10%.
Farqiga ugu weyn ee soo noqnoqda ereyga muhiimka ah ee u dhexeeya injineerka xogta iyo saynisyahanka xogta
AWS waxay muujinaysaa kororka ugu muhiimsan: injineernimada xogta waxay u muuqataa 25% si joogto ah marka loo eego sayniska xogta (qiyaastii 45% iyo 20% tirada guud ee boosaska banaan, siday u kala horreeyaan). Farqiga waa la dareemi karaa!
Halkan waxaa ku yaal xog isku mid ah oo ku saabsan bandhig yar oo kala duwan - garaafka, natiijooyinka isla ereyga muhiimka ah ee boosaska bannaan ee injineernimada xogta iyo saynisyahanka xogta ayaa ku yaal dhinac dhinac ah.
Farqiga ugu weyn ee soo noqnoqda ereyga muhiimka ah ee u dhexeeya injineerka xogta iyo saynisyahanka xogta
Boodka xiga ee ugu weyn ee aan xusay wuxuu ahaa Spark - injineerka xogta inta badan waa inuu ku shaqeeyaa xog weyn. sidoo kale wuxuu kordhay 20%, taas oo ah, ku dhawaad ββafar jeer marka loo eego natiijada boosaska saynisyahanada xogta. Wareejinta xogtu waa mid ka mid ah waajibaadka muhiimka ah ee injineerka xogta. Ugu dambeyntii, tirada la sheegay waxay ahayd 15% sare xagga injineernimada xogta Java, NoSQL, Redshift, SQL iyo Hadoop.
Caan ka yar xagga injineernimada xogta
Hadda aan aragno tignoolajiyada aan caan ku ahayn boosaska injineerada xogta.
Hoos u dhaca ugu weyn marka loo eego qaybta sayniska xogta ayaa ka dhacay : halkaas wuxuu ka soo muuqday qiyaastii 56% boosaska banaan, halkan - kaliya 17%. Cajiib R waa luqadda barnaamijyada oo ay jecel yihiin saynisyahannada iyo cilmi-baarayaasha, waana luqadda siddeedaad ee looga cabsado adduunka.
Waxa kale oo laga helaa boosaska injineernimada xogta si aad u yar marar badan - faraqa waa 14%. SAS waa luqad iska leh oo loogu talagalay in lagu shaqeeyo tirakoobyada iyo xogta. Qodob xiiso leh: ku garsooridda natiijooyinka , waxay lumisay dhul badan dhawaanahan - in ka badan tiknoolajiyada kale.
Baahida injineernimada xogta iyo sayniska xogta labadaba
Waa in la ogaadaa in siddeed ka mid ah tobanka boos ee ugu horreeya labada qayboodba ay isku mid yihiin. SQL, Python, Spark, AWS, Java, Hadoop, Hive iyo Scala ayaa ka dhigay tobanka sare ee injineerada xogta iyo warshadaha sayniska. Shaxda hoose waxaad ku arki kartaa shan iyo tobanka tignoolajiyada ugu caansan ee ka dhex shaqeeya injineerada xogta, waxaana ku xiga heerka ay ka banaan yihiin saynisyahanada xogta.
talooyinka
Haddii aad rabto inaad gasho injineernimada xogta, waxaan kugula talin lahaa inaad si fiican u barato tignoolajiyada soo socda - waxaan u taxaabay sida ay u kala mudan yihiin.
Baro SQL. Waxaan u janjeera dhanka PostgreSQL sababtoo ah waa il furan, caan ka ah bulshada dhexdeeda, waxayna ku jirtaa marxalad koritaan ah. Waxaad ka baran kartaa sida loo isticmaalo luqadda buugga My Memorable SQL - nooca tijaabada ah waa la heli karaa .
Master Python, xitaa haddii uusan ahayn heerka ugu adag. My Memorable Python waxaa si gaar ah loogu talagalay bilowgayaasha. Waxaa laga iibsan karaa , koobi elektaroonig ah ama muuqaal ahaan, doorashadaada, ama ku soo dejiso qaab pdf ama epub ah .
Marka aad taqaan Python, u gudub pandas, maktabad Python oo loo isticmaalo nadiifinta iyo habaynta xogta. Haddii aad hiigsaneyso inaad ka shaqeyso shirkad u baahan karti aad wax ku qorto Python (waana inta badan iyaga), waxaad hubin kartaa in aqoonta pandas-ka loo qaadan doono si caadi ah. Hadda waxaan dhamaynayaa hage hordhac ah oo ku saabsan la shaqaynta pandas - waad awoodaa si aysan u lumin xilliga la sii daayo.
Ustaad AWS. Haddii aad rabto in aad noqoto injineer xogta, ma samayn kartid la'aanteed madal daruur ah oo ku jirta qashinka, iyo AWS waa kuwa ugu caansan iyaga. Koorsooyinkii wax badan ayey i caawiyeen markaan baranayay Waxaan u maleynayaa inay sidoo kale heli doonaan agab wanaagsan AWS.
Haddii aad horey u buuxisay liiskan oo dhan oo aad rabto inaad ku sii korodho indhaha loo shaqeeyaha sida injineerka xogta, waxaan soo jeedinayaa in lagu daro Apache Spark si loogu shaqeeyo xog weyn. Inkasta oo cilmi-baadhistayda ku saabsan boosaska saynisyahannada xogta ay muujisay hoos u dhac ku yimid xiisaha, injineerada xogta waxay weli u muuqataa ku dhawaad ββββlabaad kasta oo bannaan.
Gabagabadii
Waxaan rajeynayaa inaad faa'iido u heshay dib u eegistan tignoolajiyada baahida loo qabo ee injineerada xogta. Haddii aad la yaabban tahay sida shaqooyinka falanqeeyuhu u socdaan, akhri . Injineer farxad leh!
Source: www.habr.com