E tusa ai , enisinia faʻamaumauga o loʻo avea nei ma galuega o loʻo faʻatupulaia vave lona manaʻoga nai lo se isi lava. Ose enisinia fa'amaumauga e iai sona sao taua i totonu o se fa'alapotopotoga - o le fa'atūina ma le fa'atumauina o paipa ma fa'amaumauga e fa'aaogaina e fa'agasolo ai, suia ma teu fa'amaumauga. O a tomai e manaʻomia muamua e sui o lenei matata? E ese le lisi mai mea e manaʻomia e saienitisi faʻamaumauga? O le ae aʻoaʻoina e uiga i nei mea uma mai laʻu tusiga.
Sa ou suʻesuʻeina avanoa mo le tulaga o le inisinia faʻamaumauga e pei ona i ai ia Ianuari 2020 e malamalama ai po o fea tomai faʻatekonolosi e sili ona lauiloa. Ona ou faʻatusatusaina lea o faʻaiʻuga ma faʻamaumauga i avanoa mo le tulaga faʻasaienitisi faʻamaumauga - ma o nisi o eseesega mataʻina na aliaʻe mai.
A aunoa ma le tele o faʻamatalaga, o tekinolosi pito i luga nei e sefulu o loʻo taʻua soo i luga o galuega:
Ta'ua o tekinolosi i avanoa mo le tulaga o fa'amatalaga inisinia i le 2020
Sei o tatou fuafuaina.
Matafaioi a se inisinia fa'amaumauga
I aso nei, o le galuega o loʻo faia e inisinia faʻamaumauga e taua tele mo faʻalapotopotoga - o tagata ia e nafa ma le teuina o faʻamatalaga ma aumaia i se tulaga e mafai ai e isi tagata faigaluega ona galulue faʻatasi. E fausia e le au inisinia faʻamaumauga ni paipa e faʻasalalau pe faʻapipiʻi faʻamaumauga mai le tele o punaoa. Pipelines ona faʻatino lea o le faʻaaogaina, suiga, ma le faʻapipiʻiina o gaioiga (i se isi faaupuga, faiga ETL), faʻaogaina faʻamatalaga e sili atu ona talafeagai mo le faʻaaogaina atili. A maeʻa lenei mea, e tuʻuina atu faʻamaumauga i tagata suʻesuʻe ma saienitisi faʻamaumauga mo le faʻaogaina loloto. Mulimuli ane, o faʻamaumauga e faʻamutaina lana faigamalaga i dashboards, lipoti, ma faʻataʻitaʻiga aʻoaʻoga masini.
Sa ou suʻeina faʻamatalaga e mafai ai ona ou faia se faaiuga e uiga i tekinolosi e sili ona manaʻomia i le galuega a se inisinia faʻamatalaga i le taimi nei.
Metotia
Na ou aoina mai faʻamatalaga mai nofoaga suʻesuʻe galuega e tolu − , и ma vaʻavaʻai i upu autu na oʻo mai faʻatasi ma le "insinia faʻamatalaga" i tusitusiga o avanoa e faʻatatau i tagata US. Mo lenei galuega sa ou faʻaaogaina faletusi Python e lua − и . I totonu o upu autu, na ou aofia uma ai na mea na aofia ai i le lisi muamua mo le iloiloina o avanoa mo le tulaga o le saienitisi faʻamaumauga, ma i latou na ou filifilia ma le lima aʻo faitau galuega ofo mo faʻamatalaga inisinia. LinkedIn e leʻi aofia i le lisi o punaoa, talu ai na faʻasaina aʻu iina ina ua uma laʻu taumafaiga mulimuli e aoina faʻamatalaga.
Mo upu ta'itasi ta'itasi, na ou fa'atatauina le pasene o fa'ailoga mai le aofa'i o fa'amaumauga i luga o saite ta'itasi, ona fa'atatauina lea o le averesi mo fa'apogai e tolu.
Iʻuga
O lo'o i lalo le tolusefulu fa'amatalaga fa'ainisinia fa'ainisinia fa'ainisinia fa'atasi ma togi sili ona maualuga i nofoaga uma e tolu o galuega.
Ma o numera tutusa nei, ae o loʻo tuʻuina atu i le laulau:
Tatou o i le faasologa.
Iloiloga o i'uga
O le SQL ma le Python e aliali mai i le sili atu ma le lua vaetolu o avanoa faigaluega na toe iloiloina. O nei tekinolosi e lua e talafeagai e suʻesuʻe muamua. ose gagana fa'akomepiuta ta'uta'ua e fa'aaogaina mo le galue i fa'amaumauga, fatuina o upega tafa'ilagi, ma le tusiaina o tusitusiga. e tu mo Structured Query Language; e aofia ai se faʻataʻitaʻiga faʻatinoina e se vaega o gagana ma faʻaaogaina e toe aumai faʻamaumauga mai faʻamaumauga faʻamaumauga. Na aliali mai i se taimi ua leva ma ua faʻamaonia o ia lava e matua teteʻe.
O lo'o ta'ua Spark i le tusa ma le afa o avanoa. o se "faʻamatalaga faʻamaumauga tuʻufaʻatasia afi ma faʻapipiʻi faʻapipiʻi mo le tafe, SQL, aʻoaʻoga masini, ma le faʻaogaina o kalafi." E sili ona lauiloa i latou o loʻo galulue i faʻamaumauga tetele.
AWS fa'aalia ile 45% o galuega fa'asalalau. O se fa'aputuga fa'akomepiuta ao na gaosia e Amazon; o lo'o i ai le fa'atauga sili ona tele i totonu o fa'asalalauga ao uma.
Sosoo mai ai Java ma Hadoop - e sili atu nai lo le 40% mo lo la tuagane. ose gagana tautala lautele, fa'ata'ita'iina taua na maua le tulaga sefulu i totonu o gagana e mafua ai le mataʻutia i le va o tagata fai polokalame. I se eseesega, o le Python o le gagana lona lua e sili ona fiafia i ai. O le gagana Java o loʻo faʻatautaia e Oracle, ma o mea uma e tatau ona e iloa e uiga i ai e mafai ona malamalama mai i lenei faʻamalama o le itulau aloaia mai Ianuari 2020.
E pei o le tietie i se masini taimi
fa'aogaina le fa'ata'ita'iga polokalame MapReduce fa'atasi ai ma fuifui 'au'aunaga mo fa'amatalaga tetele. O le taimi nei ua faʻateleina le lafoaia o lenei faʻataʻitaʻiga.
Ona tatou vaʻaia lea o Hive, Scala, Kafka ma NoSQL - o nei tekinolosi taʻitasi o loʻo taʻua i le kuata o avanoa na tuʻuina atu. Apache Hive o se faʻamaumauga fale teu oloa e "faʻafaigofie ona faitau, tusitusi, ma pulea faʻamaumauga tetele o loʻo nonofo i faleoloa tufatufaina e faʻaaoga ai le SQL." - o se gagana fa'apolokalame e fa'aaogaina malosi pe a galue ma fa'amaumauga tetele. Aemaise lava, na faia Spark i Scala. I le tulaga ua uma ona taʻua o gagana mataʻutia, Scala tulaga sefulutasi. - o se faʻasalalauga faʻasalalau mo le faʻagaioia o feʻau faʻasalalau. E sili ona taʻutaʻua o se auala e faʻafefe ai faʻamatalaga.
fa'atusatusa i latou lava ma SQL. E 'ese'ese i latou ona e le o feso'ota'iga, e le'i fa'atulagaina, ma fa'alava fa'alautele. Ua maua e le NoSQL se taʻutaʻua, ae o le manaʻo tele mo le auala, e oʻo lava i le tulaga o valoaga o le a suia ai le SQL e avea ma faʻataʻitaʻiga sili ona teuina, e foliga mai ua maeʻa.
Fa'atusatusaga ma fa'aupuga i fa'amaumauga saienitisi avanoa
O fa'amatalaga nei e tolusefulu fa'atekonolosi e sili ona taatele i tagata e ana galuega fa'asaienisi fa'amatalaga. Na ou mauaina lenei lisi i le auala lava e tasi e pei ona faamatalaina i luga mo faʻamatalaga inisinia.
Fa'amatalaga o tekonolosi i avanoa mo le tulaga o fa'amaumauga saienitisi i le 2020
Afai tatou te talanoa e uiga i le aofaʻi, faʻatusatusa i le faʻafaigaluegaina muamua, e 28% sili atu avanoa (12 versus 013). Se'i o tatou va'ai po'o fea tekinolosi e le masani ai i avanoa mo fa'amaumauga saienitisi nai lo inisinia fa'amatalaga.
E sili atu ona lauiloa i faʻamatalaga inisinia
O le kalafi o loʻo i lalo o loʻo faʻaalia ai upu autu ma se eseesega masani e sili atu i le 10% pe itiiti ifo i le -10%.
Le tele o eseesega i upu fa'atele i le va o fa'amatalaga inisinia ma fa'amaumauga saienitisi
O le AWS o loʻo faʻaalia ai le faʻaopoopoga sili ona taua: i faʻamatalaga faʻainisinia e foliga mai e 25% sili atu i taimi uma nai lo le saienisi faʻamatalaga (tusa ma le 45% ma le 20% o le aofaʻi o avanoa, i le faasologa). E iloagofie le eseesega!
O fa'amaumauga lava lea e tasi i se fa'aaliga e ese teisi - i le kalafi, o fa'ai'uga mo le upu autu lava e tasi i avanoa mo le tulaga o fa'amatalaga inisinia ma fa'amaumauga fa'asaienitisi o lo'o tu fa'atasi.
Le tele o eseesega i upu fa'atele i le va o fa'amatalaga inisinia ma fa'amaumauga saienitisi
O le isi oso tele na ou matauina o le Spark - e masani ona galue se inisinia faʻamatalaga ma faʻamatalaga tetele. ua siitia foi i le 20%, o lona uiga, toetoe lava fa taimi pe a faatusatusa i le taunuuga mo avanoa saienitisi faamatalaga. Fa'aliliuga fa'amatalaga o se tasi lea o matafaioi autu a se inisinia fa'amaumauga. Mulimuli ane, o le numera o faʻamatalaga na 15% maualuga i le fanua o faʻamatalaga inisinia mo Java, NoSQL, Redshift, SQL ma Hadoop.
Le lauiloa ile inisinia fa'amatalaga
Se'i o tatou va'ai po'o fea tekinolosi e tau le ta'uta'ua i avanoa enisinia fa'amaumauga.
O le pa'ū pito sili ona mataʻutia pe a faʻatusatusa i le vaega faʻasaienisi faʻamaumauga na tupu i : o iina na ia faʻaalia i le tusa ma le 56% o avanoa, iinei - naʻo le 17%. Mata'ina. R o se gagana fa'apolokalame e fiafia i ai saienitisi ma tagata su'esu'e fuainumera, ma o le gagana lona valu lea e sili ona mata'utia i le lalolagi.
o loʻo maua foi i avanoa mo le tulaga o le inisinia faʻamaumauga e matua itiiti lava - o le eseesega e 14%. O le SAS ose gagana fa'apitoa e fa'atulagaina mo le galue ma fa'amaumauga ma fa'amaumauga. Manaia manatu: fa'amasinoina i'uga , ua leiloloa le tele o eleele talu ai nei-ua sili atu nai lo se isi lava tekinolosi.
E manaʻomia i faʻamatalaga inisinia ma faʻamatalaga faasaienisi
E tatau ona maitauina o le valu o tulaga muamua e sefulu i seti uma e lua e tutusa. SQL, Python, Spark, AWS, Java, Hadoop, Hive ma Scala na faia i totonu o le sefulu pito i luga mo le faʻainisinia faʻamatalaga ma faʻamatalaga faasaienisi alamanuia. I le kalafi o loʻo i lalo e mafai ona e vaʻaia ai le sefululima tekinolosi sili ona lauiloa i le va o tagata faigaluega inisinia faʻamatalaga, ma e sosoo ma latou o loʻo i ai lo latou avanoa mo tagata suʻesuʻe faʻamaumauga.
fautuaga
Afai e te manaʻo e te alu i faʻamatalaga faʻainisinia, ou te fautua atu ia te oe e faʻatautaia tekinolosi nei - Ou te lisiina i latou i le faasologa o le faʻatatauina o le faamuamua.
Aoao SQL. O loʻo ou faʻalagolago i le PostgreSQL ona o se punaoa tatala, e sili ona lauiloa i totonu o le alalafaga, ma o loʻo i ai i se tulaga tuputupu aʻe. E mafai ona e a'oa'oina le fa'aogaina o le gagana mai le tusi My Memorable SQL - o lo'o maua lona fa'ata'ita'iga pailate .
Master Python, tusa lava pe le o se tulaga sili ona faigata. O laʻu Python Memorable ua mamanuina faapitoa mo tagata amata. E mafai ona fa'atau ile , kopi fa'aeletoroni po'o fa'aletino, lau filifiliga, po'o le la'uina i le pdf po'o le epub format .
O le taimi lava e te masani ai i le Python, alu i le pandas, o se faletusi Python e faʻaaogaina mo le faʻamamaina ma le faʻaogaina o faʻamaumauga. Afai o loʻo e faʻamoemoe e galue i se kamupani e manaʻomia le tomai e tusitusi i le Python (ma o le tele lea o latou), e mafai ona e mautinoa o le malamalama o pandas o le a faʻaaogaina e ala i le le mafai. O lo'o fa'amae'a nei la'u ta'iala e galue ai ma pandas - e te mafaia ina ia le misia le taimi o le tatalaina.
Matai AWS. Afai e te manaʻo e avea oe ma se inisinia faʻamatalaga, e le mafai ona e faia e aunoa ma se ao faʻapipiʻi i totonu o le fale, ma o le AWS e sili ona lauiloa i latou. Sa fesoasoani tele ia kosi ia te au a o ou aʻoga , Ou te manatu o le a latou maua foi mea lelei ile AWS.
Afai ua uma ona e faʻamaeʻaina lenei lisi atoa ma manaʻo e faʻalautele atili i mata o tagata e ana galuega o se inisinia faʻamatalaga, ou te fautua atu e faʻaopoopo Apache Spark mo le galue ma faʻamatalaga tetele. E ui lava o la'u su'esu'ega i avanoa saienitisi fa'amatalaga na fa'aalia ai le fa'aitiitia o le tului, i totonu o fa'amaumauga enisinia o lo'o fa'aalia pea i le toetoe o avanoa lua uma.
Mulimuli ane
Ou te faʻamoemoe na e mauaina lenei faʻamatalaga lautele o tekinolosi sili ona manaʻomia mo faʻamatalaga inisinia aoga. Afai o lo'o e mafaufau pe fa'afefea galuega su'esu'e, faitau . Manuia inisinia!
puna: www.habr.com