Mukaan , datainsinööri on tällä hetkellä ammatti, jonka kysyntä kasvaa nopeammin kuin mikään muu. Tietosuunnittelijalla on kriittinen rooli organisaatiossa - hän luo ja ylläpitää putkia ja tietokantoja, joita käytetään tietojen käsittelyyn, muuntamiseen ja tallentamiseen. Mitä taitoja tämän ammatin edustajat ennen kaikkea tarvitsevat? Onko luettelo erilainen kuin mitä datatieteilijöiltä vaaditaan? Opit tästä kaikesta artikkelistani.
Analysoin tietoinsinöörin avoimia työpaikkoja sellaisena kuin ne ovat tammikuussa 2020 ymmärtääkseni, mitkä teknologiataidot ovat suosituimpia. Sitten vertasin tuloksia tilastotieteilijöiden avoimista työpaikoista - ja mielenkiintoisia eroja tuli esiin.
Ilman suurta johdantoa, tässä on kymmenen parasta tekniikkaa, jotka mainitaan useimmin työpaikkailmoituksissa:
Teknologioiden maininta avoimissa työpaikoissa tietoinsinöörin tehtävään vuonna 2020
Selvitä se.
Tietosuunnittelijan tehtävät
Nykyään tietoinsinöörien työllä on suuri merkitys organisaatioille - he ovat vastuussa tiedon tallentamisesta ja saattamisesta sellaiseen muotoon, että muut työntekijät voivat työskennellä sen parissa. Tietosuunnittelijat rakentavat putkia datan suoratoistamiseksi tai eräajoin useista lähteistä. Liukulinjat suorittavat sitten poiminta-, muunnos- ja latausoperaatioita (eli ETL-prosesseja), mikä tekee tiedosta sopivampaa jatkokäyttöön. Tämän jälkeen tiedot toimitetaan analyytikoille ja datatieteilijöille syvempää käsittelyä varten. Lopuksi data päättää matkansa kojelaudoissa, raporteissa ja koneoppimismalleissa.
Etsin tietoa, jonka avulla voisin tehdä johtopäätöksen siitä, mitkä tekniikat ovat tällä hetkellä kysytyimpiä tietoinsinöörin työssä.
menetelmät
Keräsin tietoa kolmelta työnhakusivustolta − , и ja tarkasteltiin, mitä avainsanoja löytyi "data-insinöörin" yhteydessä Yhdysvaltojen asukkaille suunnatuissa avoimissa työpaikoissa. Tätä tehtävää varten käytin kahta Python-kirjastoa − и . Avainsanoihin sisällytin sekä aiemmassa listassa tietotutkijan viran avoimien työpaikkojen analysointiin sisältyneet, että ne, jotka valitsin manuaalisesti lukiessani tietoinsinöörien työtarjouksia. LinkedIn ei sisältynyt lähdeluetteloon, koska minut kiellettiin siellä viimeisen tiedonkeruuyritykseni jälkeen.
Laskin jokaiselle avainsanalle osumien prosenttiosuuden kunkin sivuston tekstien kokonaismäärästä erikseen ja lasken sitten kolmen lähteen keskiarvon.
Tulokset
Alla on kolmekymmentä teknisen tiedon suunnittelutermiä, joilla on korkeimmat pisteet kaikilla kolmella työmaalla.
Ja tässä ovat samat numerot, mutta esitetty taulukkomuodossa:
Mennään järjestyksessä.
Tulosten tarkastelu
Sekä SQL että Python esiintyvät yli kahdessa kolmasosassa tarkastetuista työpaikoista. Juuri näitä kahta tekniikkaa on järkevää tutkia ensin. on erittäin suosittu ohjelmointikieli, jota käytetään tietojen käsittelyyn, verkkosivustojen luomiseen ja skriptien kirjoittamiseen. tulee sanoista Structured Query Language; se sisältää standardin, jonka on toteuttanut joukko kieliä, ja sitä käytetään tietojen hakemiseen relaatiotietokannoista. Se ilmestyi kauan sitten ja on osoittautunut erittäin kestäväksi.
Spark mainitaan noin puolessa avoimista työpaikoista. on "yhtenäinen ison datan analytiikkamoottori, jossa on sisäänrakennetut moduulit suoratoistoa, SQL:ää, koneoppimista ja kaavioiden käsittelyä varten." Se on erityisen suosittu suurten tietokantojen kanssa työskentelevien keskuudessa.
AWS esiintyy noin 45 %:ssa työpaikkailmoituksista. Se on Amazonin valmistama pilvilaskenta-alusta; sillä on suurin markkinaosuus pilvialustojen joukossa.
Seuraavaksi tulevat Java ja Hadoop – hieman yli 40 % heidän veljelleen. on laajalti puhuttu, taisteluissa testattu kieli sai kymmenennen sijan ohjelmoijien kauhua aiheuttavien kielten joukossa. Sen sijaan Python oli toiseksi rakastetuin kieli. Java-kieltä ylläpitää Oracle, ja kaikki mitä sinun tarvitsee tietää siitä voidaan ymmärtää tästä tammikuun 2020 virallisen sivun kuvakaappauksesta.
Se on kuin aikakoneessa ajamista
käyttää MapReduce-ohjelmointimallia palvelinklustereiden kanssa suurdataa varten. Nyt tästä mallista luovutaan yhä enemmän.
Sitten näemme Hiven, Scalan, Kafkan ja NoSQL:n – jokainen näistä teknologioista mainitaan neljänneksessä jätetyistä avoimista työpaikoista. Apache Hive on tietovarastoohjelmisto, jonka avulla on helppo lukea, kirjoittaa ja hallita suuria tietojoukkoja, jotka sijaitsevat hajautetuissa kaupoissa SQL:n avulla. – ohjelmointikieli, jota käytetään aktiivisesti big datan kanssa työskennellessä. Erityisesti Spark luotiin Scalassa. Jo mainitussa pelättyjen kielten rankingissa Scala on yhdestoista sijalla. – hajautettu alusta suoratoistoviestien käsittelyyn. Erittäin suosittu tiedon suoratoistovälineenä.
vertailla itsensä SQL:n kanssa. Ne eroavat toisistaan siinä, että ne ovat ei-relatiivisia, rakenteettomia ja horisontaalisesti skaalautuvia. NoSQL on saavuttanut jonkin verran suosiota, mutta hulluus lähestymistapaan, jopa siihen pisteeseen asti, että se korvaa SQL:n hallitsevana tallennusparadigmana, näyttää olevan ohi.
Vertailu termeihin datatieteilijöiden avoimissa työpaikoissa
Tässä on kolmekymmentä datatieteen työnantajien keskuudessa yleisintä teknologiatermiä. Sain tämän luettelon samalla tavalla kuin edellä on kuvattu tietotekniikan osalta.
Teknologia mainitaan avoimessa datatutkijan virassa 2020
Jos puhumme kokonaismäärästä, niin avoimia työpaikkoja oli 28 % enemmän kuin aiemmin harkittuun rekrytointiin (12 013 vs. 9396 XNUMX). Katsotaanpa, mitkä tekniikat ovat vähemmän yleisiä tietotieteilijöiden avoimissa työpaikoissa kuin tietoinsinööreissä.
Suositumpi tietotekniikassa
Alla oleva kaavio näyttää avainsanat, joiden keskimääräinen ero on yli 10 % tai alle -10 %.
Suurimmat erot avainsanojen esiintymistiheydessä tietotekniikan ja datatieteilijän välillä
Merkittävin kasvu on AWS:ssä: tietotekniikassa sitä esiintyy 25 % säännöllisemmin kuin datatieteessä (noin 45 % ja 20 % avoimien työpaikkojen kokonaismäärästä). Ero on havaittavissa!
Tässä samat tiedot hieman erilaisessa esityksessä - kaaviossa saman avainsanan tulokset tietoinsinöörin ja datatieteilijän viran avoimissa työpaikoissa sijaitsevat vierekkäin.
Suurimmat erot avainsanojen esiintymistiheydessä tietotekniikan ja datatieteilijän välillä
Seuraavaksi suurin hyppy, jonka huomasin, oli Sparkissa – datainsinöörin on usein työskenneltävä big datan kanssa. kasvoi myös 20 % eli lähes nelinkertaiseksi verrattuna datatieteilijöiden avoimien työpaikkojen tulokseen. Tiedonsiirto on yksi tietoinsinöörin tärkeimmistä tehtävistä. Lopuksi mainintojen määrä oli 15 % korkeampi Java-, NoSQL-, Redshift-, SQL- ja Hadoopin tietotekniikan alalla.
Vähemmän suosittu tietotekniikassa
Katsotaan nyt, mitkä tekniikat ovat vähemmän suosittuja tietotekniikan avoimissa työpaikoissa.
Jyrkin lasku datatieteen sektoriin verrattuna tapahtui vuonna : siellä hän esiintyi noin 56 prosentissa avoimista työpaikoista, täällä - vain 17 prosentissa. Vaikuttava. R on ohjelmointikieli, joka on tiedemiesten ja tilastotieteilijöiden suosima, ja se on kahdeksanneksi pelätyin kieli maailmassa.
löytyy myös tietoinsinöörin avoimista työpaikoista huomattavasti harvemmin - ero on 14%. SAS on oma kieli, joka on suunniteltu työskentelemään tilastojen ja tietojen kanssa. Mielenkiintoinen kohta: tulosten perusteella päätellen , se on menettänyt paljon jalansijaa viime aikoina – enemmän kuin mikään muu tekniikka.
Kysyntää sekä tietotekniikassa että datatieteessä
On huomattava, että kahdeksan ensimmäisestä kymmenestä paikasta molemmissa sarjoissa ovat samat. SQL, Python, Spark, AWS, Java, Hadoop, Hive ja Scala pääsivät kymmenen parhaan joukkoon sekä tietotekniikan että tietotieteen aloilla. Alla olevasta kaaviosta näet viisitoista suosituinta teknologiaa tietotekniikan työnantajien keskuudessa, ja niiden vieressä on heidän tietotieteilijöiden työpaikkojen määrä.
Suositukset
Jos haluat päästä tietotekniikkaan, neuvoisin sinua hallitsemaan seuraavat tekniikat - luettelen ne likimääräisen prioriteetin järjestyksessä.
Opi SQL. Nojaudun PostgreSQL:ään, koska se on avoimen lähdekoodin, erittäin suosittu yhteisössä ja kasvuvaiheessa. Voit oppia käyttämään kieltä kirjasta My Memorable SQL - sen pilottiversio on saatavilla .
Hallitse Python, vaikka ei kovimmalla tasolla. My Memorable Python on suunniteltu erityisesti aloittelijoille. Sen voi ostaa osoitteesta , sähköinen tai fyysinen kopio valintasi mukaan tai lataa pdf- tai epub-muodossa .
Kun olet tutustunut Pythoniin, siirry pandaan, Python-kirjastoon, jota käytetään tietojen puhdistamiseen ja käsittelyyn. Jos aiot työskennellä yrityksessä, joka vaatii kykyä kirjoittaa Pythonilla (ja tämä on suurin osa niistä), voit olla varma, että pandojen tuntemus oletetaan oletuksena. Olen parhaillaan viimeistelemässä johdanto-opasta pandojen kanssa työskentelemiseen – voit jotta et menetä vapautumishetkeä.
Master AWS. Jos haluat tulla tietoinsinööriksi, et tule toimeen ilman pilvialustaa kätkössä, ja AWS on niistä suosituin. Kurssit auttoivat minua paljon kun opiskelin Luulen, että heillä on myös hyviä materiaaleja AWS: ssä.
Jos olet jo suorittanut tämän koko luettelon ja haluat kasvaa edelleen työnantajien silmissä tietoinsinöörinä, suosittelen Apache Sparkin lisäämistä big datan parissa työskentelemiseen. Vaikka tutkimusni tietotieteilijöiden avoimista työpaikoista osoitti kiinnostuksen vähentymistä, tietoinsinöörien keskuudessa sitä esiintyy edelleen lähes joka toisella avoimella työpaikalla.
vihdoin
Toivottavasti tämä tietoteknologioiden kysytyimpien teknologioiden yleiskatsaus oli sinulle hyödyllinen. Jos mietit, kuinka analyytikkotyöt sujuvat, lue . Hyvää insinöörityötä!
Lähde: will.com