ылайык , маалымат инженери азыркы учурда суроо-талап башкаларына караганда тез өсүп жаткан кесип. Маалымат инженери уюмда маанилүү ролду ойнойт - маалыматтарды иштеп чыгуу, өзгөртүү жана сактоо үчүн колдонулган түтүктөрдү жана маалымат базаларын түзүү жана колдоо. Бул кесиптин өкүлдөрүнө биринчи кезекте кандай жөндөм керек? Тизме маалымат таануучулардан талап кылынгандан айырмаланып жатабы? Мунун баары жөнүндө менин макаламдан биле аласыз.
Кайсы технологиялык көндүмдөр эң популярдуу экенин түшүнүү үчүн мен 2020-жылдын январында маалымат инженеринин вакансияларын талдап чыктым. Андан кийин мен натыйжаларды статистикалык маалыматтар менен салыштырып көрдүм жана кээ бир кызыктуу айырмачылыктар пайда болду.
Көп преамбуласыз, бул жерде жумуш жарыяларында эң көп айтылган он технология:
2020-жылы маалымат инженери кызматына бош орундардагы технологияларды эске алуу
Келгиле, аны аныктайлы.
Маалымат инженеринин милдеттери
Бүгүнкү күндө маалымат инженерлери аткарган жумуш уюмдар үчүн чоң мааниге ээ - булар маалыматты сактоо жана аны башка кызматкерлер аны менен иштей ала тургандай формага келтирүү үчүн жооптуу адамдар. Маалымат инженерлери бир нече булактардан маалыматтарды агым же пакеттөө үчүн куурларды курат. Андан кийин түтүктөр экстракциялоо, трансформациялоо жана жүктөө операцияларын (башкача айтканда, ETL процесстерин) аткарып, маалыматтарды андан ары колдонууга ылайыктуу кылат. Андан кийин, маалыматтар аналитиктерге жана маалымат таануучуларга тереңирээк иштетүү үчүн берилет. Акыр-аягы, маалыматтар башкаруу панелдеринде, отчеттордо жана машина үйрөнүү моделдеринде өз сапарын аяктайт.
Мен азыр маалымат инженеринин ишинде кайсы технологиялар эң көп суроо-талапка ээ экендиги жөнүндө тыянак чыгарууга мүмкүндүк берүүчү маалыматты издеп жүрдүм.
ыкмалары
Мен үч жумуш издөө сайтынан маалымат чогултту - , и жана АКШнын жашоочуларына багытталган бош орундардын тексттеринде "маалымат инженери" менен кандай ачкыч сөздөр кездешкенин карап чыкты. Бул тапшырма үчүн мен эки Python китепканасын колдондум и . Ачкыч сөздөрдүн арасында мен маалымат таануучу кызматына вакансияларды талдоо үчүн мурунку тизмеге киргендерди да, маалымат инженерлери үчүн жумуш сунуштарын окуп жатканда кол менен тандап алгандарды да коштум. LinkedIn булактардын тизмесине киргизилген эмес, анткени менин акыркы маалымат чогултуу аракетимден кийин ал жерде мага тыюу салынган.
Ар бир ачкыч сөз үчүн мен ар бир сайттагы тексттердин жалпы санынан өз-өзүнчө хиттердин пайызын эсептеп чыктым, андан кийин үч булак боюнча орточо эсепти эсептеп чыктым.
натыйжалары
Төмөндө бардык үч жумуш сайттарында эң жогорку баллга ээ болгон отуз техникалык маалымат инженериясынын шарттары бар.
Жана бул жерде ошол эле сандар, бирок таблица түрүндө берилген:
Тартип менен кетели.
Жыйынтыктарды карап чыгуу
SQL жана Python экөө тең каралып жаткан бош орундардын үчтөн экисинен көбүндө пайда болот. Дал ушул эки технология биринчи изилдөө үчүн мааниси бар. маалыматтар менен иштөө, веб-сайттарды түзүү жана скрипт жазуу үчүн колдонулган абдан популярдуу программалоо тили. структураланган суроо тилин билдирет; ал тилдердин тобу тарабынан ишке ашырылган стандартты камтыйт жана реляциялык маалымат базаларынан маалыматтарды алуу үчүн колдонулат. Ал көп убакыт мурун пайда болгон жана өзүн абдан туруктуу экенин далилдеген.
Spark бош орундардын жарымына жакынында айтылат. бул "агым, SQL, машинаны үйрөнүү жана графикти иштетүү үчүн орнотулган модулдары бар бирдиктүү чоң маалыматтарды аналитикалык кыймылдаткыч". Бул чоң маалымат базалары менен иштегендер арасында өзгөчө популярдуу.
AWS жумуш жарыяларынын болжол менен 45% пайда болот. Бул Amazon тарабынан өндүрүлгөн булут эсептөө платформа болуп саналат; ал бардык булут платформаларынын арасында эң чоң рынок үлүшүнө ээ.
Кийинки Java жана Hadoop - алардын бир тууганы үчүн 40% дан бир аз көбүрөөк. кеңири таралган, согушта сыналган тил программисттер арасында үрөй учурган тилдердин ичинен онунчу орунга татыктуу болгон. Ал эми Python экинчи эң сүйүктүү тил болгон. Java тили Oracle тарабынан башкарылат жана бул тууралуу билишиңиз керек болгон нерселердин бардыгын 2020-жылдын январынан баштап расмий баракчанын бул скриншотунан түшүнсө болот.
Бул убакыт машинасында жүргөндөй
чоң маалыматтар үчүн сервер кластерлери менен MapReduce программалоо моделин колдонот. Азыр бул модель барган сайын ташталууда.
Андан кийин биз Hive, Scala, Kafka жана NoSQLди көрөбүз - бул технологиялардын ар бири берилген вакансиялардын төрттөн биринде айтылган. Apache Hive - бул "SQL аркылуу бөлүштүрүлгөн дүкөндөрдө жайгашкан чоң маалымат топтомдорун окууну, жазууну жана башкарууну жеңилдеткен" маалымат кампасы. – чоң маалыматтар менен иштөөдө активдүү колдонулган программалоо тили. Атап айтканда, Spark Scala түзүлгөн. Коркунучтуу тилдердин буга чейин айтылган рейтингинде Скала он биринчи орунду ээлейт. – агымдык билдирүүлөрдү иштетүү үчүн бөлүштүрүлгөн платформа. маалымат агымынын каражаты катары абдан популярдуу.
SQL менен карама-каршы. Алар байланышсыз, структураланбаган жана горизонталдуу масштабда болушу менен айырмаланат. NoSQL бир аз популярдуулукка ээ болду, бирок ал SQLди үстөмдүк кылуучу сактоо парадигмасы катары алмаштырат деген пайгамбарлыктарга чейин, ыкманын шааниси бүттү окшойт.
Маалымат таануучу вакансиялардагы терминдер менен салыштыруу
Бул жерде маалымат илиминин жумуш берүүчүлөрүнүн арасында кеңири таралган отуз технологиялык термин бар. Мен бул тизмени маалымат инженериясы үчүн жогоруда айтылгандай эле алдым.
2020-жылы маалымат таануучу кызматына бош орундардагы технология жөнүндө айтылган
Эгерде жалпы сан жөнүндө айта турган болсок, буга чейин каралып жаткан ишке кабыл алуу менен салыштырганда, бош орундар 28% көп болгон (12 013 9396 XNUMXга каршы). Келгиле, маалымат инженерлерине караганда маалымат таануучулар үчүн бош орундарда кайсы технологиялар азыраак экенин карап көрөлү.
Маалымат инженериясында көбүрөөк популярдуу
Төмөнкү графикте орточо айырмасы 10%дан ашкан же -10%тен азыраак ачкыч сөздөр көрсөтүлгөн.
Маалымат инженери менен маалымат илимпозунун ортосундагы ачкыч сөз жыштыгындагы эң чоң айырмачылыктар
AWS эң олуттуу өсүштү көрсөтөт: маалымат инженериясында ал маалымат илимине караганда 25% көбүрөөк пайда болот (болжол менен 45% жана 20% бош орундардын жалпы санынын тиешелүүлүгүнө жараша). Айырмачылык байкалып турат!
Мына ошол эле маалыматтар бир аз башкача презентацияда - графикте маалымат инженери жана маалымат таануучу кызматына бош орундардагы бир эле ачкыч сөздүн натыйжалары жанаша жайгашкан.
Маалымат инженери менен маалымат илимпозунун ортосундагы ачкыч сөз жыштыгындагы эң чоң айырмачылыктар
Мен белгилеген кийинки эң чоң секирик Spark болду - маалымат инженери көбүнчө чоң маалыматтар менен иштеши керек. ошондой эле 20% га көбөйдү, башкача айтканда, маалымат илимпоздорунун бош орундарына салыштырмалуу дээрлик төрт эсе. Берилиштерди өткөрүп берүү маалымат инженеринин негизги милдеттеринин бири болуп саналат. Акыр-аягы, Java, NoSQL, Redshift, SQL жана Hadoop үчүн маалымат инженериясы тармагында айтылгандардын саны 15% жогору болгон.
Маалымат инженериясында анча популярдуу эмес
Эми маалымат инженери вакансияларында кайсы технологиялар анча популярдуу эмес экенин карап көрөлү.
Маалымат илими секторуна салыштырмалуу эң кескин төмөндөө жылы болгон : анда ал бош орундардын болжол менен 56% пайда болгон, бул жерде - 17% гана. таасирдүү. R - илимпоздор жана статистиктер жактырган программалоо тили жана дүйнөдөгү эң коркунучтуу тилдердин сегизинчиси.
маалымат инженери кызматына бош орундарда да азыраак кездешет - айырма 14% түзөт. SAS статистика жана маалыматтар менен иштөө үчүн иштелип чыккан менчик тили болуп саналат. Кызыктуу жагдай: жыйынтыгы боюнча сот , ал акыркы убакта бир топ жерин жоготту — башка технологияга караганда.
Маалымат инженериясында жана маалымат илиминде суроо-талап
Белгилей кетсек, эки комплекттеги биринчи он позициянын сегизи бирдей. SQL, Python, Spark, AWS, Java, Hadoop, Hive жана Scala аны маалымат инженериясы жана маалымат илими тармактары үчүн алдыңкы ондукка киргизишти. Төмөнкү графикте маалымат инженери боюнча иш берүүчүлөр арасында эң популярдуу он беш технологияны көрө аласыз жана алардын жанында маалымат илимпоздорунун вакансиясынын көрсөткүчү.
сунуштар
Эгер сиз маалымат инженериясына киргиңиз келсе, мен сизге төмөнкү технологияларды өздөштүрүүнү кеңеш берет элем - мен аларды болжолдуу приоритеттик тартипте тизмелеп берем.
SQL үйрөн. Мен PostgreSQLге ыктап жатам, анткени ал ачык булак, коомчулукта абдан популярдуу жана өсүү фазасында. Тилди кантип колдонууну My Memorable SQL китебинен үйрөнө аласыз - анын пилоттук версиясы бар .
Master Python, эң катуу деңгээлде болбосо да. My Memorable Python үйрөнчүктөр үчүн атайын иштелип чыккан. Аны сатып алса болот , электрондук же физикалык көчүрмөсү, тандооңуз, же pdf же epub форматында жүктөп алыңыз .
Python менен таанышкандан кийин, маалыматтарды тазалоо жана иштетүү үчүн колдонулган Python китепканасы болгон пандаларга өтүңүз. Эгер сиз Python тилинде жазуу жөндөмүн талап кылган компанияда иштөөнү максат кылып жатсаңыз (жана бул алардын көпчүлүгү), пандалар жөнүндө билим демейки боюнча кабыл алынат деп ишенсеңиз болот. Мен учурда пандалар менен иштөө боюнча таанышуу колдонмосун бүтүрүп жатам - сиз жасай аласыз бошотуу учурун өткөрүп жибербөө үчүн.
Master AWS. Эгер сиз маалымат инженери болгуңуз келсе, анда булут платформасысыз булут платформасы жок кыла албайсыз жана AWS алардын эң популярдуусу. Курстар мага абдан жардам берди мен окуп жүргөндө , Мен алардын AWS боюнча жакшы материалдары болот деп ойлойм.
Эгер сиз бул тизмени толук бүтүргөн болсоңуз жана маалымат инженери катары иш берүүчүлөрдүн көз алдында андан ары өсүүнү кааласаңыз, мен чоң маалыматтар менен иштөө үчүн Apache Spark кошууну сунуштайм. Дата илимпоздорунун вакансиялары боюнча менин изилдөөм кызыгуунун азайгандыгын көрсөттү, бирок маалымат инженерлери арасында ал дагы эле дээрлик ар бир экинчи бош орунда пайда болот.
акыркы учурда
Маалымат инженерлери үчүн эң көп талап кылынган технологиялардын бул баяндамасын сиз пайдалуу деп таптыңыз деп үмүттөнөм. Эгерде сиз аналитиктердин жумушу кандай болуп жатканына кызыксаңыз, окуңуз . Бактылуу инженердик!
Source: www.habr.com