Shunga ko'ra
Qaysi texnologiya ko'nikmalari eng mashhur ekanligini tushunish uchun men 2020 yil yanvar oyida ma'lumotlar muhandisi lavozimiga bo'sh ish o'rinlarini tahlil qildim. Keyin men natijalarni ma'lumot olimi lavozimiga bo'sh ish o'rinlari haqidagi statistik ma'lumotlar bilan solishtirdim - va ba'zi qiziqarli farqlar paydo bo'ldi.
Ko'p muqaddimasiz, ish e'lonlarida eng ko'p tilga olinadigan o'nta texnologiya:
2020 yilda ma'lumotlar muhandisi lavozimiga bo'sh ish o'rinlaridagi texnologiyalarni eslatib o'tish
Ma'lumotlar muhandisining majburiyatlari
Bugungi kunda ma'lumotlar muhandislari qiladigan ish tashkilotlar uchun katta ahamiyatga ega - bu ma'lumotlarni saqlash va uni boshqa xodimlar u bilan ishlashi mumkin bo'lgan shaklga keltirish uchun mas'ul bo'lgan odamlardir. Ma'lumotlar muhandislari bir nechta manbalardan ma'lumotlarni uzatish yoki to'plash uchun quvurlarni quradilar. Keyin quvurlar qazib olish, o'zgartirish va yuklash operatsiyalarini (boshqacha aytganda, ETL jarayonlarini) amalga oshiradi, bu esa ma'lumotlarni keyingi foydalanish uchun qulayroq qiladi. Shundan so'ng, ma'lumotlar chuqurroq qayta ishlash uchun tahlilchilar va ma'lumotlar olimlariga topshiriladi. Va nihoyat, ma'lumotlar o'z sayohatini asboblar panelida, hisobotlarda va mashinani o'rganish modellarida yakunlaydi.
Men hozirda ma'lumotlar muhandisi ishida qaysi texnologiyalar eng ko'p talab qilinayotgani haqida xulosa chiqarishga imkon beradigan ma'lumotni qidirayotgan edim.
Usullari
Men uchta ish qidirish saytidan ma'lumot to'pladim -
Har bir kalit so'z uchun men har bir saytdagi matnlarning umumiy sonidan xitlar foizini alohida hisoblab chiqdim, so'ngra uchta manba uchun o'rtacha ko'rsatkichni hisoblab chiqdim.
Natijalar
Quyida barcha uchta ish joyida eng yuqori ballga ega bo'lgan o'ttizta texnik ma'lumotlar muhandisligi shartlari keltirilgan.
Va bu erda bir xil raqamlar, ammo jadval shaklida taqdim etilgan:
Keling, tartibda boraylik.
Natijalarni ko'rib chiqish
SQL ham, Python ham ko'rib chiqilgan ish o'rinlarining uchdan ikki qismidan ko'prog'ida ko'rinadi. Aynan shu ikki texnologiya birinchi navbatda o'rganish mantiqiy.
Spark bo'sh ish o'rinlarining taxminan yarmida qayd etilgan.
AWS ish e'lonlarining taxminan 45% da paydo bo'ladi. Bu Amazon tomonidan ishlab chiqarilgan bulutli hisoblash platformasi; u barcha bulutli platformalar orasida eng katta bozor ulushiga ega.
Keyingi o'rinlarda Java va Hadoop - ularning ukasi uchun 40% dan bir oz ko'proq.
Bu vaqt mashinasida yurishga o'xshaydi
Keyin biz Hive, Scala, Kafka va NoSQL-ni ko'ramiz - bu texnologiyalarning har biri taqdim etilgan bo'sh ish o'rinlarining to'rtdan birida qayd etilgan. Apache Hive - bu "SQL yordamida taqsimlangan do'konlarda joylashgan katta ma'lumotlar to'plamlarini o'qish, yozish va boshqarishni osonlashtiradigan" ma'lumotlar ombori dasturi.
Ma'lumot olimi bo'sh ish o'rinlaridagi atamalar bilan taqqoslash
Bu erda ma'lumotlar fanlari bo'yicha ish beruvchilar orasida eng keng tarqalgan o'ttiz texnologik atama mavjud. Men ushbu ro'yxatni ma'lumotlar muhandisligi uchun yuqorida tavsiflangan tarzda oldim.
2020-yilda maʼlumotlar boʻyicha mutaxassis lavozimiga boʻsh ish oʻrinlaridagi texnologiyalar haqida eslatmalar
Agar umumiy son haqida gapiradigan bo'lsak, ilgari ko'rib chiqilgan ishga qabul qilish bilan solishtirganda, bo'sh ish o'rinlari 28 foizga ko'p bo'lgan (12 013 ga nisbatan 9396 XNUMX). Keling, ma'lumotlar muhandislari uchun bo'sh ish o'rinlarida ma'lumotlar muhandislariga qaraganda qaysi texnologiyalar kamroq tarqalganligini ko'rib chiqaylik.
Ma'lumotlar muhandisligida ko'proq mashhur
Quyidagi grafikda o'rtacha farqi 10% dan katta yoki -10% dan kam bo'lgan kalit so'zlar ko'rsatilgan.
Ma'lumotlar muhandisi va ma'lumotlar olimi o'rtasidagi kalit so'z chastotasidagi eng katta farqlar
AWS eng sezilarli o'sishni ko'rsatmoqda: ma'lumotlar muhandisligida u ma'lumotlar faniga qaraganda 25% muntazam ravishda paydo bo'ladi (mos ravishda bo'sh ish o'rinlarining umumiy sonining taxminan 45% va 20%). Farqi sezilarli!
Mana bir xil ma'lumotlar biroz boshqacha taqdimotda - grafikda ma'lumotlar muhandisi va ma'lumotlar olimi lavozimlari uchun bo'sh ish o'rinlaridagi bir xil kalit so'z bo'yicha natijalar yonma-yon joylashgan.
Ma'lumotlar muhandisi va ma'lumotlar olimi o'rtasidagi kalit so'z chastotasidagi eng katta farqlar
Men ta'kidlagan navbatdagi eng katta sakrash Sparkda bo'ldi - ma'lumotlar muhandisi ko'pincha katta ma'lumotlar bilan ishlashi kerak.
Ma'lumotlar muhandisligida kamroq mashhur
Keling, ma'lumotlar muhandisi bo'sh o'rinlarida qaysi texnologiyalar kamroq mashhurligini ko'rib chiqaylik.
Ma'lumotlar fanlari sektoriga nisbatan eng keskin pasayish yiliga yuz berdi
Ma'lumotlar muhandisligi va ma'lumotlar fanida talab mavjud
Shuni ta'kidlash kerakki, ikkala to'plamdagi dastlabki o'nta pozitsiyadan sakkiztasi bir xil. SQL, Python, Spark, AWS, Java, Hadoop, Hive va Scala maʼlumotlar muhandisligi va maʼlumotlar fanlari sohalari uchun birinchi oʻntalikka kirdi. Quyidagi grafikda siz ma'lumotlar muhandislari ish beruvchilari orasida eng mashhur o'n beshta texnologiyani ko'rishingiz mumkin va ularning yonida ma'lumotlar bo'yicha olimlar uchun bo'sh ish o'rinlari darajasi ko'rsatilgan.
tavsiyalar
Agar siz ma'lumotlar muhandisligi bilan shug'ullanmoqchi bo'lsangiz, men sizga quyidagi texnologiyalarni o'zlashtirishingizni maslahat beraman - men ularni taxminiy ustuvorlik tartibida sanab o'taman.
SQL ni o'rganing. Men PostgreSQLga moyilman, chunki u ochiq manba, jamiyatda juda mashhur va rivojlanish bosqichida. Tildan qanday foydalanishni My Memorable SQL kitobidan o'rganishingiz mumkin - uning pilot versiyasi mavjud
Master Python, hatto eng qattiq darajada bo'lmasa ham. My Memorable Python yangi boshlanuvchilar uchun maxsus ishlab chiqilgan. dan sotib olish mumkin
Python bilan tanishganingizdan so'ng, ma'lumotlarni tozalash va qayta ishlash uchun ishlatiladigan Python kutubxonasi - pandalarga o'ting. Agar siz Python-da yozish qobiliyatini talab qiladigan kompaniyada ishlashni maqsad qilgan bo'lsangiz (va bu ularning aksariyati), pandalar haqidagi bilim sukut bo'yicha qabul qilinishiga amin bo'lishingiz mumkin. Men hozirda pandalar bilan ishlash bo'yicha kirish qo'llanmasini tayyorlayapman - mumkin
Master AWS. Agar siz ma'lumotlar muhandisi bo'lishni istasangiz, bulutli platformasiz ishlay olmaysiz va AWS ularning eng mashhuri. Kurslar menga juda yordam berdi
Agar siz ushbu ro'yxatni allaqachon to'ldirgan bo'lsangiz va ish beruvchilar nazarida ma'lumotlar muhandisi sifatida o'sishni istasangiz, men katta ma'lumotlar bilan ishlash uchun Apache Spark-ni qo'shishni taklif qilaman. Ma'lumotlar bo'yicha bo'sh ish o'rinlari bo'yicha mening tadqiqotim qiziqishning pasayishini ko'rsatgan bo'lsa-da, ma'lumotlar muhandislari orasida bu deyarli har ikkinchi vakansiyada paydo bo'ladi.
Nihoyat
Umid qilamanki, siz ma'lumotlar muhandislari uchun eng ko'p talab qilinadigan texnologiyalarning umumiy sharhini foydali deb topdingiz. Agar siz tahlilchilarning ishlari qanday ketayotganiga qiziqsangiz, o'qing
Manba: www.habr.com