Bugungi kunda faqat tashqi dunyo bilan tashqi aloqasi bo'lmagan odamlar katta ma'lumotlar haqida eshitmagan. HabrΓ©-da Katta ma'lumotlar tahlili va tegishli mavzular mavzusi mashhur. Ammo o'zini Big Datani o'rganishga bag'ishlamoqchi bo'lgan mutaxassis bo'lmaganlar uchun bu soha qanday istiqbollarga ega ekanligi, Big Data tahlilini qayerda qo'llash mumkinligi va yaxshi tahlilchi nimaga ishonishi har doim ham aniq emas. Keling, buni tushunishga harakat qilaylik.
Odamlar tomonidan ishlab chiqarilgan ma'lumotlar miqdori har yili ortib bormoqda. 2020 yilga kelib saqlanadigan ma'lumotlar hajmi 40-44 zettabaytgacha (1 ZB ~ 1 milliard GB) oshadi. 2025 yilga kelib - taxminan 400 zettabaytgacha. Shunga ko'ra, zamonaviy texnologiyalardan foydalangan holda tuzilgan va tuzilmagan ma'lumotlarni boshqarish tobora muhim ahamiyat kasb etayotgan sohadir. Ham alohida kompaniyalar, ham butun mamlakatlar katta ma'lumotlarga qiziqish bildirmoqda.
Aytgancha, axborot bumi va inson tomonidan yaratilgan ma'lumotlarni qayta ishlash usullarini muhokama qilish paytida Big Data atamasi paydo bo'ldi. Bu birinchi marta 2008 yilda Nature jurnali muharriri Klifford Linch tomonidan taklif qilingan deb ishoniladi.
O'shandan beri Big Data bozori har yili bir necha o'n foizga o'sib bormoqda. Va bu tendentsiya, ekspertlarning fikriga ko'ra, davom etadi. Shunday qilib, kompaniya hisob-kitoblariga ko'ra 2021-yilda umumiy global yirik maΚΌlumotlar tahlili bozori 67,2 milliard dollargacha oshadi.Yillik oΚ»sish taxminan 35,9% ni tashkil qiladi.
Nima uchun bizga katta ma'lumotlar tahlili kerak?
Bu sizga tuzilgan yoki tuzilmagan ma'lumotlar to'plamlaridan juda qimmatli ma'lumotlarni aniqlash imkonini beradi. Buning yordamida korxona, masalan, tendentsiyalarni aniqlashi, ishlab chiqarish samaradorligini bashorat qilishi va o'z xarajatlarini optimallashtirishi mumkin. Ko'rinib turibdiki, xarajatlarni kamaytirish uchun kompaniyalar eng so'nggi echimlarni amalga oshirishga tayyor.
Katta ma'lumotlarni tahlil qilish uchun ishlatiladigan texnologiyalar va tahlil usullari:
- Ma'lumotlarni qazib olish;
- kraudsorsing;
- ma'lumotlarni aralashtirish va integratsiya qilish;
- mashinani o'rganish;
- sun'iy neyron tarmoqlari;
- naqshni aniqlash;
- bashoratli tahlil;
- simulyatsiya modellashtirish;
- fazoviy tahlil;
- statistik tahlil;
- analitik ma'lumotlarni vizualizatsiya qilish.
Dunyoda katta ma'lumotlar tahlili
Katta ma'lumotlar tahlili hozirda butun dunyo bo'ylab kompaniyalarning 50% dan ortig'i tomonidan qo'llaniladi. 2015 yilda bu ko'rsatkich atigi 17 foizni tashkil etganiga qaramay. Big Data telekommunikatsiya va moliyaviy xizmatlar sohalarida faoliyat yurituvchi kompaniyalar tomonidan eng faol foydalaniladi. Keyin sog'liqni saqlash texnologiyasiga ixtisoslashgan kompaniyalar bor. Ta'lim kompaniyalarida Big Data tahlilidan minimal foydalanish: aksariyat hollarda ushbu soha vakillari yaqin kelajakda texnologiyadan foydalanish niyatlarini e'lon qilishdi.
Qo'shma Shtatlarda Big Data tahlili eng faol qo'llaniladi: turli sohalardagi kompaniyalarning 55% dan ortig'i ushbu texnologiya bilan ishlaydi. Yevropa va Osiyoda katta maβlumotlar tahliliga boβlgan talab unchalik past emas β taxminan 53%.
Rossiyada-chi?
IDC tahlilchilarining fikricha,. Markaziy va Sharqiy Evropada bunday echimlar bozorining o'sishi juda faol, bu ko'rsatkich har yili 11% ga oshadi. 2022 yilga kelib u miqdoriy jihatdan 5,4 milliard dollarga etadi.
Ko'p jihatdan, bozorning bunday jadal rivojlanishi Rossiyada ushbu hududning o'sishi bilan bog'liq. 2018 yilda Rossiya Federatsiyasida tegishli echimlarni sotishdan olingan daromad butun mintaqadagi Big Data qayta ishlash texnologiyalariga kiritilgan umumiy investitsiyalarning 40 foizini tashkil etdi.
Rossiya Federatsiyasida katta ma'lumotlarni qayta ishlashga bank va davlat sektorlari, telekommunikatsiya sanoati va sanoat kompaniyalari eng ko'p mablag' sarflaydi.
Katta ma'lumotlar tahlilchisi nima qiladi va u Rossiyada qancha maosh oladi?
Katta ma'lumotlar tahlilchisi yarim tuzilgan va tuzilmagan katta hajmdagi ma'lumotlarni tekshirish uchun javobgardir. Bank tashkilotlari uchun bu tranzaktsiyalar, operatorlar uchun - qo'ng'iroqlar va trafik, chakana - mijozlarga tashriflar va xaridlar. Yuqorida aytib o'tilganidek, Big Data tahlili bizga "xom ma'lumotlar tarixi" ning turli omillari, masalan, ishlab chiqarish jarayoni yoki kimyoviy reaktsiya o'rtasidagi bog'liqlikni aniqlashga imkon beradi. Tahlil ma'lumotlari asosida turli sohalarda - ishlab chiqarishdan tibbiyotgacha yangi yondashuvlar va yechimlar ishlab chiqiladi.
Katta ma'lumotlar tahlilchisi uchun zarur bo'lgan ko'nikmalar:
- Tahlil qilinayotgan sohadagi xususiyatlarni tezda tushunish va kerakli sohaning jihatlariga sho'ng'ish qobiliyati. Bu chakana savdo, neft va gaz sanoati, tibbiyot va boshqalar bo'lishi mumkin.
- Statistik maβlumotlarni tahlil qilish usullarini bilish, matematik modellarni qurish (neyron tarmoqlari, Bayes tarmoqlari, klasterlash, regressiya, omil, dispersiya va korrelyatsiya tahlillari va boshqalar).
- Turli manbalardan ma'lumotlarni ajratib olish, ularni tahlil qilish uchun o'zgartirish va analitik ma'lumotlar bazasiga yuklash.
- SQL-da malakali.
- Texnik hujjatlarni osongina o'qish uchun etarli darajada ingliz tilini bilish.
- Python (hech bo'lmaganda asoslar), Bash (ish jarayonida buni amalga oshirish juda qiyin), shuningdek, Java va Scala asoslarini (Spark-dan faol foydalanish uchun zarur) bilish maqsadga muvofiqdir. katta ma'lumotlar bilan ishlash uchun eng mashhur ramkalar).
- Hadoop bilan ishlash qobiliyati.
Xo'sh, Big Data tahlilchisi qancha pul oladi?
Katta ma'lumotlar bo'yicha mutaxassislar hozirda etishmayapti; talab taklifdan oshib ketadi. Buning sababi shundaki, biznes tushunchaga keladi: rivojlanish yangi texnologiyalarni talab qiladi va texnologiyani rivojlantirish mutaxassislarni talab qiladi.
Shunday qilib, AQShda Data Scientist va Data Analytics Glassdoor rekruting agentligiga ko'ra. Amerikada bu mutaxassislarning o'rtacha maoshi yiliga 100 ming dollardan boshlanadi.
Rossiyada mashinani o'rganish bo'yicha mutaxassislar oyiga 130 dan 300 ming rublgacha, katta ma'lumotlar tahlilchilari - oyiga 73 dan 200 ming rublgacha oladi. Bularning barchasi tajriba va malakaga bog'liq. Albatta, maoshi past bo'lgan bo'sh ish o'rinlari bor, boshqalari esa yuqoriroq. Moskva va Sankt-Peterburgda katta ma'lumotlar tahlilchilariga maksimal talab. Moskva, bu ajablanarli emas, faol bo'sh ish o'rinlarining taxminan 50% ni tashkil qiladi (hh.ru ma'lumotlariga ko'ra). Minsk va Kiyevda talab kamroq. Shunisi e'tiborga loyiqki, ba'zi bo'sh ish o'rinlari moslashuvchan ish soatlari va masofaviy ishlarni taklif qiladi. Ammo umuman olganda, kompaniyalar ofisda ishlaydigan mutaxassislarga muhtoj.
Vaqt o'tishi bilan biz Big Data tahlilchilari va tegishli mutaxassisliklar vakillariga talabning oshishini kutishimiz mumkin. Yuqorida aytib o'tilganidek, texnologiya sohasida kadrlar etishmasligi bekor qilinmagan. Ammo, albatta, Big Data tahlilchisi bo'lish uchun siz yuqorida sanab o'tilgan ko'nikmalarni ham, qo'shimchalarni ham yaxshilagan holda o'qish va ishlashingiz kerak. Katta ma'lumotlar tahlilchisi yo'lini boshlash imkoniyatlaridan biri va katta ma'lumotlar bilan ishlashda qo'lingizni sinab ko'ring.
Manba: www.habr.com