Бүгүнкү күндө тышкы дүйнө менен эч кандай тышкы байланышы жок адамдар гана чоң маалыматтарды уккан эмес. Habréде чоң маалыматтардын аналитикасы жана ага байланыштуу темалар популярдуу. Бирок чоң маалыматтарды изилдөөгө өзүн арнагысы келген адис эместер үчүн бул чөйрөнүн кандай перспективалары бар, Big Data аналитикасын кайда колдонсо болот жана жакшы аналитик эмнеге ишене аларын так биле бербейт. Келгиле, аны түшүнүүгө аракет кылалы.
Адамдар тарабынан иштелип чыккан маалыматтын көлөмү жыл сайын көбөйүүдө. 2020-жылга чейин сакталган маалыматтардын көлөмү 40-44 зеттабайтка чейин көбөйөт (1 ЗБ ~ 1 миллиард ГБ). 2025-жылга чейин - болжол менен 400 зеттабайтка чейин. Демек, заманбап технологияларды колдонуу менен структураланган жана структураланбаган маалыматтарды башкаруу барган сайын маанилүү болуп бара жаткан аймак болуп саналат. Жеке компаниялар да, бүтүндөй өлкөлөр да чоң маалыматтарга кызыгышат.
Айтмакчы, маалыматтык бум жана адам тарабынан түзүлгөн маалыматтарды иштетүү ыкмаларын талкуулоо учурунда Big Data термини пайда болгон. Бул биринчи жолу 2008-жылы Nature журналынын редактору Клиффорд Линч тарабынан сунушталган деп эсептелет.
Ошондон бери, Big Data рыногу жыл сайын бир нече ондогон пайызга өсүп жатат. Ал эми бул тенденция, эксперттердин айтымында, улана берет. Ошентип, компаниянын эсептөөлөрү боюнча 2021-жылы жалпы дүйнөлүк чоң маалыматтарды аналитика рыногу 67,2 миллиард долларга чейин көбөйөт, жылдык өсүш болжол менен 35,9% түзөт.
Эмне үчүн бизге чоң маалыматтардын аналитикасы керек?
Бул структураланган же структураланбаган маалымат топтомдорунан өтө баалуу маалыматты аныктоого мүмкүндүк берет. Мунун аркасында бизнес, мисалы, тенденцияларды аныктай алат, өндүрүштүн натыйжалуулугун болжолдой алат жана өз чыгымдарын оптималдаштыра алат. Чыгымдарды азайтуу үчүн компаниялар акыркы чечимдерди ишке ашырууга даяр экени түшүнүктүү.
Чоң маалыматтарды талдоо үчүн колдонулган технологиялар жана талдоо ыкмалары:
- Маалыматтарды казып алуу;
- краудсорсинг;
- маалыматтарды аралаштыруу жана интеграциялоо;
- машина үйрөнүү;
- жасалма нейрон тармактар;
- үлгү таануу;
- болжолдоочу аналитика;
- симуляциялык моделдөө;
- мейкиндик анализи;
- статистикалык анализ;
- аналитикалык маалыматтарды визуализациялоо.
Дүйнөдөгү чоң маалыматтардын аналитикасы
Чоң маалыматтардын аналитикасын азыр дүйнө жүзү боюнча компаниялардын 50%дан ашыгы колдонот. 2015-жылы бул көрсөткүч болгону 17%ды түзгөнүнө карабастан. Big Data эң жигердүү телекоммуникация жана финансылык кызматтар секторунда иштеген компаниялар тарабынан колдонулат. Андан кийин саламаттыкты сактоо технологиясы боюнча адистешкен компаниялар бар. Билим берүү компанияларында Big Data аналитикасын минималдуу колдонуу: көпчүлүк учурларда бул тармактын өкүлдөрү жакынкы келечекте технологияны колдонуу ниетин жарыялашты.
Америка Кошмо Штаттарында Big Data аналитикасы эң активдүү колдонулат: ар түрдүү тармактардагы компаниялардын 55%дан ашыгы бул технология менен иштешет. Европада жана Азияда чоң маалыматтардын аналитикасына суроо-талап анча деле төмөн эмес – болжол менен 53%.
Россиядачы?
IDC аналитиктеринин айтымында,. Борбордук жана Чыгыш Европада мындай чечимдер рыногунун өсүшү абдан активдүү, бул көрсөткүч жыл сайын 11% га өсөт. 2022-жылга чейин ал сан жагынан 5,4 миллиард долларга жетет.
Көп жагынан алганда, рыноктун мындай тез өнүгүшү Россияда бул аймактын өсүшү менен шартталган. 2018-жылы Россия Федерациясында тиешелүү чечимдерди сатуудан түшкөн киреше бүткүл аймактагы Big Data иштетүү технологияларына инвестициянын жалпы көлөмүнүн 40% түздү.
Россия Федерациясында чоң маалыматтарды иштетүүгө банк жана мамлекеттик сектордун, телекоммуникация тармагынын жана өнөр жайынын компаниялары эң көп коротушат.
Big Data аналитик эмне кылат жана Орусияда канча табат?
Чоң маалыматтарды талдоочу жарым структураланган жана структураланбаган чоң көлөмдөгү маалыматты текшерүү үчүн жооптуу. Банк уюмдары үчүн бул транзакциялар, операторлор үчүн - чалуулар жана трафик, чекене - кардарларга баруу жана сатып алуулар. Жогоруда айтылгандай, Big Data анализи бизге "чийки маалымат тарыхындагы" ар кандай факторлордун ортосундагы байланыштарды табууга мүмкүндүк берет, мисалы, өндүрүш процесси же химиялык реакция. Талдоо маалыматтарынын негизинде өндүрүштөн медицинага чейин ар түрдүү тармактарда жаңы ыкмалар жана чечимдер иштелип чыгат.
Big Data аналитик үчүн зарыл болгон көндүмдөр:
- Талдоо жүргүзүлүп жаткан аймактагы өзгөчөлүктөрдү тез түшүнүү жана керектүү аймактын аспектилерине чөмүлүү мүмкүнчүлүгү. Бул чекене соода, мунай жана газ өнөр жайы, медицина, ж.б. болушу мүмкүн.
- Статистикалык маалыматтарды талдоо ыкмаларын билүү, математикалык моделдерди куруу (нейрондук тармактар, Байес тармактары, кластерлөө, регрессия, фактордук, дисперсия жана корреляциялык анализдер ж.б.).
- Ар кандай булактардан маалыматтарды чыгарып, талдоо үчүн трансформациялоо жана аналитикалык маалымат базасына жүктөө.
- SQL тилин жакшы билген.
- Техникалык документтерди оңой окуу үчүн жетиштүү деңгээлде англис тилин билүү.
- Python (жок дегенде негиздери), Bash (иш процессинде ансыз жасоо өтө кыйын) жана Java жана Scala негиздерин билүү (Sparkти активдүү колдонуу үчүн зарыл, чоң маалыматтар менен иштөө үчүн эң популярдуу алкактар).
- Hadoop менен иштөө мүмкүнчүлүгү.
Чоң маалыматтар боюнча аналитик канча табат?
Big Data адистери азыр суроо-талаптан ашат. Себеби, бизнес түшүнүп баратат: өнүгүү жаңы технологияларды, технологияны өнүктүрүү үчүн адистер керек.
Ошентип, АКШдагы Data Scientist жана Data Analytics Glassdoor рекрутинг агенттигинин маалыматы боюнча. Америкада бул адистердин орточо айлык акысы жылына 100 миң доллардан башталат.
Орусияда машина үйрөнүү боюнча адистер айына 130дан 300 миң рублга чейин, чоң маалыматтарды талдоочулар айына 73 миңден 200 миң рублга чейин алышат. Мунун баары тажрыйбага жана квалификацияга жараша болот. Албетте, аз айлык алган бош орундар бар, башкалары жогору. Москвада жана Санкт-Петербургда чоң маалыматтарды талдоочуларга максималдуу суроо-талап. Москва, таң калыштуу эмес, активдүү бош орундардын болжол менен 50% түзөт (hh.ru боюнча). Минск менен Киевде суроо-талап алда канча аз. Белгилей кетсек, кээ бир вакансиялар ийкемдүү сааттарды жана аралыктан иштөөнү сунуштайт. Бирок жалпысынан ишканаларга кеңседе иштеген адистер керек.
Убакыттын өтүшү менен биз Big Data аналитиктерине жана тиешелүү адистиктердин өкүлдөрүнө суроо-талаптын өсүшүн күтсөк болот. Жогоруда айтылгандай, технология тармагында кадрлардын жетишсиздиги жоюлган жок. Бирок, албетте, Big Data аналитиги болуу үчүн, сиз жогоруда саналган көндүмдөрдү да, кошумчаларды да өркүндөтүп, окуп, иштешиңиз керек. Big Data аналитик жолун баштоо үчүн мүмкүнчүлүктөрдүн бири болуп саналат жана чоң маалыматтар менен иштөөдө күчүңүздү сынап көрүңүз.
Source: www.habr.com