Дар соли 2008, BigData истилоҳи нав ва тамоюли муд буд. Дар соли 2019, BigData объекти фурӯш, манбаи фоида ва сабаби векселҳои нав мебошад.
Тирамоҳи соли гузашта ҳукумати Русия лоиҳаи қонунро оид ба танзими додаҳои калон пешниҳод кард. Шахсони воқеӣ наметавонанд аз маълумот муайян карда шаванд, аммо метавонанд бо дархости мақомоти федералӣ ин корро кунанд. Коркарди BigData барои шахсони сеюм танҳо пас аз огоҳии Роскомнадзор сурат мегирад. Ширкатҳое, ки беш аз 100 ҳазор суроғаи шабакавӣ доранд, зери қонун қарор мегиранд. Ва, албатта, дар он ҷое, ки бидуни реестрҳо - он бояд бо рӯйхати операторҳои пойгоҳи додаҳо эҷод карда шавад. Ва агар пеш аз ин Big Data аз ҷониби ҳама ҷиддӣ қабул карда нашуда бошад, ҳоло он бояд ба назар гирифта шавад.
Ман ҳамчун директори як ширкати таҳиягари биллинг, ки ин маълумоти хеле калонро коркард мекунад, наметавонам базаи маълумотро нодида гирам. Ман дар бораи маълумоти калон тавассути призмаи операторони алоқа, ки тавассути системаҳои биллингии онҳо ҳар рӯз маълумот дар бораи ҳазорон муштариён мегузарад, фикр мекунам.
Теорема
Биёед, чунон ки дар масъалаи математика оғоз кунем: аввал мо исбот мекунем, ки маълумотҳои операторони алоқаро BigDat номидан мумкин аст. Одатан, додаҳои калон бо се хусусияти ВВВ тавсиф карда мешаванд, гарчанде ки дар тафсири озод шумораи "V" ба ҳафт расид.
Ҳаҷм. Танҳо MVNO-и Ростелеком ба зиёда аз як миллион муштарӣ хизмат мерасонад. Операторҳои асосии мизбон маълумотро аз 44 то 78 миллион нафар коркард мекунанд. Трафик ҳар сония меафзояд: дар семоҳаи аввали соли 2019 муштариён аллакай аз телефонҳои мобилӣ 3,3 миллиард ГБ-ро дастрас кардаанд.
Суръат. Ҳеҷ кас наметавонад ба шумо дар бораи динамика беҳтар аз омор маълумот диҳад, бинобар ин ман пешгӯиҳои Cisco-ро меомӯзам. То соли 2021, 20% трафики IP ба трафики мобилӣ мегузарад - пас аз панҷ сол он тақрибан се маротиба меафзояд. Сеяки пайвастҳои мобилӣ M2M хоҳад буд - рушди IoT боиси шаш баробар афзоиш ёфтани пайвастҳо мегардад. Интернети ашё на танҳо фоидаовар, балки захираҳои серталаб хоҳад шуд, аз ин рӯ баъзе операторҳо танҳо ба он таваҷҷӯҳ мекунанд. Ва онҳое, ки IoT-ро ҳамчун хидмати алоҳида таҳия мекунанд, трафики дукарата мегиранд.
Гуногунӣ. Гуногунӣ мафҳуми субъективӣ аст, аммо операторони телекоммуникатсионӣ воқеан қариб ҳама чизро дар бораи муштариёни худ медонанд. Аз тафсилоти ном ва шиноснома то модели телефон, харидҳо, ҷойҳои дидан ва таваҷҷӯҳ. Тибқи қонуни Яровая, файлҳои медиавӣ барои шаш моҳ нигоҳ дошта мешаванд. Пас биёед онро ҳамчун аксиома гирем, ки маълумоти ҷамъоварда гуногун аст.
Барнома ва методология
Провайдерҳо яке аз истеъмолкунандагони асосии BigData мебошанд, аз ин рӯ аксари усулҳои таҳлили додаҳои калон ба соҳаи телекоммуникатсионӣ татбиқ мешаванд. Саволи дигар ин аст, ки кӣ омода аст ба рушди ML, AI, Deep Learning сармоягузорӣ кунад, ба марказҳои додаҳо ва истихроҷи додаҳо сармоягузорӣ кунад. Кори мукаммал бо пойгоҳи додаҳо аз инфрасохтор ва гурӯҳ иборат аст, ки хароҷоти онҳоро на ҳама қодиранд. Корхонаҳое, ки аллакай анбори корпоративӣ доранд ё методологияи идоракунии маълумотро таҳия мекунанд, бояд ба BigData шартгузорӣ кунанд. Барои онҳое, ки ҳанӯз барои сармоягузории дарозмуддат омода нестанд, ман ба шумо маслиҳат медиҳам, ки меъмории нармафзорро тадриҷан созед ва ҷузъҳоро як ба як насб кунед. Шумо метавонед модулҳои вазнин ва Hadoop-ро то охир тарк кунед. Теъдоди ками одамон ҳалли омодаи мушкилотро ба монанди сифати маълумот ва истихроҷи маълумот мехаранд; ширкатҳо умуман системаро ба ниёзҳо ва ниёзҳои мушаххаси худ - худ ё бо кӯмаки таҳиягарон мутобиқ мекунанд.
Аммо на ҳама ҳисобҳоро барои кор бо BigData тағир додан мумкин аст. Дурусттараш, на танҳо ҳама чизро тағир додан мумкин аст. Кам одамон ин корро карда метавонанд.
Се нишонае, ки системаи биллинг имкон дорад ба воситаи коркарди пойгоҳи додаҳо шавад:
- Миқёспазирии уфуқӣ. Нармафзор бояд чандир бошад - сухан дар бораи додаҳои калон меравад. Афзоиши ҳаҷми иттилоот бояд бо афзоиши мутаносиби сахтафзор дар кластер баррасӣ карда шавад.
- Таҳаммулпазирии хатогиҳо. Системаҳои ҷиддии пешпардохт одатан ба хатогиҳо таҳаммулпазиранд: биллинг дар кластер дар якчанд ҷуғрофӣ ҷойгир карда мешавад, то онҳо ба таври худкор ҳамдигарро суғурта кунанд. Инчунин дар кластери Hadoop бояд компютерҳои кофӣ бошанд, агар як ё якчанд ноком шаванд.
- Маҳал. Маълумот бояд дар як сервер нигоҳ дошта шавад ва коркард карда шавад, дар акси ҳол шумо метавонед ҳангоми интиқоли маълумот вайрон шавед. Яке аз схемаҳои маъмули равиши Map-Reduce: мағозаҳои HDFS, равандҳои Spark. Идеалӣ, нармафзор бояд ба инфрасохтори маркази додаҳо бефосила ҳамгиро шавад ва тавонад се корро дар як иҷро кунад: ҷамъоварӣ, ташкил ва таҳлили иттилоот.
гурӯҳ
Барнома чӣ, чӣ гуна ва бо кадом мақсад коркарди маълумоти калонро даста ҳал мекунад. Аксар вақт он аз як нафар иборат аст - олими маълумот. Гарчанде, ки ба андешаи ман, маҷмӯи ҳадди ақали кормандон барои маълумоти Big инчунин менеҷери маҳсулот, муҳандиси маълумот ва менеҷеро дар бар мегирад. Аввалин хидматҳоро мефаҳмад, забони техникиро ба забони инсонӣ ва баръакс тарҷума мекунад. Муҳандиси маълумот моделҳоро бо истифода аз Java/Scala ва таҷрибаҳо бо Machine Learning ба ҳаёт меорад. Менеҷер марҳилаҳоро ҳамоҳанг мекунад, ҳадафҳо мегузорад ва назорат мекунад.
Масъалаҳо
Маҳз аз ҷониби дастаи BigData аст, ки мушкилот одатан ҳангоми ҷамъоварӣ ва коркарди маълумот ба миён меоянд. Барнома бояд фаҳмонад, ки чиро ҷамъ кардан ва чӣ тавр коркард кардан лозим аст - барои фаҳмонидани ин, шумо аввал бояд онро худатон фаҳмед. Аммо барои провайдерҳо, корҳо он қадар оддӣ нестанд. Ман дар бораи мушкилоте, ки бо истифода аз мисоли вазифаи кам кардани бебозгашти муштариён гап мезанам - ин аст он чизе ки операторони телекоммуникатсионӣ кӯшиш мекунанд, ки бо ёрии Big Data ҳал кунанд.
Муайян кардани ҳадафҳо. Хусусиятҳои техникии хуб навишташуда ва фаҳмиши гуногуни истилоҳот на танҳо барои фрилансерҳо дарди чандинасра буданд. Ҳатто муштариёни "партофта"-ро бо тарзҳои гуногун шарҳ додан мумкин аст - ба монанди онҳое, ки дар тӯли як моҳ, шаш моҳ ё як сол аз хидматҳои оператор истифода накардаанд. Ва барои эҷоди MVP дар асоси маълумоти таърихӣ, шумо бояд басомади бозгашти муштариёнро аз ғазаб фаҳмед - онҳое, ки операторҳои дигарро санҷидаанд ё шаҳрро тарк кардаанд ва рақами дигарро истифода кардаанд. Саволи дигари муҳим: чӣ қадар пеш аз рафтани муштарӣ бояд провайдер инро муайян кунад ва чора андешад? Шаш мох хеле барвакт аст, як хафта хеле дер аст.
Иваз кардани консепсияҳо. Одатан, операторҳо муштариро бо рақами телефон муайян мекунанд, аз ин рӯ мантиқист, ки аломатҳо бояд бо истифода аз он бор карда шаванд. Дар бораи ҳисоби шахсӣ ё рақами аризаи хидматии шумо чӣ гуфтан мумкин аст? Бояд муайян кард, ки кадом воҳид бояд ҳамчун муштарӣ гирифта шавад, то маълумот дар системаи оператор фарқ накунад. Арзёбии арзиши муштарӣ низ шубҳаовар аст - кадом муштарӣ барои ширкат арзишмандтар аст, барои нигоҳ доштани кадом корбар саъю кӯшиши бештарро талаб мекунад ва кадоме аз онҳо дар ҳар сурат “меафтад” ва сарфи захираҳо барои онҳо фоида надорад.
Набудани маълумот. На ҳама кормандони провайдер қодиранд ба дастаи BigData фаҳмонанд, ки ба бепарвоии муштарӣ чӣ таъсир мерасонад ва чӣ гуна омилҳои имконпазир дар ҳисоббаробаркунӣ ҳисоб карда мешаванд. Ҳатто агар онҳо яке аз онҳоро номбар карданд - ARPU - маълум мешавад, ки онро бо роҳҳои гуногун ҳисоб кардан мумкин аст: ё бо пардохтҳои даврии муштарӣ ё бо пардохти автоматӣ. Ва дар рафти кор боз як миллион саволи дигар ба миён меояд. Оё модел ҳамаи муштариёнро дар бар мегирад, нарх барои нигоҳ доштани муштарӣ чӣ гуна аст, оё дар андешаи моделҳои алтернативӣ ягон нуқтаи назар вуҷуд дорад ва бо муштариёне, ки иштибоҳан ба таври сунъӣ нигоҳ дошта шудаанд, чӣ бояд кард.
Муқаррар кардани ҳадаф. Ман се намуди хатогиҳои натиҷавиро медонам, ки боиси ноумед шудани операторҳо аз пойгоҳи додаҳо мешаванд.
- Провайдер ба BigData сармоягузорӣ мекунад, гигабайтҳои иттилоотро коркард мекунад, аммо натиҷае ба даст меорад, ки метавонист арзонтар ба даст оварда шавад. Диаграммаҳо ва моделҳои оддӣ, аналитикаи ибтидоӣ истифода мешаванд. Арзиш чанд баробар зиёд аст, аммо натиҷа як аст.
- Оператор маълумоти гуногунҷабҳаро ҳамчун баромад қабул мекунад, аммо чӣ тавр истифода бурдани онро намефаҳмад. Аналитика вуҷуд дорад - ин аст, фаҳмо ва ҳаҷман, аммо фоидае надорад. Натиҷаи ниҳоӣ, ки наметавонад аз ҳадафи "коркарди маълумот" иборат бошад, фикр карда нашудааст. Коркард кофӣ нест - таҳлил бояд асоси навсозии равандҳои бизнес гардад.
- Монеаҳои истифодаи таҳлили BigData метавонанд равандҳои бизнеси кӯҳна ва нармафзори барои мақсадҳои нав номувофиқ бошанд. Ин маънои онро дорад, ки онҳо дар марҳилаи омодагӣ ба хатогӣ роҳ додаанд - онҳо дар бораи алгоритми амалҳо ва марҳилаҳои ҷорӣ кардани маълумоти Big ба кор фикр накардаанд.
Барои чӣ
Дар бораи натичахо сухан ронда. Ман роҳҳои истифода ва монетизатсияи маълумотҳои калонро, ки операторони телекоммуникатсионӣ аллакай истифода мебаранд, меомӯзам.
Провайдерҳо на танҳо хуруҷи муштариён, балки сарбории стансияҳои базавиро низ пешбинӣ мекунанд.
- Маълумот дар бораи ҳаракати муштариён, фаъолият ва хидматрасонии басомадҳо таҳлил карда мешавад. Натиља: кам кардани шумораи изофаборињо аз њисоби оптимизатсия ва модернизатсияи минтаќањои мушкили инфрасохтор.
- Операторони алоқа ҳангоми кушодани нуқтаҳои фурӯш маълумотро дар бораи ҷойгиршавии ҷуғрофии муштариён ва зичии трафик истифода мебаранд. Ҳамин тариқ, таҳлили BigData аллакай аз ҷониби МТС ва VimpelCom барои банақшагирии ҷойгиршавии офисҳои нав истифода мешавад.
- Провайдерҳо маълумоти калони худро тавассути пешниҳоди он ба шахсони сеюм пул кор мекунанд. Мизоҷони асосии операторони BigData бонкҳои тиҷоратӣ мебошанд. Бо истифода аз махзани маълумот, онҳо фаъолияти шубҳаноки симкорти муштариро, ки кортҳо ба он пайваст шудаанд, назорат мекунанд ва аз хидматҳои баҳодиҳии хатар, санҷиш ва мониторинг истифода мебаранд. Ва дар соли 2017 ҳукумати Маскав динамикаи ҳаракатро дар асоси маълумоти BigData аз Tele2 барои банақшагирии инфрасохтори техникӣ ва нақлиётӣ дархост кард.
- Таҳлилҳои BigData як кони тилло барои фурӯшандагон мебошанд, ки метавонанд барои ҳазорон гурӯҳҳои муштариён, агар онҳо интихоб кунанд, маъракаҳои таблиғотии фардӣ эҷод кунанд. Ширкатҳои телекоммуникатсионӣ профилҳои иҷтимоӣ, манфиатҳои истеъмолкунандагон ва тарзи рафтори муштариёнро ҷамъ мекунанд ва сипас BigData-и ҷамъшударо барои ҷалби муштариёни нав истифода мебаранд. Аммо барои пешбурди васеъмиқёс ва банақшагирии PR, биллинг на ҳамеша функсияҳои кофӣ дорад: барнома бояд ҳамзамон омилҳои зиёдеро дар баробари маълумоти муфассал дар бораи муштариён ба назар гирад.
Дар ҳоле ки баъзеҳо то ҳол BigData-ро як ибораи холӣ мешуморанд, чаҳоргонаи калон аллакай аз он пул кор мекунанд. МТС дар давоми шаш моҳ аз коркарди маълумоти калон 14 миллиард рубл даромад ба даст меорад ва Tele2 даромад аз лоиҳаҳоро сеюним баробар афзоиш дод. BigData аз як тамоюл ба як чизи ҳатмӣ табдил меёбад, ки дар доираи он тамоми сохтори операторони телекоммуникатсионӣ аз нав сохта мешаванд.
Манбаъ: will.com