2008 жылы BigData жаңа термин және сәнді тренд болды. 2019 жылы BigData сату объектісі, пайда көзі және жаңа вексельдердің себебі болып табылады.
Өткен жылдың күзінде Ресей үкіметі үлкен деректерді реттеуге арналған заң жобасына бастамашы болды. Жеке тұлғаларды ақпараттан анықтауға болмайды, бірақ оны федералды органдардың сұрауы бойынша жасай алады. BigData-ны үшінші тұлғаларға өңдеу Роскомнадзорды хабардар еткеннен кейін ғана жүзеге асырылады. 100 мыңнан астам желілік мекенжайлары бар компаниялар заңға бағынады. Және, әрине, регистрлерсіз - дерекқор операторларының тізімі бар біреуін жасау керек. Ал егер бұрын бұл Big Data барлығына мән бермесе, енді оны ескеруге тура келеді.
Мен, осы үлкен деректерді өңдейтін есепшот әзірлеуші компанияның директоры ретінде, дерекқорды елемеуге болмайды. Мен күн сайын мыңдаған абоненттер туралы ақпарат ағындары арқылы есеп айырысу жүйелері арқылы өтетін байланыс операторларының призмасы арқылы үлкен деректер туралы ойланамын.
Теорема
Математикалық есептегідей бастайық: алдымен байланыс операторларының деректерін BigDat деп атауға болатындығын дәлелдейміз. Әдетте, үлкен деректер үш VVV сипаттамасымен сипатталады, дегенмен еркін интерпретацияларда «V» саны жетіге жетті.
Көлемі. Ростелекомның MVNO ғана миллионнан астам абонентке қызмет көрсетеді. Негізгі хост операторлары 44-тен 78 миллионға дейінгі адамға арналған деректерді өңдейді. Трафик секунд сайын өсіп келеді: 2019 жылдың бірінші тоқсанында абоненттер ұялы телефондардан 3,3 миллиард ГБ-қа қол жеткізіп үлгерді.
Жылдамдық. Сізге статистикадан гөрі динамика туралы ешкім айта алмайды, сондықтан мен Cisco-ның болжамдарымен танысамын. 2021 жылға қарай IP-трафиктің 20%-ы мобильді трафикке түседі – бес жылда ол үш есе дерлік өседі. Ұялы байланыстардың үштен бір бөлігі M2M болады – IoT дамуы қосылымдардың алты есе артуына әкеледі. Заттар интернеті тек пайдалы ғана емес, сонымен қатар ресурсты көп қажет ететін болады, сондықтан кейбір операторлар тек соған ғана назар аударады. Ал IoT-ті жеке сервис ретінде дамытқандар екі есе трафик алады.
Әртүрлілік. Әртүрлілік - субъективті ұғым, бірақ байланыс операторлары шынымен де өз абоненттері туралы барлығын біледі. Аты мен төлқұжат мәліметтерінен телефон үлгісіне, сатып алуларға, барған жерлеріне және қызығушылықтарына дейін. Яровая заңына сәйкес медиа файлдар алты ай бойы сақталады. Сонымен, жиналған деректер әртүрлі болатынын аксиома ретінде алайық.
Бағдарламалық қамтамасыз ету және әдістеме
Провайдерлер BigData негізгі тұтынушыларының бірі болып табылады, сондықтан үлкен деректерді талдау әдістерінің көпшілігі телекоммуникация саласына қолданылады. Тағы бір сұрақ - кім ML, AI, Deep Learning дамытуға инвестиция салуға, дата орталықтары мен деректерді өндіруге инвестициялауға дайын. Мәліметтер қорымен толыққанды жұмыс инфрақұрылым мен командадан тұрады, олардың құнын әркім көтере бермейді. Корпоративтік қоймасы бар немесе деректерді басқару әдістемесін әзірлеп жатқан кәсіпорындар BigData-ға ставка жасауы керек. Ұзақ мерзімді инвестицияларға әлі дайын емес адамдар үшін мен сізге бағдарламалық жасақтаманың архитектурасын біртіндеп құруға және компоненттерді бір-бірлеп орнатуға кеңес беремін. Ауыр модульдер мен Hadoop-ты соңғыға қалдыра аласыз. Деректер сапасы және деректерді өңдеу сияқты мәселелерге дайын шешімді аз адамдар сатып алады; компаниялар әдетте жүйені өздерінің ерекше сипаттамалары мен қажеттіліктеріне - өздері немесе әзірлеушілердің көмегімен теңшейді.
Бірақ BigData-мен жұмыс істеу үшін әрбір есепшотты өзгерту мүмкін емес. Дәлірек айтқанда, барлығын өзгертуге болмайды. Мұны аз адамдар жасай алады.
Төлем жүйесінің дерекқорды өңдеу құралына айналу мүмкіндігінің үш белгісі:
- Көлденең масштабтау. Бағдарламалық қамтамасыз ету икемді болуы керек - біз үлкен деректер туралы айтып отырмыз. Ақпарат көлемінің ұлғаюы кластердегі аппараттық құралдардың пропорционалды ұлғаюымен өңделуі керек.
- Ақауларға төзімділік. Күрделі алдын ала төленген жүйелер әдетте әдепкі бойынша ақауларға төзімді: есепшот бір-бірін автоматты түрде сақтандыратындай бірнеше геолокациялардағы кластерде орналастырылады. Бір немесе бірнешеу сәтсіз болған жағдайда Hadoop кластерінде жеткілікті компьютер болуы керек.
- Елді мекен. Деректер бір серверде сақталуы және өңделуі керек, әйтпесе деректерді тасымалдау кезінде бұзылып қалуыңыз мүмкін. Танымал Map-Reduce тәсіл схемаларының бірі: HDFS дүкендері, Spark процестері. Ең дұрысы, бағдарламалық қамтамасыз ету деректер орталығының инфрақұрылымына үздіксіз интеграциялануы және үш нәрсені бір жерде орындауға қабілетті болуы керек: ақпаратты жинау, ұйымдастыру және талдау.
команда
Бағдарлама үлкен деректерді не, қалай және қандай мақсатта өңдейтінін команда шешеді. Көбінесе ол бір адамнан тұрады - деректер зерттеушісі. Менің ойымша, Big Data үшін қызметкерлердің ең аз пакетіне өнім менеджері, деректер инженері және менеджер кіреді. Біріншісі қызметтерді түсінеді, техникалық тілді адам тіліне және керісінше аударады. Data Engineer Java/Scala көмегімен модельдерді және Machine Learning тәжірибесімен өмірге әкеледі. Менеджер кезеңдерді үйлестіреді, мақсаттар қояды және бақылайды.
проблемалар
Мәліметтерді жинау және өңдеу кезінде әдетте мәселе BigData командасының тарапынан болады. Бағдарлама нені жинау керектігін және оны қалай өңдеу керектігін түсіндіруі керек - мұны түсіндіру үшін алдымен оны өзіңіз түсінуіңіз керек. Бірақ провайдерлер үшін бәрі оңай емес. Мен абоненттердің іркілуін азайту тапсырмасының мысалын қолданатын мәселелер туралы айтып отырмын - бұл бірінші кезекте байланыс операторлары Big Data көмегімен шешуге тырысады.
Мақсат қою. Жақсы жазылған техникалық сипаттамалар мен терминдерді әртүрлі түсіну тек фрилансерлер үшін ғана емес, ғасырлар бойы ауыртпалық болды. Тіпті «түсірген» абоненттерді де әртүрлі тәсілдермен түсіндіруге болады - бір ай, алты ай немесе бір жыл бойы оператордың қызметтерін пайдаланбағандар. Тарихи деректерге негізделген MVP жасау үшін, сіз басқа операторларды қолданып көрген немесе қаланы тастап, басқа нөмірді пайдаланған жазылушылардың жұмыстан шығу жиілігін түсінуіңіз керек. Тағы бір маңызды сұрақ: абонент қанша уақыт кетеді деп күтілуде, провайдер мұны анықтап, шара қолдануы керек? Алты ай тым ерте, бір апта кеш.
Ұғымдарды алмастыру. Әдетте операторлар клиентті телефон нөмірі арқылы анықтайды, сондықтан белгілерді оның көмегімен жүктеп салу қисынды. Жеке шотыңыз немесе қызмет көрсетуге өтініш нөмірі туралы не деуге болады? Оператор жүйесіндегі деректер өзгермеуі үшін клиент ретінде қай блокты қабылдау керектігін шешу қажет. Клиенттің құнын бағалау да күмәнді - компания үшін қайсысы маңыздырақ, қай пайдаланушыны ұстап тұру үшін көбірек күш қажет және қайсысы кез келген жағдайда «құлайды» және оларға ресурстарды жұмсаудың қажеті жоқ.
Ақпараттың болмауы. Провайдердің барлық қызметкерлері BigData командасына жазылушының тоқтап қалуына не әсер ететінін және шот ұсынудағы ықтимал факторлардың қалай есептелетінін түсіндіре алмайды. Тіпті олардың біреуін - ARPU деп атаса да, оны әртүрлі тәсілдермен есептеуге болатыны белгілі болды: мерзімді клиенттер төлемдері арқылы немесе автоматты төлемдер бойынша. Ал жұмыс барысында миллиондаған басқа сұрақтар туындайды. Модель барлық клиенттерді қамтиды ма, клиентті ұстап қалудың бағасы қандай, балама модельдер арқылы ойлаудың мәні бар ма және қате түрде жасанды түрде ұсталған клиенттермен не істеу керек.
Мақсат қою. Мен операторлардың дерекқорға көңілін қалдыратын нәтиже қателерінің үш түрін білемін.
- Провайдер BigData-ға инвестиция салады, гигабайт ақпаратты өңдейді, бірақ арзанырақ нәтижеге қол жеткізеді. Қарапайым диаграммалар мен модельдер, қарабайыр аналитика қолданылады. Құны бірнеше есе жоғары, бірақ нәтиже бірдей.
- Оператор көп қырлы деректерді шығыс ретінде алады, бірақ оны қалай пайдалану керектігін түсінбейді. Аналитика бар - міне, түсінікті және көлемді, бірақ оның пайдасы жоқ. «Деректерді өңдеу» мақсатынан тұруы мүмкін емес түпкілікті нәтиже ойластырылған жоқ. Өңдеу жеткіліксіз - аналитика бизнес-процестерді жаңарту үшін негіз болуы керек.
- BigData аналитикасын пайдаланудағы кедергілер ескірген бизнес-процестер және жаңа мақсаттарға жарамсыз бағдарламалық қамтамасыз ету болуы мүмкін. Бұл олардың дайындық кезеңінде қателік жібергенін білдіреді - олар әрекеттер алгоритмі мен Үлкен деректерді жұмысқа енгізу кезеңдерін ойластырған жоқ.
Не үшін
Нәтижелер туралы айтатын болсақ. Мен байланыс операторлары пайдаланып жүрген үлкен деректерді пайдалану және монетизациялау жолдарын қарастырамын.
Провайдерлер тек абоненттердің кетуін ғана емес, сонымен қатар базалық станциялардың жүктемесін де болжайды.
- Абонент қозғалысы, белсенділік және жиілік қызметтері туралы ақпарат талданады. Нәтижесі: инфрақұрылымның проблемалық аймақтарын оңтайландыру және жаңғырту есебінен шамадан тыс жүктемелер санын азайту.
- Байланыс операторлары сауда нүктелерін ашу кезінде абоненттердің геолокациясы және трафиктің тығыздығы туралы ақпаратты пайдаланады. Осылайша, BigData аналитикасын MTS пен VimpelCom жаңа кеңселердің орналасуын жоспарлау үшін қолдана бастады.
- Провайдерлер үшінші тұлғаларға ұсыну арқылы өздерінің үлкен деректерін монетизациялайды. BigData операторларының негізгі клиенттері коммерциялық банктер болып табылады. Дерекқорды пайдалана отырып, олар карталар байланыстырылған абоненттің SIM картасының күдікті әрекеттерін бақылайды және тәуекелдерді бағалау, тексеру және бақылау қызметтерін пайдаланады. Ал 2017 жылы Мәскеу үкіметі техникалық және көлік инфрақұрылымын жоспарлау үшін Tele2-ден BigData деректеріне негізделген қозғалыс динамикасын сұрады.
- BigData аналитикасы маркетологтар үшін алтын кені болып табылады, олар қаласа, мыңдаған жазылушылар топтары үшін жекелендірілген жарнамалық науқандар жасай алады. Телекоммуникация компаниялары әлеуметтік профильдерді, тұтынушылардың қызығушылықтарын және жазылушылардың мінез-құлық үлгілерін біріктіреді, содан кейін жаңа тұтынушыларды тарту үшін жиналған BigData-ны пайдаланады. Бірақ кең ауқымды жылжыту және PR жоспарлау үшін есепшот әрқашан жеткілікті функционалдылыққа ие бола бермейді: бағдарлама клиенттер туралы толық ақпаратпен қатар көптеген факторларды бір уақытта ескеруі керек.
Кейбіреулер әлі күнге дейін BigData-ны бос сөз деп санаса да, Үлкен төрттік қазірдің өзінде одан ақша табуда. Алты айда үлкен деректерді өңдеуден МТС 14 миллиард рубль табыс табады, ал Tele2 жобалардан түсетін кірісті үш жарым есеге арттырды. BigData трендтен болуы керек нәрсеге айналады, оның аясында байланыс операторларының бүкіл құрылымы қайта құрылады.
Ақпарат көзі: www.habr.com