2008-ci ildə BigData yeni bir termin və dəbdə olan bir tendensiya idi. 2019-cu ildə BigData satış obyekti, mənfəət mənbəyi və yeni veksellərin səbəbidir.
Ötən ilin payızında Rusiya hökuməti böyük verilənləri tənzimləyən qanun layihəsinin təşəbbüskarı olub. Şəxslər məlumatdan müəyyən edilə bilməz, lakin federal orqanların tələbi ilə bunu edə bilər. BigData-nın üçüncü tərəflər üçün işlənməsi yalnız Roskomnadzorun xəbərdarlığından sonra həyata keçirilir. 100 mindən çox şəbəkə ünvanı olan şirkətlər qanuna tabedir. Və, əlbəttə ki, registrlər olmadan - verilənlər bazası operatorlarının siyahısı ilə birini yaratmaq lazımdır. Əgər əvvəllər bu Big Data hər kəs tərəfindən ciddi qəbul edilmirdisə, indi nəzərə alınmalı olacaq.
Mən, bu çox Böyük Məlumatı emal edən bir faturalandırma tərtibatçısı şirkətinin direktoru kimi, verilənlər bazasına məhəl qoymaya bilmərəm. Hər gün minlərlə abunəçi haqqında məlumat axınının billinq sistemlərindən keçdiyi telekommunikasiya operatorlarının prizmasından böyük verilənlər haqqında düşünəcəyəm.
Teorem
Riyaziyyat məsələsində olduğu kimi başlayaq: əvvəlcə telekommunikasiya operatorlarının məlumatlarının BigDat adlandırıla biləcəyini sübut edirik. Tipik olaraq, böyük verilənlər üç VVV xarakteristikası ilə xarakterizə olunur, baxmayaraq ki, pulsuz şərhlərdə "V" sayı yeddiyə çatır.
Həcmi. Təkcə Rostelecom-un MVNO-su bir milyondan çox abunəçiyə xidmət göstərir. Əsas host operatorları 44 milyondan 78 milyona qədər insanın məlumatlarını idarə edir. Trafik hər saniyə artır: 2019-cu ilin birinci rübündə abunəçilər artıq mobil telefonlardan 3,3 milyard GB-a daxil olublar.
Sürət. Heç kim sizə dinamika haqqında statistikadan yaxşı deyə bilməz, ona görə də Cisco-nun proqnozlarını nəzərdən keçirəcəyəm. 2021-ci ilə qədər İP trafikin 20%-i mobil trafikə keçəcək - beş il ərzində o, demək olar ki, üç dəfə artacaq. Mobil bağlantıların üçdə biri M2M olacaq – IoT-nin inkişafı bağlantıların altı dəfə artmasına səbəb olacaq. Əşyaların İnterneti təkcə sərfəli deyil, həm də resurs tutumlu olacaq, ona görə də bəzi operatorlar yalnız ona diqqət yetirəcəklər. IoT-ni ayrıca xidmət kimi inkişaf etdirənlər isə ikiqat trafik əldə edəcəklər.
Müxtəliflik. Müxtəliflik subyektiv anlayışdır, lakin telekommunikasiya operatorları həqiqətən öz abunəçiləri haqqında demək olar ki, hər şeyi bilirlər. Ad və pasport məlumatlarından tutmuş telefon modeli, satınalmalar, ziyarət edilən yerlər və maraqlara qədər. Yarovaya qanununa görə, media faylları altı ay saxlanılır. Beləliklə, toplanan məlumatların müxtəlif olduğunu bir aksioma kimi götürək.
Proqram təminatı və metodologiya
Provayderlər BigData-nın əsas istehlakçılarından biridir, buna görə də böyük məlumatların təhlili üsullarının əksəriyyəti telekommunikasiya sənayesinə tətbiq olunur. Başqa bir sual, kimin ML, AI, Deep Learning-in inkişafına sərmayə qoymağa, məlumat mərkəzlərinə və məlumatların əldə edilməsinə investisiya qoymağa hazır olmasıdır. Verilənlər bazası ilə tam hüquqlu iş infrastruktur və komandadan ibarətdir, xərcləri hər kəs ödəyə bilməz. Artıq korporativ anbarı olan və ya Məlumat İdarəetmə metodologiyasını inkişaf etdirən müəssisələr BigData-ya mərc etməlidirlər. Uzunmüddətli investisiyalara hələ hazır olmayanlar üçün sizə proqramın arxitekturasını tədricən qurmağı və komponentləri bir-bir quraşdırmağı məsləhət görürəm. Ağır modulları və Hadoop-u sona buraxa bilərsiniz. Az adam Data Keyfiyyəti və Data Mining kimi problemlər üçün hazır həll yolu alır; şirkətlər ümumiyyətlə sistemi öz spesifik xüsusiyyətlərinə və ehtiyaclarına uyğunlaşdırır - özləri və ya tərtibatçıların köməyi ilə.
Lakin hər faktura BigData ilə işləmək üçün dəyişdirilə bilməz. Daha doğrusu, təkcə hər şeyi dəyişdirmək olmaz. Bunu az adam edə bilər.
Faturalandırma sisteminin verilənlər bazası emal alətinə çevrilmək şansının olduğunu göstərən üç əlamət:
- Üfüqi miqyaslılıq. Proqram təminatı çevik olmalıdır - biz böyük verilənlərdən danışırıq. Məlumatın həcminin artması klasterdə aparatın mütənasib artması ilə müalicə edilməlidir.
- Səhv tolerantlığı. Ciddi əvvəlcədən ödənilmiş sistemlər adətən defolt olaraq nasazlığa dözümlüdür: hesablama bir neçə geolokasiyada klasterdə yerləşdirilir ki, onlar avtomatik olaraq bir-birini sığortalasınlar. Bir və ya daha çox uğursuzluq halında Hadoop klasterində kifayət qədər kompüter olmalıdır.
- Yerlilik. Məlumatlar bir serverdə saxlanmalı və işlənməlidir, əks halda məlumat ötürülməsi zamanı pozula bilərsiniz. Məşhur Map-Reduce yanaşma sxemlərindən biri: HDFS mağazaları, Spark prosesləri. İdeal olaraq, proqram təminatı məlumat mərkəzinin infrastrukturuna problemsiz inteqrasiya etməli və üç şeyi bir yerdə edə bilməlidir: məlumat toplamaq, təşkil etmək və təhlil etmək.
Komanda
Proqramın nə, necə və hansı məqsədlə böyük məlumatları emal edəcəyi komanda tərəfindən müəyyən edilir. Çox vaxt bir nəfərdən ibarətdir - məlumat alimi. Baxmayaraq ki, mənim fikrimcə, Big Data üçün minimum işçilər paketinə Məhsul Meneceri, Məlumat Mühəndisi və Menecer də daxildir. Birincisi xidmətləri başa düşür, texniki dili insan dilinə və əksinə tərcümə edir. Data Engineer Java/Scala və Machine Learning ilə təcrübələrdən istifadə edərək modelləri həyata keçirir. Menecer koordinasiya edir, məqsədlər qoyur və mərhələlərə nəzarət edir.
Problemləri
Məlumatların toplanması və işlənməsi zamanı problemlər adətən BigData komandasının tərəfində olur. Proqram nə toplamaq və necə emal etmək lazım olduğunu izah etməlidir - bunu izah etmək üçün ilk növbədə özünüz başa düşməlisiniz. Ancaq provayderlər üçün hər şey o qədər də sadə deyil. Abunəçi axınının azaldılması tapşırığından istifadə edərək problemlərdən danışıram - telekommunikasiya operatorlarının ilk növbədə Big Data köməyi ilə həll etməyə çalışdıqları budur.
Məqsədlərin qoyulması. Yaxşı yazılmış texniki spesifikasiyalar və terminlərin fərqli anlaşılması təkcə frilanserlər üçün deyil, çoxəsrlik ağrıdır. Hətta “axırılan” abunəçiləri də müxtəlif cür şərh etmək olar - bir ay, altı ay və ya bir il operatorun xidmətlərindən istifadə etməyənlər kimi. Tarixi məlumatlara əsaslanaraq MVP yaratmaq üçün abunəçilərin qaçırmadan qayıtma tezliyini başa düşməlisiniz - digər operatorları sınayan və ya şəhəri tərk edən və fərqli nömrə istifadə edənlər. Digər vacib sual: abunəçinin ayrılması gözlənilən vaxta qədər provayder bunu müəyyən edib tədbir görməlidir? Altı ay çox tezdir, bir həftə çox gecdir.
Anlayışların əvəzlənməsi. Tipik olaraq, operatorlar müştərini telefon nömrəsi ilə müəyyənləşdirirlər, ona görə də işarələrin ondan istifadə edərək yüklənməsi məntiqlidir. Şəxsi hesabınız və ya xidmət ərizə nömrəniz haqqında nə demək olar? Operator sistemindəki məlumatların dəyişməməsi üçün hansı bölmənin müştəri kimi qəbul edilməsinə qərar vermək lazımdır. Müştərinin dəyərinin qiymətləndirilməsi də sual altındadır - şirkət üçün hansı abunəçi daha dəyərlidir, hansı istifadəçi saxlamaq üçün daha çox səy tələb edir və hansının istənilən halda “yıxılacağı” və onlara resurslar sərf etməyin mənası yoxdur.
Məlumat çatışmazlığı. Bütün provayder işçiləri BigData komandasına abunəçi itkisinə nəyin təsir etdiyini və hesablaşmada mümkün amillərin necə hesablandığını izah edə bilmir. Onlardan birinin - ARPU-nun adını çəksələr belə, məlum olur ki, onu müxtəlif üsullarla hesablamaq olar: ya dövri müştəri ödənişləri ilə, ya da avtomatik hesablaşma xərcləri ilə. Və iş prosesində bir milyon başqa sual yaranır. Model bütün müştəriləri əhatə edirmi, müştərini saxlamağın qiyməti nə qədərdir, alternativ modellər üzərində düşünməyin mənası varmı və səhvən süni şəkildə saxlanılan müştərilərlə nə etmək olar.
Məqsəd təyini. Mən operatorların verilənlər bazası ilə məyus olmasına səbəb olan üç növ nəticə səhvini bilirəm.
- Provayder BigData-ya sərmayə qoyur, gigabaytlarla məlumat emal edir, lakin daha ucuz əldə edilə bilən nəticə əldə edir. Sadə diaqram və modellərdən, primitiv analitikadan istifadə olunur. Xərc dəfələrlə bahadır, amma nəticə eynidir.
- Operator çıxış kimi çoxşaxəli məlumatları alır, lakin ondan necə istifadə edəcəyini başa düşmür. Analitika var - budur, başa düşüləndir və həcmlidir, lakin heç bir faydası yoxdur. “Məlumatların işlənməsi” məqsədindən ibarət olmayan son nəticə düşünülməmişdir. Emal etmək kifayət deyil - analitika biznes proseslərini yeniləmək üçün əsas olmalıdır.
- BigData analitikasının istifadəsinə maneələr köhnəlmiş biznes prosesləri və yeni məqsədlər üçün uyğun olmayan proqram təminatı ola bilər. Bu o deməkdir ki, onlar hazırlıq mərhələsində səhv ediblər - onlar hərəkətlərin alqoritmini və Big Data-nın işə daxil edilməsi mərhələlərini düşünməyiblər.
Nə üçün
Nəticələrdən danışarkən. Telekommunikasiya operatorlarının artıq istifadə etdiyi Big Datadan istifadə və pul qazanma yollarını nəzərdən keçirəcəyəm.
Provayderlər təkcə abonent axınını deyil, həm də baza stansiyalarına yükü proqnozlaşdırırlar.
- Abunəçilərin hərəkəti, fəaliyyəti və tezlik xidmətləri haqqında məlumatlar təhlil edilir. Nəticə: infrastrukturun problemli sahələrinin optimallaşdırılması və modernləşdirilməsi hesabına həddindən artıq yüklənmələrin sayının azalması.
- Telekommunikasiya operatorları satış məntəqələri açarkən abunəçilərin geolokasiyası və trafik sıxlığı haqqında məlumatlardan istifadə edirlər. Beləliklə, BigData analitikası artıq MTS və VimpelCom tərəfindən yeni ofislərin yerini planlaşdırmaq üçün istifadə olunur.
- Provayderlər öz böyük məlumatlarını üçüncü tərəflərə təklif edərək pul qazanırlar. BigData operatorlarının əsas müştəriləri kommersiya banklarıdır. Verilənlər bazasından istifadə edərək, kartların əlaqələndirildiyi abunəçinin SİM kartının şübhəli fəaliyyətini izləyir, risklərin qiymətləndirilməsi, yoxlama və monitorinq xidmətlərindən istifadə edirlər. Və 2017-ci ildə Moskva hökuməti texniki və nəqliyyat infrastrukturunu planlaşdırmaq üçün Tele2-dən BigData məlumatlarına əsaslanan hərəkət dinamikasını tələb etdi.
- BigData analitikası marketoloqlar üçün qızıl mədənidir, onlar seçdikləri təqdirdə minlərlə abunəçi qrupu üçün fərdiləşdirilmiş reklam kampaniyaları yarada bilərlər. Telekommunikasiya şirkətləri abunəçilərin sosial profillərini, istehlakçı maraqlarını və davranış nümunələrini birləşdirir və sonra yeni müştəriləri cəlb etmək üçün toplanmış BigData-dan istifadə edir. Lakin geniş miqyaslı tanıtım və PR planlaşdırması üçün hesablama həmişə kifayət qədər funksionallığa malik deyil: proqram müştərilər haqqında ətraflı məlumatla paralel olaraq eyni vaxtda bir çox amilləri nəzərə almalıdır.
Bəziləri hələ də BigData-nı boş bir ifadə hesab etsə də, Böyük Dördlük artıq ondan pul qazanır. MTS 14 ayda böyük məlumatların emalından 2 milyard rubl qazanır, TeleXNUMX isə layihələrdən əldə olunan gəliri üç yarım dəfə artırıb. BigData bir tendensiyadan məcburi bir tendensiyaya çevrilir, bunun altında telekommunikasiya operatorlarının bütün strukturu yenidən qurulacaq.
Mənbə: www.habr.com