2008-жылы BigData жаңы термин жана модалуу тренд болгон. 2019-жылы BigData сатуу объекти, пайда булагы жана жаңы векселдердин себеби болуп саналат.
Былтыр күзүндө орус өкмөтү чоң маалыматтарды жөнгө салуу боюнча мыйзам долбоорун демилгелеген. Жеке адамдарды маалыматтан аныктоо мүмкүн эмес, бирок федералдык органдардын талабы боюнча муну жасай алат. BigData-ны үчүнчү жактар үчүн иштетүү Роскомнадзордун кабарлоосунан кийин гана жүргүзүлөт. 100 миңден ашык тармак даректери бар компаниялар мыйзамга кирет. Жана, албетте, регистрлер жок жерде - маалымат базасынын операторлорунун тизмеси менен түзүү керек. Ал эми буга чейин бул Big Data бардык адамдар тарабынан олуттуу кабыл алынбаса, азыр аны эске алуу керек болот.
Мен, бул чоң маалыматты иштеткен эсеп-кысапты иштеп чыгуучу компаниянын директору катары, маалымат базасын этибарга албай коё албайм. Мен чоң маалыматтарды байланыш операторлорунун призмасы аркылуу ойлоном, алардын биллинг системалары аркылуу күн сайын миңдеген абоненттер жөнүндө маалымат агымы өтөт.
Теорема
Математика маселесиндегидей баштайлы: адегенде байланыш операторлорунун маалыматтарын BigDat деп атоого болорун далилдейбиз. Адатта, чоң маалыматтар үч VVV мүнөздөмөсү менен мүнөздөлөт, бирок эркин чечмелөөдө “Vs” саны жетиге жеткен.
Көлөм. Ростелекомдун MVNO гана миллиондон ашык абонентти тейлейт. Негизги хост операторлору 44 миллиондон 78 миллионго чейин маалымат менен иштешет. Трафик секунд сайын өсүп жатат: 2019-жылдын биринчи чейрегинде абоненттер уюлдук телефондордон 3,3 миллиард ГБ колдонушкан.
Ылдамдык. Эч ким сизге статистикага караганда динамика жөнүндө жакшыраак айта албайт, ошондуктан мен Cisco прогноздорун карап чыгам. 2021-жылга чейин IP-трафиктин 20% мобилдик трафикке өтөт - беш жылдын ичинде ал дээрлик үч эсеге көбөйөт. Мобилдик байланыштардын үчтөн бир бөлүгү M2M болот – IoTдин өнүгүшү байланыштардын алты эсеге көбөйүшүнө алып келет. Нерселердин интернети кирешелүү гана эмес, ресурстарды көп талап кылган нерсеге айланат, ошондуктан кээ бир операторлор ага гана көңүл бурушат. Ал эми IoT өзүнчө сервис катары иштеп чыккандар эки эселенген трафик алышат.
Variety. Ар түрдүүлүк субъективдүү түшүнүк, бирок байланыш операторлору чындап эле өз абоненттери жөнүндө дээрлик бардыгын билишет. Аты-жөнү жана паспортунун маалыматтарынан телефондун моделине, сатып алууларга, барган жерлерине жана кызыгууларына чейин. Яровая мыйзамына ылайык, медиа файлдар алты айга сакталат. Ошентип, чогултулган маалыматтар ар түрдүү экенин аксиома катары алалы.
Программалык камсыздоо жана методология
Провайдерлер BigDataнын негизги керектөөчүлөрүнүн бири болуп саналат, андыктан чоң маалыматтарды талдоо ыкмаларынын көбү телекоммуникация тармагында колдонулат. Дагы бир суроо - ким ML, AI, Deep Learning өнүктүрүүгө инвестиция салууга, маалымат борборлоруна жана маалыматтарды казууга инвестициялоого даяр. Маалыматтар базасы менен толук кандуу иш инфраструктурадан жана командадан турат, анын чыгымдарын ар ким көтөрө албайт. Корпоративдик кампасы бар же Маалыматтарды башкаруунун методологиясын иштеп жаткан ишканалар BigDataга ставка коюшу керек. Узак мөөнөттүү инвестицияларга даяр эмес болгондор үчүн мен сизге программалык камсыздоонун архитектурасын акырындап түзүүнү жана компоненттерди бир-бирден орнотууну сунуштайм. Сиз оор модулдарды жана Hadoopду акыркыга калтырсаңыз болот. Берилиштердин сапаты жана Маалыматтарды казып алуу сыяктуу көйгөйлөр үчүн даяр чечимди аз адамдар сатып алышат; компаниялар жалпысынан системаны өздөрүнүн спецификацияларына жана муктаждыктарына ылайыкташтырат - өздөрү же иштеп чыгуучулардын жардамы менен.
Бирок ар бир эсеп коюу BigData менен иштөө үчүн өзгөртүлүшү мүмкүн эмес. Тагыраак айтканда, бардыгын гана өзгөртүүгө болбойт. Муну аз адамдар жасай алат.
Эсептөө тутумунун маалымат базасын иштетүү куралы болуу мүмкүнчүлүгү бар экендигинин үч белгиси:
- Горизонталдык масштабдуулук. Программа ийкемдүү болушу керек - биз чоң маалыматтар жөнүндө сөз болуп жатат. Маалыматтын көлөмүнүн өсүшү кластердеги аппараттык каражаттардын пропорционалдуу өсүшү менен каралышы керек.
- Ката толеранттуулук. Олуттуу алдын ала төлөнүүчү системалар демейки боюнча каталарга чыдамдуу: эсеп-кысап бир нече геолокацияларда кластерде жайгаштырылат, ошондуктан алар бири-бирин автоматтык түрдө камсыздандырат. Бир же бир нечеси иштебей калса, Hadoop кластеринде жетиштүү компьютер болушу керек.
- Жергиликтүү жер. Берилиштер бир серверде сакталышы жана иштетилиши керек, антпесе, берилиштерди өткөрүүдө бузулуп калышы мүмкүн. Популярдуу Map-Reduce мамиле схемаларынын бири: HDFS дүкөндөрү, Spark процесстери. Идеалында, программалык камсыздоо маалымат борборунун инфраструктурасына үзгүлтүксүз интеграцияланып, үч нерсени бир жерде жасай алышы керек: маалыматты чогултуу, уюштуруу жана талдоо.
команда
Программа чоң маалыматтарды эмнени, кантип жана кандай максатта иштетээрин команда чечет. Көбүнчө ал бир адамдан турат - маалымат таануучу. Менин оюмча, Big Data үчүн кызматкерлердин минималдуу пакетине Продукт менеджери, маалымат инженери жана менеджер кирет. Биринчиси кызматтарды түшүнөт, техникалык тилди адам тилине жана тескерисинче которот. Data Engineer Java/Scala жана Machine Learning менен эксперименттерди колдонуу менен моделдерди ишке ашырат. Менеджер координациялайт, максаттарды коёт жана этаптарды көзөмөлдөйт.
көйгөйлөр
Бул BigData командасы тарабынан, адатта, маалыматтарды чогултуу жана иштетүүдө көйгөйлөр пайда болот. Программа эмнени чогултууну жана аны кантип иштетүүнү түшүндүрүшү керек - муну түшүндүрүү үчүн алгач аны өзүңүз түшүнүшүңүз керек. Бирок провайдерлер үчүн баары жөнөкөй эмес. Мен абоненттердин кыйроосун азайтуу тапшырмасынын мисалында көйгөйлөр жөнүндө айтып жатам - бул биринчи кезекте байланыш операторлору Big Data жардамы менен чечүүгө аракет кылып жатышат.
Максаттарды коюу. Жакшы жазылган техникалык мүнөздөмөлөр жана терминдерди ар кандай түшүнүү фрилансерлердин гана эмес, кылымдардан бери келе жаткан азап болуп келген. Ал тургай, "түшүрүлгөн" абоненттерди ар кандай чечмелесе болот - оператордун кызматтарын бир ай, алты ай же бир жыл колдонбогондор. Тарыхый маалыматтарга негизделген MVP түзүү үчүн, сиз абоненттердин кайра кайтаруу жыштыгын түшүнүшүңүз керек - башка операторлорду сынап көргөн же шаардан чыгып кеткен жана башка номерди колдонгондор. Дагы бир маанилүү суроо: абонент канча убакытка чейин кете турган болсо, провайдер муну аныктап, чара көрүшү керек? Алты ай эрте, бир жума кеч.
Түшүнүктөрдү алмаштыруу. Адатта, операторлор кардарды телефон номери боюнча аныкташат, андыктан белгилер аны колдонуу менен жүктөлүшү керек. Сиздин жеке аккаунтуңуз же кызмат арыз номериңиз тууралуу эмне айтууга болот? Оператордун тутумундагы маалыматтар өзгөрбөшү үчүн, кайсы бирдикти кардар катары кабыл алуу керектиги жөнүндө чечим кабыл алуу зарыл. Кардардын баасын баалоо да күмөн туудурат - компания үчүн кайсы абонент көбүрөөк баалуу, кайсы колдонуучу кармап калуу үчүн көбүрөөк күч-аракетти талап кылат жана кайсынысы кандай болгон күндө да "түшүп кетет" жана аларга ресурстарды коротуунун кереги жок.
Маалыматтын жетишсиздиги. Провайдерлердин баары эле BigData командасына жазылуучулардын үзгүлтүккө учурашына эмне таасир этээрин жана эсеп коюудагы мүмкүн болгон факторлор кантип эсептелерин түшүндүрө алышпайт. Алардын бирин - ARPU деп атаса дагы, аны ар кандай жолдор менен эсептөөгө болот: же мезгил-мезгили менен кардарлардын төлөмдөрү, же автоматтык эсеп-кысап төлөмдөрү менен. Ал эми иш процессинде миллиондогон башка суроолор пайда болот. Модель бардык кардарларды камтыйбы, кардарды кармап калуу баасы канча, альтернативдик моделдер аркылуу ойлонуунун мааниси барбы жана жаңылыш түрдө жасалма түрдө кармалып калган кардарлар менен эмне кылуу керек.
Максат коюу. Мен операторлордун маалымат базасына нааразы болушуна алып келген жыйынтык каталарынын үч түрүн билем.
- Провайдер BigDataга инвестиция салат, гигабайт маалыматты иштетет, бирок арзаныраак алынышы мүмкүн болгон натыйжаны алат. Жөнөкөй диаграммалар жана моделдер, примитивдүү аналитика колдонулат. Баасы бир нече эсе жогору, бирок натыйжасы бирдей.
- Оператор чыгаруу катары көп кырдуу маалыматтарды алат, бирок аны кантип колдонууну түшүнбөйт. Аналитика бар - бул түшүнүктүү жана көлөмдүү, бирок эч кандай пайдасы жок. "Маалыматтарды кайра иштетүү" максатынан турушу мүмкүн болбогон акыркы жыйынтык ойлонулган эмес. Бул иштетүү үчүн жетиштүү эмес - аналитика бизнес-процесстерди жаңыртуу үчүн негиз болушу керек.
- BigData аналитикасын колдонуудагы тоскоолдуктар эскирген бизнес процесстер жана жаңы максаттарга жараксыз программалык камсыздоо болушу мүмкүн. Бул алардын даярдоо стадиясында ката кетиргенин билдирет - алар иш-аракеттердин алгоритмин жана Big Dataны ишке киргизүү этаптарын ойлонушкан эмес.
эмне үчүн
Натыйжалар жөнүндө сөз кылып жатып. Мен байланыш операторлору колдонуп жаткан Big Data колдонуу жана акча табуу жолдорун карап чыгам.
Провайдерлер абоненттердин агып чыгышын гана эмес, базалык станциялардын жүгүн да болжолдошот.
- Абоненттердин кыймылы, активдүүлүгү жана жыштык кызматтары жөнүндө маалымат талданат. Натыйжа: инфраструктуранын көйгөйлүү аймактарын оптималдаштыруу жана модернизациялоонун эсебинен ашыкча жүктөөлөрдүн санын кыскартуу.
- Байланыш операторлору соода түйүндөрүн ачууда абоненттердин геолокациясы жана трафиктин жыштыгы тууралуу маалыматты колдонушат. Ошентип, BigData аналитикасы MTS жана VimpelCom тарабынан жаңы кеңселердин жайгашкан жерин пландоо үчүн мурунтан эле колдонулат.
- Провайдерлер үчүнчү жактарга сунуштоо менен өздөрүнүн чоң маалыматтарын акчага айландырышат. BigData операторлорунун негизги кардарлары коммерциялык банктар. Маалыматтар базасын колдонуу менен алар карталары байланышкан абоненттин SIM-картасынын шектүү иш-аракеттерин көзөмөлдөп, тобокелдиктерди баалоо, текшерүү жана мониторинг кызматтарын колдонушат. Ал эми 2017-жылы Москва өкмөтү техникалык жана транспорттук инфраструктураны пландаштыруу үчүн Tele2ден BigData маалыматтарынын негизинде кыймыл динамикасын сураган.
- BigData аналитикасы - маркетологдор үчүн алтын кени, алар эгер кааласа, миңдеген абоненттик топтор үчүн жекелештирилген жарнамалык кампанияларды түзө алышат. Телекоммуникация компаниялары социалдык профилдерди, керектөөчүлөрдүн кызыкчылыктарын жана абоненттердин жүрүм-турум үлгүлөрүн бириктирип, андан кийин жаңы кардарларды тартуу үчүн чогултулган BigDataны колдонушат. Бирок масштабдуу илгерилетүү жана PR-пландаштыруу үчүн эсеп-кысап дайыма эле жетиштүү функцияга ээ боло бербейт: программа бир эле учурда кардарлар жөнүндө толук маалымат менен катар көптөгөн факторлорду эске алышы керек.
Кээ бирөөлөр дагы эле BigDataны куру сөз деп эсептешсе да, Чоң төртөө буга чейин эле акча таап жатышат. МТС алты айдын ичинде чоң маалыматтарды иштетүүдөн 14 миллиард рубль табат, ал эми Tele2 долбоорлордон түшкөн кирешени үч жарым эсеге көбөйттү. BigData тенденциядан болушу керек болгон нерсеге айланып баратат, анын алкагында байланыш операторлорунун бүт структурасы кайра курулат.
Source: www.habr.com