Taun 2008, BigData mangrupikeun istilah énggal sareng tren modis. Dina 2019, BigData mangrupikeun obyék anu dijual, sumber kauntungan sareng alesan tagihan énggal.
ragrag panungtungan, pamaréntah Rusia ngagagas bil pikeun ngatur data badag. Individu bisa jadi teu dicirikeun tina informasi, tapi bisa ngalakukeunana dina pamundut otoritas féderal. Ngolah BigData pikeun pihak katilu ngan sanggeus bewara Roskomnadzor. Perusahaan anu ngagaduhan langkung ti 100 rébu alamat jaringan digolongkeun kana hukum. Na, tangtosna, dimana tanpa registers - sakuduna nyieun hiji kalawan daptar operator database. Sareng upami sateuacanna Big Data ieu henteu dianggap serius ku sadayana, ayeuna éta kedah diperhatoskeun.
Abdi, salaku diréktur perusahaan pamekar tagihan anu ngolah Data ageung ieu, teu tiasa malire pangkalan data. Kuring bakal mikir ngeunaan data badag ngaliwatan prisma operator telecom, ngaliwatan sistem tagihan nu ngalir informasi ngeunaan rébuan palanggan unggal poé.
Teorema
Hayu urang mimitian, sakumaha dina masalah math: kahiji urang ngabuktikeun yén data operator telekomunikasi bisa disebut BigDat. Ilaharna, data badag dicirikeun ku tilu ciri VVV, sanajan dina interpretasi bébas jumlah "Vs" ngahontal tujuh.
Jilid. MVNO Rostelecom nyalira ngalayanan langkung ti sajuta palanggan. operator host konci nanganan data pikeun 44 ka 78 juta jalma. Lalu lintas naék unggal detik: dina kuartal kahiji 2019, palanggan parantos ngaksés 3,3 milyar GB tina telepon sélulér.
Laju. Teu aya anu tiasa nyarioskeun ka anjeun ngeunaan dinamika anu langkung saé tibatan statistik, janten kuring bakal ngaliwat ramalan Cisco. Ku 2021, 20% tina lalulintas IP bakal balik ka lalulintas mobile - eta bakal ampir tilu kali dina lima taun. Katilu tina sambungan mobile bakal M2M - ngembangkeun IoT bakal ngakibatkeun kanaékan genep kali dina sambungan. Internet of Things bakal jadi teu ngan nguntungkeun, tapi ogé sumberdaya-intensif, jadi sababaraha operator bakal difokuskeun eta. Sareng jalma anu ngembangkeun IoT salaku jasa anu misah bakal nampi lalu lintas ganda.
rupa-rupa. Diversity mangrupikeun konsép subjektif, tapi operator telekomunikasi leres-leres terang ampir sadayana ngeunaan palangganna. Tina nami sareng detil paspor dugi ka modél telepon, pameseran, tempat anu dilongok sareng kapentingan. Numutkeun hukum Yarovaya, file média disimpen salila genep bulan. Ku kituna hayu urang nyandak eta salaku aksioma yén data dikumpulkeun téh variatif.
Software jeung metodologi
Panyadia mangrupikeun salah sahiji konsumen utama BigData, ku kituna kalolobaan téknik analisa data ageung tiasa dianggo pikeun industri telekomunikasi. Patarosan sanésna nyaéta saha anu siap investasi dina pamekaran ML, AI, Deep Learning, investasi di pusat data sareng pertambangan data. Karya lengkep sareng database diwangun ku infrastruktur sareng tim, biaya anu henteu sadayana mampuh. Usaha anu parantos gaduh gudang perusahaan atanapi nuju ngembangkeun metodologi Tata Kelola Data kedah bet dina BigData. Pikeun anu henteu acan siap pikeun investasi jangka panjang, kuring mamatahan anjeun laun-laun ngawangun arsitektur parangkat lunak sareng pasang komponén hiji-hiji. Anjeun tiasa ninggalkeun modul beurat jeung Hadoop pikeun panungtungan. Sababaraha urang mésér solusi anu siap-siap pikeun masalah sapertos Kualitas Data sareng Pertambangan Data; perusahaan umumna ngaropea sistem pikeun spésifikasi sareng kabutuhan khususna - nyalira atanapi kalayan bantosan pamekar.
Tapi henteu unggal tagihan tiasa dirobih pikeun damel sareng BigData. Atawa rada, teu ngan sagalana bisa dirobah. Sababaraha urang tiasa ngalakukeun ieu.
Tilu tanda yén sistem tagihan boga kasempetan pikeun jadi alat ngolah database:
- Skalabilitas horizontal. Parangkat lunak kedah fleksibel - urang nyarioskeun data ageung. Paningkatan dina jumlah informasi kudu diolah ku kanaékan sabanding dina hardware dina kluster.
- Kasalahan toleransi. Sistem prabayar anu serius biasana teu toleran lepat sacara standar: tagihan dipasang dina klaster dina sababaraha geolokasi supados aranjeunna otomatis silih asuransi. Ogé kudu aya cukup komputer dina kluster Hadoop bisi salah sahiji atawa leuwih gagal.
- Lokalitas. Data kedah disimpen sareng diprosés dina hiji server, upami henteu, anjeun tiasa rusak nalika mindahkeun data. Salah sahiji skéma pendekatan Map-Reduce populér: toko HDFS, prosés Spark. Ideally, software kudu seamlessly ngahijikeun kana infrastruktur puseur data sarta bisa ngalakukeun tilu hal dina hiji: ngumpulkeun, ngatur jeung nganalisis informasi.
regu
Naon, kumaha jeung naon tujuan program bakal ngolah data badag diputuskeun ku tim. Seringna diwangun ku hiji jalma - élmuwan data. Sanaos, dina pamanggih kuring, pakét minimum karyawan pikeun Big Data ogé kalebet Manajer Produk, Insinyur Data, sareng Manajer. Anu kahiji ngartos jasa, narjamahkeun basa téknis kana basa manusa sareng sabalikna. Insinyur Data ngahirupkeun modél nganggo Java / Scala sareng ékspérimén sareng Pembelajaran Mesin. Manajer koordinat, netepkeun tujuan, sareng ngontrol tahapan.
Anu jadi masalah
Dina tim BigData, masalah biasana timbul nalika ngumpulkeun sareng ngolah data. Programna kedah ngajelaskeun naon anu kedah dikumpulkeun sareng kumaha ngolahna - pikeun ngajelaskeun ieu, anjeun kedah ngartos heula nyalira. Tapi pikeun panyadia, hal henteu saderhana pisan. Kuring ngawangkong ngeunaan masalah ngagunakeun conto tugas ngurangan churn palanggan - ieu téh naon operator telekomunikasi nyobian pikeun ngajawab kalayan bantuan Big Data di tempat munggaran.
Netepkeun tujuan. Spésifikasi téknis anu ditulis kalayan saé sareng pamahaman anu béda-béda ngeunaan istilah-istilah parantos janten nyeri abad-abad henteu ngan ukur pikeun freelancer. Malahan palanggan anu "turun" tiasa diinterpretasi ku cara anu béda - sapertos jalma anu henteu nganggo jasa operator salami sabulan, genep bulan atanapi sataun. Sareng pikeun nyiptakeun MVP dumasar kana data sajarah, anjeun kedah ngartos frékuénsi pamulangan palanggan tina churn - jalma anu nyobian operator sanés atanapi ngantunkeun kota sareng nganggo nomer anu béda. Patarosan penting anu sanés: sabaraha lami sateuacan palanggan diperkirakeun angkat kedah panyadia nangtukeun ieu sareng nyandak tindakan? Genep bulan kasep, saminggu kasep.
Substitusi konsep. Biasana, operator ngaidentipikasi klien ku nomer telepon, janten logis yén tanda-tandana kedah diunggah nganggo éta. Kumaha upami akun pribadi anjeun atanapi nomer aplikasi jasa? Perlu mutuskeun unit mana anu kedah dicandak salaku klien supados data dina sistem operator henteu béda-béda. Menilai nilai klien ogé tiasa dipertanyakeun - palanggan mana anu langkung berharga pikeun perusahaan, pangguna mana anu peryogi usaha langkung seueur pikeun nahan, sareng anu mana anu bakal "turun" dina sagala hal sareng teu aya gunana pikeun nyéépkeun sumber daya pikeun aranjeunna.
Kurangna informasi. Henteu sakabéh pagawé panyadia bisa ngajelaskeun ka tim BigData naon husus mangaruhan churn palanggan jeung kumaha mungkin faktor di tagihan diitung. Sanaos aranjeunna namina salah sahijina - ARPU - tétéla éta tiasa diitung ku sababaraha cara: boh ku pamayaran klien périodik, atanapi ku biaya tagihan otomatis. Sareng dina prosés damel, sajuta patarosan sanésna timbul. Naha modél nutupan sadayana klien, sabaraha harga pikeun nahan klien, naha aya titik dina mikiran modél alternatif, sareng naon anu kudu dilakukeun sareng klien anu sacara artifisial dipikagaduh.
Nyetél gol. Kuring nyaho ngeunaan tilu jenis kasalahan hasilna anu ngabalukarkeun operator jadi frustasi jeung database.
- Panyadia investasi di BigData, ngolah gigabyte inpormasi, tapi kéngingkeun hasil anu tiasa didapet langkung mirah. Diagram sareng modél basajan, analitik primitif dianggo. Biayana sababaraha kali langkung luhur, tapi hasilna sami.
- Operator narima data multifaceted salaku kaluaran, tapi teu ngarti kumaha carana make eta. Aya analytics - ieu téh, kaharti jeung voluminous, tapi teu aya gunana. Hasil ahir, anu henteu tiasa diwangun ku tujuan "ngolah data," teu acan dipikiran. Teu cukup pikeun ngolah - analytics kedah janten dasar pikeun ngapdet prosés bisnis.
- Halangan pikeun pamakean analitik BigData tiasa janten prosés bisnis anu luntur sareng parangkat lunak anu henteu cocog pikeun tujuan énggal. Ieu ngandung harti yén aranjeunna ngalakukeun kasalahan dina tahap persiapan - aranjeunna henteu mikirkeun algoritma tindakan sareng tahapan ngenalkeun Big Data kana padamelan.
Kunaon
Diomongkeun hasil. Kuring bakal ngaliwat cara ngagunakeun sareng monetisasi Big Data anu parantos dianggo ku operator telekomunikasi.
Panyadia ngaramalkeun henteu ngan ukur aliran palanggan, tapi ogé beban dina stasiun pangkalan.
- Inpormasi ngeunaan gerakan palanggan, kagiatan sareng jasa frekuensi dianalisis. Hasilna: pangurangan jumlah kaleuleuwihan kusabab optimasi sareng modernisasi daérah masalah infrastruktur.
- Operator telekomunikasi nganggo inpormasi ngeunaan geolokasi palanggan sareng kapadetan lalu lintas nalika muka titik jual. Ku kituna, analitik BigData parantos dianggo ku MTS sareng VimpelCom pikeun ngarencanakeun lokasi kantor énggal.
- Panyadia monetisasi data gedé sorangan ku nawiskeun ka pihak katilu. Konsumén utama operator BigData nyaéta bank komersial. Ngagunakeun database, aranjeunna ngawas kagiatan curiga tina kartu SIM palanggan nu kartu nu numbu, sarta ngagunakeun nyetak resiko, verifikasi jeung jasa monitoring. Sareng dina 2017, pamaréntah Moskow nyuhunkeun dinamika gerakan dumasar kana data BigData ti Tele2 pikeun ngarencanakeun infrastruktur téknis sareng transportasi.
- analytics BigData mangrupakeun tambang emas pikeun marketers, anu bisa nyieun kampanye iklan pribadi pikeun saloba rébuan grup palanggan lamun aranjeunna milih. Pausahaan Telecom agrégat propil sosial, kapentingan konsumén jeung pola paripolah palanggan, lajeng nganggo BigData dikumpulkeun pikeun narik konsumén anyar. Tapi pikeun promosi skala ageung sareng perencanaan PR, tagihan henteu salawasna ngagaduhan fungsionalitas anu cekap: programna kedah sakaligus tumut kana sababaraha faktor anu paralel sareng inpormasi lengkep ngeunaan klien.
Bari sababaraha masih nganggap BigData hiji frase kosong, Big Opat geus nyieun duit dina eta. MTS earns 14 miliar rubles tina ngolah data badag dina genep bulan, sarta Tele2 ngaronjat panghasilan tina proyék ku tilu satengah kali. BigData ngarobah tina tren janten kedah gaduh, dimana sadayana struktur operator telekomunikasi bakal diwangun deui.
sumber: www.habr.com