Tagihan gedhe data gedhe: babagan BigData ing telekomunikasi

Ing taun 2008, BigData minangka istilah anyar lan tren modis. Ing 2019, BigData minangka obyek adol, sumber bathi lan alasan tagihan anyar.

Musim gugur pungkasan, pamrentah Rusia miwiti tagihan kanggo ngatur data gedhe. Individu bisa uga ora dikenali saka informasi, nanging bisa nindakake ing panjalukan saka panguwasa federal. Ngolah BigData kanggo pihak katelu mung sawise kabar saka Roskomnadzor. Perusahaan sing duwe luwih saka 100 ewu alamat jaringan ana ing hukum. Lan, mesthi, ing ngendi tanpa ndhaptar - mesthine nggawe siji karo dhaptar operator database. Lan yen sadurunge Big Data iki ora dianggep serius dening kabeh wong, saiki iku kudu dijupuk menyang akun.

Aku, minangka direktur perusahaan pangembang tagihan sing ngolah Data Gedhe iki, ora bisa nglirwakake database. Aku bakal mikir babagan data gedhe liwat prisma operator telekomunikasi, liwat sistem tagihan sing mili informasi babagan ewonan pelanggan saben dina.

Teorema

Ayo miwiti, kaya ing masalah matematika: pisanan kita mbuktekaken manawa data operator telekomunikasi bisa diarani BigDat. Biasane, data gedhe ditondoi kanthi telung karakteristik VVV, sanajan ing interpretasi gratis jumlah "Vs" tekan pitung.

Volume. MVNO Rostelecom mung nglayani luwih saka siji yuta pelanggan. Operator host utama nangani data kanggo 44 nganti 78 yuta wong. Lalu lintas mundhak saben detik: ing kuartal pisanan 2019, pelanggan wis ngakses 3,3 milyar GB saka ponsel.

Kacepetan. Ora ana sing bisa ngomong babagan dinamika sing luwih apik tinimbang statistik, mula aku bakal ngliwati ramalan Cisco. Ing taun 2021, 20% lalu lintas IP bakal pindhah menyang lalu lintas seluler - bakal meh tikel kaping telu sajrone limang taun. Sapratelo saka sambungan seluler bakal dadi M2M - pangembangan IoT bakal mimpin kanggo nambah enem kaping ing sambungan. Internet of Things bakal dadi ora mung duwe bathi, nanging uga sumber daya intensif, supaya sawetara operator mung fokus ing. Lan sing ngembangake IoT minangka layanan sing kapisah bakal nampa lalu lintas kaping pindho.

macem-macem. Keragaman minangka konsep subyektif, nanging operator telekomunikasi pancen ngerti kabeh babagan pelanggan. Saka rincian jeneng lan paspor kanggo model telpon, tumbas, panggonan dibukak lan kapentingan. Miturut hukum Yarovaya, file media disimpen kanggo nem sasi. Dadi ayo njupuk minangka aksioma yen data sing diklumpukake maneka warna.

Piranti lunak lan metodologi

Panyedhiya minangka salah sawijining konsumen utama BigData, saengga paling akeh teknik analisis data gedhe bisa ditrapake kanggo industri telekomunikasi. Pitakonan liyane yaiku sapa sing siap nandur modal ing pangembangan ML, AI, Deep Learning, nandur modal ing pusat data lan data mining. Karya lengkap kanthi basis data kalebu infrastruktur lan tim, biaya sing ora saben wong bisa mbayar. Perusahaan sing wis duwe gudang perusahaan utawa ngembangake metodologi Tata Kelola Data kudu nang BigData. Kanggo sing durung siyap kanggo investasi jangka panjang, aku menehi saran supaya mboko sithik mbangun arsitektur piranti lunak lan nginstal komponen siji-siji. Sampeyan bisa ninggalake modul abot lan Hadoop kanggo pungkasan. Sawetara wong tuku solusi sing wis siap kanggo masalah kayata Kualitas Data lan Data Mining; perusahaan umume ngatur sistem kasebut miturut spesifikasi lan kabutuhan tartamtu - dhewe utawa kanthi bantuan pangembang.

Nanging ora saben tagihan bisa diowahi kanggo nggarap BigData. Utawa, ora mung kabeh sing bisa diowahi. Sawetara wong bisa nindakake iki.

Telung pratandha yen sistem tagihan duwe kesempatan dadi alat pangolahan database:

• Skalabilitas horisontal. Piranti lunak kudu fleksibel - kita ngomong babagan data gedhe. Tambah ing jumlah informasi kudu dianggep dening Tambah proporsional ing hardware ing kluster.
• Toleransi kesalahan. Sistem prabayar serius biasane fault-tolerant minangka standar: tagihan disebarake ing kluster ing sawetara geolocations supaya padha kanthi otomatis asuransi saben liyane. Uga kudu cukup komputer ing kluster Hadoop yen siji utawa luwih gagal.
• Lokalitas. Data kudu disimpen lan diproses ing siji server, yen ora, sampeyan bisa ngilangi transfer data. Salah sawijining skema pendekatan Map-Reduce sing populer: toko HDFS, pangolahan Spark. Saenipun, piranti lunak kasebut kudu nggabungake kanthi lancar menyang infrastruktur pusat data lan bisa nindakake telung perkara ing siji: ngumpulake, ngatur lan nganalisa informasi.

tim

Apa, carane lan kanggo tujuan apa program bakal ngolah data gedhe diputusake dening tim. Asring kasusun saka siji wong - ilmuwan data. Sanajan, miturut pendapatku, paket minimal karyawan kanggo Big Data uga kalebu Manajer Produk, Insinyur Data, lan Manajer. Sing pertama ngerti layanan kasebut, nerjemahake basa teknis menyang basa manungsa lan kosok balene. Data Engineer ndadekke model kanggo urip nggunakake Java / Scala lan nyobi karo Machine Learning. Manajer koordinat, nyetel gol, lan ngontrol tahapan.

Masalah

Ing bagean tim BigData, masalah biasane muncul nalika ngumpulake lan ngolah data. Program kasebut kudu nerangake apa sing kudu dikumpulake lan cara ngolah - kanggo nerangake iki, sampeyan kudu ngerti dhewe. Nanging kanggo panyedhiya, perkara kasebut ora gampang. Aku ngomong babagan masalah nggunakake conto tugas nyuda churn pelanggan - iki sing nyoba diatasi dening operator telekomunikasi kanthi bantuan Big Data.

Nyetel gol. Spesifikasi teknis sing ditulis kanthi apik lan pangerten istilah sing beda-beda wis dadi rasa lara pirang-pirang abad ora mung kanggo para freelancer. Malah pelanggan "mudhun" bisa diinterpretasikake kanthi cara sing beda-beda - kaya sing durung nggunakake layanan operator sajrone sewulan, nem sasi utawa setahun. Lan kanggo nggawe MVP adhedhasar data historis, sampeyan kudu ngerti frekuensi bali saka pelanggan saka churn - sing nyoba operator liyane utawa ninggalake kutha lan nggunakake nomer beda. Pitakonan penting liyane: suwene sadurunge pelanggan dijaluk ninggalake kudu panyedhiya nemtokake iki lan tumindak? Nem sasi kakehan, seminggu kasep.

Substitusi konsep. Biasane, operator ngenali klien kanthi nomer telpon, mula logis yen tandha-tandha kasebut kudu diunggah kanthi nggunakake. Kepiye babagan akun pribadi utawa nomer aplikasi layanan sampeyan? Sampeyan kudu mutusake unit sing kudu dijupuk minangka klien supaya data ing sistem operator ora beda-beda. Nemtokake nilai klien uga bisa dipertanyakan - pelanggan sing luwih larang kanggo perusahaan, pangguna sing mbutuhake upaya luwih akeh kanggo nahan, lan endi sing bakal "jatuh" ing kasus apa wae lan ora ana gunane mbuwang sumber daya.

Kurang informasi. Ora kabeh karyawan panyedhiya bisa nerangake menyang tim BigData babagan apa sing mengaruhi churn pelanggan lan kepiye faktor sing bisa ditindakake ing tagihan. Sanadyan dijenengi salah siji saka wong-wong mau - ARPU - pranyata bisa diwilang kanthi cara sing beda-beda: kanthi pembayaran klien periodik, utawa kanthi biaya tagihan otomatis. Lan ing proses karya, yuta pitakonan liyane muncul. Apa model nutupi kabeh klien, apa rega kanggo nahan klien, apa ana gunane kanggo mikir liwat model alternatif, lan apa apa karo klien sing wis keliru artificially disimpen.

Nyetel gol. Aku ngerti telung jinis kesalahan asil sing nyebabake operator frustasi karo database.

1. Panyedhiya nandur modal ing BigData, ngolah informasi gigabyte, nanging entuk asil sing bisa dipikolehi luwih murah. Diagram lan model sing prasaja, analitik primitif digunakake. Biaya kasebut kaping pirang-pirang luwih dhuwur, nanging asile padha.
2. Operator nampa data multifaceted minangka output, nanging ora ngerti carane nggunakake. Ana analytics - ing kene, bisa dingerteni lan akeh, nanging ora ana gunane. Asil pungkasan, sing ora bisa kalebu tujuan "ngolah data," durung dipikirake. Ora cukup kanggo proses - analytics kudu dadi basis kanggo nganyari proses bisnis.
3. Rintangan kanggo nggunakake analytics BigData bisa dadi proses bisnis sing wis lawas lan piranti lunak sing ora cocog kanggo tujuan anyar. Iki tegese dheweke nggawe kesalahan ing tahap persiapan - dheweke ora mikir babagan algoritma tumindak lan tahapan ngenalake Big Data menyang karya.

Napa

Ngomong asil. Aku bakal nemokake cara nggunakake lan monetisasi Big Data sing wis digunakake operator telekomunikasi.
Panyedhiya prédhiksi ora mung aliran pelanggan, nanging uga beban ing stasiun pangkalan.

1. Informasi babagan gerakan pelanggan, aktivitas lan layanan frekuensi dianalisis. Asil: nyuda jumlah kakehan amarga optimasi lan modernisasi wilayah masalah infrastruktur.
2. Operator telekomunikasi nggunakake informasi babagan geolokasi pelanggan lan kapadhetan lalu lintas nalika mbukak titik adol. Mangkono, analytics BigData wis digunakake dening MTS lan VimpelCom kanggo ngrancang lokasi kantor anyar.
3. Panyedhiya monetisasi data gedhe dhewe kanthi nawakake menyang pihak katelu. Pelanggan utama operator BigData yaiku bank komersial. Nggunakake database, padha ngawasi aktivitas curiga saka kertu SIM pelanggan sing kertu disambungake, lan nggunakake skor resiko, verifikasi lan layanan ngawasi. Lan ing 2017, pamrentah Moskow njaluk dinamika gerakan adhedhasar data BigData saka Tele2 kanggo ngrancang infrastruktur teknis lan transportasi.
4. Analytics BigData minangka tambang emas kanggo para pemasar, sing bisa nggawe kampanye iklan sing dipersonalisasi kanggo ewu klompok pelanggan yen milih. Perusahaan telekomunikasi nggabungake profil sosial, kapentingan konsumen lan pola prilaku pelanggan, banjur nggunakake BigData sing diklumpukake kanggo narik pelanggan anyar. Nanging kanggo promosi skala gedhe lan perencanaan PR, tagihan ora tansah nduweni fungsi sing cukup: program kasebut kudu njupuk akeh faktor bebarengan karo informasi rinci babagan klien.

Nalika sawetara isih nganggep BigData minangka frasa kosong, Big Four wis entuk dhuwit. MTS entuk 14 milyar rubel saka pangolahan data gedhe sajrone nem wulan, lan Tele2 nambah penghasilan saka proyek kaping telu setengah. BigData ngowahi saka tren dadi kudu, ing ngendi kabeh struktur operator telekomunikasi bakal dibangun maneh.

Source: www.habr.com