Pada tahun 2008, BigData menjadi istilah baru dan tren yang modis. Pada tahun 2019, BigData menjadi objek penjualan, sumber keuntungan dan alasan tagihan baru.
Musim gugur yang lalu, pemerintah Rusia memprakarsai rancangan undang-undang untuk mengatur data besar. Individu mungkin tidak dapat diidentifikasi berdasarkan informasi, namun dapat melakukannya atas permintaan otoritas federal. Pemrosesan BigData untuk pihak ketiga hanya dilakukan setelah pemberitahuan dari Roskomnadzor. Perusahaan yang memiliki lebih dari 100 ribu alamat jaringan tunduk pada hukum. Dan, tentu saja, jika tanpa register - seharusnya dibuat dengan daftar operator database. Dan jika sebelumnya Big Data tidak dianggap serius oleh semua orang, sekarang harus diperhitungkan.
Saya sebagai direktur perusahaan pengembang billing yang mengolah Big Data ini tidak bisa mengabaikan database. Saya akan memikirkan data besar melalui prisma operator telekomunikasi, yang sistem penagihannya mengalirkan informasi tentang ribuan pelanggan setiap hari.
Dalil
Mari kita mulai, seperti dalam soal matematika: pertama kita buktikan bahwa data operator telekomunikasi bisa disebut BigDat. Biasanya, big data dicirikan oleh tiga karakteristik VVV, meskipun dalam interpretasi bebas jumlah βVsβ mencapai tujuh.
Volume. MVNO Rostelecom sendiri melayani lebih dari satu juta pelanggan. Operator host utama menangani data untuk 44 hingga 78 juta orang. Lalu lintas meningkat setiap detiknya: pada kuartal pertama tahun 2019, pelanggan telah mengakses 3,3 miliar GB dari ponsel.
Kecepatan. Tidak ada yang bisa memberi tahu Anda tentang dinamika lebih baik daripada statistik, jadi saya akan membahas perkiraan Cisco. Pada tahun 2021, 20% lalu lintas IP akan dialihkan ke lalu lintas seluler - jumlahnya meningkat hampir tiga kali lipat dalam lima tahun. Sepertiga dari koneksi seluler akan menjadi M2M β perkembangan IoT akan menghasilkan peningkatan koneksi enam kali lipat. Internet of Things tidak hanya akan menguntungkan, tetapi juga membutuhkan banyak sumber daya, sehingga beberapa operator hanya akan fokus pada hal tersebut. Dan mereka yang mengembangkan IoT sebagai layanan terpisah akan menerima lalu lintas ganda.
Variasi. Keberagaman adalah konsep subjektif, namun operator telekomunikasi mengetahui hampir segalanya tentang pelanggannya. Dari detail nama dan paspor hingga model telepon, pembelian, tempat yang dikunjungi, dan minat. Menurut hukum Yarovaya, file media disimpan selama enam bulan. Jadi mari kita anggap ini sebagai sebuah aksioma bahwa data yang dikumpulkan bervariasi.
Perangkat lunak dan metodologi
Penyedia adalah salah satu konsumen utama BigData, sehingga sebagian besar teknik analisis data besar dapat diterapkan pada industri telekomunikasi. Pertanyaan lainnya adalah siapa yang siap berinvestasi dalam pengembangan ML, AI, Deep Learning, berinvestasi di pusat data dan data mining. Pekerjaan penuh dengan database terdiri dari infrastruktur dan tim, yang biayanya tidak semua orang mampu membayarnya. Perusahaan yang sudah memiliki gudang perusahaan atau sedang mengembangkan metodologi Tata Kelola Data harus mengandalkan BigData. Bagi mereka yang belum siap untuk investasi jangka panjang, saya menyarankan Anda untuk secara bertahap membangun arsitektur perangkat lunak dan menginstal komponen satu per satu. Anda dapat meninggalkan modul berat dan Hadoop untuk yang terakhir. Hanya sedikit orang yang membeli solusi siap pakai untuk masalah seperti Kualitas Data dan Penambangan Data; perusahaan umumnya menyesuaikan sistem dengan spesifikasi dan kebutuhan spesifik mereka - sendiri atau dengan bantuan pengembang.
Namun tidak semua penagihan dapat dimodifikasi agar berfungsi dengan BigData. Atau lebih tepatnya, tidak hanya semuanya yang bisa dimodifikasi. Hanya sedikit orang yang bisa melakukan ini.
Tiga tanda bahwa sistem penagihan berpeluang menjadi alat pengolah database:
- Skalabilitas horizontal. Perangkat lunak harus fleksibel - kita berbicara tentang data besar. Peningkatan jumlah informasi harus diatasi dengan peningkatan proporsional perangkat keras di cluster.
- Toleransi kesalahan. Sistem prabayar yang serius biasanya toleran terhadap kesalahan secara default: penagihan diterapkan dalam cluster di beberapa geolokasi sehingga secara otomatis mengasuransikan satu sama lain. Harus ada cukup komputer di cluster Hadoop jika ada satu atau lebih yang gagal.
- Lokalitas. Data harus disimpan dan diproses di satu server, jika tidak, Anda bisa bangkrut dalam transfer data. Salah satu skema pendekatan Map-Reduce yang populer: penyimpanan HDFS, proses Spark. Idealnya, perangkat lunak harus terintegrasi secara mulus ke dalam infrastruktur pusat data dan mampu melakukan tiga hal sekaligus: mengumpulkan, mengatur, dan menganalisis informasi.
Tim
Apa, bagaimana dan untuk tujuan apa program akan memproses data besar ditentukan oleh tim. Seringkali terdiri dari satu orang β seorang data scientist. Padahal menurut saya paket minimal karyawan Big Data juga mencakup Product Manager, Data Engineer, dan Manager. Yang pertama memahami layanan, menerjemahkan bahasa teknis ke bahasa manusia dan sebaliknya. Data Engineer menghidupkan model menggunakan Java/Scala dan bereksperimen dengan Machine Learning. Manajer mengoordinasikan, menetapkan tujuan, dan mengendalikan tahapan.
Masalah
Masalah biasanya muncul di pihak tim BigData saat mengumpulkan dan memproses data. Program ini perlu menjelaskan apa yang harus dikumpulkan dan bagaimana memprosesnya - untuk menjelaskan hal ini, Anda harus memahaminya sendiri terlebih dahulu. Namun bagi penyedia layanan, segalanya tidak sesederhana itu. Saya berbicara tentang masalah ini dengan menggunakan contoh tugas mengurangi churn pelanggan - inilah yang coba diselesaikan oleh operator telekomunikasi dengan bantuan Big Data.
Menetapkan tujuan. Spesifikasi teknis yang ditulis dengan baik dan pemahaman istilah yang berbeda telah menjadi penderitaan selama berabad-abad tidak hanya bagi para pekerja lepas. Bahkan pelanggan yang βjatuhβ dapat diartikan dengan berbagai cara - seperti mereka yang tidak menggunakan layanan operator selama sebulan, enam bulan, atau satu tahun. Dan untuk membuat MVP berdasarkan data historis, Anda perlu memahami frekuensi pengembalian pelanggan dari churn - mereka yang mencoba operator lain atau meninggalkan kota dan menggunakan nomor yang berbeda. Pertanyaan penting lainnya: berapa lama sebelum pelanggan diperkirakan akan keluar, penyedia harus menentukan hal ini dan mengambil tindakan? Enam bulan terlalu dini, satu minggu terlalu terlambat.
Substitusi konsep. Biasanya, operator mengidentifikasi klien berdasarkan nomor telepon, jadi masuk akal jika tanda-tanda tersebut harus diunggah menggunakan nomor tersebut. Bagaimana dengan nomor rekening pribadi atau aplikasi layanan Anda? Perlu diputuskan unit mana yang sebaiknya diambil sebagai klien agar data di sistem operator tidak berbeda-beda. Menilai nilai klien juga dipertanyakan - pelanggan mana yang lebih berharga bagi perusahaan, pengguna mana yang membutuhkan lebih banyak upaya untuk mempertahankannya, dan pelanggan mana yang akan βjatuhβ dan tidak ada gunanya menghabiskan sumber daya untuk mereka.
Kurang informasi. Tidak semua karyawan penyedia dapat menjelaskan kepada tim BigData apa yang secara spesifik memengaruhi churn pelanggan dan bagaimana faktor-faktor yang memungkinkan dalam penagihan dihitung. Bahkan jika mereka menyebutkan salah satunya - ARPU - ternyata dapat dihitung dengan cara yang berbeda: baik dengan pembayaran berkala kepada klien, atau dengan biaya penagihan otomatis. Dan dalam proses pengerjaannya, sejuta pertanyaan lainnya muncul. Apakah model tersebut mencakup semua klien, berapa harga untuk mempertahankan klien, apakah ada gunanya memikirkan model alternatif, dan apa yang harus dilakukan terhadap klien yang secara keliru dipertahankan.
Penetapan tujuan. Saya mengetahui tiga jenis kesalahan hasil yang menyebabkan operator menjadi frustrasi dengan database.
- Penyedia berinvestasi di BigData, memproses gigabyte informasi, tetapi mendapatkan hasil yang bisa diperoleh lebih murah. Diagram dan model sederhana, analitik primitif digunakan. Biayanya berkali-kali lipat lebih mahal, tapi hasilnya sama.
- Operator menerima data multifaset sebagai keluaran, tetapi tidak memahami cara menggunakannya. Ada analitik - ini dia, dapat dimengerti dan banyak, tetapi tidak ada gunanya. Hasil akhirnya, yang tidak dapat berupa tujuan βpengolahan dataβ, belum dipikirkan secara matang. Proses saja tidak cukup β analitik harus menjadi dasar untuk memperbarui proses bisnis.
- Hambatan dalam penggunaan analitik BigData dapat berupa proses bisnis yang ketinggalan jaman dan perangkat lunak yang tidak sesuai untuk tujuan baru. Artinya, mereka melakukan kesalahan pada tahap persiapan - mereka tidak memikirkan algoritma tindakan dan tahapan penerapan Big Data ke dalam pekerjaan.
Kenapa
Berbicara tentang hasil. Saya akan membahas cara menggunakan dan memonetisasi Big Data yang sudah digunakan oleh operator telekomunikasi.
Penyedia tidak hanya memprediksi arus keluar pelanggan, tetapi juga beban pada stasiun pangkalan.
- Informasi tentang pergerakan pelanggan, aktivitas dan frekuensi layanan dianalisis. Hasil: pengurangan jumlah kelebihan beban karena optimalisasi dan modernisasi infrastruktur yang bermasalah.
- Operator telekomunikasi menggunakan informasi tentang geolokasi pelanggan dan kepadatan lalu lintas saat membuka tempat penjualan. Dengan demikian, analitik BigData sudah digunakan oleh MTS dan VimpelCom untuk merencanakan lokasi kantor baru.
- Penyedia memonetisasi big data mereka dengan menawarkannya kepada pihak ketiga. Pelanggan utama operator BigData adalah bank komersial. Dengan menggunakan basis data, mereka memantau aktivitas mencurigakan pada kartu SIM pelanggan yang terhubung dengan kartu tersebut, dan menggunakan layanan penilaian risiko, verifikasi, dan pemantauan. Dan pada tahun 2017, pemerintah Moskow meminta dinamika pergerakan berdasarkan data BigData dari Tele2 untuk merencanakan infrastruktur teknis dan transportasi.
- Analisis BigData adalah tambang emas bagi pemasar, yang dapat membuat kampanye iklan yang dipersonalisasi untuk ribuan grup pelanggan jika mereka mau. Perusahaan telekomunikasi mengumpulkan profil sosial, minat konsumen, dan pola perilaku pelanggan, lalu menggunakan BigData yang dikumpulkan untuk menarik pelanggan baru. Namun untuk promosi skala besar dan perencanaan PR, penagihan tidak selalu memiliki fungsionalitas yang cukup: program harus secara bersamaan mempertimbangkan banyak faktor bersamaan dengan informasi rinci tentang klien.
Meskipun beberapa orang masih menganggap BigData sebagai ungkapan kosong, Empat Besar sudah menghasilkan uang darinya. MTS memperoleh 14 miliar rubel dari pemrosesan data besar dalam enam bulan, dan Tele2 meningkatkan pendapatan dari proyek sebanyak tiga setengah kali lipat. BigData berubah dari tren menjadi keharusan, di mana seluruh struktur operator telekomunikasi akan dibangun kembali.
Sumber: www.habr.com