2008 yılında BigData yeni bir terim ve moda trendiydi. BigData, 2019 yılında bir satış nesnesi, bir kâr kaynağı ve yeni faturaların sebebi oldu.
Geçen sonbaharda Rus hükümeti büyük verileri düzenlemek için bir yasa tasarısı başlattı. Bireylerin kimlikleri bilgilerden belirlenemeyebilir ancak federal yetkililerin talebi üzerine bunu yapabilirler. BigData'nın üçüncü şahıslar için işlenmesi ancak Roskomnadzor'un bildiriminden sonra mümkündür. 100 binden fazla ağ adresine sahip şirketler yasa kapsamına giriyor. Ve elbette, kayıtların olmadığı yerde - veritabanı operatörlerinin bir listesini içeren bir kayıt oluşturması gerekiyor. Ve eğer bu Büyük Veri daha önce herkes tarafından ciddiye alınmıyorduysa, şimdi dikkate alınması gerekecek.
Ben, bu Büyük Veriyi işleyen bir faturalandırma geliştirici şirketinin yöneticisi olarak veritabanını göz ardı edemem. Büyük verileri, her gün binlerce aboneye ilişkin bilgi akışının faturalandırma sistemlerinden geçtiği telekom operatörlerinin prizmasından düşüneceğim.
Teorem
Bir matematik probleminde olduğu gibi başlayalım: Öncelikle telekom operatörlerinin verilerinin BigDat olarak adlandırılabileceğini kanıtlıyoruz. Tipik olarak büyük veriler üç VVV özelliğiyle karakterize edilir, ancak ücretsiz yorumlarda "V" sayısı yediye ulaştı.
Hacim. Rostelecom'un MVNO'su tek başına bir milyondan fazla aboneye hizmet veriyor. Önemli ana makine operatörleri 44 ila 78 milyon kişinin verilerini yönetiyor. Trafik her saniye artıyor: 2019'un ilk çeyreğinde aboneler halihazırda cep telefonlarından 3,3 milyar GB'a erişti.
Hız. Hiç kimse size dinamikleri istatistikten daha iyi anlatamaz, bu yüzden Cisco'nun tahminlerini gözden geçireceğim. 2021 yılına gelindiğinde IP trafiğinin %20'si mobil trafiğe gidecek; bu rakam beş yıl içinde neredeyse üç katına çıkacak. Mobil bağlantıların üçte biri M2M olacak; IoT'nin gelişmesi bağlantılarda altı kat artışa yol açacak. Nesnelerin İnterneti yalnızca kârlı olmakla kalmayacak, aynı zamanda kaynak yoğun da olacak, dolayısıyla bazı operatörler yalnızca buna odaklanacak. IoT'yi ayrı bir hizmet olarak geliştirenler ise iki kat trafik alacak.
Çeşitlilik. Çeşitlilik öznel bir kavramdır ancak telekom operatörleri aboneleri hakkında neredeyse her şeyi gerçekten biliyor. İsim ve pasaport detaylarından telefon modeline, satın alımlara, ziyaret edilen yerlere ve ilgi alanlarına kadar. Yarovaya yasasına göre medya dosyaları altı ay süreyle saklanıyor. Öyleyse toplanan verilerin çeşitli olduğunu bir aksiyom olarak kabul edelim.
Yazılım ve metodoloji
Sağlayıcılar BigData'nın ana tüketicilerinden biridir, dolayısıyla büyük veri analiz tekniklerinin çoğu telekom endüstrisine uygulanabilir. Başka bir soru da kimin makine öğrenimi, yapay zeka, Derin Öğrenmenin geliştirilmesine, veri merkezlerine ve veri madenciliğine yatırım yapmaya hazır olduğudur. Veritabanıyla tam teşekküllü çalışma, maliyetleri herkesin karşılayamayacağı altyapı ve ekipten oluşur. Halihazırda kurumsal bir depoya sahip olan veya Veri Yönetişimi metodolojisi geliştiren işletmeler BigData'ya yatırım yapmalıdır. Henüz uzun vadeli yatırımlara hazır olmayanlar için yazılım mimarisini kademeli olarak oluşturup bileşenleri tek tek kurmanızı tavsiye ederim. Ağır modülleri ve Hadoop'u en sona bırakabilirsiniz. Veri Kalitesi ve Veri Madenciliği gibi sorunlar için çok az kişi hazır bir çözüm satın alır; şirketler genellikle sistemi kendi spesifikasyonlarına ve ihtiyaçlarına göre - kendileri veya geliştiricilerin yardımıyla - özelleştirir.
Ancak her faturalandırma BigData ile çalışacak şekilde değiştirilemez. Daha doğrusu, yalnızca her şey değiştirilemez. Bunu çok az kişi yapabilir.
Bir faturalandırma sisteminin bir veritabanı işleme aracı olma şansına sahip olduğunun üç işareti:
- Yatay ölçeklenebilirlik. Yazılım esnek olmalı; büyük veriden bahsediyoruz. Bilgi miktarındaki bir artış, kümedeki donanımdaki orantılı bir artışla ele alınmalıdır.
- Hata toleransı. Ciddi ön ödemeli sistemler genellikle varsayılan olarak hataya dayanıklıdır: faturalandırma, birbirlerini otomatik olarak sigortalayacak şekilde çeşitli coğrafi konumlardaki bir kümeye dağıtılır. Ayrıca bir veya daha fazlasının arızalanması durumunda Hadoop kümesinde yeterli sayıda bilgisayar bulunmalıdır.
- Yerellik. Verilerin tek bir sunucuda saklanması ve işlenmesi gerekir, aksi takdirde veri aktarımında başarısız olabilirsiniz. Popüler Harita Azaltma yaklaşım şemalarından biri: HDFS depoları, Spark süreçleri. İdeal olarak yazılım, veri merkezi altyapısına sorunsuz bir şekilde entegre olmalı ve üç şeyi bir arada yapabilmelidir: bilgileri toplama, organize etme ve analiz etme.
Ekip
Programın büyük veriyi neyi, nasıl ve hangi amaçla işleyeceğine ekip tarafından karar veriliyor. Çoğunlukla tek bir kişiden oluşur; bir veri bilimci. Ancak bana göre Büyük Veri için asgari çalışan paketi aynı zamanda bir Ürün Yöneticisi, Veri Mühendisi ve Yöneticiyi de içeriyor. Birincisi hizmetleri anlar, teknik dili insan diline çevirir ve bunun tersi de geçerlidir. Veri Mühendisi, Java/Scala kullanarak modelleri hayata geçirir ve Makine Öğrenimi ile deneyler yapar. Yönetici aşamaları koordine eder, hedefleri belirler ve kontrol eder.
Sorunları
Verilerin toplanması ve işlenmesi sırasında genellikle BigData ekibinin sorunları ortaya çıkar. Programın neyi toplayacağını ve nasıl işleyeceğini açıklaması gerekiyor - bunu açıklayabilmek için önce kendiniz anlamanız gerekiyor. Ancak sağlayıcılar için işler o kadar basit değil. Abone kaybını azaltma görevi örneğini kullanarak sorunlardan bahsediyorum - bu, telekom operatörlerinin ilk etapta Büyük Veri'nin yardımıyla çözmeye çalıştığı şey.
Hedeflerin belirlenmesi. İyi yazılmış teknik özellikler ve terimlerin farklı anlaşılması, yalnızca serbest çalışanlar için değil, yüzyıllardır süren bir sorun olmuştur. "Düşürülmüş" aboneler bile farklı şekillerde yorumlanabilir - operatörün hizmetlerini bir ay, altı ay veya bir yıldır kullanmayanlar olarak. Ve geçmiş verilere dayalı bir MVP oluşturmak için, diğer operatörleri deneyen veya şehirden ayrılan ve farklı bir numara kullanan abonelerin kayıptan geri dönüş sıklığını anlamanız gerekir. Bir diğer önemli soru: Abonenin ayrılması beklenen tarihten ne kadar süre önce sağlayıcı bunu tespit edip harekete geçmelidir? Altı ay çok erken, bir hafta ise çok geç.
Kavramların değişimi. Tipik olarak, operatörler bir müşteriyi telefon numarasına göre tanımlar, bu nedenle işaretlerin bu numara kullanılarak yüklenmesi mantıklıdır. Kişisel hesabınız veya hizmet başvuru numaranız ne olacak? Operatörün sistemindeki verilerin değişmemesi için hangi birimin client olarak alınması gerektiğine karar vermek gerekir. Bir müşterinin değerinin değerlendirilmesi de sorgulanabilir - şirket için hangi abone daha değerlidir, hangi kullanıcıyı elde tutmak için daha fazla çaba gerekir ve hangileri her durumda "düşecektir" ve bunlara kaynak harcamanın bir anlamı yoktur.
Bilgi eksikliği. Sağlayıcı çalışanlarının tümü BigData ekibine abone kaybını özellikle neyin etkilediğini ve faturalandırmadaki olası faktörlerin nasıl hesaplandığını açıklayamıyor. Bunlardan birine ARPU adını vermiş olsalar bile, bunun farklı şekillerde hesaplanabileceği ortaya çıktı: periyodik müşteri ödemeleri veya otomatik faturalandırma ücretleri. Ve çalışma sürecinde milyonlarca başka soru ortaya çıkıyor. Model tüm müşterileri kapsıyor mu, bir müşteriyi elde tutmanın fiyatı nedir, alternatif modeller üzerinde düşünmenin bir anlamı var mı ve yanlışlıkla yapay olarak elde tutulan müşterilerle ne yapılacağı.
Hedef belirleme. Operatörlerin veritabanı konusunda hayal kırıklığına uğramasına neden olan üç tür sonuç hatası biliyorum.
- Sağlayıcı BigData'ya yatırım yapar, gigabaytlarca bilgiyi işler, ancak daha ucuza elde edilebilecek bir sonuç elde eder. Basit diyagramlar ve modeller, ilkel analitikler kullanılır. Maliyet birçok kez daha yüksektir, ancak sonuç aynıdır.
- Operatör çıktı olarak çok yönlü verileri alır ancak bunun nasıl kullanılacağını anlamaz. Analitik var - işte burada, anlaşılır ve hacimli, ancak hiçbir faydası yok. “Veri işleme” amacını oluşturamayacak nihai sonuç ise yeterince düşünülmemiştir. İşlemek yeterli değildir; analitik, iş süreçlerini güncellemenin temeli olmalıdır.
- Büyük Veri analitiğinin kullanımının önündeki engeller, güncel olmayan iş süreçleri ve yeni amaçlara uygun olmayan yazılımlar olabilir. Bu, hazırlık aşamasında bir hata yaptıkları anlamına gelir - eylemlerin algoritmasını ve Büyük Veriyi işe sokma aşamalarını düşünmediler.
Neden
Sonuçlardan bahsetmişken. Telekom operatörlerinin hâlihazırda kullanmakta olduğu Büyük Veriyi kullanma ve bundan para kazanma yollarını gözden geçireceğim.
Sağlayıcılar yalnızca abone akışını değil aynı zamanda baz istasyonlarındaki yükü de tahmin ediyor.
- Abone hareketleri, aktivite ve frekans hizmetlerine ilişkin bilgiler analiz edilmektedir. Sonuç: Altyapının sorunlu alanlarının optimizasyonu ve modernizasyonu nedeniyle aşırı yük sayısında azalma.
- Telekom operatörleri, satış noktalarını açarken abonelerin coğrafi konumu ve trafik yoğunluğu hakkındaki bilgileri kullanır. Bu nedenle BigData analitiği, MTS ve VimpelCom tarafından yeni ofislerin konumunu planlamak için zaten kullanılıyor.
- Sağlayıcılar kendi büyük verilerini üçüncü taraflara sunarak para kazanıyorlar. BigData operatörlerinin ana müşterileri ticari bankalardır. Veri tabanını kullanarak, abonenin kartların bağlı olduğu SIM kartındaki şüpheli faaliyetleri izliyor ve risk puanlama, doğrulama ve izleme hizmetlerinden yararlanıyorlar. Ve 2017'de Moskova hükümeti, teknik ve ulaşım altyapısını planlamak için Tele2'den BigData verilerine dayalı hareket dinamikleri talep etti.
- BigData analitiği, isterlerse binlerce abone grubu için kişiselleştirilmiş reklam kampanyaları oluşturabilen pazarlamacılar için bir altın madenidir. Telekom şirketleri abonelerin sosyal profillerini, tüketici ilgi alanlarını ve davranış kalıplarını bir araya getiriyor ve daha sonra toplanan Büyük Verileri yeni müşteriler çekmek için kullanıyor. Ancak büyük ölçekli tanıtım ve halkla ilişkiler planlaması için faturalandırma her zaman yeterli işlevselliğe sahip değildir: program, müşteriler hakkında ayrıntılı bilgilere paralel olarak birçok faktörü aynı anda dikkate almalıdır.
Bazıları BigData'yı hala boş bir tabir olarak görse de, Büyük Dörtlü şimdiden bundan para kazanıyor. MTS, altı ayda büyük veri işlemeden 14 milyar ruble kazanıyor ve Tele2, projelerden elde ettiği geliri üç buçuk kat artırdı. BigData bir trendden, telekom operatörlerinin tüm yapısının yeniden inşa edileceği bir zorunluluk haline geliyor.
Kaynak: habr.com