Big Data big billing: a BigData-ról a távközlésben

2008-ban a BigData új kifejezés és divatos trend volt. 2019-ben a BigData értékesítési tárgy, nyereségforrás és új számlák kibocsátásának oka.

Tavaly ősszel az orosz kormány törvényjavaslatot kezdeményezett a big data szabályozásáról. Előfordulhat, hogy a személyek nem azonosíthatók információk alapján, de ezt a szövetségi hatóságok kérésére megtehetik. A BigData harmadik felek számára történő feldolgozása csak a Roskomnadzor értesítése után történik. A 100 ezernél több hálózati címmel rendelkező cégek a törvény hatálya alá tartoznak. És persze ahol regiszterek nélkül - állítólag létre kell hozni egyet az adatbázis-operátorok listájával. És ha korábban nem vette mindenki komolyan a Big Data-t, akkor most figyelembe kell venni.

Én, mint egy számlázási fejlesztő cég igazgatója, amely éppen ezeket a nagy adatokat dolgozza fel, nem hagyhatom figyelmen kívül az adatbázist. A big data-ra a távközlési szolgáltatók prizmáján keresztül fogok gondolni, amelyek számlázási rendszerein keresztül nap mint nap több ezer előfizetőről szóló információáramlás halad át.

Tétel

Kezdjük, mint egy matematikai feladatban: először bizonyítjuk be, hogy a távközlési szolgáltatók adatait nevezhetjük BigDat-nek. A big data-ra jellemzően három VVV karakterisztikát jellemző, bár szabad értelmezésben a „V”-ek száma elérte a hetet.

Hangerő. Csak a Rostelecom MVNO-ja több mint egymillió előfizetőt szolgál ki. A kulcsgazda szolgáltatók 44-78 millió ember adatait kezelik. A forgalom másodpercről másodpercre növekszik: 2019 első negyedévében az előfizetők már 3,3 milliárd GB-ot értek el mobiltelefonról.

Sebesség. Senki sem tud jobbat mondani a dinamikáról, mint a statisztikák, ezért átnézem a Cisco előrejelzéseit. 2021-re az IP-forgalom 20%-a mobilforgalomra fog menni – öt év alatt majdnem megháromszorozódik. A mobilkapcsolatok harmada M2M lesz – az IoT fejlődése a kapcsolatok hatszoros növekedését eredményezi. A tárgyak internete nemcsak nyereséges lesz, hanem erőforrás-igényes is lesz, így egyes szolgáltatók csak erre fognak koncentrálni. Azok pedig, akik külön szolgáltatásként fejlesztik az IoT-t, dupla forgalmat kapnak.

Fajta. A sokszínűség szubjektív fogalom, de a távközlési szolgáltatók szinte mindent tudnak előfizetőikről. A névtől és az útlevéladatoktól a telefonmodellig, a vásárlásokig, a meglátogatott helyekig és érdeklődési körökig. A Yarovaya törvény szerint a médiafájlokat hat hónapig tárolják. Vegyük tehát axiómának, hogy az összegyűjtött adatok változatosak.

Szoftver és módszertan

A szolgáltatók a BigData egyik fő fogyasztói, így a legtöbb big data elemzési technika a távközlési iparban alkalmazható. Más kérdés, hogy ki kész befektetni az ML, az AI, a Deep Learning fejlesztésébe, az adatközpontokba és az adatbányászatba. Az adatbázissal végzett teljes értékű munka infrastruktúrából és csapatból áll, melynek költségeit nem mindenki tudja megfizetni. Azoknak a vállalatoknak, amelyek már rendelkeznek vállalati raktárral, vagy adatirányítási módszertant fejlesztenek ki, a BigData-ra kell fogadniuk. Azoknak, akik még nem állnak készen a hosszú távú befektetésekre, azt tanácsolom, hogy fokozatosan építsék fel a szoftverarchitektúrát, és egyenként telepítsék a komponenseket. A nehéz modulokat és a Hadoopot a végére hagyhatja. Kevesen vásárolnak kész megoldást olyan problémákra, mint az adatminőség és adatbányászat, a vállalatok általában saját maguk vagy a fejlesztők segítségével szabják testre a rendszert saját specifikációik és igényeik szerint.

De nem minden számlázás módosítható a BigData használatához. Illetve nem csak mindent lehet módosítani. Ezt kevesen tudják megtenni.

Három jel arra utal, hogy egy számlázási rendszernek esélye van arra, hogy adatbázis-feldolgozó eszközzé váljon:

• Vízszintes skálázhatóság. A szoftvernek rugalmasnak kell lennie – big data-ról beszélünk. Az információ mennyiségének növekedését a klaszter hardverének arányos növelésével kell kezelni.
• Hibatűrés. A komoly előre fizetett rendszerek alapértelmezés szerint általában hibatűrőek: a számlázás több földrajzi helyen egy klaszterben történik, így automatikusan biztosítják egymást. Ezenkívül elegendő számítógépnek kell lennie a Hadoop-fürtben arra az esetre, ha egy vagy több meghibásodik.
• Helység. Az adatokat egy szerveren kell tárolni és feldolgozni, különben tönkreteheti az adatátvitelt. Az egyik népszerű Map-Reduce megközelítési séma: HDFS tárolók, Spark folyamatok. Ideális esetben a szoftvernek zökkenőmentesen integrálódnia kell az adatközponti infrastruktúrába, és három dolgot kell tudnia tenni egyben: információkat gyűjteni, rendszerezni és elemezni.

Csapat

Hogy mit, hogyan és milyen célból dolgoz fel a program a big data-ot, azt a csapat dönti el. Gyakran egy személyből áll – egy adattudósból. Bár véleményem szerint a Big Data minimális alkalmazotti csomagjában termékmenedzser, adatmérnök és menedzser is szerepel. Az első érti a szolgáltatásokat, lefordítja a szaknyelvet emberi nyelvre és fordítva. A Data Engineer modelleket kelt életre a Java/Scala használatával, és kísérletez a gépi tanulással. A menedzser koordinálja, kitűzi a célokat és ellenőrzi a szakaszokat.

Problémák

Az adatok gyűjtése és feldolgozása során rendszerint a BigData csapatának a része a problémák. A programnak el kell magyaráznia, hogy mit kell gyűjteni és hogyan kell feldolgozni – ennek elmagyarázásához először magának kell megértenie. De a szolgáltatók számára a dolgok nem ilyen egyszerűek. A problémákról az előfizetői lemorzsolódás csökkentésének példáján keresztül beszélek - ezt próbálják elsősorban a távközlési szolgáltatók megoldani a Big Data segítségével.

Célokat kitüzni. A jól megírt műszaki specifikációk és a kifejezések eltérő értelmezése nem csak a szabadúszók számára jelentett évszázados fájdalmat. Még a „kiesett” előfizetők is többféleképpen értelmezhetők - mint azok, akik egy hónapja, hat hónapja vagy egy éve nem vették igénybe a szolgáltató szolgáltatásait. És ahhoz, hogy előzményadatokon alapuló MVP-t hozzon létre, meg kell értenie, hogy milyen gyakorisággal térnek vissza az előfizetők a lemorzsolódásból - azok, akik más szolgáltatókat próbáltak ki, vagy elhagyták a várost, és más számot használtak. Egy másik fontos kérdés: mennyi idővel az előfizető várhatóan távozása előtt döntse el ezt a szolgáltató és tegyen lépéseket? Hat hónap túl korai, egy hét túl késő.

A fogalmak helyettesítése. Az operátorok jellemzően telefonszám alapján azonosítják az ügyfelet, így logikus, hogy a táblákat ennek segítségével kell feltölteni. Mi a helyzet a személyes számlaszámával vagy szolgáltatási igénylésével? El kell dönteni, hogy melyik egységet vegyük kliensnek, hogy az üzemeltető rendszerében ne változzanak az adatok. Egy kliens értékének megítélése is kérdéses - melyik előfizető értékesebb a cég számára, melyik felhasználó megtartása igényel nagyobb erőfeszítést, és melyik az, amelyik mindenképpen „leesik”, és nincs értelme rájuk erőforrást költeni.

Információ hiány. Nem minden szolgáltató alkalmazottja tudja elmagyarázni a BigData csapatának, hogy mi befolyásolja konkrétan az előfizetői lemorzsolódást, és hogyan számítják ki a lehetséges számlázási tényezőket. Még ha el is nevezik az egyiket - ARPU -, akkor is kiderül, hogy ez többféleképpen számolható: akár időszakos ügyfélfizetéssel, akár automatikus számlázási díjakkal. És a munka során millió más kérdés is felmerül. A modell lefedi-e az összes ügyfelet, mi az ára az ügyfél megtartásának, van-e értelme alternatív modelleken gondolkodni, és mit kell tenni a tévedésből mesterségesen megtartott ügyfelekkel.

Célmeghatározás. Háromféle kimeneti hibáról tudok, amelyek miatt az operátorok frusztrálttá válnak az adatbázisban.

1. A szolgáltató befektet a BigData-ba, gigabájtnyi információt dolgoz fel, de olyan eredményt kap, amit olcsóbban is meg lehetett volna szerezni. Egyszerű diagramokat és modelleket, primitív elemzést használnak. A költség sokszorosa, de az eredmény ugyanaz.
2. Az operátor sokrétű adatot kap kimenetként, de nem érti, hogyan használja azokat. Van analitika – itt van, érthető és terjedelmes, de semmi haszna. A végeredmény, amely nem állhat az „adatfeldolgozás” céljából, nincs átgondolva. Nem elég feldolgozni – az elemzésnek az üzleti folyamatok frissítésének alapjává kell válnia.
3. A BigData analytics használatának akadályai lehetnek az elavult üzleti folyamatok és az új célokra alkalmatlan szoftverek. Ez azt jelenti, hogy hibát követtek el az előkészítés szakaszában - nem gondolták végig a műveletek algoritmusát és a Big Data munkába való bevezetésének szakaszait.

Miért

Ha már az eredményekről beszélünk. Áttekintem a Big Data felhasználásának és bevételszerzésének módjait, amelyeket a távközlési szolgáltatók már használnak.
A szolgáltatók nemcsak az előfizetők kiáramlását jósolják, hanem a bázisállomások terhelését is.

1. Elemezzük az előfizetői mozgással, tevékenységgel és frekvenciaszolgáltatásokkal kapcsolatos információkat. Eredmény: a túlterhelések számának csökkenése az infrastruktúra problémás területeinek optimalizálása és korszerűsítése miatt.
2. A távközlési szolgáltatók az értékesítési pontok megnyitásakor az előfizetők földrajzi elhelyezkedésére és a forgalom sűrűségére vonatkozó információkat használják fel. Így az MTS és a VimpelCom már használja a BigData elemzést az új irodák elhelyezkedésének megtervezéséhez.
3. A szolgáltatók saját big data-jukkal pénzt szerezhetnek úgy, hogy harmadik feleknek kínálják azokat. A BigData szolgáltatók fő ügyfelei a kereskedelmi bankok. Az adatbázis segítségével figyelik az előfizető SIM-kártyájának gyanús tevékenységeit, amelyhez a kártyák kapcsolódnak, és kockázatpontozási, hitelesítési és monitoring szolgáltatásokat vesznek igénybe. 2017-ben pedig a moszkvai kormány a BigData adatai alapján mozgásdinamikát kért a Tele2-től a műszaki és közlekedési infrastruktúra megtervezéséhez.
4. A BigData analytics aranybánya a marketingesek számára, akik akár több ezer előfizetői csoport számára is személyre szabott reklámkampányokat készíthetnek, ha úgy döntenek. A távközlési vállalatok összesítik az előfizetők közösségi profiljait, fogyasztói érdeklődését és viselkedési mintáit, majd az összegyűjtött BigData segítségével új ügyfeleket vonzanak. A nagyszabású promóciós és PR tervezéshez azonban a számlázás nem mindig rendelkezik elegendő funkcionalitással: a programnak egyidejűleg számos tényezőt kell figyelembe vennie az ügyfelek részletes információival párhuzamosan.

Míg egyesek még mindig üres frázisnak tartják a BigData-t, a Big Four máris pénzt keres vele. Az MTS hat hónap alatt 14 milliárd rubelt keres nagy adatfeldolgozásból, a Tele2 pedig három és félszeresére növelte a projektekből származó bevételeket. A BigData egy trendből egy must have lesz, amely alatt a teljes távközlési szolgáltatói struktúra átépül.

Forrás: will.com