Vuonna 2008 BigData oli uusi termi ja muodikas trendi. Vuonna 2019 BigData on myyntikohde, voiton lähde ja uusien laskujen syy.
Venäjän hallitus käynnisti viime syksynä lain big datan sääntelemiseksi. Henkilöitä ei ehkä voida tunnistaa tiedoista, mutta he voivat tehdä niin liittovaltion viranomaisten pyynnöstä. BigData käsitellään kolmansille osapuolille vasta Roskomnadzorin ilmoituksen jälkeen. Yritykset, joilla on yli 100 tuhatta verkko-osoitetta, kuuluvat lain piiriin. Ja tietysti missä ilman rekistereitä - se on tarkoitus luoda luettelolla tietokantaoperaattoreista. Ja jos ennen tätä Big Dataa ei kaikki otettu vakavasti, nyt se on otettava huomioon.
Minä, laskutuskehittäjäyrityksen johtajana, joka käsittelee juuri tätä suurta dataa, en voi sivuuttaa tietokantaa. Ajattelen big dataa teleoperaattoreiden prisman kautta, joiden laskutusjärjestelmien kautta kulkee päivittäin tietovirtoja tuhansista tilaajista.
Lause
Aloitetaan, kuten matemaattisessa tehtävässä: ensin todistetaan, että teleoperaattoreiden dataa voidaan kutsua BigDatiksi. Tyypillisesti big datalle on ominaista kolme VVV-ominaisuutta, vaikka vapaissa tulkinnoissa V:iden määrä oli seitsemän.
Äänenvoimakkuus. Pelkästään Rostelecomin MVNO palvelee yli miljoonaa tilaajaa. Tärkeimmät isäntäoperaattorit käsittelevät 44–78 miljoonan ihmisen tietoja. Liikenne kasvaa joka sekunti: vuoden 2019 ensimmäisellä neljänneksellä tilaajat ovat käyttäneet matkapuhelimilla jo 3,3 miljardia Gt.
Nopeus. Kukaan ei voi kertoa sinulle dynamiikasta paremmin kuin tilastot, joten käyn läpi Ciscon ennusteet. Vuoteen 2021 mennessä 20 % IP-liikenteestä menee mobiililiikenteeseen – se lähes kolminkertaistuu viidessä vuodessa. Kolmannes mobiiliyhteyksistä on M2M – IoT:n kehitys johtaa yhteyksien kuusinkertaistumiseen. Esineiden internetistä tulee paitsi kannattava, myös resurssivaltainen, joten jotkut toimijat keskittyvät vain siihen. Ja ne, jotka kehittävät IoT:tä erillisenä palveluna, saavat kaksinkertaisen liikenteen.
Lajike. Monimuotoisuus on subjektiivinen käsite, mutta teleoperaattorit tietävät tilaajistaan melkein kaiken. Nimestä ja passitiedoista puhelinmalliin, ostoksiin, vierailtuihin paikkoihin ja kiinnostuksen kohteihin. Yarovaya-lain mukaan mediatiedostoja säilytetään kuusi kuukautta. Otetaan siis aksioomana, että kerätty data on vaihtelevaa.
Ohjelmistot ja menetelmät
Palveluntarjoajat ovat yksi BigDatan tärkeimmistä käyttäjistä, joten useimmat big datan analysointitekniikat soveltuvat tietoliikennealalle. Toinen kysymys on, kuka on valmis investoimaan ML:n, tekoälyn, Deep Learningin kehittämiseen, investoimaan datakeskuksiin ja tiedon louhintaan. Täysiarvoinen työ tietokannan kanssa koostuu infrastruktuurista ja tiimistä, jonka kustannuksiin kaikilla ei ole varaa. Yritysten, joilla on jo yrityksen varasto tai jotka ovat kehittämässä Data Governance -metodologiaa, tulisi panostaa BigDataan. Niille, jotka eivät vielä ole valmiita pitkäaikaisiin investointeihin, suosittelen rakentamaan ohjelmistoarkkitehtuuria vähitellen ja asentamaan komponentteja yksitellen. Voit jättää raskaat moduulit ja Hadoopin viimeiseksi. Harvat ihmiset ostavat valmiita ratkaisuja ongelmiin, kuten tietojen laatuun ja tiedon louhintaan; yritykset yleensä räätälöivät järjestelmän omien spesifikaatioiden ja tarpeiden mukaan - joko itse tai kehittäjien avulla.
Mutta jokaista laskutusta ei voi muokata toimimaan BigDatan kanssa. Tai pikemminkin, kaikkea ei voi muokata. Harvat ihmiset voivat tehdä tämän.
Kolme merkkiä siitä, että laskutusjärjestelmällä on mahdollisuus tulla tietokannan käsittelytyökaluksi:
- Vaakasuuntainen skaalautuvuus. Ohjelmistojen on oltava joustavia – puhumme big datasta. Tiedon määrän kasvua tulisi käsitellä klusterin laitteiston suhteellisella lisäyksellä.
- Vikasietoisuus. Vakavat prepaid-järjestelmät ovat yleensä oletuksena vikasietoisia: laskutus toteutetaan klusterissa useissa maantieteellisissä paikoissa, jotta ne vakuuttavat automaattisesti toisensa. Hadoop-klusterissa pitäisi myös olla riittävästi tietokoneita siltä varalta, että yksi tai useampi epäonnistuu.
- Sijainti. Tiedot on säilytettävä ja käsiteltävä yhdelle palvelimelle, muuten tiedonsiirrossa voi mennä rikki. Yksi suosituista Map-Reduce-lähestymistapoista: HDFS-myymälät, Spark-prosessit. Ihannetapauksessa ohjelmiston tulisi integroitua saumattomasti datakeskuksen infrastruktuuriin ja pystyä tekemään kolme asiaa yhdessä: keräämään, järjestämään ja analysoimaan tietoa.
Joukkue
Mitä, miten ja mihin tarkoitukseen ohjelma käsittelee big dataa, päättää tiimi. Usein se koostuu yhdestä henkilöstä – datatieteilijästä. Vaikka mielestäni Big Datan työntekijöiden vähimmäispakettiin kuuluu myös tuotepäällikkö, tietoinsinööri ja johtaja. Ensimmäinen ymmärtää palvelut, kääntää teknisen kielen ihmisten kielelle ja päinvastoin. Data Engineer herättää malleja henkiin Java/Scala-tekniikalla ja kokeilee koneoppimista. Johtaja koordinoi, asettaa tavoitteet ja ohjaa vaiheita.
Ongelmat
BigData-tiimin puolelta tulee yleensä ongelmia tiedon keräämisessä ja käsittelyssä. Ohjelman on selitettävä, mitä kerätä ja miten se käsitellään - selittääksesi tämän, sinun on ensin ymmärrettävä se itse. Mutta palveluntarjoajille asiat eivät ole niin yksinkertaisia. Puhun ongelmista käyttämällä esimerkkiä tilaajavaihtuvuuden vähentämistehtävästä - tätä teleoperaattorit yrittävät ratkaista ensisijaisesti Big Datan avulla.
Asettaa tavoitteita. Hyvin kirjoitetut tekniset spesifikaatiot ja erilaiset termien käsitykset ovat olleet vuosisatoja vanha tuska paitsi freelancereille. Jopa "pudonneet" tilaajat voidaan tulkita eri tavoin - ne, jotka eivät ole käyttäneet operaattorin palveluita kuukauteen, kuuteen kuukauteen tai vuoteen. Ja jotta voit luoda MVP:n historiallisten tietojen perusteella, sinun on ymmärrettävä, kuinka usein tilaajat palaavat vaihtumisesta - ne, jotka kokeilivat muita operaattoreita tai lähtivät kaupungista ja käyttivät eri numeroa. Toinen tärkeä kysymys: kuinka kauan ennen kuin tilaajan odotetaan lähtevän, palveluntarjoajan tulisi päättää tämä ja ryhtyä toimiin? Kuusi kuukautta on liian aikaista, viikko on liian myöhäistä.
Käsitteiden korvaaminen. Tyypillisesti operaattorit tunnistavat asiakkaan puhelinnumeron perusteella, joten on loogista, että kyltit ladataan sen avulla. Entä henkilökohtainen tili- tai palveluhakemusnumerosi? On tarpeen päättää, mikä yksikkö otetaan asiakkaaksi, jotta operaattorin järjestelmässä olevat tiedot eivät vaihtele. Asiakkaan arvon arvioiminen on myös kyseenalaista - kumpi tilaaja on yritykselle arvokkaampi, kumpi käyttäjä vaatii enemmän ponnisteluja säilyttääkseen ja mitkä "putoaa" joka tapauksessa, eikä niihin kannata tuhlata resursseja.
Tiedon puute. Kaikki palveluntarjoajan työntekijät eivät pysty selittämään BigData-tiimille, mikä erityisesti vaikuttaa tilaajien vaihtumiseen ja miten laskutuksen mahdolliset tekijät lasketaan. Vaikka he nimesivätkin yhden niistä - ARPU -, käy ilmi, että se voidaan laskea eri tavoin: joko säännöllisillä asiakasmaksuilla tai automaattisilla laskutusmaksuilla. Ja työprosessin aikana herää miljoona muuta kysymystä. Kattaako malli kaikki asiakkaat, mikä on asiakkaan pitämisen hinta, onko järkevää miettiä vaihtoehtoisia malleja ja mitä tehdä vahingossa keinotekoisesti pidätetyille asiakkaille.
Tavoitteiden asettaminen. Tiedän kolmen tyyppisiä tulosvirheitä, jotka saavat käyttäjät turhautumaan tietokantaan.
- Palveluntarjoaja sijoittaa BigDataan, käsittelee gigatavuja tietoa, mutta saa tuloksen, jonka olisi voinut saada halvemmalla. Käytetään yksinkertaisia kaavioita ja malleja, primitiivistä analytiikkaa. Hinta on monta kertaa korkeampi, mutta tulos on sama.
- Operaattori vastaanottaa ulostulona monipuolista dataa, mutta ei ymmärrä miten sitä käytetään. Analytiikkaa on - tässä se on, ymmärrettävää ja laajaa, mutta siitä ei ole hyötyä. Lopputulosta, joka ei voi koostua tavoitteesta "tietojen käsittely", ei ole mietitty. Prosessointi ei riitä – analytiikan tulee olla liiketoimintaprosessien päivityksen perusta.
- BigData-analytiikan käytön esteitä voivat olla vanhentuneet liiketoimintaprosessit ja ohjelmistot, jotka eivät sovellu uusiin tarkoituksiin. Tämä tarkoittaa, että he tekivät virheen valmisteluvaiheessa - he eivät miettineet toimintojen algoritmia ja Big Datan työhönoton vaiheita.
Mitä varten
Tuloksista puheen ollen. Käyn läpi teleoperaattoreiden jo käyttämät Big Datan käyttö- ja ansaintatavat.
Palveluntarjoajat ennustavat tilaajien ulosvirtauksen lisäksi myös tukiasemien kuormitusta.
- Tiedot tilaajaliikkeistä, aktiivisuudesta ja taajuuspalveluista analysoidaan. Tulos: ylikuormitusmäärän väheneminen infrastruktuurin ongelma-alueiden optimoinnin ja modernisoinnin ansiosta.
- Teleyritykset käyttävät myyntipisteitä avaaessaan tietoja tilaajien maantieteellisestä sijainnista ja liikennetiheydestä. Näin ollen MTS ja VimpelCom käyttävät jo BigData-analytiikkaa uusien toimistojen sijainnin suunnittelussa.
- Palveluntarjoajat kaupallistavat oman big datansa tarjoamalla sitä kolmansille osapuolille. BigData-operaattoreiden pääasiakkaita ovat liikepankit. Tietokannan avulla he seuraavat tilaajan SIM-kortin, johon kortit on linkitetty, epäilyttävää toimintaa ja käyttävät riskipisteytys-, varmennus- ja seurantapalveluita. Ja vuonna 2017 Moskovan hallitus pyysi Tele2:lta BigData-tietoihin perustuvaa liikedynamiikkaa teknisen ja liikenneinfrastruktuurin suunnittelua varten.
- BigData-analytiikka on kultakaivos markkinoijille, jotka voivat halutessaan luoda personoituja mainoskampanjoita jopa tuhansille tilaajaryhmille. Teleyritykset yhdistävät tilaajien sosiaaliset profiilit, kuluttajien kiinnostuksen kohteet ja käyttäytymismallit ja käyttävät sitten kerättyä BigDataa houkutellakseen uusia asiakkaita. Mutta laajamittaiseen promootioon ja PR-suunnitteluun laskutuksessa ei aina ole tarpeeksi toimintoja: ohjelman on samanaikaisesti otettava huomioon monia tekijöitä asiakkaiden yksityiskohtaisten tietojen kanssa.
Vaikka jotkut pitävät BigDataa edelleen tyhjänä lauseena, Big Four tienaa jo sillä rahaa. MTS tienaa big datan käsittelystä 14 miljardia ruplaa kuudessa kuukaudessa, ja Tele2 kasvatti projektituloja kolme ja puoli kertaa. BigData on muuttumassa trendistä must have, jonka alle rakennetaan koko teleoperaattorirakenne.
Lähde: will.com