El 2008, BigData va ser un terme nou i una tendència de moda. El 2019, BigData és un objecte de venda, una font de beneficis i un motiu de noves factures.
La tardor passada, el govern rus va iniciar un projecte de llei per regular el big data. És possible que les persones no s'identifiquin a partir de la informació, però ho poden fer a petició de les autoritats federals. El processament de BigData per a tercers només es fa després de la notificació de Roskomnadzor. Les empreses que tenen més de 100 mil adreces de xarxa estan subjectes a la llei. I, per descomptat, on sense registres, se suposa que n'ha de crear un amb una llista d'operadors de bases de dades. I si abans aquest Big Data no es prenia seriosament per tothom, ara caldrà tenir-ho en compte.
Jo, com a director d'una empresa desenvolupadora de facturació que processa aquestes dades tan grans, no puc ignorar la base de dades. Pensaré en el big data a través del prisma dels operadors de telecomunicacions, pels sistemes de facturació dels quals passen fluxos d'informació sobre milers d'abonats cada dia.
Teorema
Comencem, com en un problema de matemàtiques: primer demostrem que les dades dels operadors de telecomunicacions es poden anomenar BigDat. Normalment, el big data es caracteritza per tres característiques VVV, encara que en interpretacions lliures el nombre de "Vs" va arribar a set.
Volum. Només l'MVNO de Rostelecom dóna servei a més d'un milió de subscriptors. Els operadors d'amfitrió clau gestionen dades de 44 a 78 milions de persones. El trànsit creix cada segon: en el primer trimestre del 2019, els subscriptors ja han accedit a 3,3 milions de GB des dels telèfons mòbils.
Velocitat. Ningú us pot parlar de la dinàmica millor que les estadístiques, així que repassaré les previsions de Cisco. El 2021, el 20% del trànsit IP es destinarà al trànsit mòbil: gairebé es triplicarà en cinc anys. Un terç de les connexions mòbils seran M2M: el desenvolupament d'IoT comportarà un augment de les connexions per sis. L'Internet de les coses no només serà rendible, sinó que també necessitarà molts recursos, de manera que alguns operadors només s'hi centraran. I els que desenvolupin IoT com un servei independent rebran el doble de trànsit.
Varietat. La diversitat és un concepte subjectiu, però els operadors de telecomunicacions realment ho saben gairebé tot sobre els seus subscriptors. Des del nom i dades del passaport fins al model de telèfon, compres, llocs visitats i interessos. Segons la llei Yarovaya, els fitxers multimèdia s'emmagatzemen durant sis mesos. Per tant, prenem com un axioma que les dades recollides són variades.
Programari i metodologia
Els proveïdors són un dels principals consumidors de BigData, de manera que la majoria de tècniques d'anàlisi de big data són aplicables a la indústria de les telecomunicacions. Una altra pregunta és qui està disposat a invertir en el desenvolupament de ML, AI, aprenentatge profund, invertir en centres de dades i mineria de dades. El treball complet amb una base de dades consisteix en una infraestructura i un equip, els costos dels quals no tothom es pot permetre. Les empreses que ja tenen un magatzem corporatiu o estan desenvolupant una metodologia de governança de dades haurien d'apostar per BigData. Per a aquells que encara no estiguin preparats per a inversions a llarg termini, us aconsello que aneu creant gradualment l'arquitectura del programari i instal·leu components un per un. Podeu deixar els mòduls pesats i Hadoop per al final. Poques persones compren una solució preparada per a problemes com la qualitat de les dades i la mineria de dades; les empreses generalment personalitzen el sistema segons les seves necessitats i necessitats específiques, elles mateixes o amb l'ajuda dels desenvolupadors.
Però no totes les factures es poden modificar per funcionar amb BigData. O millor dit, no només es pot modificar tot. Poques persones poden fer això.
Tres signes que un sistema de facturació té l'oportunitat de convertir-se en una eina de processament de bases de dades:
- Escalabilitat horitzontal. El programari ha de ser flexible: estem parlant de big data. Un augment de la quantitat d'informació s'ha de tractar mitjançant un augment proporcional del maquinari del clúster.
- Falta de tolerància. Els sistemes de prepagament seriosos solen ser tolerants a errors per defecte: la facturació es desplega en un clúster en diverses geolocalitzacions perquè s'assegurin automàticament entre si. També hi hauria d'haver prou ordinadors al clúster Hadoop en cas que un o més fallin.
- Localitat. Les dades s'han d'emmagatzemar i processar en un servidor, en cas contrari, es pot trencar la transferència de dades. Un dels esquemes més populars d'enfocament Map-Reduce: botigues HDFS, processos Spark. Idealment, el programari hauria d'integrar-se perfectament a la infraestructura del centre de dades i poder fer tres coses en una: recollir, organitzar i analitzar informació.
Equip
Què, com i amb quina finalitat el programa tractarà el big data ho decideix l'equip. Sovint consta d'una persona: un científic de dades. Tot i que, al meu entendre, el paquet mínim d'empleats per a Big Data també inclou un gerent de producte, un enginyer de dades i un gerent. El primer entén els serveis, tradueix el llenguatge tècnic al llenguatge humà i viceversa. Data Engineer dóna vida als models mitjançant Java/Scala i experimenta amb Machine Learning. El gerent coordina, estableix objectius i controla les etapes.
Problemes
És per part de l'equip de BigData que solen sorgir problemes a l'hora de recopilar i processar dades. El programa ha d'explicar què cal recollir i com processar-lo; per explicar-ho, primer heu d'entendre-ho vosaltres mateixos. Però per als proveïdors, les coses no són tan senzilles. Estic parlant dels problemes fent servir l'exemple de la tasca de reduir la pèrdua de subscriptors: això és el que els operadors de telecomunicacions intenten resoldre amb l'ajuda de Big Data en primer lloc.
Establiment d'objectius. Les especificacions tècniques ben escrites i les diferents interpretacions dels termes han estat un dolor centenari no només per als autònoms. Fins i tot els subscriptors "abandonats" es poden interpretar de diferents maneres, com aquells que no han utilitzat els serveis de l'operador durant un mes, sis mesos o un any. I per crear un MVP basat en dades històriques, cal entendre la freqüència dels retorns dels subscriptors de l'abandonament: els que van provar amb altres operadors o van abandonar la ciutat i van utilitzar un número diferent. Una altra pregunta important: quant de temps abans que s'espera que el subscriptor marxi, hauria de determinar-ho el proveïdor i prendre mesures? Sis mesos és massa aviat, una setmana és massa tard.
Substitució de conceptes. Normalment, els operadors identifiquen un client pel número de telèfon, per la qual cosa és lògic que els rètols s'hagin de penjar utilitzant-lo. Què passa amb el vostre compte personal o número de sol·licitud de servei? Cal decidir quina unitat s'ha de prendre com a client perquè les dades del sistema de l'operador no varien. Avaluar el valor d'un client també és qüestionable: quin subscriptor és més valuós per a l'empresa, quin usuari requereix més esforç per retenir i quins "cairan" en qualsevol cas i no té sentit gastar-hi recursos.
Falta d'informació. No tots els empleats dels proveïdors són capaços d'explicar a l'equip de BigData què afecta específicament la pèrdua de subscriptors i com es calculen els possibles factors de facturació. Fins i tot si n'han nomenat un - ARPU - resulta que es pot calcular de diferents maneres: ja sigui per pagaments periòdics de clients, o per càrrecs de facturació automàtica. I en el procés de treball, sorgeixen un milió de preguntes més. El model cobreix tots els clients, quin és el preu per retenir un client, té sentit pensar en models alternatius i què fer amb clients que s'han retingut artificialment per error?
Establiment d'objectius. Conec tres tipus d'errors de resultat que fan que els operadors es frustrin amb la base de dades.
- El proveïdor inverteix en BigData, processa gigabytes d'informació, però aconsegueix un resultat que es podria haver obtingut més barat. S'utilitzen diagrames i models simples, analítiques primitives. El cost és moltes vegades més alt, però el resultat és el mateix.
- L'operador rep dades multifacètics com a sortida, però no entén com utilitzar-les. Hi ha analítiques: aquí és, comprensible i voluminosa, però no serveix de res. El resultat final, que no pot consistir en l'objectiu de "processar dades", no s'ha pensat. No n'hi ha prou amb processar: l'anàlisi hauria de convertir-se en la base per actualitzar els processos empresarials.
- Els obstacles a l'ús de l'anàlisi de BigData poden ser processos comercials obsolets i programari inadequat per a finalitats noves. Això vol dir que es van equivocar en l'etapa de preparació: no van pensar a través de l'algorisme d'accions i les etapes d'introducció de Big Data al treball.
Per què?
Parlant de resultats. Repassaré les maneres d'utilitzar i monetitzar Big Data que ja estan utilitzant els operadors de telecomunicacions.
Els proveïdors prediuen no només la sortida d'abonats, sinó també la càrrega a les estacions base.
- S'analitza la informació sobre els moviments d'abonats, l'activitat i els serveis de freqüència. Resultat: reducció del nombre de sobrecàrregues per optimització i modernització de les àrees problemàtiques de la infraestructura.
- Els operadors de telecomunicacions utilitzen informació sobre la geolocalització dels abonats i la densitat de trànsit quan obren punts de venda. Així, MTS i VimpelCom ja utilitzen les analítiques BigData per planificar la ubicació de noves oficines.
- Els proveïdors monetitzen les seves pròpies dades massives oferint-les a tercers. Els principals clients dels operadors de BigData són els bancs comercials. Mitjançant la base de dades, controlen les activitats sospitoses de la targeta SIM de l'abonat a la qual estan enllaçades les targetes i utilitzen serveis de puntuació de risc, verificació i seguiment. I el 2017, el govern de Moscou va demanar dinàmiques de moviment basades en dades de BigData de Tele2 per planificar la infraestructura tècnica i de transport.
- L'anàlisi de BigData és una mina d'or per als venedors, que poden crear campanyes publicitàries personalitzades per a fins a milers de grups de subscriptors si ho desitgen. Les empreses de telecomunicacions agreguen perfils socials, interessos dels consumidors i patrons de comportament dels subscriptors i després utilitzen el BigData recopilat per atraure nous clients. Però per a la promoció a gran escala i la planificació de relacions públiques, la facturació no sempre té prou funcionalitat: el programa ha de tenir en compte simultàniament molts factors paral·lelament a la informació detallada sobre els clients.
Tot i que alguns encara consideren que BigData és una frase buida, els Quatre Grans ja guanyen diners amb això. MTS guanya 14 milions de rubles amb el processament de grans dades en sis mesos, i Tele2 va augmentar els ingressos dels projectes tres vegades i mitja. BigData està passant d'una tendència a un imprescindible, sota la qual es reconstruirà tota l'estructura dels operadors de telecomunicacions.
Font: www.habr.com