En 2008, BigData foi un novo termo e unha tendencia de moda. En 2019, BigData é un obxecto de venda, unha fonte de beneficios e un motivo para novas facturas.
O pasado outono, o goberno ruso iniciou un proxecto de lei para regular o big data. É posible que as persoas non sexan identificadas a partir da información, pero poden facelo a petición das autoridades federais. O procesamento de BigData para terceiros só se realiza despois da notificación de Roskomnadzor. As empresas que teñen máis de 100 mil enderezos de rede están baixo a lei. E, por suposto, onde sen rexistros - suponse que debe crear un cunha lista de operadores de bases de datos. E se antes este Big Data non era tomado en serio por todos, agora haberá que telo en conta.
Eu, como director dunha empresa de desenvolvemento de facturación que procesa estes Big Data, non podo ignorar a base de datos. Pensarei no big data a través do prisma dos operadores de telecomunicacións, por cuxos sistemas de facturación pasan todos os días fluxos de información sobre miles de subscritores.
Teorema
Comecemos, como nun problema matemático: primeiro demostramos que os datos das operadoras de telecomunicacións poden chamarse BigDat. Normalmente, o big data caracterízase por tres características VVV, aínda que nas interpretacións libres o número de "V" chegou a sete.
Volume. Só o MVNO de Rostelecom atende a máis dun millón de subscritores. Os operadores principais manexan os datos de 44 a 78 millóns de persoas. O tráfico crece cada segundo: no primeiro trimestre de 2019, os subscritores xa accederon a 3,3 millóns de GB desde teléfonos móbiles.
Velocidade. Ninguén pode falarche da dinámica mellor que as estatísticas, así que repasarei as previsións de Cisco. Para 2021, o 20% do tráfico IP irá ao tráfico móbil, case se triplicará en cinco anos. Un terzo das conexións móbiles serán M2M: o desenvolvemento de IoT levará a que se multipliquen as conexións. A Internet das Cousas non só será rendible, senón tamén intensiva en recursos, polo que algúns operadores centraranse só nela. E aqueles que desenvolven IoT como un servizo separado recibirán o dobre tráfico.
Variedade. A diversidade é un concepto subxectivo, pero os operadores de telecomunicacións saben case todo sobre os seus subscritores. Desde nome e detalles do pasaporte ata modelo de teléfono, compras, lugares visitados e intereses. Segundo a lei Yarovaya, os ficheiros multimedia almacénanse durante seis meses. Entón, tomemos como un axioma que os datos recollidos son variados.
Software e metodoloxía
Os provedores son un dos principais consumidores de BigData, polo que a maioría das técnicas de análise de big data son aplicables á industria das telecomunicacións. Outra pregunta é quen está preparado para investir no desenvolvemento de ML, AI, Deep Learning, investir en centros de datos e minería de datos. O traballo completo cunha base de datos consiste nunha infraestrutura e un equipo, cuxos custos non todos poden pagar. As empresas que xa teñen un almacén corporativo ou están a desenvolver unha metodoloxía de goberno de datos deberían apostar polo BigData. Para aqueles que aínda non están preparados para investimentos a longo prazo, recoméndolle que vaia construíndo gradualmente a arquitectura de software e instale os compoñentes un por un. Podes deixar os módulos pesados e Hadoop para o final. Poucas persoas compran unha solución preparada para problemas como Data Quality e Data Mining; as empresas xeralmente personalizan o sistema ás súas necesidades e necesidades específicas, elas mesmas ou coa axuda dos desenvolvedores.
Pero non todas as facturas se poden modificar para funcionar con BigData. Ou mellor dito, non só todo se pode modificar. Poucas persoas poden facelo.
Tres signos de que un sistema de facturación ten a posibilidade de converterse nunha ferramenta de procesamento de bases de datos:
- Escalabilidade horizontal. O software debe ser flexible: estamos a falar de big data. Un aumento na cantidade de información debería tratarse cun aumento proporcional do hardware no clúster.
- Tolerancia a fallos. Os sistemas de prepago serios adoitan ser tolerantes a fallos por defecto: a facturación desprégase nun clúster en varias xeolocalizacións para que se aseguren automaticamente entre si. Tamén debería haber suficientes ordenadores no clúster de Hadoop no caso de que fallen un ou máis.
- Localidade. Os datos deben almacenarse e procesarse nun servidor, se non, pode fallar na transferencia de datos. Un dos populares esquemas de enfoque Map-Reduce: tendas HDFS, procesos Spark. O ideal é que o software se integre perfectamente na infraestrutura do centro de datos e poida facer tres cousas nunha soa: recoller, organizar e analizar información.
Equipo
Que, como e con que finalidade o programa procesará o big data é o que decide o equipo. Moitas veces consiste nunha persoa: un científico de datos. Aínda que, na miña opinión, o paquete mínimo de empregados para Big Data tamén inclúe un xestor de produtos, enxeñeiro de datos e xestor. O primeiro entende os servizos, traduce a linguaxe técnica á linguaxe humana e viceversa. Data Engineer dá vida aos modelos usando Java/Scala e experimenta con Machine Learning. O director coordina, establece obxectivos e controla as etapas.
Problemas
Por parte do equipo de BigData adoitan xurdir problemas á hora de recoller e procesar datos. O programa debe explicar o que recoller e como procesalo; para explicalo, primeiro debes entendelo por ti mesmo. Pero para os provedores, as cousas non son tan sinxelas. Estou falando dos problemas usando o exemplo da tarefa de reducir o abandono de subscritores: isto é o que os operadores de telecomunicacións intentan resolver coa axuda de Big Data en primeiro lugar.
Establecemento de obxectivos. As especificacións técnicas ben escritas e as diferentes comprensións dos termos foron unha dor centenaria non só para os autónomos. Incluso os subscritores "caídos" pódense interpretar de diferentes xeitos, como aqueles que non usaron os servizos do operador durante un mes, seis meses ou un ano. E para crear un MVP baseado en datos históricos, cómpre comprender a frecuencia de devolución dos subscritores de churn: aqueles que probaron outros operadores ou abandonaron a cidade e usaron un número diferente. Outra pregunta importante: canto tempo antes de que se espera que o abonado marche debe o provedor determinar isto e tomar medidas? Seis meses é demasiado cedo, unha semana é demasiado tarde.
Substitución de conceptos. Normalmente, os operadores identifican un cliente por número de teléfono, polo que é lóxico que se carguen os sinais usando el. Que pasa coa túa conta persoal ou número de solicitude de servizo? É necesario decidir que unidade debe tomarse como cliente para que os datos do sistema do operador non varíen. Avaliar o valor dun cliente tamén é cuestionable: que subscritor é máis valioso para a empresa, que usuario require máis esforzo para conservar e cales "caerán" en calquera caso e non ten sentido gastar recursos neles.
Falta de información. Non todos os empregados dos provedores son capaces de explicar ao equipo de BigData o que afecta especificamente á rotación dos subscritores e como se calculan os posibles factores de facturación. Aínda que nomeasen a un deles - ARPU - resulta que se pode calcular de diferentes xeitos: ben mediante pagos periódicos de clientes, ben mediante cargos de facturación automática. E no proceso de traballo, xorden un millón de preguntas máis. O modelo abarca a todos os clientes, cal é o prezo para reter un cliente, ten algún sentido pensar en modelos alternativos e que facer con clientes que foron retidos artificialmente por erro?
Establecemento de obxectivos. Sei de tres tipos de erros de resultado que provocan que os operadores se frustran coa base de datos.
- O provedor inviste en BigData, procesa gigabytes de información, pero obtén un resultado que podería ter sido obtido máis barato. Utilízanse diagramas e modelos sinxelos, analíticas primitivas. O custo é moitas veces maior, pero o resultado é o mesmo.
- O operador recibe datos multifacéticos como saída, pero non entende como usalos. Hai analítica: aquí está, comprensible e voluminosa, pero non serve de nada. O resultado final, que non pode consistir no obxectivo de "procesar datos", non foi pensado. Non é suficiente con procesar: as analíticas deberían converterse na base para actualizar os procesos comerciais.
- Os obstáculos para o uso da análise de BigData poden ser procesos empresariais obsoletos e software inadecuado para novos propósitos. Isto significa que cometeron un erro na fase de preparación: non pensaron no algoritmo de accións e nas etapas de introducción de Big Data no traballo.
Para que serve
Falando de resultados. Vou repasar as formas de usar e monetizar o Big Data que xa están utilizando os operadores de telecomunicacións.
Os provedores prevén non só a saída de subscritores, senón tamén a carga nas estacións base.
- Analízase a información sobre movementos de abonados, actividade e servizos de frecuencia. Resultado: redución do número de sobrecargas por optimización e modernización de áreas problemáticas da infraestrutura.
- Os operadores de telecomunicacións utilizan información sobre a xeolocalización dos abonados e a densidade de tráfico á hora de abrir puntos de venda. Así, as analíticas BigData xa son utilizadas por MTS e VimpelCom para planificar a localización de novas oficinas.
- Os provedores monetizan os seus propios grandes datos ofrecéndoos a terceiros. Os principais clientes dos operadores de BigData son os bancos comerciais. Usando a base de datos, supervisan as actividades sospeitosas da tarxeta SIM do abonado á que están vinculadas as tarxetas e utilizan servizos de puntuación, verificación e seguimento do risco. E en 2017, o goberno de Moscova solicitou dinámicas de movemento baseadas nos datos BigData de Tele2 para planificar infraestruturas técnicas e de transporte.
- As análises de BigData son unha mina de ouro para os comerciantes, que poden crear campañas publicitarias personalizadas para ata miles de grupos de subscritores se así o desexan. As empresas de telecomunicacións agregan perfís sociais, intereses dos consumidores e patróns de comportamento dos subscritores e, a continuación, usan os BigData recollidos para atraer novos clientes. Pero para a promoción a gran escala e a planificación de RRPP, a facturación non sempre ten a suficiente funcionalidade: o programa debe ter en conta simultaneamente moitos factores en paralelo coa información detallada sobre os clientes.
Aínda que algúns aínda consideran BigData unha frase baleira, os Catro Grandes xa están a gañar cartos con iso. MTS gaña 14 millóns de rublos co procesamento de big data en seis meses, e Tele2 aumentou os ingresos dos proxectos en tres veces e media. BigData está a converterse dunha tendencia nun imprescindible, baixo a cal se reconstruirá toda a estrutura dos operadores de telecomunicacións.
Fonte: www.habr.com