En 2008, BigData era un término nuevo y una tendencia de moda. En 2019, el BigData es objeto de venta, fuente de beneficios y motivo de nuevas facturas.
El otoño pasado, el gobierno ruso inició un proyecto de ley para regular el big data. Las personas no podrán ser identificadas a partir de la información, pero podrán hacerlo a solicitud de las autoridades federales. El procesamiento de BigData para terceros se realiza únicamente después de la notificación a Roskomnadzor. Las empresas que tienen más de 100 direcciones de red están sujetas a la ley. Y, por supuesto, sin registros, se supone que debe crear uno con una lista de operadores de bases de datos. Y si antes este Big Data no era tomado en serio por todo el mundo, ahora habrá que tenerlo en cuenta.
Yo, como director de una empresa desarrolladora de facturación que procesa estos mismos Big Data, no puedo ignorar la base de datos. Pensaré en big data a través del prisma de los operadores de telecomunicaciones, a través de cuyos sistemas de facturación pasan cada día flujos de información sobre miles de suscriptores.
Teorema
Empecemos como en un problema de matemáticas: primero demostramos que los datos de los operadores de telecomunicaciones pueden denominarse BigDat. Normalmente, los big data se caracterizan por tres características VVV, aunque en interpretaciones libres el número de "V" llega a siete.
Volumen. Sólo el MVNO de Rostelecom atiende a más de un millón de suscriptores. Los principales operadores de host manejan datos de entre 44 y 78 millones de personas. El tráfico crece cada segundo: en el primer trimestre de 2019, los suscriptores ya accedieron a 3,3 millones de GB desde teléfonos móviles.
Velocidad. Nadie puede informarle mejor sobre la dinámica que las estadísticas, así que repasaré los pronósticos de Cisco. Para 2021, el 20% del tráfico IP se destinará al tráfico móvil; casi se triplicará en cinco años. Un tercio de las conexiones móviles serán M2M: el desarrollo de IoT permitirá sextuplicar el número de conexiones. El Internet de las cosas no sólo será rentable, sino que también consumirá muchos recursos, por lo que algunos operadores se centrarán únicamente en él. Y aquellos que desarrollen IoT como un servicio independiente recibirán el doble de tráfico.
Variedad. La diversidad es un concepto subjetivo, pero los operadores de telecomunicaciones realmente saben casi todo sobre sus suscriptores. Desde nombre y datos del pasaporte hasta modelo de teléfono, compras, lugares visitados e intereses. Según la ley Yarovaya, los archivos multimedia se almacenan durante seis meses. Entonces tomemos como axioma que los datos recopilados son variados.
Software y metodología
Los proveedores son uno de los principales consumidores de BigData, por lo que la mayoría de las técnicas de análisis de big data son aplicables a la industria de las telecomunicaciones. Otra pregunta es quién está dispuesto a invertir en el desarrollo de ML, AI, Deep Learning, invertir en centros de datos y minería de datos. El trabajo completo con una base de datos consiste en una infraestructura y un equipo, cuyos costos no todos pueden afrontar. Las empresas que ya cuentan con un almacén corporativo o están desarrollando una metodología de Gobierno de Datos deben apostar por el BigData. Para aquellos que aún no están preparados para inversiones a largo plazo, les aconsejo que desarrollen gradualmente la arquitectura del software e instalen los componentes uno por uno. Puedes dejar los módulos pesados y Hadoop para el final. Pocas personas compran una solución ya preparada para problemas como la calidad de los datos y la minería de datos; las empresas generalmente personalizan el sistema según sus especificaciones y necesidades específicas, ellas mismas o con la ayuda de desarrolladores.
Pero no todas las facturas se pueden modificar para que funcionen con BigData. O mejor dicho, no sólo se puede modificar todo. Pocas personas pueden hacer esto.
Tres señales de que un sistema de facturación tiene posibilidades de convertirse en una herramienta de procesamiento de bases de datos:
- Escalabilidad horizontal. El software debe ser flexible: estamos hablando de big data. Un aumento en la cantidad de información debe tratarse mediante un aumento proporcional en el hardware del clúster.
- Tolerancia a fallos. Los sistemas prepago serios suelen ser tolerantes a fallos por defecto: la facturación se implementa en un grupo en varias ubicaciones geográficas para que se aseguren automáticamente entre sí. También debería haber suficientes computadoras en el clúster de Hadoop en caso de que una o más fallen.
- Localidad. Los datos deben almacenarse y procesarse en un servidor; de lo contrario, puede arruinarse en la transferencia de datos. Uno de los esquemas populares de enfoque Map-Reduce: tiendas HDFS, procesos Spark. Idealmente, el software debería integrarse perfectamente en la infraestructura del centro de datos y poder hacer tres cosas en una: recopilar, organizar y analizar información.
Equipo
El equipo decide qué, cómo y con qué propósito el programa procesará big data. A menudo está formado por una sola persona: un científico de datos. Aunque, en mi opinión, el paquete mínimo de empleados para Big Data también incluye un Product Manager, un Data Engineer y un Manager. El primero entiende los servicios, traduce el lenguaje técnico al lenguaje humano y viceversa. Data Engineer da vida a modelos utilizando Java/Scala y experimenta con Machine Learning. El directivo coordina, fija objetivos y controla las etapas.
Problemas
Es por parte del equipo de BigData donde suelen surgir problemas a la hora de recopilar y procesar datos. El programa necesita explicar qué recolectar y cómo procesarlo; para explicar esto, primero debe comprenderlo usted mismo. Pero para los proveedores las cosas no son tan sencillas. Me refiero a los problemas usando el ejemplo de la tarea de reducir la pérdida de suscriptores: esto es lo que los operadores de telecomunicaciones están tratando de resolver con la ayuda de Big Data en primer lugar.
Establecer metas. Las especificaciones técnicas bien redactadas y las diferentes interpretaciones de los términos han sido una molestia durante siglos no solo para los autónomos. Incluso los suscriptores "dados de baja" pueden interpretarse de diferentes maneras: como aquellos que no han utilizado los servicios del operador durante un mes, seis meses o un año. Y para crear un MVP basado en datos históricos, es necesario comprender la frecuencia con la que los suscriptores regresan de la rotación: aquellos que probaron con otros operadores o abandonaron la ciudad y usaron un número diferente. Otra pregunta importante: ¿cuánto tiempo antes de que se espere que el suscriptor se vaya debería el proveedor determinar esto y tomar medidas? Seis meses es demasiado pronto, una semana es demasiado tarde.
Sustitución de conceptos. Normalmente, los operadores identifican a un cliente por su número de teléfono, por lo que es lógico que los carteles se carguen utilizando este. ¿Qué pasa con su cuenta personal o número de solicitud de servicio? Es necesario decidir qué unidad se debe tomar como cliente para que los datos en el sistema del operador no varíen. También es cuestionable evaluar el valor de un cliente: qué suscriptor es más valioso para la empresa, qué usuario requiere más esfuerzo para retener y cuáles "caerán" en cualquier caso y no tiene sentido gastar recursos en ellos.
Falta de información. No todos los empleados de los proveedores pueden explicar al equipo de BigData qué afecta específicamente la rotación de suscriptores y cómo se calculan los posibles factores en la facturación. Incluso si nombraran uno de ellos, ARPU, resulta que se puede calcular de diferentes maneras: ya sea mediante pagos periódicos del cliente o mediante cargos de facturación automática. Y en el proceso surgen un millón de preguntas más. ¿Cubre el modelo a todos los clientes? ¿Cuál es el precio por retener a un cliente? ¿Tiene algún sentido pensar en modelos alternativos? ¿Qué hacer con los clientes que han sido retenidos artificialmente por error?
El establecimiento de metas. Conozco tres tipos de errores de resultados que hacen que los operadores se sientan frustrados con la base de datos.
- El proveedor invierte en BigData, procesa gigabytes de información, pero obtiene un resultado que podría haber sido más económico. Se utilizan diagramas y modelos simples, análisis primitivos. El coste es muchas veces mayor, pero el resultado es el mismo.
- El operador recibe como salida datos multifacéticos, pero no sabe cómo utilizarlos. Hay análisis: aquí está, comprensible y voluminoso, pero no sirve de nada. No se ha pensado bien en el resultado final, que no puede consistir en el objetivo de “procesar datos”. No basta con procesar: la analítica debería convertirse en la base para actualizar los procesos de negocio.
- Los obstáculos para el uso de análisis de BigData pueden ser procesos comerciales obsoletos y software inadecuado para nuevos propósitos. Esto significa que cometieron un error en la etapa de preparación: no pensaron en el algoritmo de acciones y las etapas de introducción de Big Data en el trabajo.
¿Por qué
Hablando de resultados. Repasaré las formas de uso y monetización del Big Data que ya están utilizando los operadores de telecomunicaciones.
Los proveedores predicen no sólo la salida de suscriptores, sino también la carga en las estaciones base.
- Se analiza información sobre movimientos de abonados, actividad y frecuencia de los servicios. Resultado: reducción del número de sobrecargas debido a la optimización y modernización de áreas problemáticas de la infraestructura.
- Los operadores de telecomunicaciones utilizan información sobre la geolocalización de los suscriptores y la densidad del tráfico al abrir puntos de venta. Por lo tanto, MTS y VimpelCom ya utilizan el análisis de BigData para planificar la ubicación de nuevas oficinas.
- Los proveedores monetizan su propio big data ofreciéndolo a terceros. Los principales clientes de los operadores de BigData son los bancos comerciales. Utilizando la base de datos, monitorean actividades sospechosas de la tarjeta SIM del suscriptor a la que están vinculadas las tarjetas y utilizan servicios de calificación, verificación y monitoreo de riesgos. Y en 2017, el gobierno de Moscú solicitó a Tele2 una dinámica de movimiento basada en datos BigData para planificar la infraestructura técnica y de transporte.
- Los análisis de BigData son una mina de oro para los especialistas en marketing, que pueden crear campañas publicitarias personalizadas para hasta miles de grupos de suscriptores si así lo desean. Las empresas de telecomunicaciones agregan perfiles sociales, intereses de los consumidores y patrones de comportamiento de los suscriptores y luego utilizan los BigData recopilados para atraer nuevos clientes. Pero para la planificación de promoción y relaciones públicas a gran escala, la facturación no siempre tiene suficiente funcionalidad: el programa debe tener en cuenta simultáneamente muchos factores en paralelo con información detallada sobre los clientes.
Mientras que algunos todavía consideran que BigData es una frase vacía, los Cuatro Grandes ya están ganando dinero con ello. MTS gana 14 mil millones de rublos con el procesamiento de big data en seis meses y Tele2 aumentó tres veces y media los ingresos de los proyectos. BigData está pasando de ser una tendencia a convertirse en algo imprescindible, bajo el cual se reconstruirá toda la estructura de los operadores de telecomunicaciones.
Fuente: habr.com