En 2008, BigData era un nuevo término y una moda. En 2019, BigData es un objeto de venta, una fuente de ganancias y un motivo para nuevos proyectos de ley.
En otoño del año pasado, el gobierno ruso inició un proyecto de ley para regular los grandes datos. Prohibido identificar a las personas a partir de la información, pero se permite hacerlo a solicitud de órganos federales. El procesamiento de BigData para terceros es solo después de notificar a Roskomnadzor. Las empresas que dispongan de más de 100 mil direcciones de red están bajo esta ley. Y, por supuesto, no puede faltar un registro: se prevé la creación de uno que contenga la lista de operadores de bases de datos. Y si antes BigData no era tomado en serio por todos, ahora se tendrá que rendir cuentas sobre ello.
No puedo ignorar BigData yo tampoco, como director de una empresa desarrolladora de facturación que procesa precisamente esta BigData. Reflexionaré sobre los grandes datos desde la perspectiva de los operadores de telecomunicaciones, a través de cuyos sistemas de facturación fluyen constantemente datos de miles de abonados.
Teorema
Comencemos, como en un problema matemático: primero demostraremos que los datos de los operadores de telecomunicaciones pueden denominarse BigData. Normalmente, los grandes datos se caracterizan por tres rasgos VVV, aunque en interpretaciones más libres la cantidad de "V" puede llegar a siete.
Volume. Solo el MVNO Rostelecom atiende a más de un millón de abonados. Los principales operadores de alojamiento procesan datos de entre 44 y 78 millones de personas. El tráfico crece cada segundo: en el primer trimestre de 2019, los abonados ya habían navegado usando teléfonos móviles 3.3 mil millones de GB.
Velocity. Nadie cuenta mejor la dinámica que las estadísticas, así que revisaré las previsiones de Cisco. Para 2021, el 20% del tráfico IP será móvil: se multiplicará casi por tres en cinco años. Un tercio de las conexiones móviles se destinará a M2M: el desarrollo del IoT provocará un crecimiento de seis veces en las conexiones. El Internet de las cosas no solo será un área rentable, sino también que consumirá muchos recursos, por lo que algunos operadores se centrarán solo en ello. Y aquellos que desarrollen el IoT como un servicio independiente recibirán el doble de tráfico.
Variedad. La diversidad es un concepto subjetivo, pero los operadores de telecomunicaciones realmente conocen casi todo sobre sus suscriptores. Desde el nombre y los datos del pasaporte hasta el modelo del teléfono, las compras, los lugares visitados y los intereses. Los archivos multimedia, según la ley Yarovaya, se almacenan durante al menos seis meses. Por lo tanto, aceptemos como axioma que los datos recopilados son diversos.
Software y metodología
Los proveedores son uno de los principales consumidores de Big Data, por lo que la mayoría de las técnicas de análisis de grandes datos son aplicables a la industria de las telecomunicaciones. La otra pregunta es quién está dispuesto a invertir en el desarrollo de ML, IA, Aprendizaje Profundo, invertir en centros de datos y minería de datos. El trabajo completo con bases de datos se compone de infraestructura y un equipo, costes que no todos pueden permitirse. Las empresas que ya cuentan con un almacenamiento corporativo o están desarrollando metodologías de Data Governance deberían apostar por Big Data. Aquellos que aún no están listos para inversiones a largo plazo, les aconsejo aumentar gradualmente la arquitectura del software y implementar componentes por turnos. Los módulos pesados y Hadoop pueden dejarse para el final. Pocas personas compran una solución lista para tareas como Data Quality y Data Mining; principalmente las empresas adaptan el sistema a su especificidad y necesidades, ya sea por su cuenta o con la ayuda de desarrolladores.
Pero no cualquier sistema de facturación se puede modificar para trabajar con Big Data. Más bien, no todos pueden ser modificados. Pocas personas pueden hacerlo.
Tres indicios de que un sistema de facturación tiene la oportunidad de convertirse en una herramienta de procesamiento de bases de datos:
- Escalabilidad horizontal. El software debe ser flexible, ya que estamos hablando de grandes datos. Un aumento en la cantidad de información debe ser tratado con un incremento proporcional del 'hardware' en el clúster.
- Resiliencia. Los sistemas de prepago serios suelen ser resilientes por defecto: la facturación se despliega en un clúster en varias localizaciones geográficas, de modo que se aseguren mutuamente de manera automática. También debe haber suficientes computadoras en el clúster de Hadoop por si falla una o varias.
- Localidad. Los datos deben ser almacenados y procesados en uno servidor, de lo contrario, se puede arruinar con la transmisión de datos. Uno de los esquemas populares del enfoque Map-Reduce: HDFS almacena, Spark procesa. En ideal, el software debería integrarse sin problemas en la infraestructura del centro de datos y ser capaz de hacer tres en uno: recopilar, organizar y analizar información.
Comando
Qué, cómo y con qué propósito el programa procesará grandes datos lo decide el equipo. A menudo, este está formado por una sola persona: un data scientist. Sin embargo, en mi opinión, el paquete mínimo de empleados para BigData también incluye un Product Manager, un Data Engineer y un líder. El primero entiende los servicios, traduce el lenguaje técnico al humano y viceversa. El Data Engineer da vida a los modelos utilizando Java/Scala y experimenta con Machine Learning. El líder coordina, establece objetivos y supervisa las etapas.
Problemas
Desde el equipo de BigData suelen surgir problemas al recopilar y procesar datos. Es necesario explicarle al programa qué recopilar y cómo procesar; para hacerlo, hay que entenderlo primero uno mismo. Y no es tan simple para los proveedores. Explico los problemas tomando como ejemplo la tarea de reducir la fuga de suscriptores, que es precisamente lo que los operadores de telecomunicaciones intentan resolver prioritariamente con BigData.
Planteamiento de tareas. Un pliego de condiciones bien redactado y diferentes interpretaciones de los términos son un dolor de cabeza centenario no solo para los freelancers. Incluso los suscriptores "perdidos" pueden interpretarse de diferentes maneras: como aquellos que no utilizan los servicios del operador durante un mes, medio año o un año. Y para crear un MVP basado en datos históricos, se necesita comprender la frecuencia de retorno de los suscriptores que se fueron: aquellos que probaron la cobertura de otros operadores o que se mudaron a otra ciudad y usaron otro número. Otra pregunta importante: ¿cuánto tiempo antes de la posible marcha del suscriptor debe el proveedor identificar esto y tomar medidas? ¿Seis meses es demasiado pronto, una semana ya es tarde?
Confusión de conceptos. Los operadores generalmente identifican al cliente por su número de teléfono, por lo que es lógico que los signos deban extraerse en función de esto. ¿Y qué pasa con la cuenta del cliente o el número de la aplicación de servicio? Debemos decidir qué unidad se debe considerar como cliente para que los datos en el sistema del operador no difieran. La valoración del cliente también es cuestionable: ¿qué suscriptor es más valioso para la empresa, para la retención de qué usuario se deben hacer mayores esfuerzos, y cuáles "se perderán" de todos modos y no vale la pena gastar recursos en ellos?
Falta de información. Lejos de todos los empleados del proveedor son capaces de explicar al equipo de BigData qué factores específicos influyen en la pérdida de suscriptores y cómo se consideran esos factores en la facturación. Incluso si mencionan uno de ellos: ARPU, resulta que también se puede calcular de diferentes maneras: ya sea a partir de los pagos periódicos del cliente, o de los cargos automáticos de la facturación. Y durante el proceso de trabajo surgen un millón de preguntas más. ¿Todos los clientes están cubiertos por el modelo? ¿Cuál es el costo de retener a un cliente? ¿Vale la pena considerar modelos alternativos y qué hacer con los clientes que se han mantenido artificialmente por error?
Establecimiento de objetivos. Conozco tres tipos de errores relacionados con los resultados que hacen que los operadores pierdan la confianza en Big Data.
- El proveedor invierte en Big Data, procesa gigabytes de información, pero obtiene un resultado que podría haber conseguido más barato. Se utilizan esquemas y modelos simples, analítica primitiva. El costo es varias veces mayor, y el resultado es el mismo.
- El operador recibe datos multifacéticos, pero no entiende cómo utilizarlos. Hay analítica – aquí está, clara y extensa, pero no sirve de nada. No se ha pensado el resultado final, que no puede ser simplemente el objetivo de 'procesar datos'. Procesar no es suficiente – la analítica debe convertirse en la base para actualizar los procesos de negocio.
- Los procesos comerciales obsoletos y el software inadecuado para nuevos objetivos pueden ser un obstáculo para el uso de la analítica de Big Data. Es decir, fracasaron en la etapa de preparación: no se pensó en el algoritmo de acciones y las etapas de implementación de Big Data en el trabajo.
¿Por qué?
Hablando de resultados. Haré un repaso sobre las formas de utilizar y monetizar Big Data que ya utilizan los operadores de telecomunicaciones.
Los proveedores predicen no solo la pérdida de suscriptores, sino también la carga en las estaciones base.
- Se analiza la información sobre el movimiento de los suscriptores, la actividad y los servicios de frecuencia. Resultado: disminución de la cantidad de sobrecargas gracias a la optimización y modernización de las áreas problemáticas de la infraestructura.
- Los operadores de telecomunicaciones utilizan la información sobre la geolocalización de los suscriptores y la densidad del flujo al abrir puntos de venta. Así, la analítica de Big Data ya es utilizada por MTS y Vimpelcom para planificar la ubicación de nuevas oficinas.
- Los proveedores monetizan sus propios grandes datos, ofreciéndolos a empresas externas. Los principales clientes de los operadores de BigData son los bancos comerciales. A través de la base de datos, rastrean actividades sospechosas de la SIM del abonado, asociada a las tarjetas, utilizan servicios de scoring de riesgo, verificación y monitoreo. En 2017, el gobierno de Moscú solicitó a Tele2 los datos de movilidad a través de BigData para planificar la infraestructura técnica y de transporte.
- La analítica de BigData es una mina de oro para los especialistas en marketing, quienes pueden crear campañas publicitarias personalizadas para miles de grupos de abonados, si así lo desean. Las compañías de telecomunicaciones agregan perfiles sociales, intereses de consumo y patrones de comportamiento de los abonados, y luego utilizan los datos recopilados de BigData para atraer nuevos clientes. Sin embargo, para una planificación a gran escala de promoción y PR, la facturación no siempre tiene la funcionalidad suficiente: el programa debe tener en cuenta simultáneamente muchos factores junto con información detallada sobre los clientes.
Mientras algunos todavía consideran a BigData un concepto vacío, las 'big four' ya están ganando dinero con ello. MTS gana 14 mil millones de rublos en seis meses gracias al procesamiento de grandes datos, y Tele2 ha aumentado su ingresos de proyectos en tres veces y media. BigData se está convirtiendo de una tendencia en algo imprescindible, para lo cual se reestructurará toda la estructura de los operadores de telecomunicaciones.
Fuente: habr.com
