Em 2008, BigData era um termo novo e uma tendência da moda. Em 2019, BigData é objeto de venda, fonte de lucro e motivo de novas faturas.
No outono passado, o governo russo iniciou um projeto de lei para regular o big data. Os indivíduos não podem ser identificados a partir de informações, mas podem fazê-lo a pedido das autoridades federais. O processamento de BigData para terceiros ocorre somente após notificação do Roskomnadzor. As empresas que possuem mais de 100 mil endereços de rede estão enquadradas na lei. E, claro, onde não há registros - é suposto criar um com uma lista de operadores de banco de dados. E se antes o Big Data não era levado a sério por todos, agora terá que ser levado em consideração.
Eu, como diretor de uma empresa desenvolvedora de faturamento que processa esse mesmo Big Data, não posso ignorar o banco de dados. Pensarei no big data através do prisma das operadoras de telecomunicações, por cujos sistemas de faturamento passam todos os dias fluxos de informações sobre milhares de assinantes.
Teorema
Vamos começar como em um problema matemático: primeiro provamos que os dados das operadoras de telecomunicações podem ser chamados de BigDat. Normalmente, o big data é caracterizado por três características VVV, embora em interpretações livres o número de “Vs” chegue a sete.
Volume. Só o MVNO da Rostelecom atende mais de um milhão de assinantes. Os principais operadores de hospedagem lidam com dados de 44 a 78 milhões de pessoas. O tráfego cresce a cada segundo: no primeiro trimestre de 2019, os assinantes já acessaram 3,3 bilhões de GB a partir de celulares.
Velocidade. Ninguém pode falar melhor sobre a dinâmica do que as estatísticas, então analisarei as previsões da Cisco. Até 2021, 20% do tráfego IP irá para o tráfego móvel – quase triplicará em cinco anos. Um terço das conexões móveis será M2M – o desenvolvimento da IoT levará a um aumento de seis vezes nas conexões. A Internet das Coisas tornar-se-á não só lucrativa, mas também intensiva em recursos, pelo que alguns operadores se concentrarão apenas nela. E aqueles que desenvolverem a IoT como um serviço separado receberão o dobro do tráfego.
Variedade. A diversidade é um conceito subjetivo, mas as operadoras de telecomunicações sabem quase tudo sobre seus assinantes. Desde nome e dados do passaporte até modelo de telefone, compras, locais visitados e interesses. De acordo com a lei Yarovaya, os arquivos de mídia são armazenados por seis meses. Portanto, tomemos como axioma que os dados coletados são variados.
Software e metodologia
Os provedores são um dos principais consumidores de BigData, portanto a maioria das técnicas de análise de big data são aplicáveis ao setor de telecomunicações. Outra questão é quem está pronto para investir no desenvolvimento de ML, IA, Deep Learning, investir em data centers e mineração de dados. O trabalho completo com banco de dados consiste em infraestrutura e equipe, cujos custos nem todos podem arcar. Empresas que já possuem um warehouse corporativo ou estão desenvolvendo uma metodologia de Governança de Dados devem apostar no BigData. Para quem ainda não está preparado para investimentos de longo prazo, aconselho a construir gradativamente a arquitetura do software e instalar os componentes um por um. Você pode deixar os módulos pesados e o Hadoop por último. Poucas pessoas compram uma solução pronta para problemas como Qualidade de Dados e Mineração de Dados; as empresas geralmente personalizam o sistema de acordo com suas especificações e necessidades específicas – elas mesmas ou com a ajuda de desenvolvedores.
Mas nem todo faturamento pode ser modificado para funcionar com BigData. Ou melhor, não só tudo pode ser modificado. Poucas pessoas conseguem fazer isso.
Três sinais de que um sistema de faturamento tem chance de se tornar uma ferramenta de processamento de banco de dados:
- Escalabilidade horizontal. O software deve ser flexível – estamos falando de big data. Um aumento na quantidade de informações deve ser tratado por um aumento proporcional de hardware no cluster.
- Tolerância ao erro. Sistemas pré-pagos sérios geralmente são tolerantes a falhas por padrão: o faturamento é implantado em um cluster em várias geolocalizações para que eles se assegurem automaticamente. Também deve haver computadores suficientes no cluster Hadoop, caso um ou mais falhem.
- Localidade. Os dados devem ser armazenados e processados em um servidor, caso contrário você poderá falir na transferência de dados. Um dos esquemas populares de abordagem Map-Reduce: armazenamentos HDFS, processos Spark. Idealmente, o software deveria integrar-se perfeitamente à infraestrutura do data center e ser capaz de fazer três coisas em uma: coletar, organizar e analisar informações.
Equipe
O que, como e com que finalidade o programa processará big data é decidido pela equipe. Freqüentemente, consiste em uma pessoa – um cientista de dados. Embora, na minha opinião, o pacote mínimo de funcionários para Big Data também inclua Gerente de Produto, Engenheiro de Dados e Gerente. O primeiro entende os serviços, traduz a linguagem técnica para a linguagem humana e vice-versa. Data Engineer dá vida a modelos usando Java/Scala e experimentos com Machine Learning. O gestor coordena, estabelece metas e controla as etapas.
Problemas
É por parte da equipa de BigData que normalmente surgem problemas na recolha e tratamento de dados. O programa precisa explicar o que coletar e como processar - para explicar isso, primeiro você precisa entender por si mesmo. Mas para os fornecedores as coisas não são tão simples. Estou falando sobre os problemas usando o exemplo da tarefa de reduzir a rotatividade de assinantes - é isso que as operadoras de telecomunicações estão tentando resolver com a ajuda do Big Data em primeiro lugar.
Estabelecendo objetivos. Especificações técnicas bem escritas e diferentes entendimentos dos termos têm sido uma dor de séculos, não apenas para freelancers. Mesmo os assinantes “abandonados” podem ser interpretados de diferentes maneiras - como aqueles que não utilizam os serviços da operadora há um mês, seis meses ou um ano. E para criar um MVP com base em dados históricos, é preciso entender a frequência de retorno dos assinantes do churn – aqueles que tentaram outras operadoras ou saíram da cidade e usaram um número diferente. Outra questão importante: quanto tempo antes da saída prevista do assinante o provedor deve determinar isso e tomar medidas? Seis meses é muito cedo, uma semana é tarde demais.
Substituição de conceitos. Normalmente, as operadoras identificam um cliente pelo número de telefone, por isso é lógico que os sinais sejam carregados através dele. E quanto à sua conta pessoal ou número de aplicativo de serviço? É necessário decidir qual unidade deve ser tomada como cliente para que os dados no sistema da operadora não variem. Avaliar o valor de um cliente também é questionável – qual assinante é mais valioso para a empresa, qual usuário exige mais esforço para reter e quais irão “cair” de qualquer maneira e não adianta gastar recursos com eles.
Falta de informação. Nem todos os funcionários do provedor conseguem explicar à equipe do BigData o que afeta especificamente a rotatividade de assinantes e como são calculados os possíveis fatores de faturamento. Mesmo que tenham nomeado um deles - ARPU - verifica-se que este pode ser calculado de diferentes formas: quer por pagamentos periódicos de clientes, quer por cobranças automáticas. E no processo de trabalho surgem um milhão de outras questões. O modelo abrange todos os clientes, qual é o preço para reter um cliente, vale a pena pensar em modelos alternativos e o que fazer com os clientes que foram retidos artificialmente por engano.
Definição de metas. Conheço três tipos de erros de resultado que deixam os operadores frustrados com o banco de dados.
- O provedor investe em BigData, processa gigabytes de informações, mas obtém um resultado que poderia ter sido obtido mais barato. Diagramas e modelos simples e análises primitivas são usados. O custo é muitas vezes maior, mas o resultado é o mesmo.
- O operador recebe dados multifacetados como saída, mas não entende como utilizá-los. Existe análise - aqui está, compreensível e volumosa, mas é inútil. O resultado final, que não pode consistir no objetivo de “processar dados”, não foi pensado. Não basta processar – a análise deve tornar-se a base para a atualização dos processos de negócios.
- Os obstáculos ao uso da análise de BigData podem ser processos de negócios desatualizados e software inadequado para novas finalidades. Isso significa que cometeram um erro na fase de preparação - não pensaram no algoritmo de ações e nas etapas de introdução do Big Data no trabalho.
Porquê
Falando em resultados. Abordarei as formas de usar e monetizar Big Data que as operadoras de telecomunicações já estão usando.
Os provedores prevêem não apenas a saída de assinantes, mas também a carga nas estações base.
- São analisadas informações sobre movimentos de assinantes, atividade e serviços de frequência. Resultado: redução do número de sobrecargas devido à otimização e modernização de áreas problemáticas da infraestrutura.
- As operadoras de telecomunicações utilizam informações sobre a geolocalização dos assinantes e a densidade do tráfego na abertura de pontos de venda. Assim, as análises de BigData já são utilizadas pela MTS e VimpelCom para planejar a localização de novos escritórios.
- Os provedores monetizam seu próprio big data oferecendo-o a terceiros. Os principais clientes das operadoras de BigData são os bancos comerciais. Usando o banco de dados, eles monitoram atividades suspeitas do cartão SIM do assinante ao qual os cartões estão vinculados e utilizam serviços de pontuação, verificação e monitoramento de risco. E em 2017, o governo de Moscovo solicitou dinâmicas de movimento baseadas em dados BigData da Tele2 para planear infraestruturas técnicas e de transporte.
- A análise de BigData é uma mina de ouro para os profissionais de marketing, que podem criar campanhas publicitárias personalizadas para até milhares de grupos de assinantes, se assim desejarem. As empresas de telecomunicações agregam perfis sociais, interesses de consumo e padrões comportamentais dos assinantes e, em seguida, utilizam os BigData recolhidos para atrair novos clientes. Mas para promoção em larga escala e planejamento de relações públicas, o faturamento nem sempre tem funcionalidade suficiente: o programa deve levar em consideração simultaneamente muitos fatores em paralelo com informações detalhadas sobre os clientes.
Embora alguns ainda considerem BigData uma frase vazia, as Quatro Grandes já estão ganhando dinheiro com isso. A MTS ganha 14 bilhões de rublos com processamento de big data em seis meses, e a Tele2 aumentou a receita de projetos em três vezes e meia. O BigData está deixando de ser uma tendência para se tornar um must have, sob o qual toda a estrutura das operadoras de telecomunicações será reconstruída.
Fonte: habr.com