Em 2008, BigData era um novo termo e uma tendência popular. Em 2019, BigData se tornou um objeto de venda, uma fonte de lucro e um motivo para novos projetos de lei.
No outono do ano passado, o governo russo iniciou um projeto de lei para regular os grandes dados. É proibido identificar pessoas por informações, mas isso é permitido mediante solicitação de órgãos federais. O processamento de BigData para terceiros só pode ocorrer após notificação à Roskomnadzor. A lei abrange empresas que possuem mais de 100 mil endereços de rede. E, claro, não podemos esquecer dos registros – está previsto a criação de um com a lista de operadores de BD. E se antes BigData não era levada a sério por todos, agora será uma questão a ser considerada.
Não posso ignorar BD, como diretor de uma empresa desenvolvedora de billing que processa essa BigData. Vou refletir sobre grandes dados sob a perspectiva dos operadores de telecomunicações, cujos sistemas de billing recebem diariamente fluxos de informações de milhares de assinantes.
Teorema
Vamos começar, como em um problema de matemática: primeiro, provaremos que os dados dos operadores de telecomunicações podem ser chamados de BigData. Normalmente, grandes dados são caracterizados por três características VVV, embora em interpretações livres o número de "V" tenha chegado a sete.
Volume. Apenas a MVNO Rostelecom atende mais de um milhão de assinantes. Os principais operadores de host processam dados de 44 a 78 milhões de pessoas. O tráfego cresce a cada segundo: no primeiro trimestre de 2019, os assinantes já navegaram 3,3 bilhões de GB com seus telefones móveis.
Velocidade. Ninguém fala melhor sobre dinâmica do que as estatísticas, por isso vou abordar as previsões da Cisco. Até 2021, 20% do tráfego IP será móvel – ele crescerá quase três vezes em cinco anos. Um terço das conexões móveis será de M2M – o desenvolvimento da IoT causará um crescimento de seis vezes nas conexões. A Internet das Coisas se tornará não apenas lucrativa, mas também um ramo que consome muitos recursos, portanto alguns operadores se concentrarão apenas nele. E aqueles que desenvolverem a IoT como um serviço separado obterão tráfego dobrado.
Variedade. A diversidade é um conceito subjetivo, mas as operadoras realmente sabem quase tudo sobre seus assinantes. Desde nome e dados do passaporte até modelo do telefone, compras, lugares visitados e interesses. Os arquivos de mídia devem ser armazenados por pelo menos seis meses de acordo com a lei Yarovaya. Portanto, vamos assumir como axioma que os dados coletados são diversos.
Software e metodologia
Os provedores são um dos principais consumidores de Big Data, portanto, a maioria das metodologias de análise de grandes dados são aplicáveis ao setor de telecomunicações. A outra questão é quem está disposto a investir em desenvolvimento de ML, AI, Deep Learning, investir em data centers e mineração de dados. A operação plena com bancos de dados depende da infraestrutura e da equipe, cujos custos não são acessíveis a todos. Empresas que já possuem armazenamento corporativo ou desenvolvem metodologias de Governança de Dados devem considerar investir em Big Data. Aqueles que ainda não estão prontos para investimentos prolongados devem aumentar gradualmente a arquitetura de software e implementar componentes um por um. Módulos pesados e Hadoop podem ser deixados para depois. Poucas pessoas compram soluções prontas para tarefas como Qualidade de Dados e Mineração de Dados; na maioria das vezes, as empresas adaptam o sistema às suas especificidades e necessidades, seja internamente ou com a ajuda de desenvolvedores.
Mas nem todo sistema de billing pode ser modificado para trabalhar com Big Data. Na verdade, nem todos têm essa capacidade. Poucos conseguem fazer isso.
Três sinais de que um sistema de billing tem chance de se tornar uma ferramenta de processamento de dados:
- Escalabilidade horizontal. O software deve ser flexível – estamos falando de grandes dados. O aumento da quantidade de informações deve ser tratado com um aumento proporcional do hardware no cluster.
- Resiliência. Sistemas pré-pagos sérios são geralmente resilientes por padrão: o billing é implantado em cluster em várias localizações geográficas, permitindo que se protejam mutuamente. Deve haver computadores suficientes no cluster Hadoop também, para o caso de falha de um ou mais.
- Localidade. Os dados devem ser armazenados e processados em um só lugar servidor, caso contrário, os custos de transmissão de dados podem ser altos. Um dos esquemas populares do método Map-Reduce: HDFS armazena, Spark processa. Idealmente, o software deve se integrar sem problemas à infraestrutura do data center e ser capaz de realizar três em um: coletar, organizar e analisar informações.
Time
O que, como e para qual objetivo o programa irá processar grandes dados é decidido pela equipe. Muitas vezes, ela é composta por uma única pessoa – o data scientist. No entanto, na minha opinião, o pacote mínimo de funcionários para Big Data inclui também um Product Manager, um Data Engineer e um líder. O primeiro entende os serviços, traduz a linguagem técnica para a linguagem humana e vice-versa. O Data Engineer traz os modelos à vida usando Java/Scala e experimenta com Machine Learning. O líder coordena, define metas e controla as etapas.
Problemas
É do lado da equipe de Big Data que geralmente surgem problemas ao coletar e processar dados. O programa precisa ser explicado sobre o que coletar e como processar – para isso, é necessário primeiro entender. E para os provedores, nem tudo é tão simples. Estou descrevendo os problemas com o exemplo da tarefa de reduzir a rotatividade de assinantes – é precisamente isso que as operadoras de telecomunicações tentam resolver com Big Data em primeiro lugar.
Definição de tarefas. Um Termo de Referência bem elaborado e a diversidade de compreensão de termos é uma dor eterna, não apenas para freelancers. Até mesmo os assinantes "desconectados" podem ser interpretados de várias maneiras – como aqueles que não usam os serviços do operador por um mês, seis meses ou um ano. E para criar um MVP com dados históricos, é necessário compreender a frequência de retornos de assinantes que saíram – aqueles que experimentaram a conexão de outros operadores ou que se mudaram e usaram outro número. Outra questão importante: quanto tempo antes da saída prevista do assinante o provedor deve identificar isso e tomar medidas? Seis meses é cedo, uma semana já é tardio.
Troca de conceitos. Normalmente, os operadores identificam o cliente pelo número de telefone, então faz sentido que as características sejam extraídas com base nisso. E quanto à conta ou ao número do aplicativo que atende? É necessário definir qual unidade deve ser considerada como cliente, para que os dados no sistema do operador não se diferenciem. A avaliação do valor do cliente também é questionável – qual assinante é mais valioso para a empresa, para manter qual usuário é necessário investir mais esforço, e quais "sairão" de qualquer maneira, tornando inútil investir recursos neles.
Falta de informação. Nem todos os funcionários do provedor conseguem explicar à equipe de Big Data quais fatores influenciam a rotatividade de clientes e como os possíveis fatores são calculados na cobrança. Mesmo que um deles - ARPU - seja mencionado, descobre-se que ele pode ser calculado de diferentes maneiras: seja pelos pagamentos periódicos do cliente, seja pelas cobranças automáticas do sistema de faturamento. Durante o trabalho, surgem milhões de outras perguntas. Todos os clientes estão cobertos pelo modelo? Qual é o custo de retenção de clientes? Faz sentido pensar em modelos alternativos e o que fazer com os clientes que, por engano, passaram a ser retidos artificialmente?
Definição de objetivos. Conheço três tipos de erros relacionados ao resultado que fazem os operadores se decepcionarem com Big Data.
- O provedor investe em Big Data, processa gigabytes de informações, mas obtém resultados que poderiam ser alcançados por um custo menor. Estão sendo usadas esquemas e modelos simples, com análises primárias. O custo é várias vezes maior, mas o resultado é o mesmo.
- O operador recebe dados multifacetados, mas não sabe como utilizá-los. A análise existe - aqui está, clara e abrangente, mas seu uso é nulo. O resultado final não foi pensado, não pode ser apenas "processar dados". Processar é insuficiente - a análise deve ser a base para a atualização dos processos de negócios.
- Um obstáculo ao uso da análise de Big Data pode ser processos de negócios desatualizados e software inadequado para novos objetivos. Isso significa que falharam na fase de preparação - não pensaram no algoritmo de ações e nas etapas de implementação do Big Data no trabalho.
Por que
Falando em resultados. Vou passar pelos métodos de uso e monetização de Big Data que já estão sendo utilizados pelos operadores de telecomunicações.
Os provedores prevêem não apenas a rotatividade de clientes, mas também a carga nas estações base.
- Está sendo analisada a informação sobre a movimentação dos assinantes, atividade e serviços frequenciais. O resultado: redução na quantidade de sobrecargas através da otimização e modernização das áreas problemáticas da infraestrutura.
- As informações sobre geolocalização dos assinantes e a densidade de fluxo são utilizadas pelos operadores de telecomunicações na abertura de pontos de venda. Assim, a análise de Big Data já está sendo utilizada pela MTS e Vimpelcom para planejar a localização de novos escritórios.
- Os provedores monetizam seus próprios grandes dados, oferecendo-os a empresas externas. Os principais clientes dos operadores de BigData são bancos comerciais. Com os dados, eles monitoram atividades suspeitas de SIM cards dos assinantes, usam serviços de scoring de risco, verificação e monitoramento. E em 2017, o governo de Moscou solicitou à Tele2 a dinâmica de movimentação por meio de dados BigData — para o planejamento da infraestrutura técnica e de transporte.
- A análise de BigData é uma mina de ouro para os profissionais de marketing, que podem criar campanhas publicitárias personalizadas para milhares de grupos de assinantes, se desejarem. As empresas de telecomunicações agregam perfis sociais, interesses do consumidor e padrões de comportamento dos assinantes, e depois usam os dados BigData coletados para atrair novos clientes. Porém, para um planejamento em larga escala de promoção e PR, a cobrança nem sempre tem funcionalidade suficiente: o programa deve levar em conta simultaneamente múltiplos fatores juntamente com informações detalhadas sobre os clientes.
Enquanto alguns ainda consideram BigData um termo vazio, as 'quatro grandes' já estão lucrando com isso. A MTS ganha 14 bilhões de rublos em seis meses com o processamento de grandes dados, enquanto a Tele2 aumentou sua receita com projetos em três vezes e meia. BigData está se transformando de uma tendência em algo indispensável, para o qual toda a estrutura dos operadores de telecomunicações será reformulada.
Fonte: habr.com
