O cérebro da empresa. Começar

Uma história “sobre um tema de produção” sobre maneiras de implementar IA em uma empresa comercial. E a que (hipoteticamente) isso poderia levar. A versão completa pode ser baixada em Litros (grátis)

***

Eu não era um líder natural e odiava as reuniões que outros chefes de departamento convocavam constantemente. Eu não estava tentando criar entusiasmo sobre a importância do meu departamento. Acabei de recrutar caras com quem poderia trabalhar e que tivessem experiência, diferente de mim. Mas não consegui encontrar aquele que realmente precisava por meio de um headhunter. Essas pessoas não procuram trabalho elas mesmas, elas as encontram. Comecei a assistir reportagens em conferências sobre o tema e a ler Habr. Isso também foi difícil de encontrar. Nas conferências não houve um único relatório com resultados reais; todos falavam de novos métodos, mas ninguém conseguia demonstrar a sua aplicação. Eles simplesmente não estavam lá. Quando tentei entrar em contato e tirar dúvidas, o palestrante desapareceu, apenas alguns responderam que realmente calcularam tudo no Excel. Não foi melhor para Habré; fragmentos de traduções de artigos ocidentais eram os melhores materiais sobre o assunto. Apenas os comentários para eles foram interessantes.

O mês passou despercebido. Mas não sabia por onde começar, o que fazer com esse big data, como conectá-lo às tarefas da empresa. A administração já deu a entender que é hora de apresentar um plano. Até agora tenho resistido à necessidade de formular com maior precisão os objetivos do projeto e o que queremos dele. Sugeriram que nos reuníssemos e conversássemos com os chefes de departamento, pelo que entendi que tal argumento de ausência de plano não duraria muito. A equipe encontrou uma garota que sabia descrever processos de negócios. De acordo com todos os guias, este foi o primeiro ponto da digitalização – primeiro algoritmo de processos. Dei-lhe uma tarefa e continuei minha busca e fui às reuniões, onde continuei fingindo ser inteligente.

Pelos comentários aprendi que existem competições de mashoba no Kagle. E gente legal em mashoba briga lá não por dinheiro, mas por quem é mais legal. Escrevi para vários vencedores de concursos semelhantes sobre o assunto e comecei a esperar. Alguns apelidos já me eram familiares pelos comentários sobre Habré, e eu esperava que alguém respondesse. Dois eram funcionários de grandes empresas, vinculados por todos os tipos de acordos, por isso desistiram cuidadosamente. Mas a pessoa mais interessante não respondeu. Ele venceu as competições mais legais do Kaggle sobre segmentação de usuários, sistemas de recomendação e até cálculo de vendas levando em consideração 200 fatores, incluindo possíveis condições climáticas. Isso era o que eu estava procurando! Mas ele não respondeu. Comecei a procurá-lo pelo apelido na Internet. Não houve informação. Mas eu vi isso mencionado nos comentários. Então alguém o conhecia. Esta foi uma oportunidade. Perguntei nos comentários quem sabia disso, e um programador me respondeu que trabalhava com ele e poderia pedir contatos para mim.

Ele foi convidado por grandes corporações, mas nunca trabalhou em escritório. E não conheci ninguém. Mesmo fotos reais dele não foram encontradas na Internet. Eu só sabia seu nome e contatos online. Foi um tanto estranho oferecer a contratação de alguém assim como funcionário de um projeto da empresa, mas fazendo trabalho remoto. Como se tratava de militares, eles só entendiam a situação do quartel-escritório “de sino em sino”. Mas não havia opções, eles precisavam de alguém que pudesse fazer um carro bacana, pois a empresa já estava atrasada, na opinião deles, com a implantação do big data, e eles tiveram que ultrapassar todos para se tornarem os primeiros. E tive que apostar tudo em uma conversa com a administração. Mas primeiro eu tinha que falar com ele. Seu nome era Max.

Liderança da equipe

– Gostaria de convidá-lo como líder de equipe e arquiteto da equipe para criar todos os tipos de algoritmos na máquina. Você parece interessado neste tópico. A empresa é decente e paga dinheiro.
– Não trabalho para empresas, trabalho remotamente em projetos desde que me interessem.
“Mas estamos falando de um grande projeto, é preciso assumir a tarefa de perto, é pouco provável que isso seja possível remotamente.”
– Esta não é uma questão para discussão. Não trabalho com quem não sabe trabalhar remotamente. O dinheiro também pode ser pago remotamente. Não vou perder tempo indo ao escritório e chegando em determinado horário. Isso é estupidez e eu não faço coisas estúpidas.
– Ok, o trabalho remoto servirá. Você está pronto para assinar um contrato de trabalho remoto permanente?
– Tudo depende do que você quer lá.
– Nada de especial, você só precisa criar um sistema de recomendação de marketing, além de segmentação de clientes com base em big data e tudo mais.
- Não é interessante.
- E no que você está interessado?
– Algo mais sério, mais global, mas parece que isso não é sobre você. Obrigado pela oferta.
- Espere, deixa eu te contar tudo como está, e aí você decide. Estou com problemas - a empresa me convidou para liderar a implementação dos métodos mashoba no trabalho da empresa para aumentar a eficiência, mas não sei o que oferecer. A empresa tem tudo - desejo, confiança em mim, dinheiro. Você pode fazer qualquer coisa, só não sei o quê. Está claro agora?
- Compreensível, mas não interessante. Você nem mesmo tem uma tarefa. Eu aconselho você a começar com isso.
Max saiu da conversa. Foi um fracasso. Eu mal o encontrei, simplesmente não existe outro cara tão legal em Mashaba. Não tive chance de permanecer na empresa. Mais uma semana e serei chamado para o tapete. Até pedi alguns dias de licença médica para ganhar tempo e pensar no que fazer. Muito provavelmente, abra seu currículo no Hunter.
Max apareceu inesperadamente. Ele escreveu no Skype:
- Olá. Vejo que você é um cara legal e a empresa parece ser ótima. Se você não tem nenhuma ideia, então está pronto para permitir que minhas ideias se tornem realidade?
- Certamente! – sem nem pensar, respondi imediatamente. – Que ideias?
– Existe uma ideia de automatizar completamente os processos da empresa, tudo. E em marketing, em logística e em compras. Até na seleção de pessoal. E faça este grande sistema autoajustável para o resultado desejado - lucro. Como você gosta desta tarefa?
– Isso é ainda mais do que minhas fantasias mais loucas. Mas isso é possível? Nunca vi projetos desse tipo implementados antes. Alguém já fez isso antes?
“Não estou interessado em fazer o que outra pessoa já fez.” Achei que você entendesse isso.
- Sim, claro, queria dizer mais uma coisa - existem desenvolvimentos que permitem fazer isso?
– Não importa se eles existem ou não. Há algo que nos ajudará a fazer isso. Hoje em dia surgiram algoritmos de aprendizagem por reforço, talvez eu já tenha ouvido falar deles. Se você pensar bem e lembrar, então este é um algoritmo universal para tudo. Você define uma meta como reforço e o próprio sistema encontra uma maneira de alcançá-la. E não importa qual seja a tarefa se ela for traduzida em um conjunto de dados do mesmo formato.
– O que devo perguntar à gestão do projeto além do seu trabalho remoto? Não consigo nem imaginar quantas pessoas serão necessárias para criar um sistema tão complexo.
- Um pouco. Haverá um núcleo, este é um neurônio com memória. Cluster rápido em um data center.
- E pessoas?
– Precisamos de três programadores Python que conheçam bibliotecas de neurônios populares e um cientista de dados para preparar os dados e monitorá-los. Não, apenas alguns, trabalharemos em todas as direções ao mesmo tempo. E um especialista em servidores de alto desempenho.
– Parece que existe esse especialista, a empresa tem data center próprio.
– Não, precisamos de alguém que possa criar o cluster de maior desempenho. Você definitivamente não tem isso. Eu conheço um, falarei com ele se ele não estiver ocupado. Também precisaremos de um especialista em banco de dados para emparelhar com ele e colocá-lo para analisar a rede. Precisaremos de muitas informações externas. Procure você mesmo testadores e analistas, quantos precisar. Talvez isso seja suficiente para começar.
“Vou tentar arrancar esses recursos da administração, mas acho que não haverá problemas.”
“Eu não te disse que minhas condições também estão mudando?”
- Não, o que está mudando?
– Quero um percentual, um percentual de crescimento do lucro.
-Você está me confundindo. Eles não darão uma porcentagem remotamente a um estranho. Gostaria de coordenar seu trabalho remoto, mas isso é um problema.
– Ofereço os cérebros eletrônicos da empresa. Gerenciando-o integralmente, distribuindo tarefas aos gestores e acompanhando sua execução. Este será um supersistema que decidirá sozinho quem demitir e de quem a empresa precisa. Ela terá apenas um objetivo: lucro. Substituirá pessoas e acelerará as operações, o custo das transações cairá significativamente. Os lucros crescerão em ritmo acelerado. Eles não podem fazer isso sem mim. Portanto a porcentagem. Isto é verdade.
- Vou tentar. Vamos descrever brevemente o que você propõe para que eu possa apresentar adequadamente suas ambições. O que mais devo dizer a eles para que concordem com tudo?
- Que eles serão os primeiros.
Quando tentei imaginar como diria isso ao diretor, fui dominado pelo estupor. Não consegui encontrar as palavras. A menos que você leia o que Max escreveu em um pedaço de papel. Preparei-me durante uma semana, o diretor me olhou com cautela, sem entender o que esperar de mim. Na hora marcada entrei na sala de reuniões, onde todos os diretores já estavam sentados. O relatório passou como um borrão. Ao final, aos olhos dos participantes do encontro, vi apenas uma pergunta - isso é real ou vocês já leram ficção? O general falou primeiro:
– E você pode implementar tudo isso? Entendo que serão necessários pessoas e tempo. Mas você entende minha pergunta.
- Não posso. Existe uma pessoa que pode. Ele é o melhor neste ramo, tive dificuldade em encontrá-lo. Ele conhece o seu próprio valor e não concordará apenas em criar tal sistema. Teremos que encontrá-lo no meio do caminho.
- Vamos discutir. Muito bem, o relatório superou minhas expectativas. É difícil de acreditar, mas o objetivo provavelmente deveria ser o máximo.
– Se pelo menos parte disso puder ser implementado, teremos um efeito enorme, calculei aqui.
“Então você vai me mostrar, não vamos deter os outros.” A reunião acabou.

Ao sair, todos se revezaram me elogiando e me dando tapinhas no ombro. Deixado com o general, contei-lhe imediatamente sobre as condições de Max com suas próprias palavras. O General pensou por alguns segundos. “Precisamos elaborar um bom contrato”, disse ele finalmente. Isso significava sim. Pediu também para conversar com cada diretor sobre sua parte no projeto e traçar um plano geral de implementação, de preferência com prazos. Ele o apresentará aos fundadores. Ele nem perguntou sobre os recursos; sua alocação aparentemente estava implícita junto com a aprovação do projeto. Ao sair, fiquei encantado com a minha frieza - o projeto foi aprovado, junto com as condições do Max! Escrevi imediatamente para ele. Ele respondeu laconicamente: “Não tive dúvidas de quem abriria mão do lucro”.

Foi necessário decompor o plano por meses e os sprints mais próximos. Escreva aplicativos para pessoas. Eu precisava de estatísticas de analistas, documentação sobre processos de ERP do departamento de desenvolvimento e muito mais. Tudo teve que ser montado para entender por onde começar e com o que lidar. Todos responderam aos meus pedidos cordialmente, mas depois de uma semana percebi que ninguém iria atender aos meus pedidos. “Não tive tempo, vou procurar amanhã” é a resposta padrão. E não está claro se isso é proposital ou se todos estão realmente ocupados. Em resposta, eu mesmo comecei a receber alguns pedidos absurdos. “Você poderia enviar uma apresentação sobre a digitalização da nossa interação com fornecedores, temos uma conferência amanhã.” No início, fiquei perplexo com esses pedidos, mas no final comecei a fazer com calma o mesmo que eles fizeram com meus pedidos. Ignorar. Não havia documentação, os dados estavam apenas na forma de relatórios, não brutos. O único programa de análise era o Excel. Não se falou em uploads para o BigQuery. Tudo teve que ser feito do zero e por nós mesmos. A única coisa que conseguimos fazer rapidamente foi encontrar pessoas. E só graças ao fato de eu mesmo ter ido ao hh.ru e chamado caras com as competências que precisávamos para entrevistas. Mas eu não tinha ideia de como negociar com os demais a interação no projeto.

– Max, há problemas, estou há uma semana pedindo que você me dê dados e documentação, mas por enquanto é tudo café da manhã. Esta não é uma empresa, mas uma espécie de pântano. Ninguém precisa de nada, todos estão ocupados com seus próprios assuntos.
– Não se preocupe, não precisamos de ninguém além da equipe que você montou. E você precisa de uma API para dados brutos sobre clientes, produtos e vendas, todas as transações, bem como correspondência nos endereços dos clientes, telefonia em seus números e isso é tudo por enquanto. Para conseguir isso, vá direto ao diretor de TI. Parece que na empresa o projeto é necessário apenas para a gestão.
“Infelizmente, você está certo”, respondi a Max com emoticons tristes.
Antes eu só tinha trabalhado em pequenas empresas, onde todos ficavam praticamente na mesma sala e todos tentavam ajudar uns aos outros. Este não é o caso das grandes corporações. Os gerentes de todos os níveis tentam retratar a atividade ativa pelo número de atribuições a outros. Mas ninguém se compromete imediatamente a fazer o que lhe é pedido. Eles primeiro perguntarão aos outros se podem fazer isso. E me pareceu que eles estavam competindo para ver quem conseguia mais, como se estivessem sendo pagos para isso. Ninguém pensa mais em implementação, o principal é fazer uma reunião e planejar alguma coisa. Como ninguém consolida ou acompanha os planos, 90% dessas iniciativas são simplesmente esquecidas no fluxo de novas. Por trás desse fluxo autossuficiente de informações internas, geradas continuamente pelos gestores, ninguém vê mais o cliente. Em vez de clientes, relatórios e apresentações. Kafka escreveu que um grande número de documentos e leis são característicos de impérios moribundos. Foi então que me ocorreu a ideia de que havia motivos para demitir alguns gestores. Agora entendo por que Max não concordou em ir ao escritório.

Análise do cliente

A equipe foi montada e agora é hora de planejar os sprints. Por ordem do diretor de TI, eles nos forneceram alguma documentação e fizeram uma API. Junto com a nova equipe, implantamos um cluster no data center do Hadoop e começamos a receber dados.
- Por onde começamos? – Escrevi para Max, não sem otimismo.
– Do que é mais simples, trabalhar em equipe. Faremos uma análise do cliente. O tópico é o mais compreensível até agora e os dados estão aí. Como você organiza atualmente a publicidade em seu site? Como os e-mails são enviados? Não pergunto sobre o resto; quase não há mais nada.
– Ainda não entendi bem, mas o webmaster coloca banners nos sites seguindo as instruções de quem pergunta. Banners são feitos por marketing. O webmaster criou um painel de administração para monitorar de alguma forma os banners e removê-los rapidamente, se solicitado. As cartas são enviadas por meio de um aplicativo em nuvem, são carregadas análises com endereços, o gerente de conteúdo escreve o texto, o gerente de publicidade envia cartas após aprovação de seu gerente, que aprova outras. De alguma forma, pelo que entendi.
- O quê, eles fazem tudo manualmente? E quantas cartas diferentes são enviadas por mês?
Dois ou tręs.
“A única coisa que não entendo é como uma empresa com uma abordagem tão antiga conquistou uma fatia significativa do mercado.” Século passado. Vamos começar com isso. Encontrarei uma estrutura adequada em Java para criar cadeias de interação. Vamos tomar como análogo um serviço de nuvem burguês, cadastre-se agora e analise o que é útil para nós lá. Vamos começar a dividir as tarefas.
– O que estará no núcleo do sistema?
- Mashob, claro. Já falei que tudo será construído em um núcleo de um neurônio que se autoaprende de acordo com seus objetivos. O marketing exige a análise do cliente para agrupar os usuários de forma rápida e direta on-line de acordo com seus parâmetros e ações no site ou no correio. Construiremos uma análise RFM para acompanhar as etapas. Colocaremos códigos de rastreamento nas cartas e no site, e escreveremos tudo no banco de dados de cada cliente. E então finalizamos com tudo o que é necessário para a interação automática com o cliente - um script para construção de uma cadeia de interação arrastar e soltar com seleção automática de um canal de comunicação com o cliente, dependendo de onde ele estiver. Ou enviamos a tarefa por carta ao gerente designado, se o cliente for totalmente surdo.
– Grande plano, temos que fazer isso durante seis meses.
- Não, não sou idiota por fazer tudo sozinho. Vamos fazer isso mais rápido.

Um mês depois, apareceu o primeiro protótipo. E foi fantástico para o marketing. No sistema foi possível criar centenas de segmentos a partir de centenas de dados coletados de clientes, e construir uma cadeia de contato garantida de interação para cada segmento. É quando a rede tenta primeiro mostrar o banner para o cliente, se falhar, manda uma carta, se não abrir, manda notificações push para o aplicativo, se não olhou lá, então envia uma tarefa ao gerente atribuído ao cliente com o texto o que precisa ser feito. Todos os clientes para os quais era necessária ação vieram de tais segmentos para a rede. Ao mesmo tempo, até o ciclo de vida do cliente foi levado em consideração como um sinal dinâmico, se ele é iniciante ou experiente, com que frequência faz compras, se já comprou tudo e se vai sair . E isso também foi um sinal de segmentação em cadeias. As ações do cliente em resposta a um banner ou ao clique em um e-mail também foram registradas no banco de dados, podendo passar imediatamente para a próxima cadeia. Para que o cliente não pudesse sair das cadeias por meses, o principal era não exagerar. Nós mesmos construímos as primeiras cadeias de boas-vindas para carrinhos abandonados.

A única coisa que o marketing teve que fazer foi construir esses segmentos e cadeias e escrever muitos textos e desenhar centenas de banners. O que, é claro, eles não poderiam fazer imediatamente. Max disse que um pouco mais tarde faria um sistema para gerar automaticamente textos de cartas e banners de produtos a partir do banco de dados de produtos. Mas, por enquanto, era necessário pressionar os profissionais de marketing. Fui responsável na equipe pela interação com outros departamentos, e não apenas pela liderança do projeto.
Mas o verdadeiro foco do sistema de análise de clientes estava nas suas capacidades baseadas no machoba. Max os apresentou pessoalmente à equipe. O sistema analisava o comportamento e as compras do cliente e podia avisar antecipadamente que o cliente poderia sair. E enviei a tarefa para o gerente aguardar. O sistema sabia melhor que os gestores o que o cliente já havia comprado e o que tinha maior probabilidade de comprar, com base na cesta típica desses clientes. Chamamos isso de “abordagem de cesta”. Além disso, o próprio sistema calculava qual texto de banner ou carta era melhor enviar, pois sabia qual texto gerava mais resposta entre outros semelhantes. Foi como mágica para mim, pela primeira vez vi o que o mashob poderia fazer em um negócio real. A equipe se empolgou, trabalhamos como loucos, porque ficamos encantados com o resultado.

– Há poucos dados sobre clientes em seu sistema corporativo; você não sabe nada sobre eles, exceto empresa, cargo, setor e e-mail. Não é nada. Integramos com provedores de dados externos. Solicite um acordo com SPARK. E cuidarei da API com redes sociais.
- Exatamente. Vamos enriquecer os dados. Recentemente vi outro serviço que determina o psicótipo de uma pessoa com base em comentários em uma rede social. Parece-me que isto nos poderá ser útil, ainda não compreendo porquê, mas sinto que não será supérfluo.
– Faremos recomendações aos gestores com base nelas. Me dê o endereço. Você só precisa verificar a precisão com que ele detecta. É difícil acreditar que eles possam determinar isso sem testes especiais.
- Eles determinam isso melhor do que testes, eu li. O temperamento é pelo menos melhor determinado pelas reações aos comentários das pessoas, e há muito disso na Internet. Estatisticamente, e não algum tipo de humor. E você não pode fingir, como nos testes.
- Ok, vamos nos conectar, me dê o endereço. E puxe para cima o SPARK, para pessoas jurídicas levaremos informações sobre o número do estado, faturamento, fundadores, pagamentos ao orçamento. Há muitas coisas interessantes lá que também serão úteis. Mesmo os contatos e endereços de seus gerentes, ao que parece, não são confiáveis. Eles escrevem todo tipo de porcaria para não revelar os contatos de seus clientes. Dados muito sujos deles.

Embora ainda houvesse muita coisa a ser depurada, depois de 3 meses fizemos um sistema de marketing maravilhoso, mas por algum motivo ninguém tinha pressa em usá-lo. Escrevi cartas, convoquei reunião através do diretor de marketing, abordei pessoalmente, mas ninguém fez segmentos e correntes, muito menos cartas e banners. Esta foi a primeira sabotagem do sistema e não entendi porquê. Até que uma analista que trabalha com profissionais de marketing me contou. Tornamos o sistema muito transparente. A análise do cliente mostrou imediatamente quanto cada newsletter gerou vendas, qual banner foi clicado e qual foi inútil para os clientes. Anteriormente, ninguém conseguia calcular imediatamente o efeito de um mailing ou banner; não havia nem estatísticas de cliques. E agora tudo está à vista - no painel online você pode ver claramente como estão as vendas por mala direta. Se eles forem. E esse é o problema - ninguém tinha prática nesse tipo de marketing online e todos tinham medo de expor suas competências. Escrevi para Max.
“Eu disse que todos eles precisam ser demitidos”, respondeu Max conforme esperado. – Tudo bem, teremos que fazer mais difícil, mas podemos passar sem eles.
– Alguma ideia de como?
– Agrupamos os clientes com base no seu tipo de atividade e contactos antes da compra para que todos os clientes se enquadrem num determinado segmento. E faremos uma cadeia universal que funcionará em todos os canais – no correio, num website ou numa aplicação. A contabilização dos contatos permitirá que você feche cadeias em cadeias. E incluiremos os preditores mais importantes - upsales, recomendações de marcas e séries, saída com descontos para devoluções.
– E quem vai escrever os textos não quer fazê-los em tanta quantidade.
– Você precisa de muitos textos e banners, senão não adianta. Por isso, faremos banners de produtos automáticos e textos preenchidos com produtos. Como widgets no Emarsys. Os clientes não precisam de textos particularmente artísticos; os textos de marketing são simplesmente irritantes.
– Assim, os profissionais de marketing ficarão completamente sem trabalho.
– E não se esqueça de comunicar isso à gestão, que o sistema funciona sozinho. Sem eles. Como prometemos. E diga aos profissionais de marketing: “para a bolsa de trabalho, baby”.

Este tem sido o slogan favorito de Max há algum tempo, quando ele próprio acreditava na funcionalidade de seus algoritmos. Ele tinha um objetivo que foi objeto de acordo com a administração - reduzir custos por meio da redução de operações manuais. Se automatizarmos a criação de cartas e banners, este será o primeiro grande sucesso do projeto.

Extensão na próxima postagem ...
(c) Alexandre Khomyakov [email protegido]

Fonte: habr.com