Em 2013 IBS, que na época pareciam criar Divisão de Dados, me pediram para fazer um brain dump (exclusivamente com base na experiência de interação com clientes corporativos do setor de petróleo e gás) sobre a área problemática de Big Data e Dados de maneira geral. Encontrei isso após 7 anos e achei engraçado. Algumas coisas são óbvias. Outras se mostraram não tão precisas, mas... 7 anos se passaram.
Escrevi em inglês e pensei em traduzir para o português. Quem sabe algo ainda seja relevante? (Vou traduzir os tópicos, e deixarei as tabelas em inglês por preguiça. Verde – bom, vermelho – perigoso, azul – sonho).
Farei comentários mínimos como "hoje" itálico, para que fique claro e distintivo.
Então, DADOS! Precisamos de dados...
A Divisão de Dados é como a Divisão do Sangue, pois os dados podem ser comparados, por exemplo, ao sangue que circula pelas veias e artérias do organismo empresarial. No entanto, embora o sangue seja o mesmo, os organismos são diferentes e, portanto, a produtização é muito dificultosa, mas também representa uma oportunidade de desenvolvimento.
Há pessoas que enxergam os dados claramente – estas são Nós.
E há pessoas que infelizmente não veem os dados diante de si. Isso, novamente, é pena para nossos Clientes!
Então, postulados de negócios...
- Vendemos para os negócios, e não TI (que todos os profissionais de TI me perdoem) pois estamos resolvendo problemas mundiais e, além disso, ganhando mais dinheiro.
- Todos os problemas empresariais estão concentrados em verticais setoriais temáticas e requererão uma especialização.
- As tentativas de provar o valor dos "dados" ou, o que é ainda mais difícil, o valor da "gestão de dados" para os negócios – é um sofrimento eterno e uma dor. Na verdade, é como chegar a uma pessoa que está se sentindo bem e dizer: “Amigo, vamos tratar do seu sangue, e, amigo, isso vai custar caro!”
- Meu verdadeiro "sonho úmido" é, dentro de um modelo SaaS, vender "extração de dados" e "análise" para pequenas e médias empresas, que se perderam em 123 serviços em nuvem com interfaces interessantes: gerenciamento de projetos, helpdesk, contabilidade, CRM, folha de pagamento, relatórios de tempo, marketing, ... você nomeia, e se enterraram em dados. Youcalc e Successfactors (não existem mais, provavelmente) é bom!
- Procurem pessoas que adoram mexer "crunch" com dados. Elas são raras e estranhas (como adivinhos em borra de café), mas essenciais para os negócios. Um poeta, por exemplo, pode entender muito bem correlações.
- Engenheiros são necessários! Necessários para transformar os problemas que os Crunchers extraíram dos dados em soluções. E o sucesso ou o fracasso das soluções depende inteiramente deles.
- Desenvolvimento código aberto dos projetos representa um enorme valor e permite "construir" soluções complexas praticamente "do zero".
- Mas... não se pode esquecer que o Hadoop é uma biblioteca, e o Lucene também é uma biblioteca, e a distância entre uma biblioteca e um produto industrial é significativa!
- Soluções construídas precisarão ser substancialmente adaptadas, pois modularidade e integração são pontos-chave.
- Agile (perdoe-me, Senhor) é uma técnica crucial na interação com o cliente e na verificação das hipóteses, que serão muitas.
- É possível e necessário terceirizar toda codificação e UI. Toda a análise de negócios e especificações do backend devem ser mantidas dentro e consideradas como uma competência central.
- As pessoas que tomam decisões no negócio devem estar constantemente "informadas" sobre a necessidade de trabalhar corretamente com os dados e de buscar constantemente novas maneiras de analisá-los. A combinação de competências técnicas e de negócios de nossos colaboradores ajudará a elevar o status de toda a organização como um todo.
- Internet é uma fonte infinita de inspiração (naquela época ainda não havia muitos gatinhos) em relação às abordagens de governança corporativa de dados, apesar de as tarefas e escalas variarem substancialmente.
Postulados tecnológicos...
- Há um enorme potencial de desenvolvimento em simplificar a forma como os dados são apresentados às pessoas. Pode-se chamar isso de "iPhoneização".
- Apesar de os fornecedores de BI afirmarem que estão trazendo análise para os usuários finais, (e eles realmente estão avançando nessa direção) – ainda não houve uma ruptura. As pessoas simplesmente não entendem bemdados multidimensionais. Uma interface de usuário que apresenta dados mais ou menos complexos e fracamente estruturados em forma facetada – também representa uma infinidade de problemas. Conclusão: quanto mais plana, melhor.
- Uma plataforma construída com base na extração automática de dados de fontes (que nem sempre são destinadas a essa extração) depende substancialmente das fontes, da robustez dos conectores e da infraestrutura. A incapacidade de garantir resultados sempre será atribuída à plataforma (mensageiro). facetizado em vídeo – apresenta também um número infinito de problemas. Conclusão: quanto mais plano – melhor.
- A plataforma, construída com base na extração automática de dados de fontes (que nem sempre são destinadas a essa extração), está substancialmente dependente das fontes, da robustez dos conectores e da infraestrutura. Na incapacidade de garantir resultados, a plataforma (mensageiro) sempre será responsabilizada. 70% dos clientes permanecem conosco por mais de 2 anos – capital de plataformas desse tipo. Capital que é difícil de ganhar e fácil de perder.
- Do ponto de vista de negócios, não há diferença entre a análise de Big Data e Dados Simples. Muitas vezes, por trás de números simples como 2x2, existem oportunidades de milhões de dólares. Um bom exemplo é os dados sobre o fim da vida útil dos elementos da infraestrutura na plataforma continental da Noruega. Quando todas as datas futuras de grandes reparos de todo o equipamento foram colocadas em um eixo e descobriram que em N anos haveria um verdadeiro Armageddon na plataforma — uma pessoa muito rica levantou-se da cadeira e, após uma rápida despedida, saiu da sala dizendo: “Desculpe, estou sem tempo, preciso preparar a frota…”
- O Excel, essencialmente uma representação clara e organizada de dados em forma de tabela, possui um poder enorme e um grande futuro. Acredito em tabelas bonitas (e ainda hoje) e é isso!
- O laço principal de toda essa "análise" é a automação da tomada de decisões. Ali estão as maiores oportunidades, mas também os maiores riscos, pois as oportunidades são grandes, assim como os riscos, e as oportunidades, e os riscos… 🙂 A gestão da perfuração de poços, por exemplo…
- Se a "integrabilidade" é um recurso chave, então os dados de fato devem ser apresentados como um serviço. REST é importante, mas não se deve esquecer da otimização de desempenho, que muitas vezes agora é sacrificada em nome da integrabilidade, pois o poder de computação continua crescendo.
- Os dados mestres são o que precisa ser localizado, extraído, padronizado, antes de se abordarem algumas questões de negócios. Os dados mestres são pequenos, e os problemas com eles são grandes! Como dizem os irmãos semânticos – 50% de todos os problemas mundiais surgem porque as pessoas chamam as mesmas coisas por nomes diferentes, e os outros 50% porque elas chamam coisas diferentes pelo mesmo nome.
- Qualquer a encapsulação no nível de armazenamento limita a abertura da solução e leva à SILO-ificação. É bom se você for um grande fornecedor, caso contrário, é um problema. (Aqui, claro, não estamos falando do nível de bloco nem do AWS S3, que já tinha 6 anos naquela época, mas sim de arquivos.).
- A modelagem relacional de dados não é mais nosso amigo. RDF e chave-valor – isso é incrível! Vimos transformações mágicas de bancos de dados relacionais de modelos com 2000 tabelas para 15 tabelas, e nenhum dos usuários perdeu nada.
- A Internet funciona porque existe URL como um único meio de endereçamento. A importância da URL ou melhor URI para os recursos informacionais da empresa é difícil de superestimar.
- Text mining e NLP são populares. Na Internet. Mas também no setor corporativo, é possível alcançar grandes sucessos extraindo dados estruturados de dados corporativos não estruturados.
- Sinergia entre dados estruturados e informações extraídas de dados não estruturados, ou seja, arquivos – uma mina de ouro analítica.
- Extraindo dados – não esquecer dos direitos e direitos autorais.
- Uma empresa que atua na extração de dados deve formar umdepartamento de hackers, no bom sentido da palavra. Inspirado pela difícil luta contra sistemas de proteção das Páginas Amarelas contra bots de busca.
- Antes de trabalhar com dados – é preciso «ver» todas as facetas. É difícil de explicar. Me vêm à mente formulários tabulares. Para outros, representações gráficas, mas qualquer gráfico já é uma interpretação. De qualquer forma… «ver»!
- Repetindo a questão da «confiança» dos usuários na interface. Confiança nos conectores/processos de geração de dados, confiança nos dados, confiança nas decisões tomadas.
Fonte: habr.com
