O tempo necessário para leitura é de 11 minutos
Nós e o Quadrante Mágico da Gartner 2019 para BI 🙂
O objetivo deste artigo é comparar três das principais plataformas de BI que estão no topo do quadrante Gartner:
— Power BI (Microsoft)
— Tableau
— Qlik
Figura 1. Quadrante Mágico para BI da Gartner 2019
Meu nome é Zhdanov Andrey, sou o líder do departamento de análises da empresa Analytics Group (). Nós criamos relatórios visuais sobre marketing, vendas, finanças, logística, em outras palavras, fazemos análise de negócios e visualização de dados.
Eu e meus colegas trabalhamos com várias plataformas de BI há vários anos. Temos uma experiência bastante boa em projetos, o que nos permite comparar as plataformas do ponto de vista de desenvolvedores, analistas, usuários de negócios e implementadores de sistemas de BI.
Teremos um artigo separado comparando preços e design visual dessas plataformas de BI, então aqui tentaremos avaliar esses sistemas do ponto de vista do analista e do desenvolvedor.
Destacaremos algumas áreas para análise e avaliaremos em um sistema de 3 pontos:
— Barreiras de entrada e requisitos para o analista;
— Fontes de dados;
— Limpeza de dados, ETL (Extract, Transform, Load)
— Visualizações e desenvolvimento
— Ambiente corporativo — servidor, relatórios
— Suporte a dispositivos móveis
— Análise integrada em aplicativos/sites de terceiros
1. Barreiras de entrada e requisitos para o analista
Power BI
Vi muitos usuários do Power BI que não eram especialistas em TI, mas conseguiram criar um bom relatório. O Power BI utiliza a mesma linguagem de consulta que o Excel — Power Query e a linguagem de fórmulas DAX. Muitos analistas conhecem bem o Excel, portanto a transição para esse sistema de BI é relativamente fácil.
A maioria das ações pode ser realizada de forma bastante simples no editor de consultas. Além disso, há um editor avançado com a linguagem M para profissionais.
Figura 2. Construtor de consultas do Power BI
Qlik Sense
O Qlik Sense parece muito amigável — com poucas configurações, é possível criar um relatório rapidamente, e pode-se usar o construtor de carregamento de dados.
Inicialmente, parece mais simples que o Power BI e o Tableau. Mas, com base na experiência, posso dizer que, após algum tempo, quando o analista criar alguns relatórios simples e precisar de algo mais complexo, ele enfrentará a necessidade de programar.
O Qlik possui uma linguagem de carregamento e processamento de dados muito poderosa. Há uma linguagem de fórmulas própria chamada Set Analysis. Portanto, o analista deve ser capaz de escrever consultas e junções, inserir dados em tabelas virtuais e usar variáveis ativamente. As possibilidades da linguagem são muito amplas, mas requerem seu aprendizado. Provavelmente, todos os analistas do Qlik que conheço têm um histórico sério em TI.
Integradores do Qlik, como nós, frequentemente gostam de falar sobre o modelo associativo, onde, ao carregar dados, todos são colocados na memória, e a relação entre os dados é realizada por um mecanismo interno da plataforma. Assim, ao escolher valores, não são realizados subconsultas internas, como em bancos de dados clássicos. Os dados são apresentados quase instantaneamente devido a valores e relações previamente indexados.
Na prática, isso leva à criação automática de junções de tabelas, quando os nomes dos campos coincidem. Por exemplo, não é possível ter tabelas diferentes sem relações que tenham um campo igual. É necessário se acostumar com isso. O analista precisa renomear colunas e garantir que os nomes não coincidam ou consolidar todas as tabelas de fatos em uma só, cercando-as com dicionários como o modelo de “estrela”. Para iniciantes isso pode ser conveniente, mas para analistas experientes já não faz diferença.
A interface típica para carregamento e processamento de dados para um analista é assim.
Figura 3. Editor de carregamento de dados do Qlik Sense, tabela Calendar
Nota: No Power BI, a situação geralmente é diferente; você mantém diferentes tabelas de fatos e dicionários, podendo conectar tabelas manualmente de forma clássica, ou seja, alinhando colunas uma à outra manualmente.
Tableau
Desenvolvedores do Tableau o posicionam como BI com uma interface amigável e intuitiva, que permitirá ao analista explorar seus dados de forma autônoma. Sim, em nossa empresa houve analistas que, sem experiência em TI, conseguiam criar seus relatórios. No entanto, diminuirei a classificação do Tableau por algumas razões:
— Baixa localização para o idioma russo
— Os servidores do Tableau Online não estão na Rússia
— O construtor de carregamento bastante simples começa a causar problemas quando é necessário construir um modelo de dados mais complexo.
Figura 4. Construtor de carregamento de dados do Tableau
Uma das questões que fazemos durante as entrevistas com analistas de Tableau é: "Como construir um modelo de tabelas de fatos com tabelas de referência, sem juntá-las em uma única tabela?" A fusão de dados requer um uso cuidadoso. Já corrigi várias vezes erros de duplicação de dados cometidos pelos meus analistas após tais fusões.
Além disso, o Tableau tem um sistema bastante peculiar, onde você cria cada gráfico em uma folha separada e depois cria um Painel, onde começa a organizar as folhas criadas. Depois, você pode criar uma História, que é uma combinação de diferentes Painéis. O desenvolvimento no Qlik e Power BI é mais simples nesse aspecto, você simplesmente coloca modelos de gráficos na folha, define medidas e dimensões, e o Painel está pronto. O tempo necessário para preparação no Tableau parece, por isso, aumentar.
2. Fontes de dados e carregamento
Nesta seção, não há um líder claro, mas destacamos o Qlik por algumas características agradáveis.
O Tableau na versão gratuita é limitado em fontes, mas em nossos artigos nos concentramos mais em negócios, e os negócios podem se dar ao luxo de produtos comerciais e analistas. Portanto, não rebaixamos a avaliação do Tableau nesse aspecto.
Figura 5. Lista de fontes disponíveis no Tableau
Fora isso, a lista de fontes é impressionante em todos os lugares — todos os arquivos tabulares, todos os bancos de dados padrão, conexões web, tudo funciona em qualquer lugar. Eu não me deparei com armazenamentos de dados não convencionais, onde podem haver suas peculiaridades, mas na maioria dos casos você não terá problemas com o carregamento de dados. A única exceção talvez seja o 1C. Não há conectores diretos para o 1C.
Os parceiros da Qlik na Rússia vendem conectores próprios por 100.000 a 200.000 rublos, mas na maioria dos casos é mais barato fazer exportações do 1C para FTP em Excel ou banco de dados SQL. Também é possível publicar o banco de dados 1C na web e se conectar a ele pelo protocolo Odata.
O PowerBI e o Tableau fazem isso como padrão, enquanto o Qlik pedirá um conector pago, então é mais fácil exportar para um banco de dados intermediário. De qualquer forma, todas as questões sobre conexões podem ser resolvidas.
Figura 6. Lista de fontes disponíveis no Qlik Sense
Adicionalmente, vale destacar a particularidade da Qlik, que oferece conectores pagos e gratuitos como um produto separado.
Figura 7. Conectores adicionais do Qlik Sense
Da experiência, posso acrescentar que, ao lidar com grandes volumes de dados ou inúmeras fontes, nem sempre é viável integrar um sistema de BI de imediato. Em projetos sérios, normalmente se utiliza um armazém de dados, um banco de dados com dados já preparados para análise, etc. Não se pode simplesmente exportar, digamos, 1 bilhão de registros para um sistema de BI. Aqui é preciso planejar a arquitetura da solução.
Figura 8. Fontes de dados do Power BI
Mas por que Qlik se destaca? Eu realmente gosto de três coisas:
— Arquivos QVD
Um formato próprio de armazenamento de dados. Às vezes, é possível construir projetos comerciais sérios apenas com arquivos QVD. Por exemplo, o primeiro nível — dados brutos. O segundo nível — arquivos processados. O terceiro nível — dados agregados, e assim por diante. Esses arquivos podem ser usados em diferentes aplicativos, e diferentes funcionários e serviços podem ser responsáveis por eles. A velocidade de carregamento desses arquivos é dez vezes mais rápida do que a de fontes de dados comuns. Isso permite economizar em banco de dados e trocar informações entre diversos aplicativos Qlik.
— Carregamento incremental de dados
Sim, o Power BI e o Tableau também podem fazer isso. Mas o Power BI exigirá uma versão Premium cara, e no Tableau falta a flexibilidade que o Qlik oferece. No Qlik, com arquivos QVD, você pode fazer snapshots de sistemas em diferentes momentos e, em seguida, processar esses dados da maneira que desejar.
— Conexão de scripts externos
Além dos arquivos QVD para armazenamento de dados, no Qlik o código do script também pode ser extraído do aplicativo e conectado por meio do comando Include. Isso já permite organizar o trabalho em equipe, usar sistemas de controle de versão, gerenciar um único código para diferentes aplicativos. O Power BI possui um editor de consultas avançado, mas não conseguimos configurar um trabalho em equipe semelhante ao que temos no Qlik. De modo geral, todas as ferramentas de BI enfrentam problemas com isso; gerenciar dados, código e visualizações em todos os aplicativos a partir de um único local é simplesmente impossível. O máximo que conseguimos foi extrair arquivos QVD e códigos de scripts. Os elementos visuais precisam ser editados dentro dos próprios relatórios, o que não nos permite alterar visualizações em massa para todos os clientes simultaneamente.
E como fica o mecanismo de conexão Live? Tableau e Power BI suportam conexões LIVE com várias fontes, ao contrário do Qlik. Temos uma abordagem neutra em relação a esse recurso, pois a prática mostra que, quando se trata de grandes dados, trabalhar com conexão LIVE torna-se simplesmente impossível. E o BI, na maioria das vezes, é necessário para grandes dados.
3. Limpeza de dados, ETL (Extract, Transform, Load)
Neste segmento, tenho 2 líderes, Qlik Sense e Power BI.
Digamos que o Qlik é poderoso, mas complexo. Se você entender a linguagem semelhante ao SQL deles, poderá fazer quase tudo — tabelas virtuais, junções e união de tabelas, executar ciclos sobre a tabela e gerar novas tabelas, uma infinidade de comandos para manipulação de linhas. Por exemplo, um campo em 1 célula, que contém dados como "Ivanov 851 Branco", pode ser facilmente separado não apenas em 3 colunas (como todos fazem), mas diretamente em 3 linhas, por exemplo. Da mesma forma, unir 3 linhas em 1 também é fácil.
Figura 9. Como carregar e transpor uma tabela no Qlik Sense a partir do Google Sheets
O Power BI, nesse sentido, parece um pouco mais simples, mas a maioria das tarefas é facilmente resolvida através do construtor de consultas. Definiu uma série de parâmetros, transposou a tabela, trabalhou nos dados, e tudo isso sem nenhuma linha de código.
Figura 10. Como carregar e transpor uma tabela no Power BI a partir do AmoCRM
Pelo que vejo, o Tableau tem uma ideologia diferente. Eles priorizam a beleza e o design. Conectar uma série de fontes diferentes, combiná-las e processá-las dentro do Tableau parece muito difícil. Em projetos comerciais, na maioria das vezes, os dados já são preparados e acumulados em armazéns e bancos de dados para o Tableau.
Figura 11. Como carregar e transpor uma tabela no Tableau
4. Visualizações
Nesta seção, não escolhemos um líder. Teremos um artigo separado, onde, com o exemplo de um caso, mostraremos o mesmo relatório em todos os 3 sistemas. . Aqui a questão é mais de gosto e habilidade do analista. Na vastidão da internet, é possível encontrar imagens muito bonitas, construídas com base em qualquer um desses sistemas. As funcionalidades básicas de visualização são aproximadamente iguais em todos. O restante é resolvido através do uso de extensões. Existem opções pagas e gratuitas. Há extensões tanto dos próprios fornecedores, quanto de freelancers e integradores. Você mesmo pode criar sua própria extensão de visualização para qualquer plataforma.
Gosto do estilo do Tableau, considero-o rigoroso e corporativo. Mas é difícil conseguir uma imagem realmente bonita no Tableau. Um excelente exemplo de visualização do Tableau, onde foram utilizadas apenas extensões. Eu não conseguiria repetir isso, pois não tenho essas extensões, mas fica bonito.
Figura 12. Aparência dos relatórios do Tableau com Extensões
O Power BI também pode ser interessante.
Figura 13. Aparência dos relatórios do Power BI com Extensões
A única coisa que não entendo no Power BI é por que eles têm cores tão estranhas por padrão. Em qualquer gráfico, sou forçado a mudar a cor para a minha cor corporativa e fico surpreso com a paleta padrão.
O Qlik Sense também depende das Extensões. O uso de complementos pode alterar relatórios a tal ponto que se tornam irreconhecíveis. Também é possível aplicar seu próprio tema e estilo.
Figura 14. Aparência dos relatórios do Qlik Sense com Extensões
Do ponto de vista do desenvolvedor, acho o Qlik Sense mais conveniente devido às opções padrão como dimensões e medidas alternativas. É possível configurar várias dimensões e medidas nas configurações de visualização, e o usuário pode facilmente definir o que deseja ver em determinado gráfico.
No Power BI e no Tableau, tenho que configurar parâmetros, botões e programar o comportamento do sistema dependendo desses parâmetros. Fico surpreso com a complexidade. O mesmo ocorre com a possibilidade de mudar a aparência das visualizações.
No Qlik, é possível esconder diferentes tipos de visualizações em um único objeto, enquanto no Power BI e no Tableau isso é mais difícil. Novamente, isso depende mais da habilidade do executor. É possível criar uma obra-prima em qualquer sistema, mas em qualquer lugar, sem experiência, os gráficos serão sem expressão.
5. Ambiente corporativo - servidor, relatórios
Todos os produtos possuem versões corporativas de servidor. Trabalhei com todas as edições e posso dizer que cada uma tem seus pontos fortes e fracos. A escolha do produto deve ser feita com base nas suas necessidades de software, considerando suas particularidades. Todos os fornecedores permitem a distribuição de direitos tanto em nível de contas e grupos, quanto em nível de Segurança de Linha de Dados. A atualização automática de relatórios está disponível de forma agendada.
Qlik Sense Enterprise é uma excelente oportunidade para construir análises dentro da sua organização para pequenas e médias empresas. Pode parecer mais caro que o Power BI Pro, mas não se esqueça de que os servidores do Power BI Pro estão na nuvem, sob a responsabilidade da Microsoft, e você não pode influenciar na performance. E quando precisar do Power BI Premium, que pode ser implantado em seus servidores, o preço começa a partir de 5000 $ por mês.
O Qlik Sense Enterprise começa a partir de 230.000 rublos para 5 licenças (pagamento anual, depois apenas suporte técnico), o que é muito mais acessível que o Power BI Premium. E o Qlik Sense Enterprise permite aproveitar todas as funcionalidades do Qlik. Exceto por uma. Por algum motivo, a Qlik decidiu que a funcionalidade de enviar relatórios em PDF por e-mail deve ser fornecida como um serviço separado chamado NPrinting.
Mas o Qlik Sense Enterprise é mais poderoso que o Power BI Pro e, portanto, aqui podemos fazer a seguinte comparação.
Qlik Sense Enterprise = Power BI Premium; com recursos equivalentes, é mais barato em implementações médias. Grandes implementações geralmente são analisadas pelo fornecedor, que pode oferecer condições individuais para sua empresa.
Nesse sentido, damos preferência ao Qlik Sense Enterprise, que possui todas as condições para construir análises robustas com grandes volumes de dados. Na nossa opinião, com grandes conjuntos de dados, o Qlik funcionará mais rápido que o Power BI. Em conferências da Qlik, encontramos clientes que testaram seus dados com bilhões de registros e o Power BI apresentou um desempenho inferior.
Figura 15. Aparência dos relatórios do servidor Qlik Sense Enterprise
Qlik Sense Cloud = Power BI Pro. O Qlik Sense Cloud sai 1.5 vezes mais caro* e possui uma limitação bastante significativa, que nos impede de utilizar esta plataforma. Não é possível usar Extensões, nem mesmo as integradas. E sem extensões, o Qlik perde um pouco de sua beleza visual.
Figura 16. Aparência do painel de controle do Power BI Pro
*Uma alternativa é usar o Qlik Sense Enterprise por meio de assinatura. Mas, para que este artigo não seja visto como uma propaganda, não vamos discutir nossa estrutura de preços.
O Tableau, por sua vez, está um pouco afastado para nós. Eles possuem tanto assinaturas na nuvem por 70$ para desenvolvedores e 15$ para visualização, quanto soluções de servidor mais caras. Mas a ideia principal do Tableau é que, para grandes dados, é necessário organizar o processamento e o armazenamento na sua parte. Um funcionalidade objetivamente menor não permite realizar um processamento sério de dados no Tableau. Visualizar e analisar sim. Mas, para pequenas e médias empresas, geralmente é problemático criar um armazenamento separado. Eu daria uma nota mais baixa para o Tableau, se não fosse por um de seus recursos. O servidor Tableau envia e-mails agendados com anexos em CSV ou PDF sem problemas. Além disso, é possível definir permissões, filtros automáticos e mais. Por algum motivo, o Power BI e o Qlik não conseguem fazer isso, e para alguns isso pode ser crítico. Por conta disso, o Tableau mantém sua posição em nossa discussão.
Figura 17. Aparência do painel de controle do Tableau Server.
Além disso, em um ambiente corporativo, é preciso considerar o custo de implementação e manutenção. Na Rússia, estabeleceu-se a prática de que o Power BI é mais comum em pequenos negócios. Isso levou ao surgimento de muitas vagas e currículos, além de pequenos integradores. Isso facilita encontrar especialistas para projetos menores. Mas provavelmente todos eles não terão experiência em grandes implementações e em trabalhar com grandes dados. Por outro lado, o Qlik e o Tableau têm poucos parceiros; o Qlik tem poucos, e o Tableau possui até menos. Esses parceiros se especializam em grandes implementações com um ticket médio alto. Não há muitas vagas e currículos no mercado, e a barreira de entrada para esses produtos é mais difícil do que para o Power BI. Mas na Rússia, há implementações bem-sucedidas desses produtos para milhares de usuários, e esses produtos se destacam quando se trata de grandes dados. É preciso entender as fraquezas e forças dos produtos em relação ao seu negócio específico.
6. Suporte a dispositivos móveis.
Nesta seção, vamos destacar o Power BI e o Tableau. Você pode instalar os aplicativos móveis, e eles se adaptam razoavelmente bem a telas de dispositivos móveis. Embora pareça que a análise em dispositivos móveis é inferior à análise em PCs. Afinal, não é tão conveniente usar filtros, as imagens são pequenas, os números são difíceis de ver, entre outros.
Figura 18. Aparência do relatório Power BI no iPhone
Figura 19. Aparência do relatório Tableau no iPhone
Figura 20. Aparência do relatório Qlik Sense no iPhone
Por que as pontuações do Qlik foram rebaixadas? Por razões que nos são incompreensíveis, o cliente móvel está disponível somente no iPhone; no Android, é necessário usar o navegador normal. Além disso, ao usar o Qlik, é preciso entender que várias extensões ou visualizações não são reduzidas nem se posicionam automaticamente em dispositivos móveis como esperado. Um relatório que parece muito bonito no PC, em uma tela pequena, parece muito pior. Para dispositivos móveis, é preciso criar um relatório separado, onde filtros, KPI e outros objetos são removidos. Isso também se aplica ao Power BI e ao Tableau, mas no Qlik isso se manifesta de forma muito mais intensa. Esperamos que o Qlik continue trabalhando em seu cliente móvel.
Se você planeja passar muito tempo fazendo análise especificamente em dispositivos móveis, vale a pena instalar todos os 3 clientes e verificar como eles se comportam em relatórios de teste. Qualquer fornecedor em seu site possui uma galeria de relatórios de teste para consulta.
7. Análise incorporada em aplicativos/sites de terceiros
Utilizar analytics como um serviço de terceiros nem sempre é conveniente. Talvez você esteja desenvolvendo seu próprio produto, mas não está pronto para desenvolver a visualização e o motor de analytics do zero. Talvez você queira implementar analytics em seu site, para que o cliente possa se registrar, carregar seus dados e realizar análises em sua área pessoal. Para isso, você precisa de analytics incorporada (Embedded).
Todos os produtos permitem isso, mas nesta categoria vamos destacar o Qlik.
Power BI e Tableau definitivamente afirmam que, para esses fins, é necessário adquirir um produto separado como o Tableau Embedded Analytics ou o Power BI Embedded. Não são soluções baratas, custando milhares de dólares por mês, o que imediatamente limita seu uso. A maioria dos projetos logo se torna inviável para nossos clientes. Isso significa que você não precisa apenas publicar um relatório para toda a Internet, mas garantir a publicação de relatórios de acordo com acessos específicos, com proteção de dados, autenticação de usuários, etc.
O Qlik permitirá que você se vire. Claro, eles também têm a Qlik Analytics Platform, que é licenciada por servidor e organiza um número ilimitado de conexões. Isso também será caro, assim como os concorrentes Tableau e Power BI. E no caso de conexões ilimitadas, as opções são bastante limitadas.
Mas no Qlik existe o conceito de Mashup. Suponha que você tenha o Qlik Sense Enterprise e 10 licenças. A análise padrão e a aparência já estão cansativas. Você levanta seu próprio site ou aplicativo e pode integrar toda a sua análise diretamente lá. A questão é que, simplificando, o Mashup é uma visualização em código de programação. Através da API, você pode programaticamente criar visualizações dentro do seu aplicativo ou site. O Qlik Sense Enterprise ainda será necessário para licenciamento (licenças para conexões ao site = licenças para conexões ao BI), para carregar dados, etc., mas as visualizações serão exibidas não do lado desse servidor, mas integradas ao seu aplicativo ou site. Você pode usar estilos CSS, definir novas fontes e cores. Seus 10 usuários agora não precisarão acessar o servidor de análise, mas sim usar seu portal corporativo ou aplicativo. A análise alcançará um novo nível.
Figura 21. Aparência do relatório Qlik Sense integrado ao site
Já será difícil entender onde estão os elementos do site e onde começa o Qlik Sense.
Claro, você precisará de um programador, ou até mesmo de vários. Um para programação web, outro para trabalhar com a API do Qlik. Mas o resultado vale a pena.
Conclusões. Vamos resumir.
É difícil dizer com certeza quem é melhor ou pior. O Power BI e o Qlik estão empatados na nossa competição, enquanto o Tableau fica um pouco atrás. Porém, o resultado pode ser diferente para o seu negócio. Na BI plataformas, a parte visual é muito importante. Se você assistiu a dezenas de demonstrações e imagens na internet sobre todos os sistemas de BI e não gostou da aparência de uma das plataformas, provavelmente você não a implementará, mesmo que o preço ou as características técnicas sejam satisfatórias.
Em seguida, você precisará calcular o custo das licenças, a implementação e a manutenção da plataforma de BI. É possível que um líder seja identificado no seu caso. O contratante ou a possibilidade de contratar um especialista adequado tem grande importância. Sem profissionais, em qualquer plataforma, o resultado será desastroso.
Desejamos sucesso nas suas integrações de BI, Andrei Zhadanov e Vladimir Lazarev, Analytics Group
Fonte: habr.com
