{"id":91903,"date":"2020-08-20T07:42:18","date_gmt":"2020-08-20T05:42:18","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2"},"modified":"2020-08-20T07:42:18","modified_gmt":"2020-08-20T05:42:18","slug":"kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pt\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2","title":{"rendered":"Como o BigQuery da Google democratizou a an\u00e1lise de dados. Parte 2","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p><b><i>Ol\u00e1, Habr! Neste momento, a OTUS est\u00e1 com inscri\u00e7\u00f5es abertas para uma nova turma do curso. <noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/wDZQ\/\">\u00abEngenheiro de Dados\u00bb<\/a><\/noindex>. \u00c0 medida que nos aproximamos do in\u00edcio do curso, continuamos a compartilhar materiais \u00fateis com voc\u00ea. <\/i><\/b><\/p>\n<p><i><noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/\">Leia a primeira parte<\/a><\/noindex><\/i><\/p>\n<p><img decoding=\"async\" alt=\"Como o BigQuery da Google democratizou a an\u00e1lise de dados. Parte 2\" src=\"\/wp-content\/uploads\/2020\/08\/7b9314bffd954cd408807280f8956c21.png\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<h4>Manipula\u00e7\u00e3o de dados<\/h4>\n<p>\nUma gest\u00e3o de dados forte (Strong Data Governance) \u00e9 um princ\u00edpio fundamental da engenharia do Twitter. \u00c0 medida que implementamos o BigQuery em nossa plataforma, estamos focando na descoberta de dados, controle de acesso, seguran\u00e7a e privacidade.<noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<p>Para descoberta e gest\u00e3o de dados, ampliamos nosso n\u00edvel de acesso a dados (Data Access Layer \u2014 <noindex><a rel=\"nofollow\" href=\"https:\/\/blog.twitter.com\/engineering\/en_us\/topics\/insights\/2016\/discovery-and-consumption-of-analytics-data-at-twitter.html\">DAL<\/a><\/noindex>), para fornecer ferramentas tanto para dados locais quanto para dados do Google Cloud, oferecendo uma interface \u00fanica e API para nossos usu\u00e1rios. \u00c0 medida que o Google <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/data-catalog\/\">Data Catalog<\/a><\/noindex> avan\u00e7a em dire\u00e7\u00e3o \u00e0 disponibilidade p\u00fablica, iremos integr\u00e1-lo em nossos projetos para fornecer funcionalidades como pesquisa por colunas.<\/p>\n<p>O BigQuery permite f\u00e1cil compartilhamento e acesso aos dados, mas precis\u00e1vamos controlar isso at\u00e9 certo ponto para evitar a exfiltra\u00e7\u00e3o de dados. Entre outras ferramentas, escolhemos duas funcionalidades:<\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/resource-manager\/docs\/organization-policy\/restricting-domains\">Compartilhamento restrito por dom\u00ednio<\/a><\/noindex>: uma funcionalidade beta que pro\u00edbe os usu\u00e1rios de compartilhar conjuntos de dados do BigQuery com usu\u00e1rios fora do Twitter.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/vpc-service-controls\/\">Controles de servi\u00e7o VPC<\/a><\/noindex>: um controle que impede a exfiltra\u00e7\u00e3o de dados e exige que os usu\u00e1rios acessem o BigQuery a partir de faixas de endere\u00e7os IP conhecidas.<\/li>\n<\/ul>\n<p>\nImplementamos os requisitos de autentica\u00e7\u00e3o, autoriza\u00e7\u00e3o e auditoria (AAA) para garantir a seguran\u00e7a da seguinte maneira:<\/p>\n<ul>\n<li> Autentica\u00e7\u00e3o: utilizamos contas de usu\u00e1rios GCP para consultas ad hoc e contas de servi\u00e7o para consultas de trabalho.<\/li>\n<li>Autoriza\u00e7\u00e3o: exigimos que cada conjunto de dados tivesse uma conta de servi\u00e7o propriet\u00e1ria e um grupo de leitores.<\/li>\n<li>Auditoria: exportamos os logs do stackdriver do BigQuery, que continham informa\u00e7\u00f5es detalhadas sobre a execu\u00e7\u00e3o de consultas, para um conjunto de dados do BigQuery para facilitar a an\u00e1lise.<\/li>\n<\/ul>\n<p>\nPara garantir o manejo adequado dos dados pessoais dos usu\u00e1rios do Twitter, devemos registrar todos os conjuntos de dados do BigQuery, anotar dados pessoais, manter armazenamento adequado e remover (limpar) os dados que foram exclu\u00eddos pelos usu\u00e1rios.<\/p>\n<p>Consideramos o API do Google <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/dlp\/\">Cloud Data Loss Prevention<\/a><\/noindex>, que utiliza aprendizado de m\u00e1quina para classificar e editar dados confidenciais, mas decidimos optar pela anota\u00e7\u00e3o manual do conjunto de dados devido \u00e0 precis\u00e3o. Planejamos usar a API de Preven\u00e7\u00e3o de Perda de Dados para complementar a anota\u00e7\u00e3o do usu\u00e1rio.<\/p>\n<p>No Twitter, criamos quatro categorias de privacidade para conjuntos de dados no BigQuery, listadas aqui em ordem decrescente de sensibilidade:<\/p>\n<ul>\n<li>Conjuntos de dados altamente sens\u00edveis est\u00e3o dispon\u00edveis conforme necess\u00e1rio com base no princ\u00edpio do menor privil\u00e9gio. Cada conjunto de dados possui um grupo de leitores separado, e monitoraremos o uso de contas individuais.<\/li>\n<li>Conjuntos de dados de sensibilidade m\u00e9dia (pseud\u00f4nimos unidimensionais usando hashing salgado) n\u00e3o cont\u00eam informa\u00e7\u00f5es pessoais (Personally Identifiable Information \u2013 PII) e est\u00e3o dispon\u00edveis para um maior grupo de funcion\u00e1rios. Esse \u00e9 um bom equil\u00edbrio entre considera\u00e7\u00f5es de privacidade e utilidade dos dados. Permite que os funcion\u00e1rios realizem tarefas anal\u00edticas, como calcular o n\u00famero de usu\u00e1rios que utilizaram uma fun\u00e7\u00e3o, sem saber quem s\u00e3o os usu\u00e1rios reais.<\/li>\n<li>Conjuntos de dados de baixa sensibilidade que cont\u00eam todas as informa\u00e7\u00f5es que identificam o usu\u00e1rio. Essa \u00e9 uma boa abordagem do ponto de vista de privacidade, mas n\u00e3o pode ser usada para an\u00e1lise em n\u00edvel de usu\u00e1rio.<\/li>\n<li>Conjuntos de dados p\u00fablicos (lan\u00e7ados fora do Twitter) est\u00e3o dispon\u00edveis para todos os funcion\u00e1rios do Twitter.<\/li>\n<\/ul>\n<p>\nQuanto ao registro, utilizamos tarefas agendadas para listar os conjuntos de dados do BigQuery e registr\u00e1-los no Data Access Layer (<noindex><a rel=\"nofollow\" href=\"https:\/\/blog.twitter.com\/engineering\/en_us\/topics\/insights\/2016\/discovery-and-consumption-of-analytics-data-at-twitter.html\">DAL<\/a><\/noindex>), o reposit\u00f3rio de metadados do Twitter. Os usu\u00e1rios anotar\u00e3o conjuntos de dados com informa\u00e7\u00f5es sobre privacidade e tamb\u00e9m indicar\u00e3o a dura\u00e7\u00e3o da reten\u00e7\u00e3o. Quanto \u00e0 limpeza, estamos avaliando o desempenho e o custo de duas op\u00e7\u00f5es: <i>1.<\/i> Limpeza de conjuntos de dados no GCS usando ferramentas como Scalding e carregamento deles no BigQuery; <i>2.<\/i> Uso de operadores DML do BigQuery. Provavelmente, usaremos uma combina\u00e7\u00e3o de ambos os m\u00e9todos para atender \u00e0s necessidades de diferentes grupos e dados.<\/p>\n<h4>Funcionalidade do sistema<\/h4>\n<p>\nComo o BigQuery \u00e9 um servi\u00e7o gerenciado, n\u00e3o houve necessidade de envolver a equipe de SRE do Twitter na gest\u00e3o de sistemas ou na execu\u00e7\u00e3o de deveres de plant\u00e3o. Foi f\u00e1cil garantir uma grande capacidade tanto para armazenamento quanto para computa\u00e7\u00e3o. Poder\u00edamos ajustar a reserva de slots criando tickets no suporte do Google. Identificamos que havia espa\u00e7o para melhorias, como a autoatendimento para distribui\u00e7\u00e3o de slots e o aprimoramento do painel de monitoramento, e repassamos essas solicita\u00e7\u00f5es ao Google.<\/p>\n<h4>Custo<\/h4>\n<p>\nNossa an\u00e1lise preliminar mostrou que o custo das consultas para BigQuery e Presto estava no mesmo n\u00edvel. Compramos slots a <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\/pricing#flat_rate_pricing\">um pre\u00e7o fixo<\/a><\/noindex> para ter um custo mensal est\u00e1vel em vez de pagar <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\/pricing#on_demand_pricing\">sob demanda<\/a><\/noindex> por TB de dados processados. Essa decis\u00e3o tamb\u00e9m se baseou em feedbacks de usu\u00e1rios que n\u00e3o queriam se preocupar com os custos antes de executar cada consulta.<\/p>\n<p>O armazenamento de dados no BigQuery trouxe custos adicionais al\u00e9m dos custos com GCS. Ferramentas como Scalding requerem que os conjuntos de dados estejam no GCS, e para acessar o BigQuery precisamos carregar os mesmos conjuntos de dados no formato BigQuery <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/blog\/products\/gcp\/inside-capacitor-bigquerys-next-generation-columnar-storage-format\">Capacitor<\/a><\/noindex>. Estamos trabalhando na conex\u00e3o do Scalding com os conjuntos de dados do BigQuery, o que eliminar\u00e1 a necessidade de armazenar conjuntos de dados tanto no GCS quanto no BigQuery.<\/p>\n<p>Para os casos raros que exigiam consultas pouco frequentes de dezenas de petabytes, decidimos que armazenar conjuntos de dados no BigQuery n\u00e3o era economicamente vi\u00e1vel e usamos o Presto para acesso direto aos conjuntos de dados no GCS. Para isso, estamos analisando as Fontes de Dados Externas do BigQuery.<\/p>\n<h3>Pr\u00f3ximos passos<\/h3>\n<p>\nNotamos um grande interesse pelo BigQuery desde o seu lan\u00e7amento em alpha. Estamos adicionando mais conjuntos de dados e mais equipes ao BigQuery. Estamos desenvolvendo conectores para ferramentas de an\u00e1lise de dados, como Scalding, para ler e gravar no armazenamento do BigQuery. Estamos considerando ferramentas como Looker e Apache Zeppelin para criar relat\u00f3rios corporativos sobre qualidade e notas usando conjuntos de dados do BigQuery.<\/p>\n<p>A colabora\u00e7\u00e3o com o Google tem sido muito produtiva, e estamos ansiosos para continuar e expandir essa parceria. Trabalhamos com o Google para implementar nosso pr\u00f3prio <noindex><a rel=\"nofollow\" href=\"https:\/\/developers.google.com\/issue-tracker\/guides\/partner-access\">Partner Issue Tracker<\/a><\/noindex>, para enviar solicita\u00e7\u00f5es diretamente ao Google. Algumas delas, como o carregador BigQuery Parquet, j\u00e1 foram implementadas pelo Google.<\/p>\n<p>Aqui est\u00e3o alguns de nossos pedidos de recursos de alta prioridade para o Google:<\/p>\n<ul>\n<li>Ferramentas para receber dados facilmente e suporte ao formato LZO-Thrift.<\/li>\n<li>Segmenta\u00e7\u00e3o hor\u00e1ria<\/li>\n<li>Melhorias na \u00e1rea de controle de acesso, como permiss\u00f5es em n\u00edvel de tabela, linha e coluna.<\/li>\n<li>BigQuery <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\/external-data-sources\">Fontes de Dados Externas<\/a><\/noindex> com integra\u00e7\u00e3o e suporte ao Hive Metastore para o formato LZO-Thrift.<\/li>\n<li>Integra\u00e7\u00e3o melhorada do cat\u00e1logo de dados na interface do usu\u00e1rio do BigQuery<\/li>\n<li>Self-service para distribui\u00e7\u00e3o e monitoramento de slots.<\/li>\n<\/ul>\n<p><\/p>\n<h3>Conclus\u00e3o<\/h3>\n<p>\nA democratiza\u00e7\u00e3o da an\u00e1lise de dados, visualiza\u00e7\u00e3o e aprendizado de m\u00e1quina de maneira segura \u00e9 a principal prioridade da equipe da Data Platform. Identificamos o Google BigQuery e o Data Studio como ferramentas que podem ajudar a alcan\u00e7ar esse objetivo e lan\u00e7amos o BigQuery Alpha para toda a empresa no ano passado. <\/p>\n<p>Descobrimos que as consultas no BigQuery eram simples e eficazes. Para receber e transformar dados, usamos ferramentas do Google para pipelines simples, mas para pipelines mais complexos, tivemos que criar nossa pr\u00f3pria infraestrutura Airflow. Na \u00e1rea de gerenciamento de dados, os servi\u00e7os do BigQuery para autentica\u00e7\u00e3o, autoriza\u00e7\u00e3o e auditoria atendem \u00e0s nossas necessidades. Para gerenciamento de metadados e conformidade com a privacidade, precis\u00e1vamos de maior flexibilidade e tivemos que construir nossos pr\u00f3prios sistemas. O BigQuery, sendo um servi\u00e7o gerenciado, foi f\u00e1cil de operar. Os custos das consultas foram semelhantes aos das ferramentas existentes. O armazenamento de dados no BigQuery gerou despesas adicionais al\u00e9m dos custos com GCS.<\/p>\n<p>De maneira geral, o BigQuery funciona bem para an\u00e1lises SQL gerais. Estamos notando um grande interesse no BigQuery e estamos trabalhando para transferir mais conjuntos de dados, envolver mais equipes e criar mais pipelines com o BigQuery. O Twitter usa diferentes dados, para os quais ser\u00e1 necess\u00e1ria uma combina\u00e7\u00e3o de ferramentas como Scalding, Spark, Presto e Druid. Pretendemos continuar expandindo nossas ferramentas de an\u00e1lise de dados e fornecer orienta\u00e7\u00f5es claras para nossos usu\u00e1rios sobre como utilizar melhor nossas ofertas.<\/p>\n<h3>Palavras de agradecimento<\/h3>\n<p>\nGostaria de agradecer aos meus coautores e colegas de equipe, Anju Dja e Will Pascucci, pela excelente colabora\u00e7\u00e3o e duro trabalho neste projeto. Tamb\u00e9m gostaria de agradecer aos engenheiros e gerentes de v\u00e1rias equipes no Twitter e no Google, que nos ajudaram e aos usu\u00e1rios do BigQuery no Twitter, fornecendo feedback valioso.<\/p>\n<p>Se voc\u00ea estiver interessado em trabalhar nessas tarefas, confira nossas <noindex><a rel=\"nofollow\" href=\"https:\/\/careers.twitter.com\/content\/careers-twitter\/en\/jobs-search.html?q=&amp;team=careers-twitter%3Ateam%2Finfrastructure-engineering\">vagas<\/a><\/noindex> na equipe de Data Platform.<\/p>\n<p>\n<noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/eD9S\/\">A qualidade dos dados no DWH \u00e9 a consist\u00eancia do reposit\u00f3rio de dados.<\/a><\/noindex><\/p>\n<p>Fonte: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/513782\/\">habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb. \u0412 \u043f\u0440\u0435\u0434\u0434\u0432\u0435\u0440\u0438\u0438 \u0441\u0442\u0430\u0440\u0442\u0430 \u043a\u0443\u0440\u0441\u0430 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u043c \u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u0441 \u0432\u0430\u043c\u0438 \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u043c \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u043e\u043c. \u0427\u0438\u0442\u0430\u0442\u044c \u043f\u0435\u0440\u0432\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u0423\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0421\u0438\u043b\u044c\u043d\u043e\u0435 \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 (Strong Data Governance) \u2014 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043f\u0440\u0438\u043d\u0446\u0438\u043f Twitter Engineering. \u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043c\u044b \u0432\u043d\u0435\u0434\u0440\u044f\u0435\u043c BigQuery \u0432 \u043d\u0430\u0448\u0443 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0443, \u043c\u044b \u043a\u043e\u043d\u0446\u0435\u043d\u0442\u0440\u0438\u0440\u0443\u0435\u043c\u0441\u044f \u043d\u0430 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445, \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435 \u0434\u043e\u0441\u0442\u0443\u043f\u0430, \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e\u0441\u0442\u0438 [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":91904,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-91903","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.3 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/pt\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2\" \/>\n\t\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.3\" \/>\n\t\t<meta property=\"og:locale\" content=\"pt_PT\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041a\u0430\u043a BigQuery \u043e\u0442 Google \u0434\u0435\u043c\u043e\u043a\u0440\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445. \u0427\u0430\u0441\u0442\u044c 2 | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/pt\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2020-08-20T05:42:18+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-08-20T05:42:18+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47 Como o BigQuery do Google democratizou a an\u00e1lise de dados. Parte 2 | ProHoster","description":"Ol\u00e1, Habr! Atualmente, a OTUS est\u00e1 com inscri\u00e7\u00f5es abertas para uma nova turma do curso \"Data Engineer\".","canonical_url":"https:\/\/prohoster.info\/pt\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"pt_PT","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041a\u0430\u043a BigQuery \u043e\u0442 Google \u0434\u0435\u043c\u043e\u043a\u0440\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445. \u0427\u0430\u0441\u0442\u044c 2 | ProHoster","og:description":"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb.","og:url":"https:\/\/prohoster.info\/pt\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-08-20T05:42:18+00:00","article:modified_time":"2020-08-20T05:42:18+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"91903","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 12:18:28","updated":"2022-10-08 11:10:45","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/posts\/91903","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/comments?post=91903"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/posts\/91903\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/media\/91904"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/media?parent=91903"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/categories?post=91903"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/tags?post=91903"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}