{"id":90783,"date":"2020-08-06T01:42:19","date_gmt":"2020-08-05T23:42:19","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1"},"modified":"2020-08-06T01:42:19","modified_gmt":"2020-08-05T23:42:19","slug":"kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pt\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1","title":{"rendered":"Como o BigQuery do Google democratizou a an\u00e1lise de dados. Parte 1","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p><b><i>Ol\u00e1, Habr! Neste momento, a OTUS est\u00e1 com inscri\u00e7\u00f5es abertas para uma nova turma do curso. <noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/wDZQ\/\">\u00abEngenheiro de Dados\u00bb<\/a><\/noindex>Na v\u00e9spera do in\u00edcio do curso, preparamos para voc\u00ea a tradu\u00e7\u00e3o de um material interessante. <\/i><\/b><\/p>\n<p>\nTodos os dias, mais de cem milh\u00f5es de pessoas acessam o Twitter para saber o que est\u00e1 acontecendo no mundo e discutir isso. Cada tweet e qualquer outra a\u00e7\u00e3o do usu\u00e1rio geram um evento dispon\u00edvel para an\u00e1lise interna de dados no Twitter. Centenas de funcion\u00e1rios analisam e visualizam esses dados, e melhorar sua experi\u00eancia \u00e9 a principal prioridade da equipe da Plataforma de Dados do Twitter. <\/p>\n<p>Acreditamos que usu\u00e1rios com uma ampla gama de habilidades t\u00e9cnicas devem ter a capacidade de encontrar dados e acesso a ferramentas eficazes de an\u00e1lise e visualiza\u00e7\u00e3o baseadas em SQL. Isso permitiria a um novo grupo de usu\u00e1rios com menos inclina\u00e7\u00f5es t\u00e9cnicas, incluindo analistas de dados e gerentes de produto, extrair insights dos dados, permitindo-lhes entender e aproveitar melhor as oportunidades do Twitter. Assim, democratizamos a an\u00e1lise de dados no Twitter. <noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<p>\u00c0 medida que aprimoramos nossas ferramentas e capacidades para an\u00e1lise interna de dados, testemunhamos melhorias no servi\u00e7o do Twitter. No entanto, ainda h\u00e1 espa\u00e7o para crescer. As ferramentas atuais, como o Scalding, requerem experi\u00eancia em programa\u00e7\u00e3o. As ferramentas de an\u00e1lise baseadas em SQL, como Presto e Vertica, enfrentam problemas de desempenho em grande escala. Tamb\u00e9m temos um desafio no compartilhamento de dados entre v\u00e1rios sistemas sem acesso cont\u00ednuo a eles.<\/p>\n<p>No ano passado, anunciamos uma <noindex><a rel=\"nofollow\" href=\"https:\/\/blog.twitter.com\/engineering\/en_us\/topics\/infrastructure\/2018\/a-new-collaboration-with-google-cloud.html\">nova colabora\u00e7\u00e3o com o Google<\/a><\/noindex>, na qual estamos migrando partes de nossa <noindex><a rel=\"nofollow\" href=\"https:\/\/blog.twitter.com\/engineering\/en_us\/topics\/infrastructure\/2019\/the-start-of-a-journey-into-the-cloud.html\">infraestrutura de dados<\/a><\/noindex> para o Google Cloud Platform (GCP). Conclu\u00edmos que as ferramentas do Google Cloud <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/products\/big-data\/\">Big Data<\/a><\/noindex> podem nos ajudar em nossas iniciativas de democratiza\u00e7\u00e3o da an\u00e1lise, visualiza\u00e7\u00e3o e aprendizado de m\u00e1quina no Twitter:<\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\/\">BigQuery<\/a><\/noindex>: armazenamento corporativo de dados com mecanismo SQL baseado em <noindex><a rel=\"nofollow\" href=\"https:\/\/ai.google\/research\/pubs\/pub36632\">Dremel<\/a><\/noindex>, que \u00e9 conhecido pela rapidez, simplicidade e capacidade de lidar com <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery-ml\/docs\/bigqueryml-intro\">aprendizado de m\u00e1quina<\/a><\/noindex>.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/datastudio.google.com\/overview\">Data Studio:<\/a><\/noindex> uma ferramenta de visualiza\u00e7\u00e3o de grandes dados com recursos de colabora\u00e7\u00e3o, como no Google Docs.<\/li>\n<\/ul>\n<p>\nNeste artigo, voc\u00ea aprender\u00e1 sobre nossa experi\u00eancia com essas ferramentas: o que fizemos, o que aprendemos e o que faremos a seguir. Agora, vamos nos concentrar em an\u00e1lises em lote e interativas. A an\u00e1lise em tempo real ser\u00e1 discutida no pr\u00f3ximo artigo.<\/p>\n<h2>A hist\u00f3ria dos data warehouses no Twitter<\/h2>\n<p>\nAntes de nos aprofundarmos no BigQuery, \u00e9 importante resumir brevemente a hist\u00f3ria dos data warehouses no Twitter. Em 2011, a an\u00e1lise de dados no Twitter era realizada no Vertica e Hadoop. Para criar o MapReduce no Hadoop, utiliz\u00e1vamos o Pig. Em 2012, substitu\u00edmos o Pig pelo Scalding, que tinha uma API em Scala e oferecia vantagens como a capacidade de criar pipelines complexos e simplicidade nos testes. No entanto, para muitos analistas de dados e gerentes de produto, que se sentiam mais confort\u00e1veis trabalhando com SQL, isso representava uma curva de aprendizado bastante acentuada. Aproximadamente em 2016, come\u00e7amos a usar o Presto como interface SQL para os dados do Hadoop. O Spark oferecia uma interface em Python, o que o tornava uma boa escolha para pesquisas ad hoc e aprendizado de m\u00e1quina.<\/p>\n<p>Desde 2018, utilizamos as seguintes ferramentas para an\u00e1lise e visualiza\u00e7\u00e3o de dados:<\/p>\n<ul>\n<li>Scalding para pipelines de produ\u00e7\u00e3o<\/li>\n<li>Scalding e Spark para an\u00e1lise ad hoc de dados e aprendizado de m\u00e1quina<\/li>\n<li>Vertica e Presto para an\u00e1lise SQL ad hoc e interativa <\/li>\n<li>Druid para acesso interativo, explorat\u00f3rio e de baixa lat\u00eancia a m\u00e9tricas de s\u00e9ries temporais<\/li>\n<li>Tableau, Zeppelin e Pivot para visualiza\u00e7\u00e3o de dados<\/li>\n<\/ul>\n<p>\nDescobrimos que, embora essas ferramentas ofere\u00e7am recursos poderosos, enfrent\u00e1vamos desafios em disponibilizar essas capacidades para um p\u00fablico mais amplo no Twitter. Ao expandir nossa plataforma com o Google Cloud, estamos focando na simplifica\u00e7\u00e3o de nossas ferramentas anal\u00edticas para todo o Twitter.<\/p>\n<h2>O armaz\u00e9m de dados BigQuery do Google <\/h2>\n<p>\nV\u00e1rias equipes no Twitter j\u00e1 incorporaram o BigQuery em alguns de seus pipelines de produ\u00e7\u00e3o. Usando suas experi\u00eancias, come\u00e7amos a avaliar as capacidades do BigQuery para todos os cen\u00e1rios de uso no Twitter. Nosso objetivo era disponibilizar o BigQuery para toda a empresa, al\u00e9m de padroniz\u00e1-lo e mant\u00ea-lo dentro do conjunto de ferramentas da Data Platform. Isso apresentou muitas dificuldades. Precis\u00e1vamos desenvolver a infraestrutura para receber grandes volumes de dados de forma confi\u00e1vel, suportar a gest\u00e3o de dados em escala empresarial, garantir controle de acesso adequado e proteger a privacidade dos clientes. Tamb\u00e9m tivemos que criar sistemas para distribui\u00e7\u00e3o de recursos, monitoramento e cobran\u00e7a, para que as equipes pudessem utilizar o BigQuery de forma eficaz.<\/p>\n<p>Em novembro de 2018, lan\u00e7amos a vers\u00e3o alfa do BigQuery e do Data Studio para toda a empresa. Oferecemos aos funcion\u00e1rios do Twitter algumas das nossas tabelas mais utilizadas com dados pessoais limpos. O BigQuery foi utilizado por mais de 250 usu\u00e1rios de diferentes equipes, incluindo engenharia, finan\u00e7as e marketing. Recentemente, eles realizaram cerca de 8 mil consultas, processando cerca de 100 PB por m\u00eas, sem contar as consultas agendadas. Recebendo feedbacks muito positivos, decidimos avan\u00e7ar e oferecer o BigQuery como o recurso principal para intera\u00e7\u00e3o com dados no Twitter.<\/p>\n<p>Aqui est\u00e1 o esquema de arquitetura de alto n\u00edvel do nosso armaz\u00e9m de dados Google BigQuery. <\/p>\n<p><img decoding=\"async\" alt=\"Como o BigQuery do Google democratizou a an\u00e1lise de dados. Parte 1\" src=\"\/wp-content\/uploads\/2020\/08\/6a3e0b43752ebbac641c43519c8c2fba.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\nCopiamos dados de clusters Hadoop locais para o Google Cloud Storage (GCS), usando uma ferramenta interna chamada Cloud Replicator. Em seguida, usamos o Apache Airflow para criar pipelines que utilizam \"<noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\/docs\/reference\/bq-cli-reference#bq_load\">bq_load<\/a><\/noindex>\" para carregar dados do GCS no BigQuery. Usamos o Presto para consultar conjuntos de dados Parquet ou Thrift-LZO no GCS. O BQ Blaster \u00e9 uma ferramenta interna Scalding para carregar conjuntos de dados HDFS Vertica e Thrift-LZO no BigQuery.<\/p>\n<p>Nas se\u00e7\u00f5es seguintes, discutiremos nossa abordagem e conhecimento em rela\u00e7\u00e3o \u00e0 facilidade de uso, desempenho, gerenciamento de dados, confiabilidade do sistema e custo.<\/p>\n<h4>Facilidade de uso<\/h4>\n<p>\nDescobrimos que os usu\u00e1rios tinham facilidade em come\u00e7ar a usar o BigQuery, pois n\u00e3o era necess\u00e1rio instalar software e os usu\u00e1rios podiam acess\u00e1-lo atrav\u00e9s de uma interface web intuitiva. No entanto, os usu\u00e1rios precisavam se familiarizar com algumas funcionalidades do GCP e suas concep\u00e7\u00f5es, incluindo recursos como projetos, conjuntos de dados e tabelas. Desenvolvemos materiais de treinamento e tutoriais para ajudar os usu\u00e1rios a come\u00e7arem. Com uma compreens\u00e3o b\u00e1sica, os usu\u00e1rios conseguiram navegar facilmente pelos conjuntos de dados, visualizar o esquema e os dados das tabelas, realizar consultas simples e visualizar os resultados no Data Studio.<\/p>\n<p>Nosso objetivo em rela\u00e7\u00e3o \u00e0 entrada de dados no BigQuery era garantir o carregamento suave de conjuntos de dados HDFS ou GCS com um clique. Consideramos <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/composer\/\">Cloud Composer<\/a><\/noindex> (Airflow gerenciado), mas n\u00e3o conseguimos utiliz\u00e1-lo devido ao nosso modelo de seguran\u00e7a \"Compartilhamento Restrito de Dom\u00ednio\" (mais detalhes na se\u00e7\u00e3o \"Gerenciamento de Dados\" abaixo). Experimentamos usar o Google Data Transfer Service (DTS) para organizar tarefas de carga no BigQuery. Embora o DTS tenha sido rapidamente configurado, ele n\u00e3o era flex\u00edvel para construir pipelines com depend\u00eancias. Para nossa vers\u00e3o alfa, criamos nosso pr\u00f3prio ambiente Apache Airflow no GCE e o estamos preparando para produ\u00e7\u00e3o e para suportar mais fontes de dados, como Vertica.<\/p>\n<p>Para transformar dados em BigQuery, os usu\u00e1rios criam pipelines de dados SQL simples utilizando consultas agendadas. Para pipelines complexos em m\u00faltiplas etapas com depend\u00eancias, planejamos usar nossa pr\u00f3pria infraestrutura Airflow ou o Cloud Composer junto com <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/dataflow\/\">Cloud Dataflow<\/a><\/noindex>.<\/p>\n<h4>Desempenho<\/h4>\n<p>\nO BigQuery \u00e9 projetado para consultas SQL de prop\u00f3sito geral que processam grandes volumes de dados. N\u00e3o \u00e9 destinado a consultas de baixa lat\u00eancia e alta capacidade, necess\u00e1rias para bancos de dados transacionais, ou para an\u00e1lise de s\u00e9ries temporais com baixa lat\u00eancia, implementadas <noindex><a rel=\"nofollow\" href=\"https:\/\/druid.apache.org\/\">Apache Druid<\/a><\/noindex>. Para consultas anal\u00edticas interativas, nossos usu\u00e1rios esperam um tempo de resposta inferior a um minuto. Precis\u00e1vamos projetar o uso do BigQuery de forma a atender a essas expectativas. Para garantir um desempenho previs\u00edvel para nossos usu\u00e1rios, utilizamos os recursos do BigQuery dispon\u00edveis para clientes com pagamento fixo, que permite aos propriet\u00e1rios de projetos reservar slots m\u00ednimos para suas consultas. <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\/docs\/slots\">Slot<\/a><\/noindex> O BigQuery \u00e9 uma unidade de poder computacional necess\u00e1ria para executar consultas SQL. <\/p>\n<p>Analisamos mais de 800 consultas, que processam cerca de 1 TB de dados cada, e descobrimos que o tempo m\u00e9dio de execu\u00e7\u00e3o foi de 30 segundos. Tamb\u00e9m aprendemos que o desempenho depende muito do uso de nosso slot em diversos projetos e tarefas. Precis\u00e1vamos distinguir claramente nossas reservas de slots para produ\u00e7\u00e3o e ad hoc, a fim de manter o desempenho para cen\u00e1rios de uso produtivo e an\u00e1lise interativa. Isso influenciou bastante nosso design para a reserva de slots e a hierarquia dos projetos.<\/p>\n<p><i>Sobre a gest\u00e3o de dados, funcionalidades e custos dos sistemas, falaremos nos pr\u00f3ximos dias na segunda parte da tradu\u00e7\u00e3o, mas agora convidamos todos os interessados para um <noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/wDZQ\/\">webinar ao vivo gratuito<\/a><\/noindex>, onde ser\u00e1 poss\u00edvel saber mais sobre o curso e tamb\u00e9m fazer perguntas ao nosso especialista \u2014 Yegor Mateshuk (Engenheiro de Dados S\u00eanior, MaximaTelecom). <\/i><\/p>\n<p><\/p>\n<h2>Leia mais:<\/h2>\n<p><\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/501380\/\">Data Build Tool ou o que h\u00e1 em comum entre Armazenamento de Dados e Smoothies<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/502324\/\">Imers\u00e3o no Delta Lake: aplica\u00e7\u00e3o obrigat\u00f3ria e evolu\u00e7\u00e3o do esquema<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/503132\/\">Apache Parquet de alta velocidade no Python com Apache Arrow<\/a><\/noindex><\/li>\n<\/ul>\n<p>Fonte: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/513780\/\">habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb. \u0412 \u043f\u0440\u0435\u0434\u0434\u0432\u0435\u0440\u0438\u0438 \u0441\u0442\u0430\u0440\u0442\u0430 \u043a\u0443\u0440\u0441\u0430 \u043c\u044b \u0442\u0440\u0430\u0434\u0438\u0446\u0438\u043e\u043d\u043d\u043e \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u0438\u043b\u0438 \u0434\u043b\u044f \u0432\u0430\u0441 \u043f\u0435\u0440\u0435\u0432\u043e\u0434 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0433\u043e \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u0430. \u041a\u0430\u0436\u0434\u044b\u0439 \u0434\u0435\u043d\u044c \u0431\u043e\u043b\u0435\u0435 \u0441\u0442\u0430 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u0447\u0435\u043b\u043e\u0432\u0435\u043a \u043f\u043e\u0441\u0435\u0449\u0430\u044e\u0442 Twitter, \u0447\u0442\u043e\u0431\u044b \u0443\u0437\u043d\u0430\u0442\u044c, \u0447\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0432 \u043c\u0438\u0440\u0435, \u0438 \u043e\u0431\u0441\u0443\u0434\u0438\u0442\u044c \u044d\u0442\u043e. \u041a\u0430\u0436\u0434\u044b\u0439 \u0442\u0432\u0438\u0442 \u0438 \u043b\u044e\u0431\u043e\u0435 \u0434\u0440\u0443\u0433\u043e\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u044e\u0442 \u0441\u043e\u0431\u044b\u0442\u0438\u0435, \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0435 \u0434\u043b\u044f \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0433\u043e [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":90784,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-90783","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.3 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/pt\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1\" \/>\n\t\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.3\" \/>\n\t\t<meta property=\"og:locale\" content=\"pt_PT\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041a\u0430\u043a BigQuery \u043e\u0442 Google \u0434\u0435\u043c\u043e\u043a\u0440\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445. \u0427\u0430\u0441\u0442\u044c 1 | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/pt\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2020-08-05T23:42:19+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-08-05T23:42:19+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Como o BigQuery do Google democratizou a an\u00e1lise de dados. Parte 1 | ProHoster","description":"Ol\u00e1, Habr! Atualmente, a OTUS est\u00e1 com inscri\u00e7\u00f5es abertas para uma nova turma do curso \"Data Engineer\".","canonical_url":"https:\/\/prohoster.info\/pt\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"pt_PT","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041a\u0430\u043a BigQuery \u043e\u0442 Google \u0434\u0435\u043c\u043e\u043a\u0440\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445. \u0427\u0430\u0441\u0442\u044c 1 | ProHoster","og:description":"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb.","og:url":"https:\/\/prohoster.info\/pt\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-08-05T23:42:19+00:00","article:modified_time":"2020-08-05T23:42:19+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"90783","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 12:42:25","updated":"2022-10-03 03:00:18","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/posts\/90783","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/comments?post=90783"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/posts\/90783\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/media\/90784"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/media?parent=90783"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/categories?post=90783"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/tags?post=90783"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}