{"id":90783,"date":"2020-08-06T01:42:19","date_gmt":"2020-08-05T23:42:19","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1"},"modified":"2020-08-06T01:42:19","modified_gmt":"2020-08-05T23:42:19","slug":"kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1","status":"publish","type":"post","link":"https:\/\/prohoster.info\/nl\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1","title":{"rendered":"Hoe Google BigQuery het analyseren van gegevens democratiseerde. Deel 1","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p><b><i>Hallo, Habr! Momenteel is er een nieuwe aanmelding geopend voor de cursus bij OTUS. <noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/wDZQ\/\">\u00abData Engineer\u00bb<\/a><\/noindex>. Voor de start van de cursus hebben we traditioneel interessant materiaal voor u vertaald. <\/i><\/b><\/p>\n<p>\nElke dag bezoeken meer dan honderd miljoen mensen Twitter om te achterhalen wat er in de wereld gebeurt en dit te bespreken. Elke tweet en elke andere gebruikersactie genereert een gebeurtenis die beschikbaar is voor interne data-analyse in Twitter. Honderden medewerkers analyseren en visualiseren deze gegevens, en het verbeteren van hun ervaring is de topprioriteit voor het Twitter Data Platform-team. <\/p>\n<p>Wij geloven dat gebruikers met een breed scala aan technische vaardigheden in staat moeten zijn om gegevens te vinden en toegang te hebben tot goed functionerende analysetools en visualisatie op basis van SQL. Dit zou een geheel nieuwe groep gebruikers met minder technische expertise, waaronder data-analisten en productmanagers, in staat stellen om informatie uit gegevens te extraheren, zodat zij de mogelijkheden van Twitter beter begrijpen en benutten. Zo democratizeren we data-analyse in Twitter. <noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<p>Naarmate we onze tools en mogelijkheden voor interne data-analyse verfijnen, hebben we verbeteringen in de Twitter-service waargenomen. Er is echter nog veel ruimte voor groei. De huidige tools, zoals Scalding, vereisen programmeerervaring. Analysetools op basis van SQL, zoals Presto en Vertica, hebben prestatieproblemen op grote schaal. We hebben ook een probleem met het verspreiden van gegevens over meerdere systemen zonder constante toegang tot deze gegevens.<\/p>\n<p>Vorige jaar hebben we aangekondigd dat <noindex><a rel=\"nofollow\" href=\"https:\/\/blog.twitter.com\/engineering\/en_us\/topics\/infrastructure\/2018\/a-new-collaboration-with-google-cloud.html\">we een nieuwe samenwerking met Google<\/a><\/noindex>zijn aangegaan, waarbij we delen van onze <noindex><a rel=\"nofollow\" href=\"https:\/\/blog.twitter.com\/engineering\/en_us\/topics\/infrastructure\/2019\/the-start-of-a-journey-into-the-cloud.html\">data-infrastructuur<\/a><\/noindex> naar Google Cloud Platform (GCP) verplaatsen. We hebben geconcludeerd dat de tools van Google Cloud <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/products\/big-data\/\">Big Data<\/a><\/noindex> ons kunnen helpen bij onze initiatieven om analyse, visualisatie en machine learning in Twitter te democratiseren:<\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\/\">BigQuery<\/a><\/noindex>: een enterprise data warehouse met een SQL-motor op basis van <noindex><a rel=\"nofollow\" href=\"https:\/\/ai.google\/research\/pubs\/pub36632\">Dremel,<\/a><\/noindex>die bekendstaat om zijn snelheid, eenvoud en capaciteit voor <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery-ml\/docs\/bigqueryml-intro\">machinaal leren<\/a><\/noindex>.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/datastudio.google.com\/overview\">Data Studio:<\/a><\/noindex> een tool voor de visualisatie van big data met samenwerkingsfuncties, zoals in Google Docs.<\/li>\n<\/ul>\n<p>\nIn dit artikel leert u over onze ervaringen met deze tools: wat we hebben gedaan, wat we hebben geleerd en wat we als volgende stappen zullen ondernemen. Op dit moment richten we ons op batch- en interactieve analyse. Real-time analyse zullen we in het volgende artikel bespreken.<\/p>\n<h2>De geschiedenis van data warehouses bij Twitter<\/h2>\n<p>\nVoordat we dieper ingaan op BigQuery, is het de moeite waard om de geschiedenis van dataopslag bij Twitter kort samen te vatten. In 2011 werd data-analyse bij Twitter uitgevoerd in Vertica en Hadoop. Voor het cre\u00ebren van MapReduce-taken in Hadoop gebruikten we Pig. In 2012 vervingen we Pig door Scalding, dat een Scala API had met voordelen zoals de mogelijkheid om complexe pipelines te maken en eenvoudig te testen. Toch was het voor veel data-analisten en productmanagers die comfortabeler met SQL werkten een vrij steile leercurve. Rond 2016 begonnen we Presto te gebruiken als SQL-interface voor Hadoop-gegevens. Spark bood een Python-interface die het een goede keuze maakte voor ad-hoc data-analyse en machine learning.<\/p>\n<p>Vanaf 2018 hebben we de volgende tools gebruikt voor data-analyse en visualisatie:<\/p>\n<ul>\n<li>Scalding voor productie-pipelines<\/li>\n<li>Scalding en Spark voor ad-hoc data-analyse en machine learning<\/li>\n<li>Vertica en Presto voor ad-hoc en interactieve SQL-analyse <\/li>\n<li>Druid voor kleine interactieve, verkennende analyses en toegang met lage latentie tot tijdreeksstatistieken<\/li>\n<li>Tableau, Zeppelin en Pivot voor data-visualisatie<\/li>\n<\/ul>\n<p>\nWe hebben ontdekt dat hoewel deze tools zeer krachtige mogelijkheden bieden, we tegen uitdagingen aanliepen bij het toegankelijk maken van deze mogelijkheden voor een breder publiek binnen Twitter. Door ons platform uit te breiden met Google Cloud, richten we ons op het vereenvoudigen van onze analysetools voor het gehele Twitter.<\/p>\n<h2>De data-opslag van BigQuery van Google <\/h2>\n<p>\nEen aantal teams binnen Twitter heeft BigQuery al ge\u00efntegreerd in enkele van hun productie-pipelines. Vertrouwend op hun ervaring zijn we begonnen met het evalueren van de mogelijkheden van BigQuery voor alle gebruiksscenario's binnen Twitter. Ons doel was om BigQuery aan het hele bedrijf aan te bieden en het te standaardiseren en te ondersteunen binnen de toolbox van het Data Platform. Dit was om verschillende redenen een uitdaging. We moesten infrastructuur ontwikkelen voor het betrouwbaar verwerken van grote hoeveelheden data, het ondersteunen van datamanagement op bedrijfsniveau, het waarborgen van juiste toegangscontrole en het garanderen van klantprivacy. We moesten ook systemen opzetten voor resource-distributie, monitoring en facturering, zodat teams BigQuery effectief konden gebruiken.<\/p>\n<p>In november 2018 hebben wij de alfa-releases van BigQuery en Data Studio voor het hele bedrijf uitgebracht. We hebben Twitter-medewerkers enkele van onze vaak gebruikte tabellen met geanonimiseerde persoonlijke gegevens aangeboden. Meer dan 250 gebruikers uit verschillende teams, waaronder engineering, financi\u00ebn en marketing, gebruikten BigQuery. Recentelijk voerden zij ongeveer 8.000 queries uit, met een verwerking van ongeveer 100 PB per maand, exclusief geplande queries. Na zeer positieve feedback hebben we besloten verder te gaan en BigQuery als de belangrijkste bron voor gegevensinteractie binnen Twitter aan te bieden.<\/p>\n<p>Dit is het schema van de high-level architectuur van onze data-opslag Google BigQuery. <\/p>\n<p><img decoding=\"async\" alt=\"Hoe Google BigQuery het analyseren van gegevens democratiseerde. Deel 1\" src=\"\/wp-content\/uploads\/2020\/08\/6a3e0b43752ebbac641c43519c8c2fba.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\nWe kopi\u00ebren gegevens van lokale Hadoop-clusters naar Google Cloud Storage (GCS) met behulp van ons interne Cloud Replicator gereedschap. Vervolgens gebruiken we Apache Airflow om pipelines te cre\u00ebren die gebruik maken van \"<noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\/docs\/reference\/bq-cli-reference#bq_load\">bq_load<\/a><\/noindex>\" om gegevens van GCS naar BigQuery te laden. We gebruiken Presto om datasets in Parquet of Thrift-LZO in GCS te query'en. BQ Blaster is een intern Scalding-gereedschap voor het laden van datasets van HDFS Vertica en Thrift-LZO naar BigQuery.<\/p>\n<p>In de volgende secties zullen we onze aanpak en kennis over gebruiksvriendelijkheid, prestaties, databeheer, systeembetrouwbaarheid en kosten bespreken.<\/p>\n<h4>Gebruiksvriendelijkheid<\/h4>\n<p>\nWe hebben ontdekt dat gebruikers gemakkelijk met BigQuery konden beginnen, aangezien er geen software-installatie nodig was en gebruikers toegang konden krijgen via een intu\u00eftieve webinterface. Echter, gebruikers moesten vertrouwd raken met enkele functies van GCP en zijn concepten, zoals bronnen, projecten, datasets en tabellen. We hebben leermaterialen en tutorials ontwikkeld om gebruikers op weg te helpen. Met een basisbegrip was het voor gebruikers eenvoudig om door datasets te navigeren, schema's en gegevens van tabellen te bekijken, eenvoudige queries uit te voeren en resultaten in Data Studio te visualiseren.<\/p>\n<p>Ons doel met betrekking tot het invoeren van gegevens in BigQuery was om een soepele upload van HDFS- of GCS-datasets met \u00e9\u00e9n muisklik te faciliteren. We hebben gekeken naar <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/composer\/\">Cloud Composer<\/a><\/noindex> (beheerd Airflow), maar we konden het niet gebruiken vanwege ons beveiligingsmodel 'Domain Restricted Sharing' (meer hierover in de sectie 'Gegevensbeheer' hieronder). We hebben ge\u00ebxperimenteerd met het gebruik van Google Data Transfer Service (DTS) voor het organiseren van belastingstests in BigQuery. Hoewel DTS snel was ingesteld, was het niet flexibel voor het bouwen van pijplijnen met afhankelijkheden. Voor onze alfaversie hebben we onze eigen Apache Airflow-omgeving in GCE gemaakt en bereiden we het voor op productie en de mogelijkheid om meer gegevensbronnen te ondersteunen, zoals Vertica.<\/p>\n<p>Voor het transformeren van gegevens in BigQuery cre\u00ebren gebruikers eenvoudige SQL-datapijplijnen met behulp van geplande queries. Voor complexe, meervoudige pijplijnen met afhankelijkheden zijn we van plan om ofwel onze eigen Airflow-infrastructuur, of Cloud Composer samen met <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/dataflow\/\">Cloud Dataflow<\/a><\/noindex>.<\/p>\n<h4>Prestaties<\/h4>\n<p>\nBigQuery is ontworpen voor algemene SQL-queries die grote hoeveelheden gegevens verwerken. Het is niet bedoeld voor queries met lage latentie en hoge doorvoer, die nodig zijn voor transactionele databases, of voor de analyses van tijdreeksen met lage latentie, die worden ge\u00efmplementeerd <noindex><a rel=\"nofollow\" href=\"https:\/\/druid.apache.org\/\">Apache Druid<\/a><\/noindex>. Voor interactieve analytische queries verwachten onze gebruikers een responstijd van minder dan een minuut. We moesten het gebruik van BigQuery zo ontwerpen dat het aan deze verwachtingen voldoet. Om voorspelbare prestaties voor onze gebruikers te waarborgen, hebben we gebruikgemaakt van de functionaliteit van BigQuery die beschikbaar is voor klanten met een vaste prijs, waardoor projectbeheerders minimumslots voor hun queries kunnen reserveren. <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\/docs\/slots\">Slot<\/a><\/noindex> BigQuery is een eenheid van rekenkracht die nodig is om SQL-queries uit te voeren. <\/p>\n<p>We hebben meer dan 800 verzoeken geanalyseerd die elk ongeveer 1 TB aan gegevens verwerken, en ontdekten dat de gemiddelde verwerkingstijd 30 seconden bedroeg. We hebben ook ontdekt dat de prestaties sterk afhankelijk zijn van het gebruik van onze sloten in verschillende projecten en taken. We moesten duidelijk onderscheid maken tussen onze productie- en ad hoc slotreserves om de prestaties te ondersteunen voor productiescenario's en interactieve analyses. Dit heeft een aanzienlijke invloed gehad op ons ontwerp voor slotreservering en projecthi\u00ebrarchie.<\/p>\n<p><i>Over databeheer, functionaliteit en kosten van systemen, hierover zullen we in de komende dagen in het tweede deel van de vertaling spreken, maar nu nodigen we iedereen uit om deel te nemen aan <noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/wDZQ\/\">een gratis live webinar<\/a><\/noindex>, waarin je uitgebreid kunt leren over de cursus en ook vragen kunt stellen aan onze expert \u2014 Egor Mateshuk (Senior Data Engineer, MaximaTelecom). <\/i><\/p>\n<p><\/p>\n<h2>Lees meer:<\/h2>\n<p><\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/501380\/\">Data Build Tool of wat is er gemeenschappelijk tussen Datawarehouses en Smoothies<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/502324\/\">Diep duiken in Delta Lake: gedwongen toepassing en evolutie van schema's<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/503132\/\">Hoge snelheid Apache Parquet op Python met Apache Arrow<\/a><\/noindex><\/li>\n<\/ul>\n<p>Bron: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/513780\/\">habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb. \u0412 \u043f\u0440\u0435\u0434\u0434\u0432\u0435\u0440\u0438\u0438 \u0441\u0442\u0430\u0440\u0442\u0430 \u043a\u0443\u0440\u0441\u0430 \u043c\u044b \u0442\u0440\u0430\u0434\u0438\u0446\u0438\u043e\u043d\u043d\u043e \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u0438\u043b\u0438 \u0434\u043b\u044f \u0432\u0430\u0441 \u043f\u0435\u0440\u0435\u0432\u043e\u0434 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0433\u043e \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u0430. \u041a\u0430\u0436\u0434\u044b\u0439 \u0434\u0435\u043d\u044c \u0431\u043e\u043b\u0435\u0435 \u0441\u0442\u0430 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u0447\u0435\u043b\u043e\u0432\u0435\u043a \u043f\u043e\u0441\u0435\u0449\u0430\u044e\u0442 Twitter, \u0447\u0442\u043e\u0431\u044b \u0443\u0437\u043d\u0430\u0442\u044c, \u0447\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0432 \u043c\u0438\u0440\u0435, \u0438 \u043e\u0431\u0441\u0443\u0434\u0438\u0442\u044c \u044d\u0442\u043e. \u041a\u0430\u0436\u0434\u044b\u0439 \u0442\u0432\u0438\u0442 \u0438 \u043b\u044e\u0431\u043e\u0435 \u0434\u0440\u0443\u0433\u043e\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u044e\u0442 \u0441\u043e\u0431\u044b\u0442\u0438\u0435, \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0435 \u0434\u043b\u044f \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0433\u043e [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":90784,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-90783","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.3 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/nl\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1\" \/>\n\t\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.3\" \/>\n\t\t<meta property=\"og:locale\" content=\"nl_NL\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041a\u0430\u043a BigQuery \u043e\u0442 Google \u0434\u0435\u043c\u043e\u043a\u0440\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445. \u0427\u0430\u0441\u0442\u044c 1 | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/nl\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2020-08-05T23:42:19+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-08-05T23:42:19+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Hoe Google BigQuery de data-analyse heeft gedemocratiseerd. Deel 1 | ProHoster","description":"Hallo, Habr! Op dit moment is er een nieuwe instroom van de cursus \u2018Data Engineer\u2019 beschikbaar bij OTUS.","canonical_url":"https:\/\/prohoster.info\/nl\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"nl_NL","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041a\u0430\u043a BigQuery \u043e\u0442 Google \u0434\u0435\u043c\u043e\u043a\u0440\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445. \u0427\u0430\u0441\u0442\u044c 1 | ProHoster","og:description":"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb.","og:url":"https:\/\/prohoster.info\/nl\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-08-05T23:42:19+00:00","article:modified_time":"2020-08-05T23:42:19+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"90783","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 12:42:25","updated":"2022-10-03 03:00:18","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/posts\/90783","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/comments?post=90783"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/posts\/90783\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/media\/90784"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/media?parent=90783"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/categories?post=90783"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/tags?post=90783"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}