{"id":91903,"date":"2020-08-20T07:42:18","date_gmt":"2020-08-20T05:42:18","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2"},"modified":"2020-08-20T07:42:18","modified_gmt":"2020-08-20T05:42:18","slug":"kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2","status":"publish","type":"post","link":"https:\/\/prohoster.info\/da\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2","title":{"rendered":"Hvordan Google BigQuery demokratiserede dataanalyse. Del 2","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p><b><i>Hej, Habr! Lige nu er der \u00e5bent for tilmelding til et nyt hold af kurset hos OTUS. <noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/wDZQ\/\">\u00abData Engineer\u00bb<\/a><\/noindex>. Forud for kursets start forts\u00e6tter vi med at dele nyttigt materiale med jer. <\/i><\/b><\/p>\n<p><i><noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/\">L\u00e6s f\u00f8rste del<\/a><\/noindex><\/i><\/p>\n<p><img decoding=\"async\" alt=\"Hvordan Google BigQuery demokratiserede dataanalyse. Del 2\" src=\"\/wp-content\/uploads\/2020\/08\/7b9314bffd954cd408807280f8956c21.png\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<h4>Datah\u00e5ndtering<\/h4>\n<p>\nSt\u00e6rk datah\u00e5ndtering (Strong Data Governance) \u2014 en grundl\u00e6ggende princip i Twitter Engineering. Da vi implementerer BigQuery p\u00e5 vores platform, fokuserer vi p\u00e5 dataopdagelse, adgangskontrol, sikkerhed og privatliv.<noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<p>For dataopdagelse og -styring har vi udvidet vores datatilgangsniveau (Data Access Layer \u2014 <noindex><a rel=\"nofollow\" href=\"https:\/\/blog.twitter.com\/engineering\/en_us\/topics\/insights\/2016\/discovery-and-consumption-of-analytics-data-at-twitter.html\">DAL<\/a><\/noindex>), s\u00e5 vi kan give v\u00e6rkt\u00f8jer til b\u00e5de lokale data og data fra Google Cloud, hvilket giver vores brugere en ensartet gr\u00e6nseflade og API. Efterh\u00e5nden som Google <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/data-catalog\/\">Data Catalog<\/a><\/noindex> g\u00e5r mod offentligheden, vil vi inkludere det i vores projekter for at give brugerne funktioner som s\u00f8gning p\u00e5 kolonner.<\/p>\n<p>BigQuery g\u00f8r det nemt at dele data og f\u00e5 adgang til dem, men vi var n\u00f8dt til at kontrollere dette til en vis grad for at forhindre datal\u00e6kage. Blandt andre v\u00e6rkt\u00f8jer valgte vi to funktioner:<\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/resource-manager\/docs\/organization-policy\/restricting-domains\">Dom\u00e6nebegr\u00e6nset deling<\/a><\/noindex>: en beta-funktion, der forhindrer brugere i at dele BigQuery-datasets med brugere udenfor Twitter.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/vpc-service-controls\/\">VPC-servicekontroller<\/a><\/noindex>: en kontrolmekanisme, der forhindrer datal\u00e6kage og kr\u00e6ver, at brugerne har adgang til BigQuery fra kendte IP-adresser.<\/li>\n<\/ul>\n<p>\nVi implementerede krav til autentifikation, autorisation og revision (AAA) for at sikre sikkerheden p\u00e5 f\u00f8lgende m\u00e5de:<\/p>\n<ul>\n<li> Autentifikation: vi brugte GCP-bruger-konti til ad hoc foresp\u00f8rgsler og servicekonti til arbejdskrav.<\/li>\n<li>Autorisation: vi kr\u00e6vede, at hvert dataset havde en ejer-servicekonto og en l\u00e6segruppe.<\/li>\n<li>Revision: vi eksporterede logs fra BigQuery stackdriver, som indeholdt detaljerede oplysninger om foresp\u00f8rgselsudf\u00f8relse, til et BigQuery dataset for nem analyse.<\/li>\n<\/ul>\n<p>\nFor at sikre korrekt behandling af personlige data fra Twitter-brugere, skal vi registrere alle BigQuery-datas\u00e6t, annotere personlige data, sikre korrekt opbevaring og slette (rens) data, der er blevet slettet af brugerne.<\/p>\n<p>Vi overvejede Google <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/dlp\/\">Cloud Data Loss Prevention API<\/a><\/noindex>, der bruger maskinl\u00e6ring til klassificering og redigering af fortrolige oplysninger, men vi besluttede at g\u00e5 med manuel annotering af datas\u00e6ttet p\u00e5 grund af n\u00f8jagtigheden. Vi planl\u00e6gger at bruge Data Loss Prevention API til at supplere brugerens annotering.<\/p>\n<p>I Twitter har vi oprettet fire fortrolighedskategorier for datas\u00e6t i BigQuery, angivet her i r\u00e6kkef\u00f8lge efter f\u00f8lsomhed:<\/p>\n<ul>\n<li>H\u00f8jsensitive datas\u00e6t er tilg\u00e6ngelige efter behov baseret p\u00e5 princippet om mindst privilegium. Hvert datas\u00e6t har en s\u00e6rskilt gruppe l\u00e6sere, og vi vil overv\u00e5ge brugen af individuelle konti.<\/li>\n<li>Mellemsensitive datas\u00e6t (envejs pseudonymer ved brug af saltet hashing) indeholder ikke personlige oplysninger (Personally Identifiable Information \u2014 PII) og er tilg\u00e6ngelige for en st\u00f8rre gruppe ansatte. Dette er en god balance mellem fortrolighedshensyn og dataanvendelighed. Det giver ansatte mulighed for at udf\u00f8re analyser som at beregne antallet af brugere, der har brugt en funktion, uden at kende de egentlige brugere.<\/li>\n<li>Lavf\u00f8lsomme datas\u00e6t med al information, der identificerer brugeren. Dette er en god tilgang med hensyn til fortrolighed, men det kan ikke anvendes til bruger niveau analyse.<\/li>\n<li>Offentlige datas\u00e6t (udgivet uden for Twitter) er tilg\u00e6ngelige for alle Twitter-ansatte.<\/li>\n<\/ul>\n<p>\nHvad ang\u00e5r registreringen, brugte vi planlagte opgaver til at liste datas\u00e6t i BigQuery og registrere dem i Data Access Layer (<noindex><a rel=\"nofollow\" href=\"https:\/\/blog.twitter.com\/engineering\/en_us\/topics\/insights\/2016\/discovery-and-consumption-of-analytics-data-at-twitter.html\">DAL<\/a><\/noindex>), Twitter's metadata-lager. Brugerne vil annotere datas\u00e6t med fortrolighedsinformation samt angive opbevaringsperioden. Hvad ang\u00e5r reng\u00f8ring, vurderer vi ydeevne og omkostninger ved to muligheder: <i>1.<\/i> Reng\u00f8ring af datas\u00e6t i GCS ved hj\u00e6lp af v\u00e6rkt\u00f8jer som Scalding, og upload af dem til BigQuery; <i>2.<\/i> Brug af BigQuery DML-operat\u00f8rer. Vi vil sandsynligvis bruge en kombination af begge metoder for at im\u00f8dekomme kravene fra forskellige grupper og data.<\/p>\n<h4>Systemfunktionalitet<\/h4>\n<p>\nDa BigQuery er en h\u00e5ndteret tjeneste, var der ikke behov for at involvere SRE-teamet hos Twitter i systemadministration eller vagttjeneste. Det var nemt at sikre stor kapacitet b\u00e5de til lagring og beregning. Vi kunne \u00e6ndre slotreservationer ved at oprette billetter til Google Support. Vi har identificeret, at vi kunne forbedre for eksempel selvbetjeningen til slotfordeling og forbedre dashboardet til overv\u00e5gning, og vi har sendt disse anmodninger til Google.<\/p>\n<h4>Omkostninger<\/h4>\n<p>\nVores indledende analyse viste, at omkostningerne ved foresp\u00f8rgsler for BigQuery og Presto var p\u00e5 samme niveau. Vi k\u00f8bte slots til <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\/pricing#flat_rate_pricing\">fast<\/a><\/noindex> pris for at have stabile m\u00e5nedlige omkostninger i stedet for at betale <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\/pricing#on_demand_pricing\">efter behov<\/a><\/noindex> pr. TB behandlede data. Denne beslutning var ogs\u00e5 baseret p\u00e5 brugerfeedback, som ikke \u00f8nskede at t\u00e6nke p\u00e5 omkostningerne, f\u00f8r de udf\u00f8rte hver foresp\u00f8rgsel.<\/p>\n<p>Lagring af data i BigQuery medf\u00f8rte omkostninger ud over omkostningerne ved GCS. V\u00e6rkt\u00f8jer som Scalding kr\u00e6ver datas\u00e6t i GCS, og for at f\u00e5 adgang til BigQuery m\u00e5tte vi uploade de samme datas\u00e6t i BigQuery-format. <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/blog\/products\/gcp\/inside-capacitor-bigquerys-next-generation-columnar-storage-format\">Capacitor<\/a><\/noindex>. Vi arbejder p\u00e5 at forbinde Scalding med BigQuery-datas\u00e6t, hvilket vil fjerne behovet for at gemme datas\u00e6t b\u00e5de i GCS og BigQuery.<\/p>\n<p>For sj\u00e6ldne tilf\u00e6lde, der kr\u00e6vede sporadiske foresp\u00f8rgsler p\u00e5 titusinder af petabytes, besluttede vi, at det ikke var \u00f8konomisk effektivt at gemme datas\u00e6t i BigQuery, og vi brugte Presto til direkte adgang til datas\u00e6t i GCS. Til dette ser vi p\u00e5 BigQuery External Data Sources.<\/p>\n<h3>N\u00e6ste skridt<\/h3>\n<p>\nVi har bem\u00e6rket stor interesse for BigQuery siden udgivelsen af alpha. Vi tilf\u00f8jer flere datas\u00e6t og flere teams til BigQuery. Vi udvikler connectores til dataanalysev\u00e6rkt\u00f8jer som Scalding for at l\u00e6se og skrive til BigQuery-lagerrum. Vi overvejer v\u00e6rkt\u00f8jer som Looker og Apache Zeppelin til at skabe virksomhedens rapporter om kvalitet og noter ved hj\u00e6lp af BigQuery-datas\u00e6t.<\/p>\n<p>Samarbejdet med Google har v\u00e6ret meget produktivt, og vi ser frem til at forts\u00e6tte og udvikle dette partnerskab. Vi har arbejdet sammen med Google for at implementere vores egen <noindex><a rel=\"nofollow\" href=\"https:\/\/developers.google.com\/issue-tracker\/guides\/partner-access\">Partner Issue Tracker<\/a><\/noindex>, s\u00e5 vi direkte kan sende anmodninger til Google. Nogle af dem, s\u00e5som BigQuery Parquet-lifteren, er allerede implementeret af Google.<\/p>\n<p>Her er nogle af vores h\u00f8jt prioriterede funktionsanmodninger til Google:<\/p>\n<ul>\n<li>V\u00e6rkt\u00f8jer til nem modtagelse af data og st\u00f8tte til LZO-Thrift-formatet.<\/li>\n<li>Timebaseret segmentering<\/li>\n<li>Forbedringer inden for adgangskontrol, s\u00e5som tabel-, r\u00e6kke- og kolonnebaserede tilladelser.<\/li>\n<li>BigQuery <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\/external-data-sources\">Eksterne datakilder<\/a><\/noindex> med integration og st\u00f8tte til Hive Metastore for LZO-Thrift-formatet.<\/li>\n<li>Forbedret datakatalogintegration i BigQuery-brugergr\u00e6nsefladen<\/li>\n<li>Selvbetjening til distribution og overv\u00e5gning af slots.<\/li>\n<\/ul>\n<p><\/p>\n<h3>Konklusion<\/h3>\n<p>\nDemokratisering af dataanalyse, visualisering og maskinl\u00e6ring p\u00e5 en sikker m\u00e5de er en h\u00f8jprioritet for Data Platform-teamet. Vi har identificeret Google BigQuery og Data Studio som v\u00e6rkt\u00f8jer, der kan hj\u00e6lpe med at n\u00e5 dette m\u00e5l, og vi lancerede sidste \u00e5r BigQuery Alpha for hele virksomheden. <\/p>\n<p>Vi har fundet, at foresp\u00f8rgsler i BigQuery var enkle og effektive. Til modtagelse og transformation af data brugte vi Googles v\u00e6rkt\u00f8jer til enkle pipelines, men til komplekse pipelines var vi n\u00f8dt til at opbygge vores egen Airflow-infrastruktur. I forhold til datastyring opfylder BigQuery-tjenesterne for autentifikation, autorisation og revision vores behov. For at h\u00e5ndtere metadata og overholde fortrolighed havde vi brug for st\u00f8rre fleksibilitet og m\u00e5tte oprette vores egne systemer. BigQuery, som er en administreret tjeneste, var nem at betjene. Omkostningerne ved foresp\u00f8rgsler var sammenlignelige med eksisterende v\u00e6rkt\u00f8jer. Omkostningerne ved datalagring i BigQuery var ud over omkostningerne til GCS.<\/p>\n<p>Generelt fungerer BigQuery godt til generel SQL-analyse. Vi bem\u00e6rker stor interesse for BigQuery, og vi arbejder p\u00e5 at overf\u00f8re flere datam\u00e6ngder, tiltr\u00e6kke flere teams og skabe flere pipelines med BigQuery. I Twitter bruges forskellige data, der kr\u00e6ver en kombination af v\u00e6rkt\u00f8jer som Scalding, Spark, Presto og Druid. Vi har til hensigt at forts\u00e6tte med at udvide vores dataanalysev\u00e6rkt\u00f8jer og give klare anbefalinger til vores brugere om, hvordan de bedst muligt kan udnytte vores tilbud.<\/p>\n<h3>Ord af taknemmelighed<\/h3>\n<p>\nJeg vil gerne takke mine medforfattere og teamkammerater, Anju Dja og Will Pascucci, for deres fantastiske samarbejde og h\u00e5rde arbejde p\u00e5 dette projekt. Jeg vil ogs\u00e5 takke ingeni\u00f8rerne og lederne fra flere hold hos Twitter og Google, som hjalp os og brugerne af BigQuery hos Twitter, for deres v\u00e6rdifulde feedback.<\/p>\n<p>Hvis du er interesseret i at arbejde med disse opgaver, s\u00e5 tjek vores <noindex><a rel=\"nofollow\" href=\"https:\/\/careers.twitter.com\/content\/careers-twitter\/en\/jobs-search.html?q=&amp;team=careers-twitter%3Ateam%2Finfrastructure-engineering\">stillingsopslag<\/a><\/noindex> i Data Platform-teamet.<\/p>\n<p>\n<noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/eD9S\/\">Datakvalitet i DWH - konsistensen af datalageret<\/a><\/noindex><\/p>\n<p>Kilde: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/513782\/\">habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb. \u0412 \u043f\u0440\u0435\u0434\u0434\u0432\u0435\u0440\u0438\u0438 \u0441\u0442\u0430\u0440\u0442\u0430 \u043a\u0443\u0440\u0441\u0430 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u043c \u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u0441 \u0432\u0430\u043c\u0438 \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u043c \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u043e\u043c. \u0427\u0438\u0442\u0430\u0442\u044c \u043f\u0435\u0440\u0432\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u0423\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0421\u0438\u043b\u044c\u043d\u043e\u0435 \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 (Strong Data Governance) \u2014 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043f\u0440\u0438\u043d\u0446\u0438\u043f Twitter Engineering. \u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043c\u044b \u0432\u043d\u0435\u0434\u0440\u044f\u0435\u043c BigQuery \u0432 \u043d\u0430\u0448\u0443 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0443, \u043c\u044b \u043a\u043e\u043d\u0446\u0435\u043d\u0442\u0440\u0438\u0440\u0443\u0435\u043c\u0441\u044f \u043d\u0430 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445, \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435 \u0434\u043e\u0441\u0442\u0443\u043f\u0430, \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e\u0441\u0442\u0438 [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":91904,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-91903","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.3 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/da\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2\" \/>\n\t\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.3\" \/>\n\t\t<meta property=\"og:locale\" content=\"da_DK\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041a\u0430\u043a BigQuery \u043e\u0442 Google \u0434\u0435\u043c\u043e\u043a\u0440\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445. \u0427\u0430\u0441\u0442\u044c 2 | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/da\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2020-08-20T05:42:18+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-08-20T05:42:18+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Hvordan Google BigQuery demokratiserede dataanalyse. Del 2 | ProHoster","description":"Hej, Habr! Lige nu \u00e5bner OTUS for tilmeldinger til det nye hold af kurset \"Data Engineer\".","canonical_url":"https:\/\/prohoster.info\/da\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"da_DK","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041a\u0430\u043a BigQuery \u043e\u0442 Google \u0434\u0435\u043c\u043e\u043a\u0440\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445. \u0427\u0430\u0441\u0442\u044c 2 | ProHoster","og:description":"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb.","og:url":"https:\/\/prohoster.info\/da\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-08-20T05:42:18+00:00","article:modified_time":"2020-08-20T05:42:18+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"91903","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 12:18:28","updated":"2022-10-08 11:10:45","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/posts\/91903","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/comments?post=91903"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/posts\/91903\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/media\/91904"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/media?parent=91903"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/categories?post=91903"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/tags?post=91903"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}