{"id":90783,"date":"2020-08-06T01:42:19","date_gmt":"2020-08-05T23:42:19","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1"},"modified":"2020-08-06T01:42:19","modified_gmt":"2020-08-05T23:42:19","slug":"kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1","status":"publish","type":"post","link":"https:\/\/prohoster.info\/da\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1","title":{"rendered":"P\u00e5 SQL beskriver du \u00abhvad\u00bb du vil have, ikke \u00abhvordan\u00bb det skal udf\u00f8res.","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p><b><i>Hej, Habr! Lige nu er der \u00e5bent for tilmelding til et nyt hold af kurset hos OTUS. <noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/wDZQ\/\">\u00abData Engineer\u00bb<\/a><\/noindex>I forklaringen af kursusstarten har vi traditionelt forberedt en overs\u00e6ttelse af sp\u00e6ndende materiale til dig. <\/i><\/b><\/p>\n<p>\nHver dag bes\u00f8ger over hundrede millioner mennesker Twitter for at finde ud af, hvad der sker i verden, og diskutere det. Hver tweet og enhver anden brugerhandling genererer et event, der er tilg\u00e6ngeligt for intern dataanalyse i Twitter. Hundredvis af medarbejdere analyserer og visualiserer disse data, og at forbedre deres oplevelse er en hovedprioritet for Twitter Data Platform. <\/p>\n<p>Vi mener, at brugere med en bred vifte af tekniske f\u00e6rdigheder b\u00f8r have mulighed for at finde data og f\u00e5 adgang til velfungerende analyse- og visualiseringsv\u00e6rkt\u00f8jer baseret p\u00e5 SQL. Dette ville give en helt ny gruppe af brugere med mindre teknisk baggrund, herunder dataanalytikere og produktmanagere, mulighed for at udtr\u00e6kke indsigt fra data og derved hj\u00e6lpe dem med bedre at forst\u00e5 og udnytte mulighederne hos Twitter. P\u00e5 den m\u00e5de demokratiserer vi dataanalyse i Twitter. <noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<p>Efterh\u00e5nden som vi forbedrer vores v\u00e6rkt\u00f8jer og muligheder for intern dataanalyse, har vi set forbedringer i Twitter-tjenesten. Der er dog stadig plads til v\u00e6kst. De nuv\u00e6rende v\u00e6rkt\u00f8jer, s\u00e5som Scalding, kr\u00e6ver programmeringserfaring. SQL-baserede analysev\u00e6rkt\u00f8jer som Presto og Vertica har problemer med skalerbarhed. Vi har ogs\u00e5 en udfordring med distribution af data p\u00e5 tv\u00e6rs af flere systemer uden konstant adgang til dem.<\/p>\n<p>I sidste \u00e5r offentliggjorde vi <noindex><a rel=\"nofollow\" href=\"https:\/\/blog.twitter.com\/engineering\/en_us\/topics\/infrastructure\/2018\/a-new-collaboration-with-google-cloud.html\">et nyt samarbejde med Google<\/a><\/noindex>, hvor vi flytter dele af vores <noindex><a rel=\"nofollow\" href=\"https:\/\/blog.twitter.com\/engineering\/en_us\/topics\/infrastructure\/2019\/the-start-of-a-journey-into-the-cloud.html\">data-infrastruktur<\/a><\/noindex> til Google Cloud Platform (GCP). Vi har konkluderet, at Google Cloud-v\u00e6rkt\u00f8jer <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/products\/big-data\/\">Big Data<\/a><\/noindex> kan st\u00f8tte os i vores bestr\u00e6belser p\u00e5 at demokratisere analyse, visualisering og maskinl\u00e6ring i Twitter:<\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\/\">BigQuery<\/a><\/noindex>: et datalager med en SQL-motor baseret p\u00e5 <noindex><a rel=\"nofollow\" href=\"https:\/\/ai.google\/research\/pubs\/pub36632\">Dremel<\/a><\/noindex>, som er kendt for sin hurtighed, enkelhed og evne til at h\u00e5ndtere <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery-ml\/docs\/bigqueryml-intro\">maskinl\u00e6ring<\/a><\/noindex>.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/datastudio.google.com\/overview\">Data Studio:<\/a><\/noindex> et v\u00e6rkt\u00f8j til visualisering af big data med samarbejdsfunktioner ligesom i Google Docs.<\/li>\n<\/ul>\n<p>\nI denne artikel vil du l\u00e6re om vores erfaring med disse v\u00e6rkt\u00f8jer: hvad vi har gjort, hvad vi har l\u00e6rt, og hvad vi vil g\u00f8re n\u00e6ste gang. Nu vil vi fokusere p\u00e5 batch- og interaktiv analyse. Realtidsanalyse vil vi diskutere i den n\u00e6ste artikel.<\/p>\n<h2>Historien om datalagre i Twitter<\/h2>\n<p>\nF\u00f8r vi dykker ned i BigQuery, er det v\u00e6rd at opsummere historien om datalagre p\u00e5 Twitter. I 2011 blev dataanalyse p\u00e5 Twitter udf\u00f8rt med Vertica og Hadoop. Til at skabe MapReduce arbejdede vi med Hadoop ved hj\u00e6lp af Pig. I 2012 skiftede vi fra Pig til Scalding, som havde et Scala API med fordele s\u00e5som muligheden for at skabe komplekse pipelines og enkle tests. Ikke desto mindre var dette en stejl l\u00e6ringskurve for mange dataanalytikere og produktchefer, der f\u00f8lte sig mere komfortable med at arbejde med SQL. Omkring 2016 begyndte vi at bruge Presto som SQL-gr\u00e6nseflade til Hadoop-data. Spark tilb\u00f8d en Python-gr\u00e6nseflade, som g\u00f8r det til et godt valg til ad hoc dataforskning og maskinl\u00e6ring.<\/p>\n<p>Siden 2018 har vi brugt f\u00f8lgende v\u00e6rkt\u00f8jer til dataanalyse og visualisering:<\/p>\n<ul>\n<li>Scalding til produktions-pipelines<\/li>\n<li>Scalding og Spark til ad hoc dataanalyse og maskinl\u00e6ring<\/li>\n<li>Vertica og Presto til ad hoc og interaktiv SQL-analyse <\/li>\n<li>Druid til lille interaktiv, udforskende og lav-latens adgang til tidsseriemetrikker<\/li>\n<li>Tableau, Zeppelin og Pivot til datavisualisering<\/li>\n<\/ul>\n<p>\nVi har fundet ud af, at selvom disse v\u00e6rkt\u00f8jer tilbyder meget kraftfulde muligheder, har vi haft vanskeligheder med at implementere tilg\u00e6ngeligheden af disse muligheder for en bredere m\u00e5lgruppe p\u00e5 Twitter. Ved at udvide vores platform med Google Cloud fokuserer vi p\u00e5 at forenkle vores analysetools for hele Twitter.<\/p>\n<h2>BigQuery datalager fra Google <\/h2>\n<p>\nFlere teams p\u00e5 Twitter har allerede integreret BigQuery i nogle af deres produktions-pipelines. Ved at bruge deres erfaring begyndte vi at vurdere mulighederne for BigQuery til alle brugsscenarier p\u00e5 Twitter. Vores m\u00e5l var at tilbyde BigQuery til hele virksomheden samt at standardisere og vedligeholde det som en del af Data Platform-v\u00e6rkt\u00f8jss\u00e6ttet. Dette var vanskeligt af flere grunde. Vi var n\u00f8dt til at udvikle infrastrukturen til p\u00e5lidelig h\u00e5ndtering af store datam\u00e6ngder, underst\u00f8tte datah\u00e5ndtering p\u00e5 virksomhedsniveau, sikre korrekt adgangskontrol og beskytte kundernes privatliv. Vi m\u00e5tte ogs\u00e5 oprette systemer til ressourcedistribution, overv\u00e5gning og fakturering, s\u00e5 teams kunne bruge BigQuery effektivt.<\/p>\n<p>I november 2018 frigav vi alfa-versionen af BigQuery og Data Studio til hele virksomheden. Vi tilb\u00f8d vores medarbejdere p\u00e5 Twitter nogle af vores mest anvendte tabeller med rensede persondata. Over 250 brugere fra forskellige teams, herunder ingeni\u00f8r-, finans- og marketingafdelinger, anvendte BigQuery. For nylig udf\u00f8rte de cirka 8.000 foresp\u00f8rgsler, der behandlede omkring 100 PB om m\u00e5neden, exklusive planlagte foresp\u00f8rgsler. Efter at have modtaget meget positive tilbagemeldinger besluttede vi at g\u00e5 videre og tilbyde BigQuery som en prim\u00e6r ressource til datainteraktion i Twitter.<\/p>\n<p>Her er diagrammet for den h\u00f8jniveau arkitektur af vores datalager Google BigQuery. <\/p>\n<p><img decoding=\"async\" alt=\"P\u00e5 SQL beskriver du \u00abhvad\u00bb du vil have, ikke \u00abhvordan\u00bb det skal udf\u00f8res.\" src=\"\/wp-content\/uploads\/2020\/08\/6a3e0b43752ebbac641c43519c8c2fba.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\nVi kopierer data fra lokale Hadoop-klynger til Google Cloud Storage (GCS) ved hj\u00e6lp af et internt v\u00e6rkt\u00f8j, Cloud Replicator. Derefter bruger vi Apache Airflow til at oprette pipelines, der bruger \u201c<noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\/docs\/reference\/bq-cli-reference#bq_load\">bq_load<\/a><\/noindex>\u201d til at indl\u00e6se data fra GCS til BigQuery. Vi bruger Presto til at foresp\u00f8rge datas\u00e6t i Parquet eller Thrift-LZO i GCS. BQ Blaster er et internt Scalding v\u00e6rkt\u00f8j til at indl\u00e6se datas\u00e6t fra HDFS Vertica og Thrift-LZO til BigQuery.<\/p>\n<p>I de f\u00f8lgende sektioner vil vi diskutere vores tilgang og viden om brugervenlighed, ydeevne, datastyring, systemets driftssikkerhed og omkostninger.<\/p>\n<h4>Brugervenlighed<\/h4>\n<p>\nVi har opdaget, at det var let for brugerne at komme i gang med BigQuery, da det ikke kr\u00e6vede installation af software, og brugerne kunne f\u00e5 adgang til det via et intuitivt webgr\u00e6nseflade. Alligevel m\u00e5tte brugerne s\u00e6tte sig ind i nogle funktioner i GCP og dets begreber, herunder ressourcer som projekter, datas\u00e6t og tabeller. Vi udviklede undervisningsmateriale og vejledninger for at hj\u00e6lpe brugerne i gang. Med en grundl\u00e6ggende forst\u00e5else blev det nemt for brugere at navigere i datas\u00e6t, se skemaer og tabeldata, udf\u00f8re enkle foresp\u00f8rgsler og visualisere resultaterne i Data Studio.<\/p>\n<p>Vores m\u00e5l for dataindl\u00e6sning til BigQuery var at sikre en problemfri indl\u00e6sning af datas\u00e6t fra HDFS eller GCS med et enkelt klik. Vi overvejede <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/composer\/\">Cloud Composer<\/a><\/noindex> (styrt Airflow), men kunne ikke bruge det p\u00e5 grund af vores sikkerhedsmodel \"Domain Restricted Sharing\" (se mere om dette i afsnittet \"Data Management\" nedenfor). Vi eksperimenterede med at bruge Google Data Transfer Service (DTS) til at organisere arbejdsbelastninger i BigQuery. Mens DTS hurtigt blev konfigureret, var det ikke fleksibelt nok til at opbygge pipelines med afh\u00e6ngigheder. Til vores alpha-version skabte vi vores egen Apache Airflow-milj\u00f8 i GCE og forbereder det til drift og til at kunne underst\u00f8tte flere datakilder, s\u00e5som Vertica.<\/p>\n<p>For at transformere data til BigQuery opretter brugerne enkle SQL-datapipelines ved hj\u00e6lp af planlagte foresp\u00f8rgsler. For komplekse flerstegs-pipelines med afh\u00e6ngigheder planl\u00e6gger vi at bruge enten vores egen Airflow-infrastruktur eller Cloud Composer sammen med <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/dataflow\/\">Cloud Dataflow<\/a><\/noindex>.<\/p>\n<h4>Ydeevne<\/h4>\n<p>\nBigQuery er designet til generelle SQL-foresp\u00f8rgsler, der behandler store m\u00e6ngder data. Det er ikke beregnet til foresp\u00f8rgsler med lav latens og h\u00f8j gennemstr\u00f8mning, som er n\u00f8dvendige for transaktionelle databaser, eller til analyse af tidsserier med lav latens, implementeret <noindex><a rel=\"nofollow\" href=\"https:\/\/druid.apache.org\/\">Apache Druid<\/a><\/noindex>. For interaktive analytiske foresp\u00f8rgsler forventer vores brugere en svartid p\u00e5 under et minut. Vi m\u00e5tte designe brugen af BigQuery, s\u00e5 den kunne overholde disse forventninger. For at sikre en forudsigelig ydeevne for vores brugere brugte vi BigQuery's funktionalitet, der er tilg\u00e6ngelig for kunder p\u00e5 fast betaling, som g\u00f8r det muligt for projekttere at reservere minimum slots til deres foresp\u00f8rgsler. <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\/docs\/slots\">Slot<\/a><\/noindex> BigQuery er en enhed for compute-kraft, der er n\u00f8dvendig for at udf\u00f8re SQL-foresp\u00f8rgsler. <\/p>\n<p>Vi har analyseret over 800 foresp\u00f8rgsler, der behandler cirka 1 TB data hver, og fundet ud af, at den gennemsnitlige behandlingstid var 30 sekunder. Vi fandt ogs\u00e5, at ydeevnen i h\u00f8j grad afh\u00e6nger af brugen af vores slot i forskellige projekter og opgaver. Vi m\u00e5tte klart adskille vores produktions- og ad hoc slotreservater for at opretholde ydeevnen for produktionsscenarier og interaktiv analyse. Dette har haft en stor indflydelse p\u00e5 vores design til slotreservation og projekt hierarki.<\/p>\n<p><i>Om datah\u00e5ndtering, funktionalitet og omkostninger ved systemerne, skal vi tale i l\u00f8bet af de kommende dage i den anden del af overs\u00e6ttelsen, men nu inviterer vi alle interesserede til <noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/wDZQ\/\">et gratis live webinar<\/a><\/noindex>, hvor du kan l\u00e6re mere om kurset og stille sp\u00f8rgsm\u00e5l til vores ekspert \u2014 Egor Mateshuk (Senior Data Engineer, MaximaTelecom). <\/i><\/p>\n<p><\/p>\n<h2>L\u00e6s mere:<\/h2>\n<p><\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/501380\/\">Data Build Tool eller hvad har et Data Warehouse til f\u00e6lles med smoothies<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/502324\/\">Dyk ned i Delta Lake: tvungen anvendelse og udvikling af skemaet<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/503132\/\">High-speed Apache Parquet p\u00e5 Python med Apache Arrow<\/a><\/noindex><\/li>\n<\/ul>\n<p>Kilde: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/513780\/\">habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb. \u0412 \u043f\u0440\u0435\u0434\u0434\u0432\u0435\u0440\u0438\u0438 \u0441\u0442\u0430\u0440\u0442\u0430 \u043a\u0443\u0440\u0441\u0430 \u043c\u044b \u0442\u0440\u0430\u0434\u0438\u0446\u0438\u043e\u043d\u043d\u043e \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u0438\u043b\u0438 \u0434\u043b\u044f \u0432\u0430\u0441 \u043f\u0435\u0440\u0435\u0432\u043e\u0434 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0433\u043e \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u0430. \u041a\u0430\u0436\u0434\u044b\u0439 \u0434\u0435\u043d\u044c \u0431\u043e\u043b\u0435\u0435 \u0441\u0442\u0430 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u0447\u0435\u043b\u043e\u0432\u0435\u043a \u043f\u043e\u0441\u0435\u0449\u0430\u044e\u0442 Twitter, \u0447\u0442\u043e\u0431\u044b \u0443\u0437\u043d\u0430\u0442\u044c, \u0447\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0432 \u043c\u0438\u0440\u0435, \u0438 \u043e\u0431\u0441\u0443\u0434\u0438\u0442\u044c \u044d\u0442\u043e. \u041a\u0430\u0436\u0434\u044b\u0439 \u0442\u0432\u0438\u0442 \u0438 \u043b\u044e\u0431\u043e\u0435 \u0434\u0440\u0443\u0433\u043e\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u044e\u0442 \u0441\u043e\u0431\u044b\u0442\u0438\u0435, \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0435 \u0434\u043b\u044f \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0433\u043e [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":90784,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-90783","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.3 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/da\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1\" \/>\n\t\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.3\" \/>\n\t\t<meta property=\"og:locale\" content=\"da_DK\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041a\u0430\u043a BigQuery \u043e\u0442 Google \u0434\u0435\u043c\u043e\u043a\u0440\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445. \u0427\u0430\u0441\u0442\u044c 1 | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/da\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2020-08-05T23:42:19+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-08-05T23:42:19+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Hvordan Google BigQuery har demokratiseret dataanalyse. Del 1 | ProHoster","description":"Hej, Habr! Lige nu \u00e5bner OTUS for tilmeldinger til det nye hold af kurset \"Data Engineer\".","canonical_url":"https:\/\/prohoster.info\/da\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"da_DK","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041a\u0430\u043a BigQuery \u043e\u0442 Google \u0434\u0435\u043c\u043e\u043a\u0440\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445. \u0427\u0430\u0441\u0442\u044c 1 | ProHoster","og:description":"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb.","og:url":"https:\/\/prohoster.info\/da\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-08-05T23:42:19+00:00","article:modified_time":"2020-08-05T23:42:19+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"90783","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 12:42:25","updated":"2022-10-03 03:00:18","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/posts\/90783","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/comments?post=90783"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/posts\/90783\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/media\/90784"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/media?parent=90783"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/categories?post=90783"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/tags?post=90783"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}