{"id":90783,"date":"2020-08-06T01:42:19","date_gmt":"2020-08-05T23:42:19","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1"},"modified":"2020-08-06T01:42:19","modified_gmt":"2020-08-05T23:42:19","slug":"kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1","title":{"rendered":"Hur BigQuery fr\u00e5n Google har demokratiserat datanalys. Del 1","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p><b><i>Hej, Habr! Just nu \u00e4r anm\u00e4lan till den nya omg\u00e5ngen av kursen p\u00e5 OTUS \u00f6ppen. <noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/wDZQ\/\">\u201eData Engineer\u201c<\/a><\/noindex>. I f\u00f6rberedelserna inf\u00f6r start av kursen har vi traditionellt f\u00f6rberett en \u00f6vers\u00e4ttning av ett intressant material f\u00f6r er. <\/i><\/b><\/p>\n<p>\nMer \u00e4n hundra miljoner m\u00e4nniskor bes\u00f6ker Twitter varje dag f\u00f6r att ta reda p\u00e5 vad som h\u00e4nder i v\u00e4rlden och diskutera det. Varje tweet och varje annan anv\u00e4ndar\u00e5tg\u00e4rd genererar en h\u00e4ndelse som \u00e4r tillg\u00e4nglig f\u00f6r intern dataanalys p\u00e5 Twitter. Hundratals anst\u00e4llda analyserar och visualiserar dessa data, och att f\u00f6rb\u00e4ttra deras upplevelse \u00e4r h\u00f6gsta prioritet f\u00f6r Twitter Data Platform-teamet. <\/p>\n<p>Vi anser att anv\u00e4ndare med en bredd av tekniska f\u00e4rdigheter ska kunna hitta data och f\u00e5 tillg\u00e5ng till v\u00e4linarbetade verktyg f\u00f6r analys och visualisering baserat p\u00e5 SQL. Detta skulle m\u00f6jligg\u00f6ra f\u00f6r en helt ny grupp anv\u00e4ndare med mindre teknisk bakgrund, inklusive dataanalytiker och produktledare, att extrahera insikter fr\u00e5n data, vilket hj\u00e4lper dem att b\u00e4ttre f\u00f6rst\u00e5 och utnyttja m\u00f6jligheterna p\u00e5 Twitter. S\u00e5 demokratiserar vi dataanalys p\u00e5 Twitter. <noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<p>Medan v\u00e5ra verktyg och m\u00f6jligheter f\u00f6r intern dataanalys har f\u00f6rb\u00e4ttrats har vi sett en f\u00f6rb\u00e4ttring av Twitter-tj\u00e4nsten. \u00c4nd\u00e5 finns det fortfarande utrymme f\u00f6r tillv\u00e4xt. Nuvarande verktyg, s\u00e5som Scalding, kr\u00e4ver programmeringskunskaper. SQL-baserade analysverktyg, s\u00e5som Presto och Vertica, har prestandaproblem i stor skala. Vi har ocks\u00e5 problem med att sprida data \u00f6ver flera system utan konstant tillg\u00e5ng till dem.<\/p>\n<p>F\u00f6rra \u00e5ret tillk\u00e4nnagav vi <noindex><a rel=\"nofollow\" href=\"https:\/\/blog.twitter.com\/engineering\/en_us\/topics\/infrastructure\/2018\/a-new-collaboration-with-google-cloud.html\">ett nytt samarbete med Google<\/a><\/noindex>, d\u00e4r vi flyttar delar av v\u00e5r <noindex><a rel=\"nofollow\" href=\"https:\/\/blog.twitter.com\/engineering\/en_us\/topics\/infrastructure\/2019\/the-start-of-a-journey-into-the-cloud.html\">datainfrastruktur<\/a><\/noindex> till Google Cloud Platform (GCP). Vi har kommit fram till att Googles verktyg <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/products\/big-data\/\">Big Data<\/a><\/noindex> kan hj\u00e4lpa oss i v\u00e5ra initiativ f\u00f6r att demokratisera analys, visualisering och maskininl\u00e4rning p\u00e5 Twitter:<\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\/\">BigQuery<\/a><\/noindex>: f\u00f6retagsdatabas med en SQL-motor baserad p\u00e5 <noindex><a rel=\"nofollow\" href=\"https:\/\/ai.google\/research\/pubs\/pub36632\">Dremel<\/a><\/noindex>, som \u00e4r k\u00e4nd f\u00f6r sin hastighet, enkelhet och hanterar <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery-ml\/docs\/bigqueryml-intro\">, maskininl\u00e4rning<\/a><\/noindex>.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/datastudio.google.com\/overview\">Data Studio:<\/a><\/noindex> ett verktyg f\u00f6r visualisering av big data med samarbetsfunktioner som i Google Docs.<\/li>\n<\/ul>\n<p>\nI denna artikel f\u00e5r du veta om v\u00e5ra erfarenheter med dessa verktyg: vad vi har gjort, vad vi har l\u00e4rt oss och vad vi ska g\u00f6ra h\u00e4rn\u00e4st. Just nu fokuserar vi p\u00e5 batch- och interaktiv analys. Realtidsanalys kommer vi att diskutera i n\u00e4sta artikel.<\/p>\n<h2>Historien om datalager p\u00e5 Twitter<\/h2>\n<p>\nInnan vi dyker djupare in i BigQuery \u00e4r det v\u00e4rt att kort sammanfatta historien om datalager p\u00e5 Twitter. \u00c5r 2011 utf\u00f6rdes dataanalys p\u00e5 Twitter med Vertica och Hadoop. F\u00f6r att skapa Hadoop's MapReduce jobb anv\u00e4nde vi Pig. \u00c5r 2012 bytte vi ut Pig mot Scalding, som hade ett Scala API med f\u00f6rdelar som m\u00f6jligheten att skapa komplexa fl\u00f6den och enkel testning. Men f\u00f6r m\u00e5nga dataanalytiker och produktchefer som k\u00e4nde sig mer bekv\u00e4ma med SQL var detta en ganska brant inl\u00e4rningskurva. Ungef\u00e4r 2016 b\u00f6rjade vi anv\u00e4nda Presto som SQL-gr\u00e4nssnitt f\u00f6r Hadoop-data. Spark erbj\u00f6d ett Python-gr\u00e4nssnitt vilket g\u00f6r det till ett bra val f\u00f6r ad hoc dataanalyser och maskininl\u00e4rning.<\/p>\n<p>Fr\u00e5n och med 2018 har vi anv\u00e4nt f\u00f6ljande verktyg f\u00f6r dataanalys och visualisering:<\/p>\n<ul>\n<li>Scalding f\u00f6r produktionsfl\u00f6den<\/li>\n<li>Scalding och Spark f\u00f6r ad hoc dataanalys och maskininl\u00e4rning<\/li>\n<li>Vertica och Presto f\u00f6r ad hoc och interaktiv SQL-analys <\/li>\n<li>Druid f\u00f6r liten interaktiv, utforskande och l\u00e5glatens \u00e5tkomst till tidsseriemetrik<\/li>\n<li>Tableau, Zeppelin och Pivot f\u00f6r datavisualisering<\/li>\n<\/ul>\n<p>\nVi uppt\u00e4ckte att \u00e4ven om dessa verktyg erbjuder mycket kraftfulla funktioner, hade vi sv\u00e5righeter med att g\u00f6ra dessa funktioner tillg\u00e4ngliga f\u00f6r en bredare publik p\u00e5 Twitter. N\u00e4r vi utvidgar v\u00e5r plattform med Google Cloud, fokuserar vi p\u00e5 att f\u00f6renkla v\u00e5ra analysverktyg f\u00f6r hela Twitter.<\/p>\n<h2>BigQuery datalager fr\u00e5n Google <\/h2>\n<p>\nFlera team p\u00e5 Twitter har redan inkluderat BigQuery i vissa av sina produktionsfl\u00f6den. Genom att anv\u00e4nda deras erfarenhet b\u00f6rjade vi utv\u00e4rdera BigQuery:s kapabiliteter f\u00f6r alla anv\u00e4ndningsscenarier p\u00e5 Twitter. V\u00e5rt m\u00e5l var att erbjuda BigQuery till hela f\u00f6retaget samt att standardisera och underh\u00e5lla det inom ramen f\u00f6r verktygen p\u00e5 Data Platform. Detta var besv\u00e4rligt av m\u00e5nga sk\u00e4l. Vi beh\u00f6vde utveckla en infrastruktur f\u00f6r tillf\u00f6rlitlig mottagning av stora datavolymer, st\u00f6d f\u00f6r datastyrning p\u00e5 f\u00f6retagsniv\u00e5, s\u00e4kerst\u00e4llande av korrekt \u00e5tkomstkontroll och skydd av kunders integritet. Vi var ocks\u00e5 tvungna att skapa system f\u00f6r resursf\u00f6rdelning, \u00f6vervakning och betalnings\u00e5tervinning s\u00e5 att teamen effektivt kunde anv\u00e4nda BigQuery.<\/p>\n<p>I november 2018 sl\u00e4ppte vi alpha-versionen av BigQuery och Data Studio f\u00f6r hela f\u00f6retaget. Vi erbj\u00f6d Twitter-anst\u00e4llda n\u00e5gra av v\u00e5ra mest anv\u00e4nda tabeller med rengjorda personuppgifter. Mer \u00e4n 250 anv\u00e4ndare fr\u00e5n olika team, inklusive teknik, finans och marknadsf\u00f6ring, anv\u00e4nde BigQuery. Nyligen genomf\u00f6rde de omkring 8 000 f\u00f6rfr\u00e5gningar, vilket hanterade cirka 100 PB per m\u00e5nad, utan att r\u00e4kna med schemalagda f\u00f6rfr\u00e5gningar. Efter att ha f\u00e5tt mycket positiv feedback beslutade vi oss f\u00f6r att g\u00e5 vidare och erbjuda BigQuery som en prim\u00e4r resurs f\u00f6r datainteraktion p\u00e5 Twitter.<\/p>\n<p>H\u00e4r \u00e4r en h\u00f6g niv\u00e5 av arkitekturdiagrammet f\u00f6r v\u00e5rt datalager Google BigQuery. <\/p>\n<p><img decoding=\"async\" alt=\"Hur BigQuery fr\u00e5n Google har demokratiserat datanalys. Del 1\" src=\"\/wp-content\/uploads\/2020\/08\/6a3e0b43752ebbac641c43519c8c2fba.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\nVi kopierar data fr\u00e5n lokala Hadoop-kluster till Google Cloud Storage (GCS) med hj\u00e4lp av v\u00e5rt interna verktyg Cloud Replicator. D\u00e4refter anv\u00e4nder vi Apache Airflow f\u00f6r att skapa r\u00f6rledningar som anv\u00e4nder \"<noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\/docs\/reference\/bq-cli-reference#bq_load\">bq_load<\/a><\/noindex>\" f\u00f6r att ladda data fr\u00e5n GCS till BigQuery. Vi anv\u00e4nder Presto f\u00f6r att fr\u00e5ga dataset Parquet eller Thrift-LZO i GCS. BQ Blaster \u00e4r ett internt verktyg i Scalding f\u00f6r att ladda dataset HDFS Vertica och Thrift-LZO till BigQuery.<\/p>\n<p>I de f\u00f6ljande avsnitten kommer vi att diskutera v\u00e5rt tillv\u00e4gag\u00e5ngss\u00e4tt och v\u00e5ra kunskaper om anv\u00e4ndarv\u00e4nlighet, prestanda, datastyrning, systemens drifts\u00e4kerhet och kostnad.<\/p>\n<h4>Anv\u00e4ndarv\u00e4nlighet<\/h4>\n<p>\nVi har uppt\u00e4ckt att det var l\u00e4tt f\u00f6r anv\u00e4ndarna att b\u00f6rja med BigQuery, eftersom det inte kr\u00e4vde programvaruinstallation och anv\u00e4ndarna kunde f\u00e5 \u00e5tkomst via en intuitiv webbgr\u00e4nssnitt. \u00c4nd\u00e5 beh\u00f6vde anv\u00e4ndarna bekanta sig med vissa GCP-funktioner och dess koncept, inklusive resurser som projekt, dataset och tabeller. Vi har utvecklat utbildningsmaterial och handledningar f\u00f6r att hj\u00e4lpa anv\u00e4ndare att komma ig\u00e5ng. N\u00e4r de fick en grundl\u00e4ggande f\u00f6rst\u00e5else blev det enkelt f\u00f6r anv\u00e4ndarna att navigera i dataset, granska scheman och data i tabeller, utf\u00f6ra enkla f\u00f6rfr\u00e5gningar och visualisera resultat i Data Studio.<\/p>\n<p>V\u00e5rt m\u00e5l f\u00f6r datainmatningen i BigQuery var att s\u00e4kerst\u00e4lla en smidig inladdning av dataset HDFS eller GCS med ett klick. Vi \u00f6verv\u00e4gde <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/composer\/\">Cloud Composer<\/a><\/noindex> (styrt Airflow), men vi kunne ikke bruke det p\u00e5 grunn av v\u00e5r sikkerhetsmodell \u00abDomain Restricted Sharing\u00bb (les mer om dette i avsnittet \u00abDatastyring\u00bb nedenfor). Vi eksperimenterte med \u00e5 bruke Google Data Transfer Service (DTS) for \u00e5 organisere lastoppgaver i BigQuery. Mens DTS ble satt opp raskt, var det ikke fleksibelt for \u00e5 bygge pipelines med avhengigheter. For v\u00e5r alfa-versjon opprettet vi v\u00e5rt eget Apache Airflow-milj\u00f8 i GCE og forbereder det til produksjon og muligheten til \u00e5 st\u00f8tte flere datakilder, som Vertica.<\/p>\n<p>For \u00e5 transformere data til BigQuery oppretter brukere enkle SQL-datapipelines ved hjelp av planlagte foresp\u00f8rseler. For komplekse flerstegs-pipelines med avhengigheter planlegger vi \u00e5 bruke enten v\u00e5r egen Airflow-infrastruktur eller Cloud Composer sammen med <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/dataflow\/\">Cloud Dataflow<\/a><\/noindex>.<\/p>\n<h4>Performance<\/h4>\n<p>\nBigQuery er laget for generelle SQL-foresp\u00f8rseler som behandler store datamengder. Den er ikke designet for foresp\u00f8rseler med lav ventetid og h\u00f8y gjennomstr\u00f8mning, som kreves for transaksjonsdatabaser, eller for lav-latens analyse av tidsserier, implementert av <noindex><a rel=\"nofollow\" href=\"https:\/\/druid.apache.org\/\">Apache Druid<\/a><\/noindex>. For interaktive analytiske foresp\u00f8rseler forventer brukerne v\u00e5re en responstid p\u00e5 under ett minutt. Vi m\u00e5tte designe bruken av BigQuery slik at den oppfylte disse forventningene. For \u00e5 sikre forutsigbar ytelse for v\u00e5re brukere, brukte vi BigQuery-funksjonaliteten tilgjengelig for kunder med fast pris, som lar prosjektseierne reservere minimale slots for sine foresp\u00f8rseler. <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\/docs\/slots\">Slot<\/a><\/noindex> BigQuery er en enhet for beregningskraft som kreves for \u00e5 utf\u00f8re SQL-foresp\u00f8rseler. <\/p>\n<p>Vi har analyserat mer \u00e4n 800 f\u00f6rfr\u00e5gningar som hanterar ungef\u00e4r 1 TB data vardera och uppt\u00e4ckte att den genomsnittliga exekveringstiden var 30 sekunder. Vi l\u00e4rde oss ocks\u00e5 att prestandan \u00e4r starkt beroende av hur v\u00e5r slot anv\u00e4nds i olika projekt och uppgifter. Vi var tvungna att tydligt separera v\u00e5ra produktions- och ad hoc slot-reserver f\u00f6r att uppr\u00e4tth\u00e5lla prestanda f\u00f6r produktionsanv\u00e4ndningssituationer och interaktiv analys. Detta p\u00e5verkade i h\u00f6g grad v\u00e5r design f\u00f6r slot-reservering och projekt hierarki.<\/p>\n<p><i>Om datastyrning, funktionalitet och kostnad f\u00f6r system kommer vi att prata mer om i de kommande dagarna i den andra delen av \u00f6vers\u00e4ttningen, men just nu inbjuder vi alla intresserade till <noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/wDZQ\/\">gratis live-webinar<\/a><\/noindex>, d\u00e4r man kan f\u00e5 veta mer om kursen och \u00e4ven st\u00e4lla fr\u00e5gor till v\u00e5r expert \u2014 Yegor Mateshchuk (Senior Data Engineer, MaximaTelecom). <\/i><\/p>\n<p><\/p>\n<h2>L\u00e4s mer:<\/h2>\n<p><\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/501380\/\">Data Build Tool eller vad har Data Warehouse gemensamt med Smoothies<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/502324\/\">Diving into Delta Lake: Enforced Application and Evolution of Schema<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/503132\/\">H\u00f6ghastighets Apache Parquet p\u00e5 Python med Apache Arrow<\/a><\/noindex><\/li>\n<\/ul>\n<p>K\u00e4lla: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/513780\/\">habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb. \u0412 \u043f\u0440\u0435\u0434\u0434\u0432\u0435\u0440\u0438\u0438 \u0441\u0442\u0430\u0440\u0442\u0430 \u043a\u0443\u0440\u0441\u0430 \u043c\u044b \u0442\u0440\u0430\u0434\u0438\u0446\u0438\u043e\u043d\u043d\u043e \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u0438\u043b\u0438 \u0434\u043b\u044f \u0432\u0430\u0441 \u043f\u0435\u0440\u0435\u0432\u043e\u0434 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0433\u043e \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u0430. \u041a\u0430\u0436\u0434\u044b\u0439 \u0434\u0435\u043d\u044c \u0431\u043e\u043b\u0435\u0435 \u0441\u0442\u0430 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u0447\u0435\u043b\u043e\u0432\u0435\u043a \u043f\u043e\u0441\u0435\u0449\u0430\u044e\u0442 Twitter, \u0447\u0442\u043e\u0431\u044b \u0443\u0437\u043d\u0430\u0442\u044c, \u0447\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0432 \u043c\u0438\u0440\u0435, \u0438 \u043e\u0431\u0441\u0443\u0434\u0438\u0442\u044c \u044d\u0442\u043e. \u041a\u0430\u0436\u0434\u044b\u0439 \u0442\u0432\u0438\u0442 \u0438 \u043b\u044e\u0431\u043e\u0435 \u0434\u0440\u0443\u0433\u043e\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u044e\u0442 \u0441\u043e\u0431\u044b\u0442\u0438\u0435, \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0435 \u0434\u043b\u044f \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0433\u043e [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":90784,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-90783","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.4 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1\" \/>\n\t\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.4\" \/>\n\t\t<meta property=\"og:locale\" content=\"sv_SE\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041a\u0430\u043a BigQuery \u043e\u0442 Google \u0434\u0435\u043c\u043e\u043a\u0440\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445. \u0427\u0430\u0441\u0442\u044c 1 | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2020-08-05T23:42:19+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-08-05T23:42:19+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Hur Google BigQuery demokratiserade dataanalys. Del 1 | ProHoster","description":"Hej, Habr! Just nu har OTUS \u00f6ppnat anm\u00e4lan till en ny omg\u00e5ng av kursen \"Data Engineer\".","canonical_url":"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"sv_SE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041a\u0430\u043a BigQuery \u043e\u0442 Google \u0434\u0435\u043c\u043e\u043a\u0440\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445. \u0427\u0430\u0441\u0442\u044c 1 | ProHoster","og:description":"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb.","og:url":"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-08-05T23:42:19+00:00","article:modified_time":"2020-08-05T23:42:19+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"90783","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 12:42:25","updated":"2022-10-03 03:00:18","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/posts\/90783","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/comments?post=90783"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/posts\/90783\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/media\/90784"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/media?parent=90783"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/categories?post=90783"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/tags?post=90783"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}