{"id":91903,"date":"2020-08-20T07:42:18","date_gmt":"2020-08-20T05:42:18","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2"},"modified":"2020-08-20T07:42:18","modified_gmt":"2020-08-20T05:42:18","slug":"kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2","title":{"rendered":"Hur Google BigQuery demokratiserade datanalys. Del 2","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p><b><i>Hej, Habr! Just nu \u00e4r anm\u00e4lan till den nya omg\u00e5ngen av kursen p\u00e5 OTUS \u00f6ppen. <noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/wDZQ\/\">\u201eData Engineer\u201c<\/a><\/noindex>. Inf\u00f6r kursstarten forts\u00e4tter vi att dela med oss av nyttig information. <\/i><\/b><\/p>\n<p><i><noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/\">L\u00e4s f\u00f6rsta delen<\/a><\/noindex><\/i><\/p>\n<p><img decoding=\"async\" alt=\"Hur Google BigQuery demokratiserade datanalys. Del 2\" src=\"\/wp-content\/uploads\/2020\/08\/7b9314bffd954cd408807280f8956c21.png\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<h4>Datastyrning<\/h4>\n<p>\nStark datastyrning (Strong Data Governance) \u00e4r en grundl\u00e4ggande princip f\u00f6r Twitter Engineering. N\u00e4r vi implementerar BigQuery p\u00e5 v\u00e5r plattform fokuserar vi p\u00e5 datadetektering, \u00e5tkomstkontroll, s\u00e4kerhet och integritet.<noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<p>F\u00f6r datadetektering och hantering har vi ut\u00f6kat v\u00e5rt datatillg\u00e5ngslager (Data Access Layer \u2014 <noindex><a rel=\"nofollow\" href=\"https:\/\/blog.twitter.com\/engineering\/en_us\/topics\/insights\/2016\/discovery-and-consumption-of-analytics-data-at-twitter.html\">DAL<\/a><\/noindex>), f\u00f6r att tillhandah\u00e5lla verktyg f\u00f6r b\u00e5de lokala data och Google Cloud-data, vilket ger ett enhetligt gr\u00e4nssnitt och API f\u00f6r v\u00e5ra anv\u00e4ndare. N\u00e4r Google <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/data-catalog\/\">Data Catalog<\/a><\/noindex> blir mer tillg\u00e4nglig, kommer vi att inkludera den i v\u00e5ra projekt f\u00f6r att ge anv\u00e4ndare funktioner s\u00e5som s\u00f6kning efter kolumner.<\/p>\n<p>BigQuery g\u00f6r det enkelt att dela och f\u00e5 \u00e5tkomst till data, men vi beh\u00f6vde kontrollera detta till viss del f\u00f6r att f\u00f6rhindra datal\u00e4ckage. Bland andra verktyg valde vi tv\u00e5 funktioner:<\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/resource-manager\/docs\/organization-policy\/restricting-domains\">Dom\u00e4nbegr\u00e4nsad delning<\/a><\/noindex>: en beta-funktion som f\u00f6rhindrar anv\u00e4ndare fr\u00e5n att dela BigQuery-dataset med anv\u00e4ndare utanf\u00f6r Twitter.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/vpc-service-controls\/\">VPC-tj\u00e4nstkontroller<\/a><\/noindex>: en kontrollmekanism som f\u00f6rhindrar datal\u00e4ckage och kr\u00e4ver att anv\u00e4ndare f\u00e5r \u00e5tkomst till BigQuery fr\u00e5n k\u00e4nda IP-adressintervall.<\/li>\n<\/ul>\n<p>\nVi har implementerat autentisering, auktorisering och revision (AAA) f\u00f6r s\u00e4kerhet p\u00e5 f\u00f6ljande s\u00e4tt:<\/p>\n<ul>\n<li> Autentisering: vi har anv\u00e4nt GCP-anv\u00e4ndarkonton f\u00f6r ad hoc-f\u00f6rfr\u00e5gningar och tj\u00e4nstekonton f\u00f6r arbetsf\u00f6rfr\u00e5gningar.<\/li>\n<li>Auktorisering: vi kr\u00e4ver att varje dataset har ett tj\u00e4nkontoinnehav och en l\u00e4sargrupp.<\/li>\n<li>Revision: vi exporterade BigQuery:s stackdrivrutinsloggar, som inneh\u00f6ll detaljerad information om fr\u00e5getill\u00e4mpningar, till ett BigQuery-dataset f\u00f6r enkel analys.<\/li>\n<\/ul>\n<p>\nF\u00f6r att s\u00e4kerst\u00e4lla korrekt hantering av personuppgifter fr\u00e5n Twitter-anv\u00e4ndare m\u00e5ste vi registrera alla BigQuery-datasets, annotera personuppgifter, s\u00e4kerst\u00e4lla l\u00e4mplig lagring och radera (st\u00e4da) data som har tagits bort av anv\u00e4ndare.<\/p>\n<p>Vi \u00f6verv\u00e4gde Google <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/dlp\/\">Cloud Data Loss Prevention API<\/a><\/noindex>, som anv\u00e4nder maskininl\u00e4rning f\u00f6r att klassificera och redigera konfidentiella data, men beslutade att g\u00e5 med manuell annotering av datam\u00e4ngden p\u00e5 grund av noggrannheten. Vi planerar att anv\u00e4nda Data Loss Prevention API f\u00f6r att komplettera anv\u00e4ndarannoteringen.<\/p>\n<p>P\u00e5 Twitter har vi skapat fyra kategorier av konfidentialitet f\u00f6r datam\u00e4ngder i BigQuery, listade h\u00e4r i ordning efter k\u00e4nslighet:<\/p>\n<ul>\n<li>H\u00f6gk\u00e4nsliga datam\u00e4ngder \u00e4r tillg\u00e4ngliga efter behov baserat p\u00e5 principen om minimi\u00e5tkomst. Varje datam\u00e4ngd har en separat l\u00e4sartgrupp, och vi kommer att \u00f6vervaka anv\u00e4ndningen av individuella konton.<\/li>\n<li>Datam\u00e4ngder med medelk\u00e4nslighet (enkelsidiga pseudonymer med saltade hash) inneh\u00e5ller ingen personlig information (Personally Identifiable Information \u2013 PII) och \u00e4r tillg\u00e4ngliga f\u00f6r en st\u00f6rre grupp anst\u00e4llda. Detta ger en bra balans mellan sekretess\u00f6verv\u00e4ganden och anv\u00e4ndbarhet. Det g\u00f6r att anst\u00e4llda kan utf\u00f6ra analysuppgifter, s\u00e5som att r\u00e4kna antalet anv\u00e4ndare som har anv\u00e4nt en funktion, utan att veta vilka som \u00e4r de verkliga anv\u00e4ndarna.<\/li>\n<li>Datam\u00e4ngder med l\u00e5g k\u00e4nslighet inneh\u00e5ller all information som identifierar anv\u00e4ndaren. Detta \u00e4r en bra metod ur sekretessynpunkt, men den kan inte anv\u00e4ndas f\u00f6r analys p\u00e5 anv\u00e4ndarniv\u00e5.<\/li>\n<li>Offentliga datam\u00e4ngder (utgivna utanf\u00f6r Twitter) \u00e4r tillg\u00e4ngliga f\u00f6r alla Twitter-anst\u00e4llda.<\/li>\n<\/ul>\n<p>\nN\u00e4r det kommer till registrering anv\u00e4nde vi schemalagda uppgifter f\u00f6r att lista datam\u00e4ngder i BigQuery och registrera dem i Data Access Layer (<noindex><a rel=\"nofollow\" href=\"https:\/\/blog.twitter.com\/engineering\/en_us\/topics\/insights\/2016\/discovery-and-consumption-of-analytics-data-at-twitter.html\">DAL<\/a><\/noindex>), Twitter's metadata-lager. Anv\u00e4ndare kommer att annotera datam\u00e4ngder med sekretessinformation samt specificera lagringstid. N\u00e4r det kommer till rensning utv\u00e4rderar vi prestanda och kostnad f\u00f6r tv\u00e5 alternativ: <i>1.<\/i> Rensning av datam\u00e4ngder i GCS med hj\u00e4lp av verktyg som Scalding och laddning av dem i BigQuery; <i>2.<\/i> Anv\u00e4ndning av BigQuery DML-operat\u00f6rer. Vi kommer troligen att anv\u00e4nda en kombination av b\u00e5da metoderna f\u00f6r att m\u00f6ta behoven hos olika grupper och data.<\/p>\n<h4>Systemets funktionalitet<\/h4>\n<p>\nEftersom BigQuery \u00e4r en hanterad tj\u00e4nst beh\u00f6vde SRE-teamet p\u00e5 Twitter inte kopplas in f\u00f6r att hantera systemen eller utf\u00f6ra driftuppgifter. Det var enkelt att s\u00e4kerst\u00e4lla h\u00f6g kapacitet b\u00e5de f\u00f6r lagring och ber\u00e4kningar. Vi kunde justera slotreservationen genom att skapa biljetter till Google-supporten. Vi identifierade att vi kunde f\u00f6rb\u00e4ttra, till exempel sj\u00e4lvbetj\u00e4ningen f\u00f6r slottdistribution och f\u00f6rb\u00e4ttra instrumentpanelen f\u00f6r \u00f6vervakning, och vi vidarebefordrade dessa f\u00f6rfr\u00e5gningar till Google.<\/p>\n<h4>Kostnad<\/h4>\n<p>\nV\u00e5r prelimin\u00e4ra analys visade att kostnaden f\u00f6r f\u00f6rfr\u00e5gningar f\u00f6r BigQuery och Presto var p\u00e5 samma niv\u00e5. Vi k\u00f6pte slots till <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\/pricing#flat_rate_pricing\">ett fast<\/a><\/noindex> pris f\u00f6r att ha en stabil m\u00e5nadsavgift ist\u00e4llet f\u00f6r att betala <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\/pricing#on_demand_pricing\">per beg\u00e4ran<\/a><\/noindex> per TB bearbetad data. Detta beslut baserades ocks\u00e5 p\u00e5 feedback fr\u00e5n anv\u00e4ndare som inte ville t\u00e4nka p\u00e5 kostnaderna innan de gjorde varje f\u00f6rfr\u00e5gning.<\/p>\n<p>Datlagring i BigQuery medf\u00f6rde kostnader ut\u00f6ver kostnaderna f\u00f6r GCS. Verktyg som Scalding kr\u00e4ver att dataset finns i GCS, och f\u00f6r att f\u00e5 tillg\u00e5ng till BigQuery var vi tvungna att ladda upp samma dataset i BigQuery-format. <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/blog\/products\/gcp\/inside-capacitor-bigquerys-next-generation-columnar-storage-format\">Capacitor<\/a><\/noindex>. Vi arbetar med att koppla samman Scalding med BigQuery-dataset, vilket skulle eliminera behovet av att lagra dataset b\u00e5de i GCS och BigQuery.<\/p>\n<p>F\u00f6r s\u00e4llsynta fall som kr\u00e4vde s\u00e4llsynta f\u00f6rfr\u00e5gningar p\u00e5 tiotals petabyte beslutade vi att lagring av dataset i BigQuery inte var kostnadseffektivt och anv\u00e4nde Presto f\u00f6r direkt \u00e5tkomst till dataset i GCS. F\u00f6r detta ser vi p\u00e5 BigQuery External Data Sources.<\/p>\n<h3>F\u00f6ljande steg<\/h3>\n<p>\nVi har noterat stort intresse f\u00f6r BigQuery sedan alfa-lanseringen. Vi l\u00e4gger till fler dataset och fler team i BigQuery. Vi utvecklar kopplingar f\u00f6r dataanalysverktyg som Scalding f\u00f6r att l\u00e4sa och skriva till BigQuery-lagringen. Vi \u00f6verv\u00e4ger verktyg som Looker och Apache Zeppelin f\u00f6r att skapa f\u00f6retagsrapporter om kvalitet och anteckningar med hj\u00e4lp av BigQuery-dataset.<\/p>\n<p>Samarbetet med Google har varit mycket produktivt, och vi ser fram emot att forts\u00e4tta och utveckla detta partnerskap. Vi har arbetat med Google f\u00f6r att implementera v\u00e5r egen <noindex><a rel=\"nofollow\" href=\"https:\/\/developers.google.com\/issue-tracker\/guides\/partner-access\">Partner Issue Tracker<\/a><\/noindex>, f\u00f6r att direkt skicka f\u00f6rfr\u00e5gningar till Google. Vissa av dessa, som BigQuery Parquet-laddaren, har redan implementerats av Google.<\/p>\n<p>H\u00e4r \u00e4r n\u00e5gra av v\u00e5ra h\u00f6gprioriterade funktionsf\u00f6rfr\u00e5gningar f\u00f6r Google:<\/p>\n<ul>\n<li>Verktyg f\u00f6r smidig datainh\u00e4mtning och st\u00f6d f\u00f6r LZO-Thrift-formatet.<\/li>\n<li>Timbaserad segmentering<\/li>\n<li>F\u00f6rb\u00e4ttringar inom \u00e5tkomstkontroll, s\u00e5som beh\u00f6righeter p\u00e5 tabell-, rad- och kolumnniv\u00e5.<\/li>\n<li>BigQuery <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\/external-data-sources\">Externa datak\u00e4llor<\/a><\/noindex> med integration och st\u00f6d f\u00f6r Hive Metastore f\u00f6r LZO-Thrift-formatet.<\/li>\n<li>F\u00f6rb\u00e4ttrad integration av datakatalog i BigQuery-anv\u00e4ndargr\u00e4nssnittet<\/li>\n<li>Sj\u00e4lvbetj\u00e4ning f\u00f6r distribution och \u00f6vervakning av slots.<\/li>\n<\/ul>\n<p><\/p>\n<h3>Slutsats<\/h3>\n<p>\nDemokratisering av dataanalys, visualisering och maskininl\u00e4rning p\u00e5 ett s\u00e4kert s\u00e4tt \u00e4r en h\u00f6gsta prioritet f\u00f6r Data Platform-teamet. Vi har identifierat Google BigQuery och Data Studio som verktyg som kan hj\u00e4lpa till att n\u00e5 detta m\u00e5l, och vi sl\u00e4ppte BigQuery Alpha f\u00f6r hela f\u00f6retaget f\u00f6rra \u00e5ret. <\/p>\n<p>Vi har funnit att f\u00f6rfr\u00e5gningar i BigQuery var enkla och effektiva. F\u00f6r datainh\u00e4mtning och transformation anv\u00e4nde vi Googles verktyg f\u00f6r enkla r\u00f6rledningar, men f\u00f6r mer komplexa r\u00f6rledningar var vi tvungna att skapa v\u00e5r egen Airflow-infrastruktur. Vad g\u00e4ller datastyrning uppfyller BigQuerys tj\u00e4nster f\u00f6r autentisering, auktorisering och granskning v\u00e5ra behov. F\u00f6r hantering av metadata och sekretesskrav beh\u00f6vde vi stor flexibilitet och var tvungna att bygga egna system. BigQuery, som en hanterad tj\u00e4nst, var l\u00e4tt att anv\u00e4nda. Kostnaderna f\u00f6r f\u00f6rfr\u00e5gningar var j\u00e4mf\u00f6rbara med befintliga verktyg. Datastore i BigQuery medf\u00f6rde kostnader ut\u00f6ver kostnaderna f\u00f6r GCS.<\/p>\n<p>\u00d6verlag fungerar BigQuery bra f\u00f6r allm\u00e4n SQL-analys. Vi noterar stort intresse f\u00f6r BigQuery och arbetar med att migrera fler dataset, attrahera fler team och skapa fler r\u00f6rledningar med BigQuery. P\u00e5 Twitter anv\u00e4nds olika data som kr\u00e4ver en kombination av verktyg som Scalding, Spark, Presto och Druid. Vi avser att forts\u00e4tta utveckla v\u00e5ra analysverktyg och ge klara rekommendationer till v\u00e5ra anv\u00e4ndare om hur man b\u00e4st anv\u00e4nder v\u00e5ra erbjudanden.<\/p>\n<h3>Tackord<\/h3>\n<p>\nJag vill tacka mina medf\u00f6rfattare och teamkollegor, Anju Dja och Will Pascucci, f\u00f6r deras fantastiska samarbete och h\u00e5rda arbete i detta projekt. Jag vill ocks\u00e5 tacka ingenj\u00f6rer och chefer fr\u00e5n flera team p\u00e5 Twitter och Google som hj\u00e4lpte oss och anv\u00e4ndarna av BigQuery p\u00e5 Twitter genom att ge v\u00e4rdefull feedback.<\/p>\n<p>Om du \u00e4r intresserad av att arbeta med dessa uppgifter, ta en titt p\u00e5 v\u00e5ra <noindex><a rel=\"nofollow\" href=\"https:\/\/careers.twitter.com\/content\/careers-twitter\/en\/jobs-search.html?q=&amp;team=careers-twitter%3Ateam%2Finfrastructure-engineering\">lediga tj\u00e4nster<\/a><\/noindex> i Data Platform-teamet.<\/p>\n<p>\n<noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/eD9S\/\">Datakvalitet i DWH \u2013 konsistens i datalagringen<\/a><\/noindex><\/p>\n<p>K\u00e4lla: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/513782\/\">habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb. \u0412 \u043f\u0440\u0435\u0434\u0434\u0432\u0435\u0440\u0438\u0438 \u0441\u0442\u0430\u0440\u0442\u0430 \u043a\u0443\u0440\u0441\u0430 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u043c \u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u0441 \u0432\u0430\u043c\u0438 \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u043c \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u043e\u043c. \u0427\u0438\u0442\u0430\u0442\u044c \u043f\u0435\u0440\u0432\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u0423\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0421\u0438\u043b\u044c\u043d\u043e\u0435 \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 (Strong Data Governance) \u2014 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043f\u0440\u0438\u043d\u0446\u0438\u043f Twitter Engineering. \u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043c\u044b \u0432\u043d\u0435\u0434\u0440\u044f\u0435\u043c BigQuery \u0432 \u043d\u0430\u0448\u0443 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0443, \u043c\u044b \u043a\u043e\u043d\u0446\u0435\u043d\u0442\u0440\u0438\u0440\u0443\u0435\u043c\u0441\u044f \u043d\u0430 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445, \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435 \u0434\u043e\u0441\u0442\u0443\u043f\u0430, \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e\u0441\u0442\u0438 [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":91904,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-91903","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.4 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2\" \/>\n\t\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.4\" \/>\n\t\t<meta property=\"og:locale\" content=\"sv_SE\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041a\u0430\u043a BigQuery \u043e\u0442 Google \u0434\u0435\u043c\u043e\u043a\u0440\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445. \u0427\u0430\u0441\u0442\u044c 2 | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2020-08-20T05:42:18+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-08-20T05:42:18+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Hur Google BigQuery demokratiserade dataanalys. Del 2 | ProHoster","description":"Hej, Habr! Just nu har OTUS \u00f6ppnat anm\u00e4lan till en ny omg\u00e5ng av kursen \"Data Engineer\".","canonical_url":"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"sv_SE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041a\u0430\u043a BigQuery \u043e\u0442 Google \u0434\u0435\u043c\u043e\u043a\u0440\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445. \u0427\u0430\u0441\u0442\u044c 2 | ProHoster","og:description":"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb.","og:url":"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-08-20T05:42:18+00:00","article:modified_time":"2020-08-20T05:42:18+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"91903","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 12:18:28","updated":"2022-10-08 11:10:45","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/posts\/91903","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/comments?post=91903"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/posts\/91903\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/media\/91904"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/media?parent=91903"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/categories?post=91903"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/tags?post=91903"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}