{"id":91903,"date":"2020-08-20T07:42:18","date_gmt":"2020-08-20T05:42:18","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2"},"modified":"2020-08-20T07:42:18","modified_gmt":"2020-08-20T05:42:18","slug":"kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sl\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2","title":{"rendered":"Kako je Google BigQuery demokratizovao analizu podataka. Deo 2","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p><b><i>Pozdrav, Habr! Trenutno su u OTUS-u otvorene prijave za novu grupu te\u010daja <noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/wDZQ\/\">Data Engineer<\/a><\/noindex>. Uo\u010di po\u010detka kursa, nastavljamo da delimo korisne materijale s vama. <\/i><\/b><\/p>\n<p><i><noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/\">Pro\u010ditajte prvi deo<\/a><\/noindex><\/i><\/p>\n<p><img decoding=\"async\" alt=\"Kako je Google BigQuery demokratizovao analizu podataka. Deo 2\" src=\"\/wp-content\/uploads\/2020\/08\/7b9314bffd954cd408807280f8956c21.png\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<h4>Upravljanje podatkov<\/h4>\n<p>\nSna\u017eno upravljanje podacima (Strong Data Governance) je osnovni princip in\u017eenjeringa na Twitteru. Dok implementiramo BigQuery na na\u0161oj platformi, fokusiramo se na otkrivanje podataka, kontrolu pristupa, sigurnost i privatnost.<noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<p>Za otkrivanje i upravljanje podacima, pro\u0161irili smo na\u0161 nivo pristupa podacima (Data Access Layer \u2014 <noindex><a rel=\"nofollow\" href=\"https:\/\/blog.twitter.com\/engineering\/en_us\/topics\/insights\/2016\/discovery-and-consumption-of-analytics-data-at-twitter.html\">DAL<\/a><\/noindex>), kako bismo korisnicima obezbedili alate i za lokalne podatke i za podatke iz Google Cloud-a, pru\u017eaju\u0107i jedinstveni interfejs i API. Kako Google <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/data-catalog\/\">Data Catalog<\/a><\/noindex> napreduje prema javnosti, uklju\u010di\u0107emo ga u na\u0161e projekte kako bismo korisnicima obezbedili funkcionalnosti poput pretrage po kolonama.<\/p>\n<p>BigQuery olak\u0161ava deljenje podataka i pristup istim, ali smo morali da kontroli\u0161emo to do odre\u0111ene mere kako bismo spre\u010dili iscurenje podataka. Uz druge alate, izabrali smo dve funkcije:<\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/resource-manager\/docs\/organization-policy\/restricting-domains\">Deljenje ograni\u010deno domenom<\/a><\/noindex>: beta funkcija koja zabranjuje korisnicima da dele BigQuery skupove podataka s korisnicima van Twittera.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/vpc-service-controls\/\">VPC kontrole usluga<\/a><\/noindex>: kontrolni element koji spre\u010dava iscurenje podataka i zahteva od korisnika da pristupaju BigQuery iz poznatih IP adresa.<\/li>\n<\/ul>\n<p>\nImplementirali smo zahteve za autentifikaciju, autorizaciju i reviziju (AAA) radi obezbe\u0111enja na slede\u0107i na\u010din:<\/p>\n<ul>\n<li> Autentifikacija: koristili smo GCP korisni\u010dke naloge za ad hoc upite i naloge servisa za radne upite.<\/li>\n<li>Autorizacija: zahtevali smo da svaki skup podataka ima nalog servisa vlasnika i grupu \u010ditaoca.<\/li>\n<li>Revizija: eksportovali smo logove BigQuery StackDriver-a, koji su sadr\u017eavali detaljne informacije o izvr\u0161enim upitima, u BigQuery skup podataka radi lak\u0161e analize.<\/li>\n<\/ul>\n<p>\nDa bismo osigurali pravilnu obradu li\u010dnih podataka korisnika Twittera, moramo registrovati sve skupove podataka BigQuery, anotirati li\u010dne podatke, odr\u017eavati odgovaraju\u0107e skladi\u0161tenje i brisati (pro\u010di\u0161\u0107avati) podatke koje su korisnici uklonili.<\/p>\n<p>Razmatrali smo Google <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/dlp\/\">Cloud Data Loss Prevention API<\/a><\/noindex>, ki uporablja strojno u\u010denje za klasifikacijo in urejanje zaupnih podatkov, vendar smo se odlo\u010dili za ro\u010dno anotacijo niza podatkov zaradi natan\u010dnosti. Na\u010drtujemo uporabo API za prepre\u010devanje izgube podatkov, da dopolnimo uporabni\u0161ko annotacijo.<\/p>\n<p>Na Twitterju smo ustvarili \u0161tiri kategorije zasebnosti za niza podatkov v BigQuery, navedene tukaj v padajo\u010dem vrstnem redu ob\u010dutljivosti:<\/p>\n<ul>\n<li>Visoko ob\u010dutljivi nizi podatkov so na voljo po potrebi na osnovi na\u010dela najmanj\u0161ih privilegijev. Vsak niz podatkov ima lo\u010deno skupino bralcev in spremljali bomo uporabo posameznih ra\u010dunov.<\/li>\n<li>Nizi podatkov srednje ob\u010dutljivosti (enostranske pseudonimizacije s soljenim he\u0161iranjem) ne vsebujejo osebnih informacij (Personally Identifiable Information \u2014 PII) in so na voljo ve\u010dji skupini zaposlenih. To je dober kompromis med zahtevami glede zasebnosti in uporabnostjo podatkov. Omogo\u010da zaposlenim izvajanje analiz, kot je izra\u010dun \u0161tevila uporabnikov, ki so uporabili funkcijo, ne da bi vedeli, kdo so dejanski uporabniki.<\/li>\n<li>Nizi podatkov z nizko ob\u010dutljivostjo, ki vsebujejo vse informacije, ki identificirajo uporabnika. To je dober pristop z vidika zasebnosti, vendar ga ni mogo\u010de uporabiti za analizo na ravni uporabnika.<\/li>\n<li>Javni nizi podatkov (objavljeni zunaj Twitterja) so dostopni vsem zaposlenim Twitterja.<\/li>\n<\/ul>\n<p>\nKar se ti\u010de registracije, smo uporabili na\u010drtovane naloge za na\u0161tevanje nizov podatkov BigQuery in registracijo v Sloju dostopa do podatkov (<noindex><a rel=\"nofollow\" href=\"https:\/\/blog.twitter.com\/engineering\/en_us\/topics\/insights\/2016\/discovery-and-consumption-of-analytics-data-at-twitter.html\">DAL<\/a><\/noindex>), skladi\u0161\u010de metapodatkov Twitterja. Uporabniki bodo anotirali nize podatkov z informacijami o zasebnosti, prav tako pa navedenim rokom hrambe. Kar se ti\u010de \u010di\u0161\u010denja, ocenjujemo uspe\u0161nost in stro\u0161ke dveh mo\u017enosti: <i>1.<\/i> \u010ci\u0161\u010denje nizov podatkov v GCS z orodji, kot je Scalding, in nalaganje le-teh v BigQuery; <i>2.<\/i> Uporaba operatorjev BigQuery DML. Verjetno bomo uporabili kombinacijo obeh metod za zadovoljevanje potreb razli\u010dnih skupin in podatkov.<\/p>\n<h4>Funkcionalnost sistema<\/h4>\n<p>\nKer ker BigQuery predstavlja upravljano storitev, ni bilo potrebe po vklju\u010ditvi SRE ekipe Twitter v upravljanje sistemov ali opravljanje de\u017eurnih nalog. Enostavno je bilo zagotoviti veliko kapaciteto tako za shranjevanje kot za izra\u010dune. Rezervacijo slotov smo lahko spreminjali z ustvarjanjem zahtevkov za podporo Googlu. Ugotovili smo, da je mogo\u010de izbolj\u0161ati, na primer, samooskrbo pri dodeljevanju slotov in izbolj\u0161anje nadzorne plo\u0161\u010de za spremljanje, in ta prizadevanja smo posredovali Googlu.<\/p>\n<h4>Cena<\/h4>\n<p>\nNa\u0161a predhodna analiza je pokazala, da so stro\u0161ki poizvedb za BigQuery in Presto na enakem nivoju. Kupili smo slote po <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\/pricing#flat_rate_pricing\">fiksni<\/a><\/noindex> ceni, da bi imeli stabilne mese\u010dne stro\u0161ke namesto pla\u010devanja <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\/pricing#on_demand_pricing\">na zahtevo<\/a><\/noindex> za TB obdelanih podatkov. Ta odlo\u010ditev je bila prav tako podprta z mnenji uporabnikov, ki niso \u017eeleli razmi\u0161ljati o stro\u0161kih pred izvajanjem vsake poizvedbe.<\/p>\n<p>Shranjevanje podatkov v BigQuery je povzro\u010dilo dodatne stro\u0161ke ob upo\u0161tevanju stro\u0161kov GCS. Orodja, kot je Scalding, zahtevajo prisotnost podatkovnih nizov v GCS, in za dostop do BigQuery smo morali nalo\u017eiti iste podatkovne nize v format BigQuery <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/blog\/products\/gcp\/inside-capacitor-bigquerys-next-generation-columnar-storage-format\">Capacitor<\/a><\/noindex>. Delamo na povezovanju Scalding s podatkovnimi nizi BigQuery, kar bo odpravilo potrebo po shranjevanju podatkovnih nizov tako v GCS kot v BigQuery.<\/p>\n<p>Za redke primere, ki so zahtevali redke poizvedbe na desetine petabajtov, smo ugotovili, da shranjevanje podatkovnih nizov v BigQuery ni stro\u0161kovno u\u010dinkovito, zato smo uporabili Presto za neposreden dostop do podatkovnih nizov v GCS. Pri tem se zanimamo za BigQuery External Data Sources.<\/p>\n<h3>Naslednji koraki<\/h3>\n<p>\nOpazili smo velik interes za BigQuery od trenutka izdaje alfa verzije. Dodajamo ve\u010d podatkovnih nizov in ve\u010d ekip v BigQuery. Razvijamo povezovalnike za orodja za analizo podatkov, kot je Scalding, za branje in pisanje v skladi\u0161\u010de BigQuery. Razmi\u0161ljamo o orodjih, kot sta Looker in Apache Zeppelin, za ustvarjanje poslovnih poro\u010dil o kakovosti in opomb z uporabo podatkovnih nizov BigQuery.<\/p>\n<p>Sodelovanje z Googlom je bilo zelo produktivno in veselimo se, da bomo nadaljevali in razvijali to partnerstvo. Delali smo z Googlom, da bi uvedli na\u0161 lasten <noindex><a rel=\"nofollow\" href=\"https:\/\/developers.google.com\/issue-tracker\/guides\/partner-access\">Partner Issue Tracker<\/a><\/noindex>, da lahko neposredno po\u0161iljamo zahtevke Googlu. Nekateri od njih, kot je nalagalnik BigQuery Parquet, so \u017ee bili implemented by Google.<\/p>\n<p>Tukaj je nekaj na\u0161ih najpomembnej\u0161ih funkcionalnih zahtev za Google:<\/p>\n<ul>\n<li>Orodja za enostavno sprejemanje podatkov in podpora za LZO-Thrift format.<\/li>\n<li>Urejanje po urah<\/li>\n<li>Izbolj\u0161ave na podro\u010dju nadzora dostopa, kot so dovoljenja na ravni tabel, vrstic in stolpcih.<\/li>\n<li>BigQuery <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\/external-data-sources\">Zunanji podatkovni viri<\/a><\/noindex> z integracijo in podporo za Hive Metastore za LZO-Thrift format.<\/li>\n<li>Izbolj\u0161ana integracija podatkovnega kataloga v uporabni\u0161kem vmesniku BigQuery<\/li>\n<li>Samopostre\u017enost za razporejanje in spremljanje slotov.<\/li>\n<\/ul>\n<p><\/p>\n<h3>Zaklju\u010dek<\/h3>\n<p>\nDemokracija analize podatkov, vizualizacije in strojnega u\u010denja na varen na\u010din je najvi\u0161ja prioriteta ekipe Data Platform. Dolo\u010dili smo Google BigQuery in Data Studio kot orodja, ki lahko prispevajo k doseganju tega cilja, in lansirali BigQuery Alpha za celotno podjetje v preteklem letu. <\/p>\n<p>Ugotovili smo, da so poizvedbe v BigQuery preproste in u\u010dinkovite. Za sprejem in pretvorbo podatkov smo uporabili Googlove instrumente za preproste cevovode, za zapletene cevovode pa smo morali ustvariti svojo infrastrukturo Airflow. Na podro\u010dju upravljanja podatkov storitve BigQuery zadostujejo na\u0161im potrebam po avtentikaciji, avtorizaciji in reviziji. Za upravljanje metapodatkov in za\u0161\u010dito zasebnosti smo potrebovali veliko prilagodljivosti in morali smo ustvariti lastne sisteme. BigQuery, kot upravljana storitev, je bil enostaven za uporabo. Stro\u0161ki poizvedb so bili podobni obstoje\u010dim orodjem. Stro\u0161ki shranjevanja podatkov v BigQuery so bili dodatni k stro\u0161kom GCS.<\/p>\n<p>Na splo\u0161no BigQuery dobro deluje za splo\u0161no SQL analizo. Opazili smo veliko zanimanje za BigQuery in delamo na prenosu ve\u010d podatkovnih nizov, privabljanju ve\u010d ekip in ustvarjanju ve\u010d cevovodov z BigQuery. Na Twitterju se uporabljajo razli\u010dni podatki, za katere bo potrebna kombinacija orodij, kot so Scalding, Spark, Presto in Druid. Namerno je nadaljevati z razvojem na\u0161ih orodij za analizo podatkov in nuditi jasna priporo\u010dila na\u0161im uporabnikom o tem, kako najbolje izkoristiti na\u0161e ponudbe.<\/p>\n<h3>Besede hvale\u017enosti<\/h3>\n<p>\nRad bi se zahvalil svojim co-avtorjem in sodelavcem, Anju Dja in Willu Pascucci, za njihovo odli\u010dno sodelovanje in trdo delo na tem projektu. Prav tako bi se rad zahvalil in\u017eenirjem in vodjem iz ve\u010d ekip v Twitterju in Googlu, ki so nam in uporabnikom BigQuery na Twitterju pomagali z dragocenimi povratnimi informacijami.<\/p>\n<p>\u010ce vas zanima delo na teh nalogah, si oglejte na\u0161e <noindex><a rel=\"nofollow\" href=\"https:\/\/careers.twitter.com\/content\/careers-twitter\/en\/jobs-search.html?q=&amp;team=careers-twitter%3Ateam%2Finfrastructure-engineering\">proste polo\u017eaje<\/a><\/noindex> v ekipi Data Platform.<\/p>\n<p>\n<noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/eD9S\/\">Kakovost podatkov v DWH \u2013 doslednost podatkovnega skladi\u0161\u010da<\/a><\/noindex><\/p>\n<p>Izvor: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/513782\/\">habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb. \u0412 \u043f\u0440\u0435\u0434\u0434\u0432\u0435\u0440\u0438\u0438 \u0441\u0442\u0430\u0440\u0442\u0430 \u043a\u0443\u0440\u0441\u0430 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u043c \u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u0441 \u0432\u0430\u043c\u0438 \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u043c \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u043e\u043c. \u0427\u0438\u0442\u0430\u0442\u044c \u043f\u0435\u0440\u0432\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u0423\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0421\u0438\u043b\u044c\u043d\u043e\u0435 \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 (Strong Data Governance) \u2014 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043f\u0440\u0438\u043d\u0446\u0438\u043f Twitter Engineering. \u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043c\u044b \u0432\u043d\u0435\u0434\u0440\u044f\u0435\u043c BigQuery \u0432 \u043d\u0430\u0448\u0443 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0443, \u043c\u044b \u043a\u043e\u043d\u0446\u0435\u043d\u0442\u0440\u0438\u0440\u0443\u0435\u043c\u0441\u044f \u043d\u0430 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445, \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435 \u0434\u043e\u0441\u0442\u0443\u043f\u0430, \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e\u0441\u0442\u0438 [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":91904,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-91903","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.4 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/sl\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2\" \/>\n\t\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.4\" \/>\n\t\t<meta property=\"og:locale\" content=\"sl_SI\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041a\u0430\u043a BigQuery \u043e\u0442 Google \u0434\u0435\u043c\u043e\u043a\u0440\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445. \u0427\u0430\u0441\u0442\u044c 2 | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/sl\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2020-08-20T05:42:18+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-08-20T05:42:18+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Kako je BigQuery od Googla democratiziral analizo podatkov. Del 2 | ProHoster","description":"\u017divjo, Habr! Pravkar je v OTUSu odprt vpis za novo serijo te\u010daja 'Data Engineer'.","canonical_url":"https:\/\/prohoster.info\/sl\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"sl_SI","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041a\u0430\u043a BigQuery \u043e\u0442 Google \u0434\u0435\u043c\u043e\u043a\u0440\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445. \u0427\u0430\u0441\u0442\u044c 2 | ProHoster","og:description":"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb.","og:url":"https:\/\/prohoster.info\/sl\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-08-20T05:42:18+00:00","article:modified_time":"2020-08-20T05:42:18+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"91903","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 12:18:28","updated":"2022-10-08 11:10:45","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/posts\/91903","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/comments?post=91903"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/posts\/91903\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/media\/91904"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/media?parent=91903"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/categories?post=91903"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/tags?post=91903"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}