{"id":91903,"date":"2020-08-20T07:42:18","date_gmt":"2020-08-20T05:42:18","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2"},"modified":"2020-08-20T07:42:18","modified_gmt":"2020-08-20T05:42:18","slug":"kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2","title":{"rendered":"Jak BigQuery od Google zdemokratyzowa\u0142 analiz\u0119 danych. Cz\u0119\u015b\u0107 2","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p><b><i>Cze\u015b\u0107, Habr! W OTUS trwa rekrutacja na now\u0105 edycj\u0119 kursu <noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/wDZQ\/\">Data Engineer<\/a><\/noindex>. W oczekiwaniu na rozpocz\u0119cie kursu, kontynuujemy dzielenie si\u0119 z Wami przydatnymi materia\u0142ami. <\/i><\/b><\/p>\n<p><i><noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/\">Przeczytaj pierwsz\u0105 cz\u0119\u015b\u0107<\/a><\/noindex><\/i><\/p>\n<p><img decoding=\"async\" alt=\"Jak BigQuery od Google zdemokratyzowa\u0142 analiz\u0119 danych. Cz\u0119\u015b\u0107 2\" src=\"\/wp-content\/uploads\/2020\/08\/7b9314bffd954cd408807280f8956c21.png\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<h4>Zarz\u0105dzanie danymi<\/h4>\n<p>\nSilne zarz\u0105dzanie danymi (Strong Data Governance) to kluczowa zasada in\u017cynierii Twittera. W miar\u0119 wprowadzania BigQuery na nasz\u0105 platform\u0119, koncentrujemy si\u0119 na odkrywaniu danych, kontroli dost\u0119pu, bezpiecze\u0144stwie i prywatno\u015bci.<noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<p>Aby odkrywa\u0107 dane i nimi zarz\u0105dza\u0107, rozszerzyli\u015bmy nasz\u0105 warstw\u0119 dost\u0119pu do danych (Data Access Layer \u2014 <noindex><a rel=\"nofollow\" href=\"https:\/\/blog.twitter.com\/engineering\/en_us\/topics\/insights\/2016\/discovery-and-consumption-of-analytics-data-at-twitter.html\">DAL<\/a><\/noindex>), aby zapewni\u0107 narz\u0119dzia zar\u00f3wno dla danych lokalnych, jak i dla danych Google Cloud, oferuj\u0105c jednolity interfejs i API dla naszych u\u017cytkownik\u00f3w. W miar\u0119 jak Google <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/data-catalog\/\">Data Catalog<\/a><\/noindex> przemieszcza si\u0119 w stron\u0119 publiczno\u015bci, w\u0142\u0105czymy go do naszych projekt\u00f3w, aby zaoferowa\u0107 u\u017cytkownikom takie funkcje jak wyszukiwanie po kolumnach.<\/p>\n<p>BigQuery u\u0142atwia wymian\u0119 danych i dost\u0119p do nich, ale musieli\u015bmy w pewnym zakresie to kontrolowa\u0107, aby zapobiec eksfiltracji danych. Spo\u015br\u00f3d innych narz\u0119dzi wybrali\u015bmy dwie funkcje:<\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/resource-manager\/docs\/organization-policy\/restricting-domains\">Udost\u0119pnianie ograniczone do domeny<\/a><\/noindex>: funkcja beta, kt\u00f3ra zabrania u\u017cytkownikom udost\u0119pniania zbior\u00f3w danych BigQuery u\u017cytkownikom spoza Twittera.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/vpc-service-controls\/\">Kontrola us\u0142ug VPC<\/a><\/noindex>: element kontroli, kt\u00f3ry zapobiega eksfiltracji danych i wymaga od u\u017cytkownik\u00f3w dost\u0119pu do BigQuery z znanych zakres\u00f3w adres\u00f3w IP.<\/li>\n<\/ul>\n<p>\nZrealizowali\u015bmy wymagania dotycz\u0105ce uwierzytelniania, autoryzacji i audytu (AAA) w nast\u0119puj\u0105cy spos\u00f3b:<\/p>\n<ul>\n<li> Uwierzytelnianie: u\u017cyli\u015bmy kont u\u017cytkownik\u00f3w GCP do zapyta\u0144 ad hoc oraz kont us\u0142ug do zapyta\u0144 roboczych.<\/li>\n<li>Autoryzacja: wymagali\u015bmy, aby ka\u017cdy zbi\u00f3r danych mia\u0142 konto w\u0142a\u015bciciela us\u0142ugi i grup\u0119 czytelnik\u00f3w.<\/li>\n<li>Audyt: eksportowali\u015bmy dzienniki stack driver\u00f3w BigQuery, zawieraj\u0105ce szczeg\u00f3\u0142owe informacje na temat wykonywania zapyta\u0144, do zestawu danych BigQuery dla wygody analizy.<\/li>\n<\/ul>\n<p>\nAby zapewni\u0107 odpowiednie przetwarzanie osobistych danych u\u017cytkownik\u00f3w Twittera, musimy zarejestrowa\u0107 wszystkie zbiory danych BigQuery, anotowa\u0107 dane osobowe, utrzymywa\u0107 w\u0142a\u015bciwe przechowywanie i usuwa\u0107 dane, kt\u00f3re zosta\u0142y usuni\u0119te przez u\u017cytkownik\u00f3w.<\/p>\n<p>Rozwa\u017cali\u015bmy Google <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/dlp\/\">Cloud Data Loss Prevention API<\/a><\/noindex>, kt\u00f3ry wykorzystuje uczenie maszynowe do klasyfikacji i edytowania danych wra\u017cliwych, ale podj\u0119li\u015bmy decyzj\u0119 na rzecz r\u0119cznej adnotacji zbioru danych ze wzgl\u0119du na dok\u0142adno\u015b\u0107. Planujemy u\u017cy\u0107 interfejsu API zapobiegania utracie danych, aby uzupe\u0142ni\u0107 adnotacje u\u017cytkownik\u00f3w.<\/p>\n<p>W Twitterze stworzyli\u015bmy cztery kategorie prywatno\u015bci dla zbior\u00f3w danych w BigQuery, wymienione tutaj w kolejno\u015bci malej\u0105cej wra\u017cliwo\u015bci:<\/p>\n<ul>\n<li>Zbiory danych o wysokiej wra\u017cliwo\u015bci s\u0105 dost\u0119pne w razie potrzeby na podstawie zasady najmniejszych uprawnie\u0144. Ka\u017cdy zbi\u00f3r danych ma oddzieln\u0105 grup\u0119 odbiorc\u00f3w, a my b\u0119dziemy \u015bledzi\u0107 korzystanie z poszczeg\u00f3lnych kont.<\/li>\n<li>Zbiory danych o \u015bredniej wra\u017cliwo\u015bci (jednoznaczne pseudonimy z u\u017cyciem solonego hashowania) nie zawieraj\u0105 informacji osobowych (Personally Identifiable Information \u2014 PII) i s\u0105 dost\u0119pne dla szerszej grupy pracownik\u00f3w. To dobry balans mi\u0119dzy kwestiami prywatno\u015bci a u\u017cyteczno\u015bci\u0105 danych. Pozwala to pracownikom przeprowadza\u0107 analizy, takie jak obliczanie liczby u\u017cytkownik\u00f3w, kt\u00f3rzy korzystali z funkcji, nie wiedz\u0105c, kto jest faktycznym u\u017cytkownikiem.<\/li>\n<li>Zbiory danych o niskiej wra\u017cliwo\u015bci zawieraj\u0105 wszystkie informacje identyfikuj\u0105ce u\u017cytkownika. To dobre podej\u015bcie z perspektywy prywatno\u015bci, ale nie mo\u017ce by\u0107 u\u017cywane do analizy na poziomie u\u017cytkownika.<\/li>\n<li>Publiczne zbiory danych (opublikowane poza Twitterem) s\u0105 dost\u0119pne dla wszystkich pracownik\u00f3w Twittera.<\/li>\n<\/ul>\n<p>\nJe\u015bli chodzi o rejestracj\u0119, u\u017cyli\u015bmy zaplanowanych zada\u0144 do wymienienia zbior\u00f3w danych BigQuery i zarejestrowania ich w Warstwie Dost\u0119pu do Danych (<noindex><a rel=\"nofollow\" href=\"https:\/\/blog.twitter.com\/engineering\/en_us\/topics\/insights\/2016\/discovery-and-consumption-of-analytics-data-at-twitter.html\">DAL<\/a><\/noindex>), magazynie metadanych Twittera. U\u017cytkownicy b\u0119d\u0105 adnotowa\u0107 zbiory danych informacjami o prywatno\u015bci oraz okre\u015bla\u0107 okres przechowywania. Je\u017celi chodzi o czyszczenie, oceniamy wydajno\u015b\u0107 i koszty dw\u00f3ch opcji: <i>1.<\/i> Czyszczenie zbior\u00f3w danych w GCS za pomoc\u0105 narz\u0119dzi takich jak Scalding i przesy\u0142anie ich do BigQuery; <i>2.<\/i> U\u017cycie operator\u00f3w DML BigQuery. Prawdopodobnie b\u0119dziemy u\u017cywa\u0107 kombinacji obu metod, aby sprosta\u0107 wymaganiom r\u00f3\u017cnych grup i danych.<\/p>\n<h4>Funkcjonalno\u015b\u0107 systemu<\/h4>\n<p>\nPoniewa\u017c BigQuery jest zarz\u0105dzan\u0105 us\u0142ug\u0105, nie by\u0142o potrzeby anga\u017cowania zespo\u0142u SRE Twittera w zarz\u0105dzanie systemami czy wykonywanie obowi\u0105zk\u00f3w dora\u017anych. \u0141atwo by\u0142o zapewni\u0107 du\u017c\u0105 pojemno\u015b\u0107 zar\u00f3wno dla przechowywania, jak i oblicze\u0144. Mo\u017cemy dostosowa\u0107 rezerwacj\u0119 slot\u00f3w, tworz\u0105c zg\u0142oszenia w wsparciu Google. Zidentyfikowali\u015bmy mo\u017cliwo\u015bci poprawy, takie jak samoobs\u0142uga do rozdzielania slot\u00f3w oraz ulepszenie pulpitu nawigacyjnego do monitorowania, i przes\u0142ali\u015bmy te pro\u015bby do Google.<\/p>\n<h4>Koszt<\/h4>\n<p>\nNasza wst\u0119pna analiza wykaza\u0142a, \u017ce koszty zapyta\u0144 dla BigQuery i Presto by\u0142y na tym samym poziomie. Zakupili\u015bmy sloty po <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\/pricing#flat_rate_pricing\">sta\u0142ej<\/a><\/noindex> cenie, aby mie\u0107 stabilny miesi\u0119czny koszt, zamiast p\u0142aci\u0107 <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\/pricing#on_demand_pricing\">na \u017c\u0105danie<\/a><\/noindex> za TB przetworzonych danych. Ta decyzja opiera\u0142a si\u0119 r\u00f3wnie\u017c na opiniach u\u017cytkownik\u00f3w, kt\u00f3rzy nie chcieli martwi\u0107 si\u0119 kosztami przed wykonaniem ka\u017cdego zapytania.<\/p>\n<p>Przechowywanie danych w BigQuery wi\u0105za\u0142o si\u0119 z dodatkowymi kosztami opr\u00f3cz koszt\u00f3w GCS. Narz\u0119dzia takie jak Scalding wymagaj\u0105 posiadania zbior\u00f3w danych w GCS, a aby uzyska\u0107 dost\u0119p do BigQuery, musieli\u015bmy przes\u0142a\u0107 te same zbiory danych w formacie BigQuery <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/blog\/products\/gcp\/inside-capacitor-bigquerys-next-generation-columnar-storage-format\">Capacitor.<\/a><\/noindex>Pracujemy nad po\u0142\u0105czeniem Scalding z zbiorami danych BigQuery, co wyeliminuje potrzeb\u0119 przechowywania zbior\u00f3w danych zar\u00f3wno w GCS, jak i w BigQuery.<\/p>\n<p>W rzadkich przypadkach, kt\u00f3re wymaga\u0142y sporadycznych zapyta\u0144 na poziomie dziesi\u0105tek petabajt\u00f3w, zdecydowali\u015bmy, \u017ce przechowywanie zbior\u00f3w danych w BigQuery nie jest ekonomicznie uzasadnione, i u\u017cyli\u015bmy Presto do bezpo\u015bredniego dost\u0119pu do zbior\u00f3w danych w GCS. W tym celu przygl\u0105damy si\u0119 zewn\u0119trznym \u017ar\u00f3d\u0142om danych BigQuery.<\/p>\n<h3>Nast\u0119pne kroki<\/h3>\n<p>\nZauwa\u017cyli\u015bmy du\u017c\u0105 zainteresowanie BigQuery od momentu premiery wersji alfa. Dodajemy wi\u0119cej zbior\u00f3w danych i wi\u0119cej zespo\u0142\u00f3w do BigQuery. Opracowujemy konektory dla narz\u0119dzi analitycznych, takich jak Scalding, do odczytu i zapisu w przechowalni BigQuery. Rozwa\u017camy takie narz\u0119dzia jak Looker i Apache Zeppelin, aby tworzy\u0107 raporty korporacyjne dotycz\u0105ce jako\u015bci oraz notatki z wykorzystaniem zbior\u00f3w danych BigQuery.<\/p>\n<p>Wsp\u00f3\u0142praca z Google by\u0142a bardzo owocna, i cieszymy si\u0119, \u017ce mo\u017cemy kontynuowa\u0107 i rozwija\u0107 to partnerstwo. Wsp\u00f3\u0142pracowali\u015bmy z Google, aby wdro\u017cy\u0107 nasz w\u0142asny <noindex><a rel=\"nofollow\" href=\"https:\/\/developers.google.com\/issue-tracker\/guides\/partner-access\">Partner Issue Tracker<\/a><\/noindex>, aby bezpo\u015brednio przesy\u0142a\u0107 pro\u015bby do Google. Niekt\u00f3re z nich, takie jak \u0142adowarka BigQuery Parquet, zosta\u0142y ju\u017c wdro\u017cone przez Google.<\/p>\n<p>Oto niekt\u00f3re z naszych najwy\u017cszych priorytetowych zapyta\u0144 funkcji dla Google:<\/p>\n<ul>\n<li>Narz\u0119dzia do wygodnego przyjmowania danych i wsparcie dla formatu LZO-Thrift.<\/li>\n<li>Segregacja na godziny<\/li>\n<li>Ulepszenia w zakresie kontroli dost\u0119pu, takie jak uprawnienia na poziomie tabel, wierszy i kolumn.<\/li>\n<li>BigQuery <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\/external-data-sources\">Zewn\u0119trzne \u017ar\u00f3d\u0142a danych<\/a><\/noindex> z integracj\u0105 i wsparciem dla Hive Metastore dla formatu LZO-Thrift.<\/li>\n<li>Udoskonalona integracja katalogu danych w interfejsie u\u017cytkownika BigQuery.<\/li>\n<li>Samodzielne us\u0142ugi do dystrybucji i monitorowania slot\u00f3w.<\/li>\n<\/ul>\n<p><\/p>\n<h3>Podsumowanie<\/h3>\n<p>\nDemokratyzacja analizy danych, wizualizacji i uczenia maszynowego w bezpieczny spos\u00f3b jest najwy\u017cszym priorytetem zespo\u0142u Data Platform. Zidentyfikowali\u015bmy Google BigQuery i Data Studio jako narz\u0119dzia, kt\u00f3re mog\u0105 pom\u00f3c w osi\u0105gni\u0119ciu tego celu, i w zesz\u0142ym roku wprowadzili\u015bmy wersj\u0119 Alpha BigQuery dla ca\u0142ej firmy. <\/p>\n<p>Odkryli\u015bmy, \u017ce zapytania w BigQuery by\u0142y proste i skuteczne. Do przyjmowania i przetwarzania danych korzystali\u015bmy z narz\u0119dzi Google do prostych pipeline'\u00f3w, ale do bardziej z\u0142o\u017conych musieli\u015bmy stworzy\u0107 w\u0142asn\u0105 infrastruktur\u0119 Airflow. W zakresie zarz\u0105dzania danymi us\u0142ugi BigQuery spe\u0142niaj\u0105 nasze potrzeby dotycz\u0105ce uwierzytelniania, autoryzacji i audytu. Do zarz\u0105dzania metadanymi i przestrzegania prywatno\u015bci potrzebowali\u015bmy wi\u0119kszej elastyczno\u015bci i musieli\u015bmy stworzy\u0107 w\u0142asne systemy. BigQuery, b\u0119d\u0105c us\u0142ug\u0105 zarz\u0105dzan\u0105, by\u0142 \u0142atwy w obs\u0142udze. Koszty zapyta\u0144 by\u0142y por\u00f3wnywalne z istniej\u0105cymi narz\u0119dziami. Przechowywanie danych w BigQuery wi\u0105za\u0142o si\u0119 z dodatkowymi kosztami poza wydatkami na GCS.<\/p>\n<p>Og\u00f3lnie rzecz bior\u0105c, BigQuery dobrze sprawdza si\u0119 przy og\u00f3lnej analizie SQL. Zauwa\u017camy du\u017ce zainteresowanie BigQuery i pracujemy nad przenoszeniem wi\u0119kszej liczby zbior\u00f3w danych, anga\u017cowaniem wi\u0119kszej liczby zespo\u0142\u00f3w i tworzeniem wi\u0119kszej liczby pipeline'\u00f3w z BigQuery. W Twitterze wykorzystuje si\u0119 r\u00f3\u017cne dane, kt\u00f3re b\u0119d\u0105 wymaga\u0142y kombinacji takich narz\u0119dzi jak Scalding, Spark, Presto i Druid. Zamierzamy nadal rozwija\u0107 nasze narz\u0119dzia do analizy danych i dostarcza\u0107 jasne wytyczne naszym u\u017cytkownikom, jak najlepiej wykorzysta\u0107 nasze oferty.<\/p>\n<h3>S\u0142owa wdzi\u0119czno\u015bci<\/h3>\n<p>\nChcia\u0142bym podzi\u0119kowa\u0107 moim wsp\u00f3\u0142autorom i kolegom z zespo\u0142u, An\u017cu D\u017ca i Willa Pascucci, za ich wspania\u0142\u0105 wsp\u00f3\u0142prac\u0119 i ci\u0119\u017ck\u0105 prac\u0119 nad tym projektem. Chcia\u0142bym r\u00f3wnie\u017c podzi\u0119kowa\u0107 in\u017cynierom i mened\u017cerom z r\u00f3\u017cnych zespo\u0142\u00f3w w Twitterze i Google, kt\u00f3rzy pomogli nam oraz u\u017cytkownikom BigQuery w Twitterze, dostarczaj\u0105c cenne informacje zwrotne.<\/p>\n<p>Je\u015bli jeste\u015b zainteresowany prac\u0105 nad tymi zadaniami, zapoznaj si\u0119 z naszymi <noindex><a rel=\"nofollow\" href=\"https:\/\/careers.twitter.com\/content\/careers-twitter\/en\/jobs-search.html?q=&amp;team=careers-twitter%3Ateam%2Finfrastructure-engineering\">ofertami pracy<\/a><\/noindex> w zespole Data Platform.<\/p>\n<p>\n<noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/eD9S\/\">Jako\u015b\u0107 danych w DWH \u2014 sp\u00f3jno\u015b\u0107 magazynu danych<\/a><\/noindex><\/p>\n<p>\u0179r\u00f3d\u0142o: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/513782\/\">habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb. \u0412 \u043f\u0440\u0435\u0434\u0434\u0432\u0435\u0440\u0438\u0438 \u0441\u0442\u0430\u0440\u0442\u0430 \u043a\u0443\u0440\u0441\u0430 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u043c \u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u0441 \u0432\u0430\u043c\u0438 \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u043c \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u043e\u043c. \u0427\u0438\u0442\u0430\u0442\u044c \u043f\u0435\u0440\u0432\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u0423\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0421\u0438\u043b\u044c\u043d\u043e\u0435 \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 (Strong Data Governance) \u2014 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043f\u0440\u0438\u043d\u0446\u0438\u043f Twitter Engineering. \u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043c\u044b \u0432\u043d\u0435\u0434\u0440\u044f\u0435\u043c BigQuery \u0432 \u043d\u0430\u0448\u0443 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0443, \u043c\u044b \u043a\u043e\u043d\u0446\u0435\u043d\u0442\u0440\u0438\u0440\u0443\u0435\u043c\u0441\u044f \u043d\u0430 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445, \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435 \u0434\u043e\u0441\u0442\u0443\u043f\u0430, \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e\u0441\u0442\u0438 [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":91904,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-91903","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.1.1 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2\" \/>\n\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.1.1\" \/>\n\t\t<meta property=\"og:locale\" content=\"pl_PL\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041a\u0430\u043a BigQuery \u043e\u0442 Google \u0434\u0435\u043c\u043e\u043a\u0440\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445. \u0427\u0430\u0441\u0442\u044c 2 | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2020-08-20T05:42:18+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-08-20T05:42:18+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Jak BigQuery od Google zdemokratyzowa\u0142 analiz\u0119 danych. Cz\u0119\u015b\u0107 2 | ProHoster","description":"Cze\u015b\u0107, Habr! W\u0142a\u015bnie teraz w OTUS trwa nab\u00f3r na nowy cykl kursu \u201eData Engineer\u201d.","canonical_url":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"pl_PL","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041a\u0430\u043a BigQuery \u043e\u0442 Google \u0434\u0435\u043c\u043e\u043a\u0440\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445. \u0427\u0430\u0441\u0442\u044c 2 | ProHoster","og:description":"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb.","og:url":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-08-20T05:42:18+00:00","article:modified_time":"2020-08-20T05:42:18+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"91903","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 12:18:28","updated":"2022-10-08 11:10:45","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts\/91903","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/comments?post=91903"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts\/91903\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/media\/91904"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/media?parent=91903"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/categories?post=91903"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/tags?post=91903"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}