{"id":90783,"date":"2020-08-06T01:42:19","date_gmt":"2020-08-05T23:42:19","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1"},"modified":"2020-08-06T01:42:19","modified_gmt":"2020-08-05T23:42:19","slug":"kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1","title":{"rendered":"Jak BigQuery od Google zdemokratyzowa\u0142 analiz\u0119 danych. Cz\u0119\u015b\u0107 1.","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p><b><i>Cze\u015b\u0107, Habr! W OTUS trwa rekrutacja na now\u0105 edycj\u0119 kursu <noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/wDZQ\/\">Data Engineer<\/a><\/noindex>. Z okazji rozpocz\u0119cia kursu tradycyjnie przygotowali\u015bmy dla Was t\u0142umaczenie ciekawego artyku\u0142u. <\/i><\/b><\/p>\n<p>\nCodziennie ponad sto milion\u00f3w ludzi odwiedza Twitter, aby dowiedzie\u0107 si\u0119, co dzieje si\u0119 na \u015bwiecie i podyskutowa\u0107 o tym. Ka\u017cdy tweet i ka\u017cde inne dzia\u0142anie u\u017cytkownika generuj\u0105 zdarzenie, dost\u0119pne do wewn\u0119trznej analizy danych na Twitterze. Setki pracownik\u00f3w analizuj\u0105 i wizualizuj\u0105 te dane, a poprawa ich do\u015bwiadczenia jest g\u0142\u00f3wnym priorytetem zespo\u0142u Twitter Data Platform. <\/p>\n<p>Uwa\u017camy, \u017ce u\u017cytkownicy z szerokim zakresem umiej\u0119tno\u015bci technicznych powinni mie\u0107 mo\u017cliwo\u015b\u0107 odnajdywania danych i dost\u0119pu do dobrze dzia\u0142aj\u0105cych narz\u0119dzi do analizy i wizualizacji opartych na SQL. Pozwoli\u0142oby to ca\u0142ej nowej grupie u\u017cytkownik\u00f3w o mniejszym do\u015bwiadczeniu technicznym, w tym analitykom danych i mened\u017cerom produktu, wydobywa\u0107 informacje z danych, umo\u017cliwiaj\u0105c im lepsze zrozumienie i wykorzystanie mo\u017cliwo\u015bci Twittera. W ten spos\u00f3b demokratyzujemy analiz\u0119 danych w Twitterze. <noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<p>W miar\u0119 doskonalenia naszych narz\u0119dzi i mo\u017cliwo\u015bci wewn\u0119trznej analizy danych byli\u015bmy \u015bwiadkami poprawy us\u0142ugi Twittera. Niemniej jednak wci\u0105\u017c mamy wiele do zrobienia. Aktualne narz\u0119dzia, takie jak Scalding, wymagaj\u0105 umiej\u0119tno\u015bci programowania. Narz\u0119dzia analityczne oparte na SQL, takie jak Presto i Vertica, maj\u0105 problemy z wydajno\u015bci\u0105 w du\u017cej skali. Mamy r\u00f3wnie\u017c problem z rozpowszechnieniem danych w kilku systemach bez sta\u0142ego dost\u0119pu do nich.<\/p>\n<p>W zesz\u0142ym roku og\u0142osili\u015bmy <noindex><a rel=\"nofollow\" href=\"https:\/\/blog.twitter.com\/engineering\/en_us\/topics\/infrastructure\/2018\/a-new-collaboration-with-google-cloud.html\">now\u0105 wsp\u00f3\u0142prac\u0119 z Google<\/a><\/noindex>, w ramach kt\u00f3rej przenosimy cz\u0119\u015bci naszej <noindex><a rel=\"nofollow\" href=\"https:\/\/blog.twitter.com\/engineering\/en_us\/topics\/infrastructure\/2019\/the-start-of-a-journey-into-the-cloud.html\">infrastruktury danych<\/a><\/noindex> na Google Cloud Platform (GCP). Doszli\u015bmy do wniosku, \u017ce narz\u0119dzia Google Cloud <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/products\/big-data\/\">Big Data<\/a><\/noindex> mog\u0105 pom\u00f3c nam w naszych inicjatywach dotycz\u0105cych demokratyzacji analizy, wizualizacji i uczenia maszynowego w Twitterze:<\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\/\">BigQuery<\/a><\/noindex>: hurtownia danych korporacyjnych z silnikiem SQL opartym na <noindex><a rel=\"nofollow\" href=\"https:\/\/ai.google\/research\/pubs\/pub36632\">Dremel<\/a><\/noindex>, kt\u00f3ry s\u0142ynie z szybko\u015bci, prostoty i sprawdzania si\u0119 w <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery-ml\/docs\/bigqueryml-intro\">uczeniu maszynowym<\/a><\/noindex>.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/datastudio.google.com\/overview\">Data Studio:<\/a><\/noindex> narz\u0119dzie do wizualizacji du\u017cych zbior\u00f3w danych z funkcjami wsp\u00f3\u0142pracy, jak w Google Docs.<\/li>\n<\/ul>\n<p>\nZ tego artyku\u0142u dowiesz si\u0119 o naszym do\u015bwiadczeniu z tymi narz\u0119dziami: co zrobili\u015bmy, czego si\u0119 nauczyli\u015bmy i co planujemy zrobi\u0107 w przysz\u0142o\u015bci. Teraz skoncentrujemy si\u0119 na analizie zbiorczej i interaktywnej. Analiz\u0119 w czasie rzeczywistym om\u00f3wimy w nast\u0119pnym artykule.<\/p>\n<h2>Historia hurtowni danych w Twitterze<\/h2>\n<p>\nZanim zag\u0142\u0119bimy si\u0119 w BigQuery, warto kr\u00f3tko przedstawi\u0107 histori\u0119 hurtowni danych w Twitterze. W 2011 roku analiza danych w Twitterze odbywa\u0142a si\u0119 w Vertica i Hadoop. Do stworzenia pracy MapReduce w Hadoop u\u017cywali\u015bmy Piga. W 2012 roku zast\u0105pili\u015bmy Piga Scalding, kt\u00f3ry mia\u0142 API w Scali, oferuj\u0105ce takie zalety, jak mo\u017cliwo\u015b\u0107 tworzenia skomplikowanych potok\u00f3w oraz \u0142atwo\u015b\u0107 testowania. Niemniej jednak dla wielu analityk\u00f3w danych i mened\u017cer\u00f3w produkt\u00f3w, kt\u00f3rzy czuli si\u0119 bardziej komfortowo pracuj\u0105c z SQL, by\u0142a to do\u015b\u0107 stroma krzywa uczenia si\u0119. Oko\u0142o 2016 roku zacz\u0119li\u015bmy u\u017cywa\u0107 Presto jako interfejsu SQL do danych Hadoop. Spark oferowa\u0142 interfejs Pythona, co czyni\u0142o go dobrym wyborem do bada\u0144 ad hoc i uczenia maszynowego.<\/p>\n<p>Od 2018 roku u\u017cywali\u015bmy nast\u0119puj\u0105cych narz\u0119dzi do analizy i wizualizacji danych:<\/p>\n<ul>\n<li>Scalding do potok\u00f3w produkcyjnych<\/li>\n<li>Scalding i Spark do analizy danych ad hoc i uczenia maszynowego<\/li>\n<li>Vertica i Presto do analizy SQL ad hoc i interaktywnej <\/li>\n<li>Druid do ma\u0142ej interaktywnych, eksploracyjnych i o niskim op\u00f3\u017anieniu dost\u0119pu do metryk szereg\u00f3w czasowych<\/li>\n<li>Tableau, Zeppelin i Pivot do wizualizacji danych<\/li>\n<\/ul>\n<p>\nOdkryli\u015bmy, \u017ce chocia\u017c te narz\u0119dzia oferuj\u0105 bardzo pot\u0119\u017cne mo\u017cliwo\u015bci, mieli\u015bmy trudno\u015bci z udost\u0119pnieniem tych mo\u017cliwo\u015bci szerszej publiczno\u015bci w Twitterze. Rozbudowuj\u0105c nasz\u0105 platform\u0119 za pomoc\u0105 Google Cloud, koncentrujemy si\u0119 na uproszczeniu naszych narz\u0119dzi analitycznych dla ca\u0142ego Twittera.<\/p>\n<h2>Hurtownia danych BigQuery od Google <\/h2>\n<p>\nKilka zespo\u0142\u00f3w w Twitterze ju\u017c w\u0142\u0105czy\u0142o BigQuery do niekt\u00f3rych swoich proces\u00f3w produkcyjnych. Wykorzystuj\u0105c ich do\u015bwiadczenia, rozpocz\u0119li\u015bmy ocen\u0119 mo\u017cliwo\u015bci BigQuery dla wszystkich scenariuszy u\u017cycia Twittera. Naszym celem by\u0142o zaproponowanie BigQuery ca\u0142ej firmie, a tak\u017ce ustandaryzowanie i wsparcie go w ramach zestawu narz\u0119dzi Data Platform. By\u0142o to utrudnione z wielu powod\u00f3w. Musieli\u015bmy opracowa\u0107 infrastruktur\u0119 do niezawodnego odbioru du\u017cych ilo\u015bci danych, wsparcia zarz\u0105dzania danymi na poziomie ca\u0142ej firmy, zapewnienia odpowiedniej kontroli dost\u0119pu oraz ochrony prywatno\u015bci klient\u00f3w. Musieli\u015bmy r\u00f3wnie\u017c stworzy\u0107 systemy do dystrybucji zasob\u00f3w, monitorowania i zwrotu \u015brodk\u00f3w, aby zespo\u0142y mog\u0142y efektywnie wykorzystywa\u0107 BigQuery.<\/p>\n<p>W listopadzie 2018 roku wydali\u015bmy wersj\u0119 alpha BigQuery i Data Studio dla ca\u0142ej firmy. Zaproponowali\u015bmy pracownikom Twittera niekt\u00f3re z naszych najcz\u0119\u015bciej u\u017cywanych tabel z oczyszczonymi danymi osobowymi. BigQuery korzysta\u0142o ponad 250 u\u017cytkownik\u00f3w z r\u00f3\u017cnych zespo\u0142\u00f3w, w tym in\u017cynieryjnych, finansowych i marketingowych. Niedawno realizowali oko\u0142o 8 tys. zapyta\u0144, przetwarzaj\u0105c oko\u0142o 100 PB miesi\u0119cznie, nie licz\u0105c zaplanowanych zapyta\u0144. Otrzymuj\u0105c bardzo pozytywne opinie, postanowili\u015bmy posun\u0105\u0107 si\u0119 naprz\u00f3d i zaproponowa\u0107 BigQuery jako g\u0142\u00f3wne \u017ar\u00f3d\u0142o do interactowania z danymi w Twitterze.<\/p>\n<p>Oto schemat wysokopoziomowej architektury naszego magazynu danych Google BigQuery. <\/p>\n<p><img decoding=\"async\" alt=\"Jak BigQuery od Google zdemokratyzowa\u0142 analiz\u0119 danych. Cz\u0119\u015b\u0107 1.\" src=\"\/wp-content\/uploads\/2020\/08\/6a3e0b43752ebbac641c43519c8c2fba.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\nKopiujemy dane z lokalnych klastr\u00f3w Hadoop do Google Cloud Storage (GCS), u\u017cywaj\u0105c wewn\u0119trznego narz\u0119dzia Cloud Replicator. Nast\u0119pnie korzystamy z Apache Airflow do tworzenia proces\u00f3w, kt\u00f3re u\u017cywaj\u0105 \u201e<noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\/docs\/reference\/bq-cli-reference#bq_load\">bq_load<\/a><\/noindex>\u201d do za\u0142adunku danych z GCS do BigQuery. U\u017cywamy Presto do zapyta\u0144 o zbiory danych Parquet lub Thrift-LZO w GCS. BQ Blaster to wewn\u0119trzne narz\u0119dzie Scalding do za\u0142adunku zbior\u00f3w danych HDFS Vertica i Thrift-LZO do BigQuery.<\/p>\n<p>W kolejnych sekcjach om\u00f3wimy nasze podej\u015bcie i wiedz\u0119 w zakresie \u0142atwo\u015bci u\u017cytkowania, wydajno\u015bci, zarz\u0105dzania danymi, funkcjonalno\u015bci systemu oraz koszt\u00f3w.<\/p>\n<h4>\u0141atwo\u015b\u0107 u\u017cycia<\/h4>\n<p>\nStwierdzili\u015bmy, \u017ce u\u017cytkownicy \u0142atwo zaczynali z BigQuery, poniewa\u017c nie wymaga\u0142 on instalacji oprogramowania, a u\u017cytkownicy mogli uzyska\u0107 do niego dost\u0119p przez intuicyjny interfejs webowy. Niemniej jednak u\u017cytkownicy musieli zapozna\u0107 si\u0119 z niekt\u00f3rymi funkcjami GCP i jego koncepcjami, w tym takimi zasobami jak projekty, zbiory danych i tabele. Opracowali\u015bmy materia\u0142y dydaktyczne i tutoriale, aby pom\u00f3c u\u017cytkownikom w rozpocz\u0119ciu pracy. Po uzyskaniu podstawowej wiedzy, u\u017cytkownicy \u0142atwo poruszali si\u0119 po zbiorach danych, przegl\u0105dali schemat i dane tabel, wykonywali proste zapytania oraz wizualizowali wyniki w Data Studio.<\/p>\n<p>Naszym celem, je\u015bli chodzi o wprowadzanie danych do BigQuery, by\u0142o zapewnienie p\u0142ynnego przesy\u0142ania zbior\u00f3w danych HDFS lub GCS za pomoc\u0105 jednego klikni\u0119cia. Rozwa\u017cali\u015bmy <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/composer\/\">Cloud Composer<\/a><\/noindex> (zarz\u0105dzany Airflow), ale nie mogli\u015bmy go u\u017cy\u0107 z powodu naszego modelu bezpiecze\u0144stwa \u201eDomain Restricted Sharing\u201d (wi\u0119cej na ten temat w sekcji \u201eZarz\u0105dzanie danymi\u201d poni\u017cej). Eksperymentowali\u015bmy z u\u017cyciem us\u0142ugi Google Data Transfer Service (DTS) do organizacji zada\u0144 obci\u0105\u017ceniowych BigQuery. Chocia\u017c DTS szybko si\u0119 konfigurowa\u0142, nie by\u0142 elastyczny przy budowaniu potok\u00f3w z zale\u017cno\u015bciami. Dla naszej wersji alfa stworzyli\u015bmy w\u0142asne \u015brodowisko Apache Airflow w GCE i przygotowujemy je do pracy w produkcji oraz do wsparcia wi\u0119kszej liczby \u017ar\u00f3de\u0142 danych, takich jak Vertica.<\/p>\n<p>Aby przekszta\u0142ca\u0107 dane w BigQuery, u\u017cytkownicy tworz\u0105 proste potoki danych SQL, korzystaj\u0105c z zaplanowanych zapyta\u0144. Dla bardziej skomplikowanych, wieloetapowych potok\u00f3w z zale\u017cno\u015bciami planujemy u\u017cywa\u0107 naszej w\u0142asnej infrastruktury Airflow lub Cloud Composer w po\u0142\u0105czeniu z <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/dataflow\/\">Cloud Dataflow<\/a><\/noindex>.<\/p>\n<h4>Wydajno\u015b\u0107<\/h4>\n<p>\nBigQuery jest zaprojektowany do og\u00f3lnych zapyta\u0144 SQL, kt\u00f3re przetwarzaj\u0105 du\u017ce ilo\u015bci danych. Nie jest przeznaczony do zapyta\u0144 z niskim op\u00f3\u017anieniem, wysok\u0105 przepustowo\u015bci\u0105, wymaganych dla transakcyjnej bazy danych, ani do analizy szereg\u00f3w czasowych o niskim op\u00f3\u017anieniu, realizowanej przez <noindex><a rel=\"nofollow\" href=\"https:\/\/druid.apache.org\/\">Apache Druid<\/a><\/noindex>. Dla interaktywnych zapyta\u0144 analitycznych nasi u\u017cytkownicy oczekuj\u0105 czasu odpowiedzi kr\u00f3tszego ni\u017c jedna minuta. Musieli\u015bmy zaprojektowa\u0107 wykorzystanie BigQuery w taki spos\u00f3b, aby spe\u0142nia\u0107 te oczekiwania. Aby zapewni\u0107 przewidywaln\u0105 wydajno\u015b\u0107 dla naszych u\u017cytkownik\u00f3w, skorzystali\u015bmy z funkcjonalno\u015bci BigQuery dost\u0119pnej dla klient\u00f3w na sta\u0142\u0105 op\u0142at\u0119, kt\u00f3ra pozwala w\u0142a\u015bcicielom projekt\u00f3w rezerwowa\u0107 minimalne sloty dla swoich zapyta\u0144. <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\/docs\/slots\">Slot<\/a><\/noindex> BigQuery to jednostka mocy obliczeniowej potrzebnej do wykonywania zapyta\u0144 SQL. <\/p>\n<p>Analizowali\u015bmy ponad 800 zapyta\u0144, przetwarzaj\u0105cych oko\u0142o 1 TB danych ka\u017cde, i odkryli\u015bmy, \u017ce \u015bredni czas realizacji wyni\u00f3s\u0142 30 sekund. Dowiedzieli\u015bmy si\u0119 r\u00f3wnie\u017c, \u017ce wydajno\u015b\u0107 w du\u017cym stopniu zale\u017cy od u\u017cycia naszych slot\u00f3w w r\u00f3\u017cnych projektach i zadaniach. Musieli\u015bmy wyra\u017anie oddzieli\u0107 nasze rezerwy slot\u00f3w produkcyjnych i ad hoc, aby utrzyma\u0107 wydajno\u015b\u0107 w scenariuszach produkcyjnych i interaktywnej analizy. Mia\u0142o to ogromny wp\u0142yw na nasz projekt rezerwacji slot\u00f3w oraz hierarchi\u0119 projekt\u00f3w.<\/p>\n<p><i>O zarz\u0105dzaniu danymi, funkcjonalno\u015bci i kosztach system\u00f3w porozmawiamy ju\u017c w najbli\u017cszych dniach w drugiej cz\u0119\u015bci t\u0142umaczenia, a teraz zapraszamy wszystkich ch\u0119tnych na <noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/wDZQ\/\">bezp\u0142atny \u017cywy webinar<\/a><\/noindex>, w ramach kt\u00f3rego b\u0119dzie mo\u017cna szczeg\u00f3\u0142owo pozna\u0107 kurs oraz zada\u0107 pytania naszemu ekspertowi \u2014 Egorowi Mateshukowi (Senior Data Engineer, MaximaTelecom). <\/i><\/p>\n<p><\/p>\n<h2>Czytaj dalej:<\/h2>\n<p><\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/501380\/\">Data Build Tool, czyli co wsp\u00f3lnego maj\u0105 Magazyn Danych i Smoothie<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/502324\/\">Zanurzenie w Delta Lake: egzekwowanie schematu i ewolucja<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/503132\/\">Wysokowydajny Apache Parquet w Pythonie z Apache Arrow<\/a><\/noindex><\/li>\n<\/ul>\n<p>\u0179r\u00f3d\u0142o: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/513780\/\">habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb. \u0412 \u043f\u0440\u0435\u0434\u0434\u0432\u0435\u0440\u0438\u0438 \u0441\u0442\u0430\u0440\u0442\u0430 \u043a\u0443\u0440\u0441\u0430 \u043c\u044b \u0442\u0440\u0430\u0434\u0438\u0446\u0438\u043e\u043d\u043d\u043e \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u0438\u043b\u0438 \u0434\u043b\u044f \u0432\u0430\u0441 \u043f\u0435\u0440\u0435\u0432\u043e\u0434 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0433\u043e \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u0430. \u041a\u0430\u0436\u0434\u044b\u0439 \u0434\u0435\u043d\u044c \u0431\u043e\u043b\u0435\u0435 \u0441\u0442\u0430 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u0447\u0435\u043b\u043e\u0432\u0435\u043a \u043f\u043e\u0441\u0435\u0449\u0430\u044e\u0442 Twitter, \u0447\u0442\u043e\u0431\u044b \u0443\u0437\u043d\u0430\u0442\u044c, \u0447\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0432 \u043c\u0438\u0440\u0435, \u0438 \u043e\u0431\u0441\u0443\u0434\u0438\u0442\u044c \u044d\u0442\u043e. \u041a\u0430\u0436\u0434\u044b\u0439 \u0442\u0432\u0438\u0442 \u0438 \u043b\u044e\u0431\u043e\u0435 \u0434\u0440\u0443\u0433\u043e\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u044e\u0442 \u0441\u043e\u0431\u044b\u0442\u0438\u0435, \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0435 \u0434\u043b\u044f \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0433\u043e [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":90784,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-90783","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.1.1 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1\" \/>\n\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.1.1\" \/>\n\t\t<meta property=\"og:locale\" content=\"pl_PL\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041a\u0430\u043a BigQuery \u043e\u0442 Google \u0434\u0435\u043c\u043e\u043a\u0440\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445. \u0427\u0430\u0441\u0442\u044c 1 | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2020-08-05T23:42:19+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-08-05T23:42:19+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Jak BigQuery od Google zdemokratyzowa\u0142 analiz\u0119 danych. Cz\u0119\u015b\u0107 1 | ProHoster","description":"Cze\u015b\u0107, Habr! W\u0142a\u015bnie teraz w OTUS trwa nab\u00f3r na nowy cykl kursu \u201eData Engineer\u201d.","canonical_url":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"pl_PL","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041a\u0430\u043a BigQuery \u043e\u0442 Google \u0434\u0435\u043c\u043e\u043a\u0440\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445. \u0427\u0430\u0441\u0442\u044c 1 | ProHoster","og:description":"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb.","og:url":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-08-05T23:42:19+00:00","article:modified_time":"2020-08-05T23:42:19+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"90783","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 12:42:25","updated":"2022-10-03 03:00:18","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts\/90783","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/comments?post=90783"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts\/90783\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/media\/90784"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/media?parent=90783"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/categories?post=90783"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/tags?post=90783"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}