{"id":90783,"date":"2020-08-06T01:42:19","date_gmt":"2020-08-05T23:42:19","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1"},"modified":"2020-08-06T01:42:19","modified_gmt":"2020-08-05T23:42:19","slug":"kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1","title":{"rendered":"Wie Google BigQuery die Datenanalyse demokratisiert hat. Teil 1","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p><b><i>Hallo, Habr! Momentan ist in OTUS die Anmeldung f\u00fcr einen neuen Kursstart ge\u00f6ffnet. <noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/wDZQ\/\">\u201eData Engineer\u201c<\/a><\/noindex>. Im Vorfeld des Kursstarts haben wir traditionell eine interessante \u00dcbersetzung f\u00fcr Sie vorbereitet. <\/i><\/b><\/p>\n<p>\nJeden Tag besuchen \u00fcber hundert Millionen Menschen Twitter, um zu erfahren, was in der Welt passiert, und um dar\u00fcber zu diskutieren. Jeder Tweet und jede andere Benutzeraktion erzeugt ein Ereignis, das f\u00fcr die interne Datenanalyse bei Twitter verf\u00fcgbar ist. Hunderte von Mitarbeitern analysieren und visualisieren diese Daten, und die Verbesserung ihrer Erfahrungen hat f\u00fcr das Team der Twitter Data Platform h\u00f6chste Priorit\u00e4t. <\/p>\n<p>Wir sind der Meinung, dass Benutzer mit einem breiten Spektrum an technischen F\u00e4higkeiten in der Lage sein sollten, Daten zu finden und auf gut funktionierende SQL-basierte Analyse- und Visualisierungstools zuzugreifen. Dies w\u00fcrde ganz neuen Gruppen von Benutzern mit weniger technischem Hintergrund, einschlie\u00dflich Datenanalysten und Produktmanagern, erm\u00f6glichen, Informationen aus Daten zu extrahieren, sodass sie die M\u00f6glichkeiten von Twitter besser verstehen und nutzen k\u00f6nnen. So demokratisieren wir die Datenanalyse bei Twitter. <noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<p>Mit der Weiterentwicklung unserer Tools und M\u00f6glichkeiten zur internen Datenanalyse haben wir eine Verbesserung des Twitter-Dienstes erleben k\u00f6nnen. Dennoch gibt es noch viel Raum f\u00fcr Wachstum. Die aktuellen Tools wie Scalding erfordern Programmiererfahrung. SQL-basierte Analysewerkzeuge wie Presto und Vertica haben Leistungseinbu\u00dfen in gro\u00dfem Ma\u00dfstab. Au\u00dferdem haben wir das Problem, Daten \u00fcber mehrere Systeme ohne st\u00e4ndigen Zugang zu verteilen.<\/p>\n<p>Im letzten Jahr haben wir bekannt gegeben <noindex><a rel=\"nofollow\" href=\"https:\/\/blog.twitter.com\/engineering\/en_us\/topics\/infrastructure\/2018\/a-new-collaboration-with-google-cloud.html\">eine neue Zusammenarbeit mit Google<\/a><\/noindex>, im Rahmen derer wir Teile unserer <noindex><a rel=\"nofollow\" href=\"https:\/\/blog.twitter.com\/engineering\/en_us\/topics\/infrastructure\/2019\/the-start-of-a-journey-into-the-cloud.html\">Dateninfrastruktur<\/a><\/noindex> auf die Google Cloud Platform (GCP) \u00fcbertragen. Wir kamen zu dem Schluss, dass die Tools von Google Cloud <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/products\/big-data\/\">Big Data<\/a><\/noindex> uns bei unseren Initiativen zur Demokratisierung von Analyse, Visualisierung und maschinellem Lernen bei Twitter helfen k\u00f6nnen:<\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\/\">BigQuery<\/a><\/noindex>: ein Enterprise-Datenspeicher mit einer SQL-Engine basierend auf <noindex><a rel=\"nofollow\" href=\"https:\/\/ai.google\/research\/pubs\/pub36632\">Dremel<\/a><\/noindex>, das f\u00fcr seine Geschwindigkeit und Einfachheit bekannt ist und mit <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery-ml\/docs\/bigqueryml-intro\">maschinellem Lernen<\/a><\/noindex>.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/datastudio.google.com\/overview\">Data Studio:<\/a><\/noindex> ein Tool zur Visualisierung von Big Data mit Funktionen zur Zusammenarbeit, \u00e4hnlich wie bei Google Docs.<\/li>\n<\/ul>\n<p>\nIn diesem Artikel erfahren Sie von unseren Erfahrungen mit diesen Tools: Was wir getan haben, was wir gelernt haben und was wir als N\u00e4chstes tun werden. Momentan konzentrieren wir uns auf Batch- und interaktive Analysen. Echtzeitanalysen werden wir im n\u00e4chsten Artikel besprechen.<\/p>\n<h2>Die Geschichte der Data Warehouses bei Twitter<\/h2>\n<p>\nBevor wir uns n\u00e4her mit BigQuery befassen, ist es sinnvoll, kurz die Geschichte der Data Warehouses bei Twitter zu rekapitulieren. Im Jahr 2011 wurden Datenanalysen bei Twitter mit Vertica und Hadoop durchgef\u00fchrt. F\u00fcr die Erstellung von MapReduce-Jobs in Hadoop verwendeten wir Pig. Im Jahr 2012 ersetzten wir Pig durch Scalding, das eine Scala-API hatte und Vorteile wie die M\u00f6glichkeit bot, komplexe Pipelines zu erstellen und die Testbarkeit zu erleichtern. Dennoch war es f\u00fcr viele Datenanalysten und Produktmanager, die sich mit SQL wohler f\u00fchlten, eine ziemliche Lernkurve. Etwa im Jahr 2016 begannen wir, Presto als SQL-Schnittstelle f\u00fcr Hadoop-Daten zu verwenden. Spark bot eine Python-Schnittstelle, die es zu einer guten Wahl f\u00fcr ad-hoc-Datenanalysen und maschinelles Lernen macht.<\/p>\n<p>Seit 2018 nutzten wir die folgenden Werkzeuge zur Datenanalyse und -visualisierung:<\/p>\n<ul>\n<li>Scalding f\u00fcr produktive Pipelines<\/li>\n<li>Scalding und Spark f\u00fcr ad-hoc Datenanalysen und maschinelles Lernen<\/li>\n<li>Vertica und Presto f\u00fcr ad-hoc und interaktive SQL-Analysen <\/li>\n<li>Druid f\u00fcr kleine interaktive, explorative Zugriffe mit geringer Latenz auf Zeitreihendaten<\/li>\n<li>Tableau, Zeppelin und Pivot zur Datenvisualisierung<\/li>\n<\/ul>\n<p>\nWir haben festgestellt, dass, obwohl diese Werkzeuge sehr leistungsstarke Funktionen bieten, wir Schwierigkeiten hatten, die Verf\u00fcgbarkeit dieser F\u00e4higkeiten einem breiteren Publikum bei Twitter zug\u00e4nglich zu machen. Durch die Erweiterung unserer Plattform mit Google Cloud konzentrieren wir uns darauf, unsere Analysewerkzeuge f\u00fcr ganz Twitter zu vereinfachen.<\/p>\n<h2>Das BigQuery-Datenlager von Google <\/h2>\n<p>\nMehrere Teams bei Twitter haben bereits BigQuery in einigen ihrer produktiven Pipelines integriert. Basierend auf ihren Erfahrungen begannen wir, die M\u00f6glichkeiten von BigQuery f\u00fcr alle Anwendungsf\u00e4lle bei Twitter zu bewerten. Unser Ziel war es, BigQuery der gesamten Firma anzubieten und es im Rahmen des Data Platform-Toolsets zu standardisieren und zu unterst\u00fctzen. Dies war aus vielen Gr\u00fcnden herausfordernd. Wir mussten eine Infrastruktur entwickeln, um gro\u00dfe Datenmengen zuverl\u00e4ssig zu empfangen, die Datenverwaltung unternehmensweit zu unterst\u00fctzen, angemessene Zugriffskontrollen zu gew\u00e4hrleisten und die Privatsph\u00e4re der Kunden zu sichern. Wir mussten auch Systeme zur Ressourcenverteilung, \u00dcberwachung und Abrechnung aufbauen, damit die Teams BigQuery effektiv nutzen konnten.<\/p>\n<p>Im November 2018 haben wir die Alpha-Version von BigQuery und Data Studio f\u00fcr das gesamte Unternehmen ver\u00f6ffentlicht. Wir haben den Mitarbeitern von Twitter einige unserer am h\u00e4ufigsten verwendeten Tabellen mit bereinigten personenbezogenen Daten angeboten. \u00dcber 250 Benutzer aus verschiedenen Teams, darunter Ingenieure, Finanzen und Marketing, verwendeten BigQuery. Vor Kurzem f\u00fchrten sie etwa 8.000 Abfragen durch und verarbeiteten ungef\u00e4hr 100 PB pro Monat, ohne die geplanten Anfragen zu z\u00e4hlen. Nach sehr positiven R\u00fcckmeldungen entschieden wir uns, weiterzugehen und BigQuery als prim\u00e4re Ressource f\u00fcr die Dateninteraktion bei Twitter anzubieten.<\/p>\n<p>Hier ist das hohe Architekturdiagramm unseres Google BigQuery-Datenlagers. <\/p>\n<p><img decoding=\"async\" alt=\"Wie Google BigQuery die Datenanalyse demokratisiert hat. Teil 1\" src=\"\/wp-content\/uploads\/2020\/08\/6a3e0b43752ebbac641c43519c8c2fba.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\nWir kopieren Daten aus lokalen Hadoop-Clustern in Google Cloud Storage (GCS) mit einem internen Tool namens Cloud Replicator. Dann verwenden wir Apache Airflow, um Pipelines zu erstellen, die \u201e<noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\/docs\/reference\/bq-cli-reference#bq_load\">bq_load<\/a><\/noindex>\u201c verwenden, um Daten aus GCS in BigQuery zu laden. Wir nutzen Presto, um Datens\u00e4tze im Parquet- oder Thrift-LZO-Format in GCS abzufragen. BQ Blaster ist ein internes Scalding-Tool zum Laden von Datens\u00e4tzen von HDFS Vertica und Thrift-LZO in BigQuery.<\/p>\n<p>In den folgenden Abschnitten werden wir unseren Ansatz und unser Wissen \u00fcber Benutzerfreundlichkeit, Leistung, Datenmanagement, Systembetrieb und Kosten besprechen.<\/p>\n<h4>Benutzerfreundlichkeit<\/h4>\n<p>\nWir haben festgestellt, dass es f\u00fcr die Benutzer einfach war, mit BigQuery zu beginnen, da keine Software installiert werden musste und die Benutzer \u00fcber eine benutzerfreundliche Weboberfl\u00e4che darauf zugreifen konnten. Dennoch mussten sich die Benutzer mit einigen Funktionen und Konzepten von GCP vertrautmachen, einschlie\u00dflich Ressourcen wie Projekten, Datens\u00e4tzen und Tabellen. Wir haben Schulungsmaterialien und Tutorials entwickelt, um den Benutzern den Einstieg zu erleichtern. Mit einem grundlegenden Verst\u00e4ndnis fiel es den Benutzern leicht, sich durch die Datens\u00e4tze zu navigieren, das Schema und die Daten der Tabellen anzuzeigen, einfache Abfragen durchzuf\u00fchren und die Ergebnisse in Data Studio zu visualisieren.<\/p>\n<p>Unser Ziel bez\u00fcglich der Dateneingabe in BigQuery war es, das Hochladen von HDFS- oder GCS-Datens\u00e4tzen mit einem Mausklick zu erm\u00f6glichen. Wir haben \u201e <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/composer\/\">Cloud Composer<\/a><\/noindex> (gesteuertes Airflow), aber wir konnten es aufgrund unseres Sicherheitsmodells \u201eDomain Restricted Sharing\u201c nicht verwenden (mehr dazu im Abschnitt \u201eDatenmanagement\u201c weiter unten). Wir haben mit Google Data Transfer Service (DTS) experimentiert, um Belastungsaufgaben in BigQuery zu organisieren. W\u00e4hrend DTS schnell eingerichtet werden konnte, war es nicht flexibel genug, um Pipelines mit Abh\u00e4ngigkeiten zu erstellen. F\u00fcr unsere Alpha-Version haben wir eine eigene Apache Airflow-Umgebung in GCE erstellt und bereiten sie auf die Produktion vor, um mehr Datenquellen wie Vertica zu unterst\u00fctzen.<\/p>\n<p>Um Daten in BigQuery zu transformieren, erstellen die Benutzer einfache SQL-Datenpipelines, indem sie geplante Abfragen verwenden. F\u00fcr komplexe mehrstufige Pipelines mit Abh\u00e4ngigkeiten planen wir die Verwendung entweder unserer eigenen Airflow-Infrastruktur oder Cloud Composer zusammen mit <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/dataflow\/\">Cloud Dataflow<\/a><\/noindex>.<\/p>\n<h4>Leistung<\/h4>\n<p>\nBigQuery ist f\u00fcr allgemeine SQL-Abfragen konzipiert, die gro\u00dfe Datenmengen verarbeiten. Es ist nicht f\u00fcr niedrige Latenzzeiten und hohe Durchsatzraten geeignet, die f\u00fcr transaktionale Datenbanken erforderlich sind, oder f\u00fcr die Analyse von Zeitreihen mit niedriger Latenz, die mit <noindex><a rel=\"nofollow\" href=\"https:\/\/druid.apache.org\/\">Apache Druid<\/a><\/noindex>. F\u00fcr interaktive Analyseabfragen erwarten unsere Benutzer eine Reaktionszeit von weniger als einer Minute. Wir mussten die Nutzung von BigQuery so gestalten, dass sie diesen Erwartungen entspricht. Um eine vorhersehbare Leistung f\u00fcr unsere Benutzer zu gew\u00e4hrleisten, haben wir die Funktionen von BigQuery genutzt, die Kunden mit einer Pauschalzahlung zur Verf\u00fcgung stehen, die es Projektinhabern erm\u00f6glicht, minimale Slots f\u00fcr ihre Abfragen zu reservieren. <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\/docs\/slots\">Slot<\/a><\/noindex> BigQuery ist eine Einheit der Rechenleistung, die erforderlich ist, um SQL-Abfragen auszuf\u00fchren. <\/p>\n<p>Wir haben \u00fcber 800 Anfragen analysiert, die jeweils etwa 1 TB Daten verarbeiten, und festgestellt, dass die durchschnittliche Ausf\u00fchrungszeit 30 Sekunden betrug. Wir haben auch herausgefunden, dass die Leistung stark von der Nutzung unseres Slots in verschiedenen Projekten und Aufgaben abh\u00e4ngt. Wir mussten unsere Produktions- und Ad-hoc-Slotreserven klar voneinander abgrenzen, um die Leistung f\u00fcr produktive Nutzungsszenarien und interaktive Analysen aufrechtzuerhalten. Dies hatte einen erheblichen Einfluss auf unser Design f\u00fcr die Slotreservierung und die Projektstruktur.<\/p>\n<p><i>\u00dcber Datenmanagement, Funktionalit\u00e4t und die Kosten der Systeme sprechen wir in den n\u00e4chsten Tagen im zweiten Teil der \u00dcbersetzung, aber jetzt laden wir alle Interessierten ein zu <noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/wDZQ\/\">einem kostenlosen Live-Webinar<\/a><\/noindex>, in dessen Rahmen Sie detaillierte Informationen zum Kurs erhalten und unserem Experten \u2013 Egor Mateschuk (Senior Data Engineer, MaximaTelecom) \u2013 Fragen stellen k\u00f6nnen. <\/i><\/p>\n<p><\/p>\n<h2>Weiterlesen:<\/h2>\n<p><\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/501380\/\">Data Build Tool oder was haben Data Warehousing und Smoothies gemeinsam<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/502324\/\">Eintauchen in Delta Lake: Schema-Zwang und -Entwicklung<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/503132\/\">Hochgeschwindigkeits-Apache Parquet auf Python mit Apache Arrow<\/a><\/noindex><\/li>\n<\/ul>\n<p>Quelle: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/513780\/\">habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb. \u0412 \u043f\u0440\u0435\u0434\u0434\u0432\u0435\u0440\u0438\u0438 \u0441\u0442\u0430\u0440\u0442\u0430 \u043a\u0443\u0440\u0441\u0430 \u043c\u044b \u0442\u0440\u0430\u0434\u0438\u0446\u0438\u043e\u043d\u043d\u043e \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u0438\u043b\u0438 \u0434\u043b\u044f \u0432\u0430\u0441 \u043f\u0435\u0440\u0435\u0432\u043e\u0434 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0433\u043e \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u0430. \u041a\u0430\u0436\u0434\u044b\u0439 \u0434\u0435\u043d\u044c \u0431\u043e\u043b\u0435\u0435 \u0441\u0442\u0430 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u0447\u0435\u043b\u043e\u0432\u0435\u043a \u043f\u043e\u0441\u0435\u0449\u0430\u044e\u0442 Twitter, \u0447\u0442\u043e\u0431\u044b \u0443\u0437\u043d\u0430\u0442\u044c, \u0447\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0432 \u043c\u0438\u0440\u0435, \u0438 \u043e\u0431\u0441\u0443\u0434\u0438\u0442\u044c \u044d\u0442\u043e. \u041a\u0430\u0436\u0434\u044b\u0439 \u0442\u0432\u0438\u0442 \u0438 \u043b\u044e\u0431\u043e\u0435 \u0434\u0440\u0443\u0433\u043e\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u044e\u0442 \u0441\u043e\u0431\u044b\u0442\u0438\u0435, \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0435 \u0434\u043b\u044f \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0433\u043e [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":90784,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-90783","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.1.1 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1\" \/>\n\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.1.1\" \/>\n\t\t<meta property=\"og:locale\" content=\"de_DE\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041a\u0430\u043a BigQuery \u043e\u0442 Google \u0434\u0435\u043c\u043e\u043a\u0440\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445. \u0427\u0430\u0441\u0442\u044c 1 | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2020-08-05T23:42:19+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-08-05T23:42:19+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Wie Google BigQuery die Datenanalyse demokratisiert hat. Teil 1 | ProHoster","description":"Hallo, Habr! Momentan l\u00e4uft die Anmeldung f\u00fcr einen neuen Kurs \u201eData Engineer\u201c bei OTUS.","canonical_url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"de_DE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041a\u0430\u043a BigQuery \u043e\u0442 Google \u0434\u0435\u043c\u043e\u043a\u0440\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445. \u0427\u0430\u0441\u0442\u044c 1 | ProHoster","og:description":"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb.","og:url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-08-05T23:42:19+00:00","article:modified_time":"2020-08-05T23:42:19+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"90783","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 12:42:25","updated":"2022-10-03 03:00:18","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/90783","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/comments?post=90783"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/90783\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media\/90784"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media?parent=90783"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/categories?post=90783"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/tags?post=90783"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}