{"id":91903,"date":"2020-08-20T07:42:18","date_gmt":"2020-08-20T05:42:18","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2"},"modified":"2020-08-20T07:42:18","modified_gmt":"2020-08-20T05:42:18","slug":"kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2","title":{"rendered":"Wie BigQuery von Google die Datenanalyse demokratisiert hat. Teil 2","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p><b><i>Hallo, Habr! Momentan ist in OTUS die Anmeldung f\u00fcr einen neuen Kursstart ge\u00f6ffnet. <noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/wDZQ\/\">\u201eData Engineer\u201c<\/a><\/noindex>. Im Vorfeld des Kursstarts teilen wir weiterhin n\u00fctzliche Materialien mit Ihnen. <\/i><\/b><\/p>\n<p><i><noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/\">Ersten Teil lesen<\/a><\/noindex><\/i><\/p>\n<p><img decoding=\"async\" alt=\"Wie BigQuery von Google die Datenanalyse demokratisiert hat. Teil 2\" src=\"\/wp-content\/uploads\/2020\/08\/7b9314bffd954cd408807280f8956c21.png\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<h4>Datenmanagement<\/h4>\n<p>\nStarkes Datenmanagement (Strong Data Governance) ist ein Grundprinzip der Twitter-Technik. Da wir BigQuery in unsere Plattform integrieren, konzentrieren wir uns auf die Datenerkennung, den Zugangskontroll, Sicherheit und Datenschutz.<noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<p>Um Daten zu erkennen und zu verwalten, haben wir unsere Zugriffsebene (Data Access Layer \u2013 <noindex><a rel=\"nofollow\" href=\"https:\/\/blog.twitter.com\/engineering\/en_us\/topics\/insights\/2016\/discovery-and-consumption-of-analytics-data-at-twitter.html\">DAL<\/a><\/noindex>) erweitert, um sowohl f\u00fcr lokale Daten als auch f\u00fcr Google Cloud-Daten Werkzeuge bereitzustellen, wodurch unseren Nutzern eine einheitliche Schnittstelle und API zur Verf\u00fcgung steht. W\u00e4hrend Google <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/data-catalog\/\">Data Catalog<\/a><\/noindex> in Richtung \u00d6ffentlichkeit geht, werden wir es in unsere Projekte einbinden, um Funktionen wie die Spaltensuche bereitzustellen.<\/p>\n<p>BigQuery erm\u00f6glicht es, Daten einfach zu teilen und darauf zuzugreifen, aber wir mussten dies bis zu einem gewissen Grad kontrollieren, um Datenexfiltration zu verhindern. Unter anderen Tools haben wir zwei Funktionen ausgew\u00e4hlt:<\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/resource-manager\/docs\/organization-policy\/restricting-domains\">Domain-restricted sharing<\/a><\/noindex>: eine Beta-Funktion, die es Nutzern untersagt, BigQuery-Datasets mit Nutzern au\u00dferhalb von Twitter zu teilen.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/vpc-service-controls\/\">VPC Service Controls<\/a><\/noindex>: ein Steuerungselement, das die Datenexfiltration verhindert und von Nutzern verlangt, auf BigQuery von bekannten IP-Adressbereichen aus zuzugreifen.<\/li>\n<\/ul>\n<p>\nWir haben die Anforderungen an Authentifizierung, Autorisierung und Audit (AAA) zur Gew\u00e4hrleistung der Sicherheit wie folgt implementiert:<\/p>\n<ul>\n<li> Authentifizierung: Wir haben GCP-Benutzerkonten f\u00fcr Ad-hoc-Abfragen und Dienstkonten f\u00fcr Arbeitsabfragen verwendet.<\/li>\n<li>Autorisierung: Wir haben gefordert, dass jedes Dataset ein Dienstkontokonto des Eigent\u00fcmers und eine Lesergruppe hat.<\/li>\n<li>Audit: Wir haben die Stackdriver-Protokolle von BigQuery exportiert, die detaillierte Informationen \u00fcber die Abfrageausf\u00fchrung enthalten, in ein BigQuery-Dataset zur einfachen Analyse.<\/li>\n<\/ul>\n<p>\nUm den ordnungsgem\u00e4\u00dfen Umgang mit pers\u00f6nlichen Daten der Twitter-Nutzer zu gew\u00e4hrleisten, m\u00fcssen wir alle BigQuery-Datasets registrieren, pers\u00f6nliche Daten kennzeichnen, eine angemessene Speicherung aufrechterhalten und Daten, die von Nutzern gel\u00f6scht wurden, entfernen (bereinigen).<\/p>\n<p>Wir haben das Google <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/dlp\/\">Cloud Data Loss Prevention API betrachtet.<\/a><\/noindex>, das maschinelles Lernen zur Klassifizierung und Bearbeitung vertraulicher Daten nutzt, aber sich entschieden hat, aufgrund der Genauigkeit eine manuelle Annotation des Datensatzes vorzunehmen. Wir planen, die Data Loss Prevention API zu verwenden, um die Benutzerannotation zu erg\u00e4nzen.<\/p>\n<p>Bei Twitter haben wir vier Kategorien der Vertraulichkeit f\u00fcr Datens\u00e4tze in BigQuery erstellt, die hier in absteigender Reihenfolge der Sensitivit\u00e4t aufgelistet sind:<\/p>\n<ul>\n<li>Hochsensible Datens\u00e4tze sind nach Bedarf auf der Basis des Prinzips der minimalen Berechtigungen verf\u00fcgbar. Jeder Datensatz hat eine separate Gruppe von Lesern, und wir werden die Nutzung einzelner Konten \u00fcberwachen.<\/li>\n<li>Datens\u00e4tze mittlerer Sensitivit\u00e4t (einseitige Pseudonyme mit gesalzenem Hashing) enthalten keine pers\u00f6nlichen Informationen (Personally Identifiable Information \u2013 PII) und sind einer gr\u00f6\u00dferen Gruppe von Mitarbeitern zug\u00e4nglich. Dies stellt einen guten Ausgleich zwischen Datenschutz und N\u00fctzlichkeit der Daten dar. Es erm\u00f6glicht Mitarbeitern, Analyseaufgaben durchzuf\u00fchren, wie z. B. die Berechnung der Anzahl der Nutzer, die eine Funktion verwendet haben, ohne zu wissen, wer die tats\u00e4chlichen Nutzer sind.<\/li>\n<li>Datens\u00e4tze mit niedriger Sensitivit\u00e4t enthalten alle Informationen zur Identifizierung des Nutzers. Dies ist ein guter Ansatz aus datenschutzrechtlicher Sicht, kann jedoch nicht f\u00fcr Analysen auf Nutzerbasis verwendet werden.<\/li>\n<li>\u00d6ffentliche Datens\u00e4tze (die au\u00dferhalb von Twitter ver\u00f6ffentlicht wurden) sind f\u00fcr alle Twitter-Mitarbeiter zug\u00e4nglich.<\/li>\n<\/ul>\n<p>\nWas die Registrierung betrifft, haben wir geplante Aufgaben verwendet, um die Datens\u00e4tze in BigQuery aufzulisten und sie im Data Access Layer (<noindex><a rel=\"nofollow\" href=\"https:\/\/blog.twitter.com\/engineering\/en_us\/topics\/insights\/2016\/discovery-and-consumption-of-analytics-data-at-twitter.html\">DAL<\/a><\/noindex>), dem Metadaten-Speicher von Twitter, zu registrieren. Nutzer werden die Datens\u00e4tze mit Informationen zum Datenschutz annotieren und auch die Speicherfrist angeben. Was die Bereinigung betrifft, pr\u00fcfen wir die Leistungsf\u00e4higkeit und Kosten von zwei Optionen: <i>1.<\/i> Bereinigung von Datens\u00e4tzen in GCS mit Tools wie Scalding und deren Hochladen in BigQuery; <i>2.<\/i> Verwendung von DML-Operatoren in BigQuery. Wahrscheinlich werden wir eine Kombination beider Methoden verwenden, um den Anforderungen verschiedener Gruppen und Daten gerecht zu werden.<\/p>\n<h4>Funktionalit\u00e4t des Systems<\/h4>\n<p>\nDa BigQuery ein verwalteter Dienst ist, war es nicht notwendig, das SRE-Team von Twitter in das Systemmanagement oder die Ausf\u00fchrung von Bereitschaftsdiensten einzubeziehen. Es war einfach, sowohl f\u00fcr die Speicherung als auch f\u00fcr das Rechnen eine gro\u00dfe Kapazit\u00e4t bereitzustellen. Wir konnten die Slotreservierungen \u00e4ndern, indem wir Tickets im Google-Support erstellt haben. Wir haben festgestellt, dass wir Verbesserungen vornehmen k\u00f6nnten, wie zum Beispiel Self-Service zur Verteilung von Slots und eine Verbesserung des Dashboards zur \u00dcberwachung, und haben diese Anfragen an Google weitergeleitet.<\/p>\n<h4>Kosten<\/h4>\n<p>\nUnsere erste Analyse hat ergeben, dass die Kosten f\u00fcr Abfragen bei BigQuery und Presto auf einem \u00e4hnlichen Niveau lagen. Wir haben Slots zu <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\/pricing#flat_rate_pricing\">festen<\/a><\/noindex> Preisen erworben, um eine stabile monatliche Kostenstruktur zu haben, anstatt nach <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\/pricing#on_demand_pricing\">Nutzung<\/a><\/noindex> pro TB verarbeiteten Daten zu bezahlen. Diese Entscheidung basierte auch auf dem Feedback der Nutzer, die nicht \u00fcber die Kosten nachdenken wollten, bevor sie jede Abfrage ausf\u00fchren.<\/p>\n<p>Die Speicherung von Daten in BigQuery brachte zus\u00e4tzliche Kosten neben den Ausgaben f\u00fcr GCS. Werkzeuge wie Scalding erfordern Datens\u00e4tze in GCS, und um auf BigQuery zuzugreifen, mussten wir dieselben Datens\u00e4tze im BigQuery-Format hochladen. <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/blog\/products\/gcp\/inside-capacitor-bigquerys-next-generation-columnar-storage-format\">Capacitor<\/a><\/noindex>. Wir arbeiten daran, Scalding mit BigQuery-Datens\u00e4tzen zu verbinden, was die Notwendigkeit beseitigen w\u00fcrde, Datens\u00e4tze sowohl in GCS als auch in BigQuery zu speichern.<\/p>\n<p>F\u00fcr seltene F\u00e4lle, die nicht h\u00e4ufige Anfragen an Dutzende von Petabyte erforderten, haben wir entschieden, dass die Speicherung von Datens\u00e4tzen in BigQuery wirtschaftlich nicht sinnvoll ist, und haben Presto f\u00fcr den direkten Zugriff auf die Datens\u00e4tze in GCS verwendet. Daf\u00fcr sehen wir uns BigQuery External Data Sources an.<\/p>\n<h3>N\u00e4chste Schritte<\/h3>\n<p>\nWir haben seit der Alpha-Ver\u00f6ffentlichung ein gro\u00dfes Interesse an BigQuery festgestellt. Wir f\u00fcgen mehr Datens\u00e4tze und mehr Teams in BigQuery hinzu. Wir entwickeln Connectoren f\u00fcr Datenanalysetools wie Scalding, um in BigQuery zu lesen und zu schreiben. Wir betrachten Werkzeuge wie Looker und Apache Zeppelin, um Unternehmensberichte \u00fcber Qualit\u00e4t und Notizen unter Verwendung von BigQuery-Datens\u00e4tzen zu erstellen.<\/p>\n<p>Die Zusammenarbeit mit Google war sehr produktiv, und wir freuen uns, diese Partnerschaft fortzusetzen und weiterzuentwickeln. Wir haben mit Google zusammengearbeitet, um unseren eigenen <noindex><a rel=\"nofollow\" href=\"https:\/\/developers.google.com\/issue-tracker\/guides\/partner-access\">Partner Issue Tracker<\/a><\/noindex>, einzuf\u00fchren, um Anfragen direkt an Google zu senden. Einige davon, wie der BigQuery Parquet Uploader, wurden bereits von Google umgesetzt.<\/p>\n<p>Hier sind einige unserer hochpriorisierten Anfragen f\u00fcr Funktionen von Google:<\/p>\n<ul>\n<li>Werkzeuge f\u00fcr den bequemen Datenaustausch und Unterst\u00fctzung des LZO-Thrift-Formats.<\/li>\n<li>St\u00fcndliche Segmentierung<\/li>\n<li>Verbesserungen im Bereich des Zugriffsmanagements, wie Berechtigungen auf Tabellen-, Zeilen- und Spaltenebene.<\/li>\n<li>BigQuery <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\/external-data-sources\">Externe Datenquellen<\/a><\/noindex> mit Integration und Unterst\u00fctzung von Hive Metastore f\u00fcr das LZO-Thrift-Format.<\/li>\n<li>Verbesserte Integration des Datenkatalogs in die Benutzeroberfl\u00e4che von BigQuery<\/li>\n<li>Self-Service zur Verteilung und \u00dcberwachung von Slots.<\/li>\n<\/ul>\n<p><\/p>\n<h3>Fazit<\/h3>\n<p>\nDie Demokratisierung von Datenanalyse, Visualisierung und maschinellem Lernen auf sichere Weise hat f\u00fcr das Data Platform-Team h\u00f6chste Priorit\u00e4t. Wir haben Google BigQuery und Data Studio als Werkzeuge identifiziert, die uns bei der Erreichung dieses Ziels unterst\u00fctzen k\u00f6nnen, und haben im letzten Jahr BigQuery Alpha f\u00fcr das gesamte Unternehmen ver\u00f6ffentlicht. <\/p>\n<p>Wir haben festgestellt, dass Anfragen in BigQuery einfach und effizient waren. F\u00fcr den Empfang und die Transformation von Daten haben wir Google-Werkzeuge f\u00fcr einfache Pipelines verwendet, aber f\u00fcr komplexe Pipelines mussten wir unsere eigene Airflow-Infrastruktur aufbauen. Im Bereich Datenmanagement erf\u00fcllen die BigQuery-Dienste unsere Anforderungen an Authentifizierung, Autorisierung und Auditing. F\u00fcr das Management von Metadaten und die Einhaltung der Datenschutzbestimmungen ben\u00f6tigten wir mehr Flexibilit\u00e4t und mussten eigene Systeme entwickeln. BigQuery als verwalteter Dienst war einfach zu bedienen. Die Abfragekosten waren vergleichbar mit bestehenden Werkzeugen. Die Datenspeicherung in BigQuery verursachte zus\u00e4tzliche Kosten neben den Ausgaben f\u00fcr GCS.<\/p>\n<p>Insgesamt funktioniert BigQuery gut f\u00fcr allgemeine SQL-Analysen. Wir verzeichnen gro\u00dfes Interesse an BigQuery, und wir arbeiten daran, mehr Datens\u00e4tze zu migrieren, mehr Teams zu gewinnen und mehr Pipelines mit BigQuery zu erstellen. Bei Twitter werden verschiedene Daten verwendet, f\u00fcr die eine Kombination von Werkzeugen wie Scalding, Spark, Presto und Druid erforderlich ist. Wir beabsichtigen, unsere Datenanalysewerkzeuge weiter auszubauen und unseren Nutzern klare Empfehlungen zu geben, wie sie unsere Angebote optimal nutzen k\u00f6nnen.<\/p>\n<h3>Dankesworte<\/h3>\n<p>\nIch m\u00f6chte meinen Co-Autoren und Teamkollegen, Anzhu Dja und Will Pascucci, f\u00fcr ihre hervorragende Zusammenarbeit und harte Arbeit an diesem Projekt danken. Ich m\u00f6chte auch den Ingenieuren und Managern aus mehreren Teams bei Twitter und Google danken, die uns und den Nutzern von BigQuery bei Twitter wertvolles Feedback gegeben haben.<\/p>\n<p>Wenn Sie an der Arbeit an diesen Aufgaben interessiert sind, werfen Sie einen Blick auf unsere <noindex><a rel=\"nofollow\" href=\"https:\/\/careers.twitter.com\/content\/careers-twitter\/en\/jobs-search.html?q=&amp;team=careers-twitter%3Ateam%2Finfrastructure-engineering\">Stellenangebote<\/a><\/noindex> im Data Platform-Team.<\/p>\n<p>\n<noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/eD9S\/\">Die Datenqualit\u00e4t im DWH \u2013 Konsistenz des Datenschatzes<\/a><\/noindex><\/p>\n<p>Quelle: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/513782\/\">habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb. \u0412 \u043f\u0440\u0435\u0434\u0434\u0432\u0435\u0440\u0438\u0438 \u0441\u0442\u0430\u0440\u0442\u0430 \u043a\u0443\u0440\u0441\u0430 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u043c \u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u0441 \u0432\u0430\u043c\u0438 \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u043c \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u043e\u043c. \u0427\u0438\u0442\u0430\u0442\u044c \u043f\u0435\u0440\u0432\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u0423\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0421\u0438\u043b\u044c\u043d\u043e\u0435 \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 (Strong Data Governance) \u2014 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043f\u0440\u0438\u043d\u0446\u0438\u043f Twitter Engineering. \u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043c\u044b \u0432\u043d\u0435\u0434\u0440\u044f\u0435\u043c BigQuery \u0432 \u043d\u0430\u0448\u0443 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0443, \u043c\u044b \u043a\u043e\u043d\u0446\u0435\u043d\u0442\u0440\u0438\u0440\u0443\u0435\u043c\u0441\u044f \u043d\u0430 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445, \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435 \u0434\u043e\u0441\u0442\u0443\u043f\u0430, \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e\u0441\u0442\u0438 [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":91904,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-91903","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.1.1 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2\" \/>\n\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.1.1\" \/>\n\t\t<meta property=\"og:locale\" content=\"de_DE\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041a\u0430\u043a BigQuery \u043e\u0442 Google \u0434\u0435\u043c\u043e\u043a\u0440\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445. \u0427\u0430\u0441\u0442\u044c 2 | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2020-08-20T05:42:18+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-08-20T05:42:18+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Wie Google BigQuery die Datenanalyse demokratisiert hat. Teil 2 | ProHoster","description":"Hallo, Habr! Momentan l\u00e4uft die Anmeldung f\u00fcr einen neuen Kurs \u201eData Engineer\u201c bei OTUS.","canonical_url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"de_DE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041a\u0430\u043a BigQuery \u043e\u0442 Google \u0434\u0435\u043c\u043e\u043a\u0440\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445. \u0427\u0430\u0441\u0442\u044c 2 | ProHoster","og:description":"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb.","og:url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-08-20T05:42:18+00:00","article:modified_time":"2020-08-20T05:42:18+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"91903","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 12:18:28","updated":"2022-10-08 11:10:45","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/91903","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/comments?post=91903"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/91903\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media\/91904"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media?parent=91903"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/categories?post=91903"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/tags?post=91903"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}