{"id":91903,"date":"2020-08-20T07:42:18","date_gmt":"2020-08-20T05:42:18","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2"},"modified":"2020-08-20T07:42:18","modified_gmt":"2020-08-20T05:42:18","slug":"kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2","title":{"rendered":"Wie Google BigQuery die Datenanalyse demokratisiert hat. Teil 2","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p><b><i>Hallo, Habr! Der neue Kurs bei OTUS ist jetzt ge\u00f6ffnet. <noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/wDZQ\/\">\u201eData Engineer\u201c<\/a><\/noindex>. Im Vorfeld des Kursstarts teilen wir weiterhin n\u00fctzliche Materialien mit Ihnen. <\/i><\/b><\/p>\n<p><i><noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/\">Erste Teil lesen<\/a><\/noindex><\/i><\/p>\n<p><img decoding=\"async\" alt=\"Wie Google BigQuery die Datenanalyse demokratisiert hat. Teil 2\" src=\"\/wp-content\/uploads\/2020\/08\/7b9314bffd954cd408807280f8956c21.png\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<h4>Datenmanagement<\/h4>\n<p>\nStarke Datenverwaltung (Strong Data Governance) ist ein grundlegendes Prinzip von Twitter Engineering. Da wir BigQuery in unsere Plattform integrieren, konzentrieren wir uns auf die Datenerkennung, Zugriffssteuerung, Sicherheit und Datenschutz.<noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<p>Um Daten zu erkennen und zu verwalten, haben wir unsere Datenzugriffsebene (Data Access Layer \u2014 <noindex><a rel=\"nofollow\" href=\"https:\/\/blog.twitter.com\/engineering\/en_us\/topics\/insights\/2016\/discovery-and-consumption-of-analytics-data-at-twitter.html\">DAL<\/a><\/noindex>), um Werkzeuge sowohl f\u00fcr lokale Daten als auch f\u00fcr Google Cloud-Daten bereitzustellen und unseren Nutzern eine einheitliche Schnittstelle und API zu bieten. W\u00e4hrend Google <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/data-catalog\/\">Data Catalog<\/a><\/noindex> einen Weg zur Allgemeing\u00fcltigkeit einschl\u00e4gt, werden wir ihn in unsere Projekte integrieren, um den Nutzern Funktionen wie die Suche nach Spalten anzubieten.<\/p>\n<p>BigQuery erm\u00f6glicht einen einfachen Datenaustausch und -zugriff, aber wir mussten dies bis zu einem gewissen Grad kontrollieren, um Datenexfiltration zu verhindern. Unter den anderen Werkzeugen haben wir uns f\u00fcr zwei Funktionen entschieden:<\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/resource-manager\/docs\/organization-policy\/restricting-domains\">Domain Restricted Sharing<\/a><\/noindex>: eine Beta-Funktion, die es Nutzern untersagt, BigQuery-Datens\u00e4tze mit Nutzern au\u00dferhalb von Twitter zu teilen.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/vpc-service-controls\/\">VPC Service Controls<\/a><\/noindex>: eine Steuerung, die die Datenexfiltration verhindert und von Benutzern verlangt, auf BigQuery von bekannten IP-Adressbereichen zuzugreifen.<\/li>\n<\/ul>\n<p>\nWir haben die Anforderungen an Authentifizierung, Autorisierung und Auditing (AAA) wie folgt umgesetzt:<\/p>\n<ul>\n<li> Authentifizierung: Wir haben GCP-Benutzerkonten f\u00fcr Ad-hoc-Anfragen und Dienstkonten f\u00fcr Arbeitsanfragen verwendet.<\/li>\n<li>Autorisierung: Wir haben gefordert, dass jedes Datenset ein Dienstkonto als Eigent\u00fcmer und eine Lesergruppe hat.<\/li>\n<li>Audit: Wir haben die Protokolle von BigQuery Stackdriver exportiert, die detaillierte Informationen \u00fcber die Ausf\u00fchrung von Abfragen enthielten, in ein BigQuery-Dataset zum einfacheren Analysieren.<\/li>\n<\/ul>\n<p>\nUm eine ordnungsgem\u00e4\u00dfe Verarbeitung pers\u00f6nlicher Daten von Twitter-Nutzern sicherzustellen, m\u00fcssen wir alle BigQuery-Datens\u00e4tze anmelden, pers\u00f6nliche Daten annotieren, eine ordentliche Aufbewahrung sicherstellen und Daten l\u00f6schen (bereinigen), die von Nutzern entfernt wurden.<\/p>\n<p>Wir haben Google <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/dlp\/\">Cloud Data Loss Prevention API<\/a><\/noindex>, der maschinelles Lernen zur Klassifizierung und Bearbeitung sensibler Daten verwendet, aber sich aufgrund der Genauigkeit f\u00fcr die manuelle Annotation des Datensatzes entschieden hat. Wir planen, die Data Loss Prevention API zu nutzen, um die benutzerdefinierte Annotation zu erg\u00e4nzen.<\/p>\n<p>In Twitter haben wir vier Datenschutzkategorien f\u00fcr Datens\u00e4tze in BigQuery erstellt, die hier in absteigender Reihenfolge der Sensibilit\u00e4t aufgef\u00fchrt sind:<\/p>\n<ul>\n<li>Hochsensibler Datensatz ist je nach Bedarf gem\u00e4\u00df dem Prinzip der minimalen Privilegien verf\u00fcgbar. Jeder Datensatz hat eine separate Gruppe von Lesern, und wir werden die Nutzung einzelner Konten \u00fcberwachen.<\/li>\n<li>Datens\u00e4tze mit mittlerer Sensitivit\u00e4t (einseitige Pseudonyme unter Verwendung von gesalzenem Hashing) enthalten keine pers\u00f6nlichen Informationen (Personally Identifiable Information \u2013 PII) und sind f\u00fcr eine gr\u00f6\u00dfere Gruppe von Mitarbeitern zug\u00e4nglich. Dies bietet einen guten Ausgleich zwischen Datenschutz\u00fcberlegungen und der N\u00fctzlichkeit der Daten. Dadurch k\u00f6nnen Mitarbeiter Analyseaufgaben durchf\u00fchren, wie z.B. die Berechnung der Anzahl der Benutzer, die eine Funktion verwendet haben, ohne zu wissen, wer die tats\u00e4chlichen Benutzer sind.<\/li>\n<li>Datens\u00e4tze mit niedriger Sensitivit\u00e4t enthalten alle Informationen, die den Benutzer identifizieren. Dies ist aus Datenschutzsicht ein guter Ansatz, kann jedoch nicht f\u00fcr die Analyse auf Benutzerebene verwendet werden.<\/li>\n<li>\u00d6ffentlich zug\u00e4ngliche Datens\u00e4tze (au\u00dferhalb von Twitter ver\u00f6ffentlicht) sind f\u00fcr alle Twitter-Mitarbeiter zug\u00e4nglich.<\/li>\n<\/ul>\n<p>\nWas die Registrierung betrifft, so haben wir geplante Aufgaben verwendet, um die BigQuery-Datens\u00e4tze aufzulisten und sie im Data Access Layer zu registrieren (<noindex><a rel=\"nofollow\" href=\"https:\/\/blog.twitter.com\/engineering\/en_us\/topics\/insights\/2016\/discovery-and-consumption-of-analytics-data-at-twitter.html\">DAL<\/a><\/noindex>), Twitter-Metadaten-Repository. Nutzer werden Datens\u00e4tze mit Informationen zur Vertraulichkeit annotieren und die Speicherfristen angeben. Bei der Bereinigung bewerten wir die Leistung und die Kosten von zwei Optionen: <i>1.<\/i> Bereinigung von Datens\u00e4tzen in GCS mit Tools wie Scalding und deren Upload nach BigQuery; <i>2.<\/i> Verwendung von BigQuery DML-Operatoren. Wahrscheinlich werden wir eine Kombination beider Methoden nutzen, um die Anforderungen verschiedener Gruppen und Daten zu erf\u00fcllen.<\/p>\n<h4>Systemfunktionalit\u00e4t<\/h4>\n<p>\nDa BigQuery ein verwalteter Dienst ist, war es nicht n\u00f6tig, das SRE-Team von Twitter in das Management der Systeme oder in Bereitschaftsdienste einzubeziehen. Es war einfach, gro\u00dfe Kapazit\u00e4ten sowohl f\u00fcr Speicherung als auch f\u00fcr Rechenleistung bereitzustellen. Wir konnten das Slot-Booking \u00e4ndern, indem wir Tickets beim Google-Support erstellt haben. Wir haben festgestellt, dass wir beispielsweise das Self-Service f\u00fcr die Slot-Verteilung und die Verbesserung des Dashboards zur \u00dcberwachung optimieren k\u00f6nnten, und haben diese Anfragen an Google weitergeleitet.<\/p>\n<h4>Kosten<\/h4>\n<p>\nUnsere Vorabanalyse hat gezeigt, dass die Kosten f\u00fcr Anfragen bei BigQuery und Presto auf \u00e4hnlichem Niveau lagen. Wir haben Slots zu <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\/pricing#flat_rate_pricing\">festen Preisen erworben.<\/a><\/noindex> Preis, um eine stabile monatliche Kostenstruktur zu haben, anstatt zu zahlen <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\/pricing#on_demand_pricing\">auf Anfrage<\/a><\/noindex> pro TB verarbeiteten Daten. Diese L\u00f6sung basierte auch auf dem Feedback von Nutzern, die nicht \u00fcber Kosten nachdenken wollten, bevor sie jede Anfrage ausf\u00fchrten.<\/p>\n<p>Die Speicherung von Daten in BigQuery f\u00fchrte zu zus\u00e4tzlichen Kosten neben den GCS-Ausgaben. Werkzeuge wie Scalding erfordern Datens\u00e4tze in GCS, und um auf BigQuery zuzugreifen, mussten wir die gleichen Datens\u00e4tze im BigQuery-Format hochladen <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/blog\/products\/gcp\/inside-capacitor-bigquerys-next-generation-columnar-storage-format\">Capacitor<\/a><\/noindex>. Wir arbeiten an der Verbindung von Scalding mit BigQuery-Datens\u00e4tzen, um die Notwendigkeit zu beseitigen, Datens\u00e4tze sowohl in GCS als auch in BigQuery zu speichern.<\/p>\n<p>In seltenen F\u00e4llen, die nicht h\u00e4ufige Anfragen von mehreren Petabytes erforderten, entschieden wir, dass die Speicherung von Datens\u00e4tzen in BigQuery nicht wirtschaftlich ist, und verwendeten Presto f\u00fcr den direkten Zugriff auf Datens\u00e4tze in GCS. Daf\u00fcr pr\u00fcfen wir BigQuery External Data Sources.<\/p>\n<h3>Die n\u00e4chsten Schritte<\/h3>\n<p>\nSeit der Ver\u00f6ffentlichung der Alpha-Version haben wir ein reges Interesse an BigQuery festgestellt. Wir f\u00fcgen weitere Datens\u00e4tze und mehr Teams zu BigQuery hinzu. Wir entwickeln Connectoren f\u00fcr Datenanalyse-Tools wie Scalding, um in das BigQuery-Speicher zu lesen und zu schreiben. Wir pr\u00fcfen Tools wie Looker und Apache Zeppelin zur Erstellung von Unternehmensberichten zur Qualit\u00e4t und Notizen mit Hilfe von BigQuery-Datens\u00e4tzen.<\/p>\n<p>Die Zusammenarbeit mit Google war \u00e4u\u00dferst produktiv, und wir freuen uns, diese Partnerschaft fortzusetzen und auszubauen. Wir haben mit Google zusammengearbeitet, um unsere eigene <noindex><a rel=\"nofollow\" href=\"https:\/\/developers.google.com\/issue-tracker\/guides\/partner-access\">Partner Issue Tracker<\/a><\/noindex>, um Anfragen direkt an Google zu senden. Einige davon, wie der BigQuery Parquet Loader, wurden bereits von Google realisiert.<\/p>\n<p>Hier sind einige unserer hochpriorisierten Funktionsanfragen an Google:<\/p>\n<ul>\n<li>Werkzeuge f\u00fcr den einfachen Datenimport und Unterst\u00fctzung des LZO-Thrift-Formats.<\/li>\n<li>St\u00fcndliche Segmentierung<\/li>\n<li>Verbesserungen im Bereich Zugriffskontrolle, wie Berechtigungen auf Tabellen-, Zeilen- und Spaltenebene.<\/li>\n<li>BigQuery <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\/external-data-sources\">Externe Datenquellen<\/a><\/noindex> mit Integration und Unterst\u00fctzung des Hive Metastore f\u00fcr das LZO-Thrift-Format.<\/li>\n<li>Verbesserte Integration des Datenkatalogs in die Benutzeroberfl\u00e4che von BigQuery<\/li>\n<li>Selbstbedienung zur Verteilung und \u00dcberwachung von Slots.<\/li>\n<\/ul>\n<p><\/p>\n<h3>Fazit<\/h3>\n<p>\nDie Demokratisierung von Datenanalyse, Visualisierung und maschinellem Lernen auf sichere Weise hat f\u00fcr das Team der Data Platform oberste Priorit\u00e4t. Wir haben Google BigQuery und Data Studio als Werkzeuge identifiziert, die uns helfen k\u00f6nnen, dieses Ziel zu erreichen, und letztes Jahr BigQuery Alpha f\u00fcr das gesamte Unternehmen ver\u00f6ffentlicht. <\/p>\n<p>Wir haben festgestellt, dass Abfragen in BigQuery einfach und effizient waren. F\u00fcr den Empfang und die Transformation von Daten haben wir Google-Werkzeuge f\u00fcr einfache Pipelines verwendet, aber f\u00fcr komplexe Pipelines mussten wir unsere eigene Airflow-Infrastruktur erstellen. Im Bereich des Datenmanagements erf\u00fcllen die Dienste von BigQuery unsere Anforderungen an Authentifizierung, Autorisierung und Auditierung. F\u00fcr das Management von Metadaten und die Einhaltung der Datenschutzbestimmungen ben\u00f6tigten wir mehr Flexibilit\u00e4t und mussten eigene Systeme entwickeln. BigQuery, als verwalteter Service, war einfach zu bedienen. Die Abfragekosten waren vergleichbar mit bestehenden Werkzeugen. Die Speicherung von Daten in BigQuery erh\u00f6hte die Kosten zus\u00e4tzlich zu den Ausgaben f\u00fcr GCS.<\/p>\n<p>Insgesamt funktioniert BigQuery gut f\u00fcr allgemeine SQL-Analysen. Wir verzeichnen ein starkes Interesse an BigQuery und arbeiten daran, mehr Datens\u00e4tze zu \u00fcbertragen, mehr Teams zu gewinnen und mehr Pipelines mit BigQuery zu erstellen. Twitter verwendet unterschiedliche Daten, f\u00fcr die eine Kombination von Tools wie Scalding, Spark, Presto und Druid erforderlich ist. Wir sind entschlossen, unsere Datenanalysetools weiter auszubauen und unseren Benutzern klare Empfehlungen zu geben, wie sie unser Angebot optimal nutzen k\u00f6nnen.<\/p>\n<h3>Dankesworte<\/h3>\n<p>\nIch m\u00f6chte meinen Mitautoren und Teamkollegen, Anju Dja und Will Pascucci, f\u00fcr ihre gro\u00dfartige Zusammenarbeit und harte Arbeit an diesem Projekt danken. Au\u00dferdem m\u00f6chte ich den Ingenieuren und Managern mehrerer Teams bei Twitter und Google danken, die uns und den Nutzern von BigQuery bei Twitter wertvolles Feedback gegeben haben.<\/p>\n<p>Wenn Sie an der Arbeit an diesen Aufgaben interessiert sind, schauen Sie sich unsere <noindex><a rel=\"nofollow\" href=\"https:\/\/careers.twitter.com\/content\/careers-twitter\/en\/jobs-search.html?q=&amp;team=careers-twitter%3Ateam%2Finfrastructure-engineering\">Stellenangebote<\/a><\/noindex> im Data Platform-Team an.<\/p>\n<p>\n<noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/eD9S\/\">Die Datenqualit\u00e4t im DWH \u2013 Konsistenz des Data Warehouses<\/a><\/noindex><\/p>\n<p>Quelle: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/513782\/\">habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb. \u0412 \u043f\u0440\u0435\u0434\u0434\u0432\u0435\u0440\u0438\u0438 \u0441\u0442\u0430\u0440\u0442\u0430 \u043a\u0443\u0440\u0441\u0430 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u043c \u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u0441 \u0432\u0430\u043c\u0438 \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u043c \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u043e\u043c. \u0427\u0438\u0442\u0430\u0442\u044c \u043f\u0435\u0440\u0432\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u0423\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0421\u0438\u043b\u044c\u043d\u043e\u0435 \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 (Strong Data Governance) \u2014 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043f\u0440\u0438\u043d\u0446\u0438\u043f Twitter Engineering. \u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043c\u044b \u0432\u043d\u0435\u0434\u0440\u044f\u0435\u043c BigQuery \u0432 \u043d\u0430\u0448\u0443 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0443, \u043c\u044b \u043a\u043e\u043d\u0446\u0435\u043d\u0442\u0440\u0438\u0440\u0443\u0435\u043c\u0441\u044f \u043d\u0430 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445, \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435 \u0434\u043e\u0441\u0442\u0443\u043f\u0430, \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e\u0441\u0442\u0438 [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":91904,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-91903","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 4.9.10 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb. \u0412 \u043f\u0440\u0435\u0434\u0434\u0432\u0435\u0440\u0438\u0438 \u0441\u0442\u0430\u0440\u0442\u0430 \u043a\u0443\u0440\u0441\u0430 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u043c \u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u0441 \u0432\u0430\u043c\u0438 \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u043c \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u043e\u043c. \u0427\u0438\u0442\u0430\u0442\u044c \u043f\u0435\u0440\u0432\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u0423\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0421\u0438\u043b\u044c\u043d\u043e\u0435 \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 (Strong Data Governance) \u2014 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043f\u0440\u0438\u043d\u0446\u0438\u043f Twitter Engineering. \u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043c\u044b \u0432\u043d\u0435\u0434\u0440\u044f\u0435\u043c BigQuery \u0432 \u043d\u0430\u0448\u0443 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0443, \u043c\u044b \u043a\u043e\u043d\u0446\u0435\u043d\u0442\u0440\u0438\u0440\u0443\u0435\u043c\u0441\u044f \u043d\u0430 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445, \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435 \u0434\u043e\u0441\u0442\u0443\u043f\u0430, \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e\u0441\u0442\u0438\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2\" \/>\n\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 4.9.10\" \/>\n\t\t<meta property=\"og:locale\" content=\"de_DE\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041a\u0430\u043a BigQuery \u043e\u0442 Google \u0434\u0435\u043c\u043e\u043a\u0440\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445. \u0427\u0430\u0441\u0442\u044c 2 | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb. \u0412 \u043f\u0440\u0435\u0434\u0434\u0432\u0435\u0440\u0438\u0438 \u0441\u0442\u0430\u0440\u0442\u0430 \u043a\u0443\u0440\u0441\u0430 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u043c \u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u0441 \u0432\u0430\u043c\u0438 \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u043c \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u043e\u043c. \u0427\u0438\u0442\u0430\u0442\u044c \u043f\u0435\u0440\u0432\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u0423\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0421\u0438\u043b\u044c\u043d\u043e\u0435 \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 (Strong Data Governance) \u2014 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043f\u0440\u0438\u043d\u0446\u0438\u043f Twitter Engineering. \u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043c\u044b \u0432\u043d\u0435\u0434\u0440\u044f\u0435\u043c BigQuery \u0432 \u043d\u0430\u0448\u0443 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0443, \u043c\u044b \u043a\u043e\u043d\u0446\u0435\u043d\u0442\u0440\u0438\u0440\u0443\u0435\u043c\u0441\u044f \u043d\u0430 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445, \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435 \u0434\u043e\u0441\u0442\u0443\u043f\u0430, \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e\u0441\u0442\u0438\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2020-08-20T05:42:18+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-08-20T05:42:18+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Wie Google BigQuery die Datenanalyse demokratisiert hat. Teil 2 | ProHoster","description":"Hallo, Habr! Der neue Kurs \u201eData Engineer\u201c bei OTUS ist jetzt ge\u00f6ffnet. Um den Kursstart herum teilen wir weiterhin n\u00fctzliche Materialien mit Ihnen. Lesen Sie den ersten Teil Datenmanagement: Starke Daten-Governance (Strong Data Governance) \u2014 das Hauptprinzip der Twitter Engineering. Da wir BigQuery in unsere Plattform integrieren, konzentrieren wir uns auf Datenentdeckung, Zugriffskontrolle und Sicherheit.","canonical_url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"de_DE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041a\u0430\u043a BigQuery \u043e\u0442 Google \u0434\u0435\u043c\u043e\u043a\u0440\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445. \u0427\u0430\u0441\u0442\u044c 2 | ProHoster","og:description":"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb. \u0412 \u043f\u0440\u0435\u0434\u0434\u0432\u0435\u0440\u0438\u0438 \u0441\u0442\u0430\u0440\u0442\u0430 \u043a\u0443\u0440\u0441\u0430 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u043c \u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u0441 \u0432\u0430\u043c\u0438 \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u043c \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u043e\u043c. \u0427\u0438\u0442\u0430\u0442\u044c \u043f\u0435\u0440\u0432\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u0423\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0421\u0438\u043b\u044c\u043d\u043e\u0435 \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 (Strong Data Governance) \u2014 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043f\u0440\u0438\u043d\u0446\u0438\u043f Twitter Engineering. \u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043c\u044b \u0432\u043d\u0435\u0434\u0440\u044f\u0435\u043c BigQuery \u0432 \u043d\u0430\u0448\u0443 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0443, \u043c\u044b \u043a\u043e\u043d\u0446\u0435\u043d\u0442\u0440\u0438\u0440\u0443\u0435\u043c\u0441\u044f \u043d\u0430 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445, \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435 \u0434\u043e\u0441\u0442\u0443\u043f\u0430, \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e\u0441\u0442\u0438","og:url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-08-20T05:42:18+00:00","article:modified_time":"2020-08-20T05:42:18+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"91903","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 12:18:28","updated":"2022-10-08 11:10:45"},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/91903","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/comments?post=91903"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/91903\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media\/91904"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media?parent=91903"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/categories?post=91903"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/tags?post=91903"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}