{"id":90783,"date":"2020-08-06T01:42:19","date_gmt":"2020-08-05T23:42:19","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1"},"modified":"2020-08-06T01:42:19","modified_gmt":"2020-08-05T23:42:19","slug":"kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1","title":{"rendered":"Wie Google BigQuery die Datenanalyse demokratisiert hat. Teil 1","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p><b><i>Hallo, Habr! Der neue Kurs bei OTUS ist jetzt ge\u00f6ffnet. <noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/wDZQ\/\">\u201eData Engineer\u201c<\/a><\/noindex>Zur Vorbereitung auf den Kursstart haben wir traditionell interessante Inhalte f\u00fcr Sie \u00fcbersetzt. <\/i><\/b><\/p>\n<p>\nJeden Tag besuchen \u00fcber hundert Millionen Menschen Twitter, um zu erfahren, was in der Welt passiert und um dar\u00fcber zu diskutieren. Jeder Tweet und jede andere Benutzeraktion erzeugt ein Ereignis, das f\u00fcr die interne Datenanalyse bei Twitter verf\u00fcgbar ist. Hunderte Mitarbeiter analysieren und visualisieren diese Daten, und die Verbesserung ihrer Erfahrung hat f\u00fcr das Twitter Data Platform-Team h\u00f6chste Priorit\u00e4t. <\/p>\n<p>Wir glauben, dass Benutzer mit einem breiten Spektrum an technischen F\u00e4higkeiten in der Lage sein sollten, Daten zu finden und Zugang zu gut funktionierenden Analyse- und Visualisierungstools auf SQL-Basis zu haben. Dies w\u00fcrde es einer ganz neuen Gruppe von Benutzern mit weniger technischem Hintergrund, einschlie\u00dflich Datenanalytikern und Produktmanagern, erm\u00f6glichen, Informationen aus den Daten zu extrahieren, sodass sie die M\u00f6glichkeiten von Twitter besser verstehen und nutzen k\u00f6nnen. So demokratisieren wir die Datenanalyse bei Twitter. <noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<p>Mit der Verbesserung unserer Tools und M\u00f6glichkeiten zur internen Datenanalyse haben wir eine Steigerung der Twitter-Dienste erlebt. Dennoch gibt es noch viel Raum f\u00fcr Wachstum. Die aktuellen Tools wie Scalding erfordern Programmierkenntnisse. SQL-basierte Analysetools wie Presto und Vertica weisen bei gro\u00dfem Umfang Leistungsprobleme auf. Au\u00dferdem haben wir ein Problem mit der Verteilung von Daten \u00fcber mehrere Systeme ohne st\u00e4ndigen Zugriff darauf.<\/p>\n<p>Im letzten Jahr haben wir <noindex><a rel=\"nofollow\" href=\"https:\/\/blog.twitter.com\/engineering\/en_us\/topics\/infrastructure\/2018\/a-new-collaboration-with-google-cloud.html\">eine neue Kooperation mit Google<\/a><\/noindex>bekannt gegeben, im Rahmen derer wir Teile unserer <noindex><a rel=\"nofollow\" href=\"https:\/\/blog.twitter.com\/engineering\/en_us\/topics\/infrastructure\/2019\/the-start-of-a-journey-into-the-cloud.html\">Dateninfrastruktur<\/a><\/noindex> auf die Google Cloud Platform (GCP) verlagern. Wir sind zu dem Schluss gekommen, dass die Tools von Google Cloud <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/products\/big-data\/\">Big Data<\/a><\/noindex> uns in unseren Bem\u00fchungen zur Demokratisierung von Analyse, Visualisierung und maschinellem Lernen bei Twitter unterst\u00fctzen k\u00f6nnen:<\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\/\">BigQuery<\/a><\/noindex>: ein unternehmensweites Datenlager mit einer SQL-Engine basierend auf <noindex><a rel=\"nofollow\" href=\"https:\/\/ai.google\/research\/pubs\/pub36632\">Dremel<\/a><\/noindex>, die f\u00fcr ihre Schnelligkeit, Einfachheit bekannt ist und die <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery-ml\/docs\/bigqueryml-intro\">maschinellem Lernen<\/a><\/noindex>.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/datastudio.google.com\/overview\">Data Studio:<\/a><\/noindex> ein Tool zur Visualisierung gro\u00dfer Datenmengen mit Funktionen zur Zusammenarbeit, \u00e4hnlich wie in Google Docs.<\/li>\n<\/ul>\n<p>\nIn diesem Artikel erfahren Sie von unseren Erfahrungen mit diesen Werkzeugen: was wir getan haben, was wir gelernt haben und was wir als N\u00e4chstes tun werden. Momentan konzentrieren wir uns auf Batch- und interaktive Analytik. Die Echtzeitanalyse werden wir im n\u00e4chsten Artikel besprechen.<\/p>\n<h2>Die Geschichte der Data Warehouses bei Twitter<\/h2>\n<p>\nBevor wir uns n\u00e4her mit BigQuery besch\u00e4ftigen, ist es sinnvoll, die Geschichte der Data Warehouses bei Twitter kurz zusammenzufassen. Im Jahr 2011 wurde die Datenanalyse bei Twitter mit Vertica und Hadoop durchgef\u00fchrt. Um MapReduce-Jobs in Hadoop zu erstellen, verwendeten wir Pig. 2012 haben wir Pig durch Scalding ersetzt, das eine Scala-API mit Vorteilen wie der M\u00f6glichkeit, komplexe Pipelines zu erstellen, und einer einfacheren Testbarkeit bot. Dennoch war dies f\u00fcr viele Datenanalysten und Produktmanager, die es gewohnt waren, mit SQL zu arbeiten, eine steile Lernkurve. Etwa 2016 begannen wir, Presto als SQL-Interface f\u00fcr Hadoop-Daten zu verwenden. Spark bot eine Python-API, die es zu einer guten Wahl f\u00fcr ad-hoc Datenanalysen und maschinelles Lernen machte.<\/p>\n<p>Seit 2018 nutzen wir folgende Werkzeuge zur Analyse und Visualisierung von Daten:<\/p>\n<ul>\n<li>Scalding f\u00fcr Produktionspipelines<\/li>\n<li>Scalding und Spark f\u00fcr ad-hoc Datenanalyse und maschinelles Lernen<\/li>\n<li>Vertica und Presto f\u00fcr ad-hoc und interaktive SQL-Analyse <\/li>\n<li>Druid f\u00fcr kleine interaktive, explorative und latenzarme Zugriffe auf Zeitreihenmetriken<\/li>\n<li>Tableau, Zeppelin und Pivot zur Datenvisualisierung<\/li>\n<\/ul>\n<p>\nWir haben festgestellt, dass diese Werkzeuge zwar sehr leistungsstarke Funktionen bieten, wir jedoch Schwierigkeiten hatten, diese Funktionen einem breiteren Publikum in Twitter zug\u00e4nglich zu machen. Durch die Erweiterung unserer Plattform mit Google Cloud konzentrieren wir uns darauf, unsere Analysetools f\u00fcr alle bei Twitter zu vereinfachen.<\/p>\n<h2>Google BigQuery-Datenlager <\/h2>\n<p>\nEinige Teams bei Twitter haben bereits BigQuery in einige ihrer Produktionsabl\u00e4ufe integriert. Basierend auf ihren Erfahrungen haben wir begonnen, die M\u00f6glichkeiten von BigQuery f\u00fcr alle Anwendungsszenarien bei Twitter zu bewerten. Unser Ziel war es, BigQuery im gesamten Unternehmen anzubieten sowie es innerhalb des Data Platform-Toolkit zu standardisieren und zu unterst\u00fctzen. Dies war aus vielen Gr\u00fcnden herausfordernd. Wir mussten eine Infrastruktur entwickeln, die eine zuverl\u00e4ssige Verarbeitung gro\u00dfer Datenmengen erm\u00f6glicht, das Datenmanagement im gesamten Unternehmen unterst\u00fctzt, angemessene Zugriffssteuerungen gew\u00e4hrleistet und die Vertraulichkeit der Kunden sicherstellt. Zudem mussten wir Systeme entwickeln, um Ressourcen zu verteilen, Monitoring und Abrechnung zu gew\u00e4hrleisten, damit die Teams BigQuery effizient nutzen k\u00f6nnen.<\/p>\n<p>Im November 2018 haben wir die Alpha-Version von BigQuery und Data Studio f\u00fcr das gesamte Unternehmen ver\u00f6ffentlicht. Wir haben Twitter-Mitarbeitern einige unserer am h\u00e4ufigsten verwendeten Tabellen mit bereinigten pers\u00f6nlichen Daten angeboten. \u00dcber 250 Nutzer aus verschiedenen Teams, darunter Ingenieurwesen, Finanzen und Marketing, haben BigQuery genutzt. K\u00fcrzlich f\u00fchrten sie etwa 8.000 Abfragen aus und verarbeiteten dabei rund 100 PB pro Monat, ohne die geplanten Abfragen zu ber\u00fccksichtigen. Aufgrund des sehr positiven Feedbacks haben wir beschlossen, BigQuery als prim\u00e4re Ressource f\u00fcr die Dateninteraktion bei Twitter anzubieten.<\/p>\n<p>Hier ist das Schema der hochgradigen Architektur unseres Google BigQuery-Datenlagers. <\/p>\n<p><img decoding=\"async\" alt=\"Wie Google BigQuery die Datenanalyse demokratisiert hat. Teil 1\" src=\"\/wp-content\/uploads\/2020\/08\/6a3e0b43752ebbac641c43519c8c2fba.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\nWir kopieren Daten von lokalen Hadoop-Clustern in den Google Cloud Storage (GCS) mithilfe eines internen Tools, dem Cloud Replicator. Anschlie\u00dfend verwenden wir Apache Airflow, um Pipelines zu erstellen, die \u201e<noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\/docs\/reference\/bq-cli-reference#bq_load\">bq_load<\/a><\/noindex>\u201c nutzen, um Daten aus GCS in BigQuery zu laden. Wir verwenden Presto, um Datens\u00e4tze im Parquet- oder Thrift-LZO-Format in GCS abzufragen. BQ Blaster ist ein internes Scalding-Tool zum Laden von Datens\u00e4tzen aus HDFS Vertica und Thrift-LZO in BigQuery.<\/p>\n<p>In den folgenden Abschnitten werden wir unseren Ansatz und unser Wissen in Bezug auf Benutzerfreundlichkeit, Leistung, Datenmanagement, Systemzuverl\u00e4ssigkeit und Kosten besprechen.<\/p>\n<h4>Benutzerfreundlichkeit<\/h4>\n<p>\nWir haben festgestellt, dass es f\u00fcr Benutzer einfach war, mit BigQuery zu beginnen, da keine Softwareinstallation erforderlich war und die Benutzer \u00fcber eine benutzerfreundliche Weboberfl\u00e4che darauf zugreifen konnten. Allerdings mussten sich die Benutzer mit einigen Funktionen und Konzepten von GCP vertrautmachen, einschlie\u00dflich Ressourcen wie Projekten, Datens\u00e4tzen und Tabellen. Wir haben Schulungsmaterialien und Tutorials entwickelt, um den Benutzern den Einstieg zu erleichtern. Mit einem grundlegenden Verst\u00e4ndnis konnten die Benutzer problemlos durch Datens\u00e4tze navigieren, das Schema und die Daten der Tabellen anzeigen, einfache Abfragen durchf\u00fchren und die Ergebnisse in Data Studio visualisieren.<\/p>\n<p>Unser Ziel bez\u00fcglich der Dateneingabe in BigQuery bestand darin, einen nahtlosen Upload von Datens\u00e4tzen aus HDFS oder GCS mit einem einzigen Klick zu erm\u00f6glichen. Wir haben angesehen <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/composer\/\">Cloud Composer<\/a><\/noindex> (verwaltetes Airflow), aber wir konnten es aufgrund unseres Sicherheitsmodells \u201eDomain Restricted Sharing\u201c nicht verwenden (n\u00e4heres dazu im Abschnitt \u201eDatenmanagement\u201c unten). Wir haben mit dem Google Data Transfer Service (DTS) experimentiert, um Lastenaufgaben in BigQuery zu organisieren. W\u00e4hrend DTS schnell eingerichtet werden konnte, war es nicht flexibel genug, um Pipelines mit Abh\u00e4ngigkeiten zu erstellen. F\u00fcr unsere Alpha-Version haben wir unsere eigene Apache Airflow-Umgebung in GCE erstellt und bereiten sie f\u00fcr den Produktionsbetrieb vor, um mehr Datenquellen wie Vertica zu unterst\u00fctzen.<\/p>\n<p>Um Daten in BigQuery zu transformieren, erstellen Benutzer einfache SQL-Datenpipelines mit geplanten Abfragen. F\u00fcr komplexe mehrstufige Pipelines mit Abh\u00e4ngigkeiten planen wir, entweder unsere eigene Airflow-Infrastruktur oder Cloud Composer zusammen mit <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/dataflow\/\">Cloud Dataflow<\/a><\/noindex>.<\/p>\n<h4>Leistung<\/h4>\n<p>\nBigQuery ist f\u00fcr allgemeine SQL-Abfragen konzipiert, die gro\u00dfe Datenmengen verarbeiten. Es ist nicht f\u00fcr Abfragen mit niedriger Latenz und hoher Durchsatzleistung, die f\u00fcr transaktionale Datenbanken erforderlich sind, oder f\u00fcr die Analyse von Zeitreihen mit niedriger Latenz ausgelegt. <noindex><a rel=\"nofollow\" href=\"https:\/\/druid.apache.org\/\">Apache Druid<\/a><\/noindex>. F\u00fcr interaktive Analyseanfragen erwarten unsere Nutzer eine Antwortzeit von weniger als einer Minute. Wir mussten BigQuery so gestalten, dass es diesen Erwartungen entspricht. Um eine vorhersehbare Leistung f\u00fcr unsere Nutzer zu gew\u00e4hrleisten, haben wir die BigQuery-Funktionalit\u00e4t genutzt, die f\u00fcr zahlende Kunden verf\u00fcgbar ist und es Projektinhabern erm\u00f6glicht, minimale Slots f\u00fcr ihre Anfragen zu reservieren. <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\/docs\/slots\">Slot<\/a><\/noindex> BigQuery ist eine Einheit an Rechenleistung, die erforderlich ist, um SQL-Abfragen auszuf\u00fchren. <\/p>\n<p>Wir haben \u00fcber 800 Anfragen analysiert, die jeweils etwa 1 TB Daten verarbeiten, und festgestellt, dass die durchschnittliche Laufzeit 30 Sekunden betrug. Zudem haben wir herausgefunden, dass die Leistung stark von der Nutzung unseres Slots in verschiedenen Projekten und Aufgaben abh\u00e4ngt. Daher mussten wir unsere Produktions- und ad-hoc Slot-Reservierungen klar voneinander abgrenzen, um die Leistung f\u00fcr produktive Nutzungsszenarien und interaktive Analysen aufrechtzuerhalten. Dies hatte starken Einfluss auf unser Design f\u00fcr die Slot-Reservierung und die Projekt-Hierarchie.<\/p>\n<p><i>\u00dcber Datenmanagement, Funktionalit\u00e4t und Kosten der Systeme sprechen wir in den kommenden Tagen in Teil zwei der \u00dcbersetzung, und momentan laden wir alle Interessierten ein zu <noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/wDZQ\/\">einem kostenlosen Live-Webinar<\/a><\/noindex>, in dem Sie ausf\u00fchrlich \u00fcber den Kurs erfahren und unserem Experten \u2014 Egor Mateshchuk (Senior Data Engineer, MaximaTelecom) \u2014 Fragen stellen k\u00f6nnen. <\/i><\/p>\n<p><\/p>\n<h2>Weiterlesen:<\/h2>\n<p><\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/501380\/\">Data Build Tool oder was haben das Data Warehouse und Smoothie gemeinsam?<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/502324\/\">Einf\u00fchrung in Delta Lake: Schema-\u00dcberpr\u00fcfung und Evolution<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/503132\/\">Hochgeschwindigkeits Apache Parquet auf Python mit Apache Arrow<\/a><\/noindex><\/li>\n<\/ul>\n<p>Quelle: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/513780\/\">habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb. \u0412 \u043f\u0440\u0435\u0434\u0434\u0432\u0435\u0440\u0438\u0438 \u0441\u0442\u0430\u0440\u0442\u0430 \u043a\u0443\u0440\u0441\u0430 \u043c\u044b \u0442\u0440\u0430\u0434\u0438\u0446\u0438\u043e\u043d\u043d\u043e \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u0438\u043b\u0438 \u0434\u043b\u044f \u0432\u0430\u0441 \u043f\u0435\u0440\u0435\u0432\u043e\u0434 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0433\u043e \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u0430. \u041a\u0430\u0436\u0434\u044b\u0439 \u0434\u0435\u043d\u044c \u0431\u043e\u043b\u0435\u0435 \u0441\u0442\u0430 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u0447\u0435\u043b\u043e\u0432\u0435\u043a \u043f\u043e\u0441\u0435\u0449\u0430\u044e\u0442 Twitter, \u0447\u0442\u043e\u0431\u044b \u0443\u0437\u043d\u0430\u0442\u044c, \u0447\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0432 \u043c\u0438\u0440\u0435, \u0438 \u043e\u0431\u0441\u0443\u0434\u0438\u0442\u044c \u044d\u0442\u043e. \u041a\u0430\u0436\u0434\u044b\u0439 \u0442\u0432\u0438\u0442 \u0438 \u043b\u044e\u0431\u043e\u0435 \u0434\u0440\u0443\u0433\u043e\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u044e\u0442 \u0441\u043e\u0431\u044b\u0442\u0438\u0435, \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0435 \u0434\u043b\u044f \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0433\u043e [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":90784,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-90783","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 4.9.10 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb. \u0412 \u043f\u0440\u0435\u0434\u0434\u0432\u0435\u0440\u0438\u0438 \u0441\u0442\u0430\u0440\u0442\u0430 \u043a\u0443\u0440\u0441\u0430 \u043c\u044b \u0442\u0440\u0430\u0434\u0438\u0446\u0438\u043e\u043d\u043d\u043e \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u0438\u043b\u0438 \u0434\u043b\u044f \u0432\u0430\u0441 \u043f\u0435\u0440\u0435\u0432\u043e\u0434 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0433\u043e \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u0430. \u041a\u0430\u0436\u0434\u044b\u0439 \u0434\u0435\u043d\u044c \u0431\u043e\u043b\u0435\u0435 \u0441\u0442\u0430 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u0447\u0435\u043b\u043e\u0432\u0435\u043a \u043f\u043e\u0441\u0435\u0449\u0430\u044e\u0442 Twitter, \u0447\u0442\u043e\u0431\u044b \u0443\u0437\u043d\u0430\u0442\u044c, \u0447\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0432 \u043c\u0438\u0440\u0435, \u0438 \u043e\u0431\u0441\u0443\u0434\u0438\u0442\u044c \u044d\u0442\u043e. \u041a\u0430\u0436\u0434\u044b\u0439 \u0442\u0432\u0438\u0442 \u0438 \u043b\u044e\u0431\u043e\u0435 \u0434\u0440\u0443\u0433\u043e\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u044e\u0442 \u0441\u043e\u0431\u044b\u0442\u0438\u0435, \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0435 \u0434\u043b\u044f \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0433\u043e\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1\" \/>\n\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 4.9.10\" \/>\n\t\t<meta property=\"og:locale\" content=\"de_DE\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041a\u0430\u043a BigQuery \u043e\u0442 Google \u0434\u0435\u043c\u043e\u043a\u0440\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445. \u0427\u0430\u0441\u0442\u044c 1 | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb. \u0412 \u043f\u0440\u0435\u0434\u0434\u0432\u0435\u0440\u0438\u0438 \u0441\u0442\u0430\u0440\u0442\u0430 \u043a\u0443\u0440\u0441\u0430 \u043c\u044b \u0442\u0440\u0430\u0434\u0438\u0446\u0438\u043e\u043d\u043d\u043e \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u0438\u043b\u0438 \u0434\u043b\u044f \u0432\u0430\u0441 \u043f\u0435\u0440\u0435\u0432\u043e\u0434 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0433\u043e \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u0430. \u041a\u0430\u0436\u0434\u044b\u0439 \u0434\u0435\u043d\u044c \u0431\u043e\u043b\u0435\u0435 \u0441\u0442\u0430 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u0447\u0435\u043b\u043e\u0432\u0435\u043a \u043f\u043e\u0441\u0435\u0449\u0430\u044e\u0442 Twitter, \u0447\u0442\u043e\u0431\u044b \u0443\u0437\u043d\u0430\u0442\u044c, \u0447\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0432 \u043c\u0438\u0440\u0435, \u0438 \u043e\u0431\u0441\u0443\u0434\u0438\u0442\u044c \u044d\u0442\u043e. \u041a\u0430\u0436\u0434\u044b\u0439 \u0442\u0432\u0438\u0442 \u0438 \u043b\u044e\u0431\u043e\u0435 \u0434\u0440\u0443\u0433\u043e\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u044e\u0442 \u0441\u043e\u0431\u044b\u0442\u0438\u0435, \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0435 \u0434\u043b\u044f \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0433\u043e\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2020-08-05T23:42:19+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-08-05T23:42:19+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Wie Google BigQuery die Datenanalyse demokratisiert hat. Teil 1 | ProHoster","description":"Hallo, Habr! Momentan l\u00e4uft bei OTUS die Anmeldung f\u00fcr den neuen Kurs \"Data Engineer\". Vor dem Start des Kurses haben wir traditionell einen spannenden Artikel f\u00fcr Sie \u00fcbersetzt. Jeden Tag besuchen \u00fcber hundert Millionen Menschen Twitter, um herauszufinden, was in der Welt passiert und dar\u00fcber zu diskutieren. Jeder Tweet und jede andere Benutzeraktion generieren ein Ereignis, das intern verf\u00fcgbar ist.","canonical_url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"de_DE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041a\u0430\u043a BigQuery \u043e\u0442 Google \u0434\u0435\u043c\u043e\u043a\u0440\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445. \u0427\u0430\u0441\u0442\u044c 1 | ProHoster","og:description":"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb. \u0412 \u043f\u0440\u0435\u0434\u0434\u0432\u0435\u0440\u0438\u0438 \u0441\u0442\u0430\u0440\u0442\u0430 \u043a\u0443\u0440\u0441\u0430 \u043c\u044b \u0442\u0440\u0430\u0434\u0438\u0446\u0438\u043e\u043d\u043d\u043e \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u0438\u043b\u0438 \u0434\u043b\u044f \u0432\u0430\u0441 \u043f\u0435\u0440\u0435\u0432\u043e\u0434 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0433\u043e \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u0430. \u041a\u0430\u0436\u0434\u044b\u0439 \u0434\u0435\u043d\u044c \u0431\u043e\u043b\u0435\u0435 \u0441\u0442\u0430 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u0447\u0435\u043b\u043e\u0432\u0435\u043a \u043f\u043e\u0441\u0435\u0449\u0430\u044e\u0442 Twitter, \u0447\u0442\u043e\u0431\u044b \u0443\u0437\u043d\u0430\u0442\u044c, \u0447\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0432 \u043c\u0438\u0440\u0435, \u0438 \u043e\u0431\u0441\u0443\u0434\u0438\u0442\u044c \u044d\u0442\u043e. \u041a\u0430\u0436\u0434\u044b\u0439 \u0442\u0432\u0438\u0442 \u0438 \u043b\u044e\u0431\u043e\u0435 \u0434\u0440\u0443\u0433\u043e\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u044e\u0442 \u0441\u043e\u0431\u044b\u0442\u0438\u0435, \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0435 \u0434\u043b\u044f \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0433\u043e","og:url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-08-05T23:42:19+00:00","article:modified_time":"2020-08-05T23:42:19+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"90783","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 12:42:25","updated":"2022-10-03 03:00:18"},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/90783","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/comments?post=90783"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/90783\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media\/90784"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media?parent=90783"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/categories?post=90783"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/tags?post=90783"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}