{"id":91903,"date":"2020-08-20T07:42:18","date_gmt":"2020-08-20T05:42:18","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2"},"modified":"2020-08-20T07:42:18","modified_gmt":"2020-08-20T05:42:18","slug":"kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2","status":"publish","type":"post","link":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2","title":{"rendered":"Come BigQuery di Google ha democratizzato l'analisi dei dati. Parte 2","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p><b><i>Ciao, Habr! Al momento in OTUS \u00e8 aperto il reclutamento per un nuovo ciclo del corso <noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/wDZQ\/\">\u00abData Engineer\u00bb<\/a><\/noindex>. In attesa dell'inizio del corso, continuiamo a condividere con voi materiali utili. <\/i><\/b><\/p>\n<p><i><noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/\">Leggi la prima parte<\/a><\/noindex><\/i><\/p>\n<p><img decoding=\"async\" alt=\"Come BigQuery di Google ha democratizzato l&#039;analisi dei dati. Parte 2\" src=\"\/wp-content\/uploads\/2020\/08\/7b9314bffd954cd408807280f8956c21.png\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<h4>Gestione dei dati<\/h4>\n<p>\nUna forte gestione dei dati (Strong Data Governance) \u00e8 un principio fondamentale di Twitter Engineering. Mentre implementiamo BigQuery nella nostra piattaforma, ci concentriamo sulla scoperta dei dati, sul controllo degli accessi, sulla sicurezza e sulla privacy.<noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<p>Per la scoperta e la gestione dei dati, abbiamo ampliato il nostro livello di accesso ai dati (Data Access Layer - <noindex><a rel=\"nofollow\" href=\"https:\/\/blog.twitter.com\/engineering\/en_us\/topics\/insights\/2016\/discovery-and-consumption-of-analytics-data-at-twitter.html\">DAL<\/a><\/noindex>), per fornire strumenti sia per i dati locali che per quelli di Google Cloud, offrendo un'unica interfaccia e un'API per i nostri utenti. Man mano che Google <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/data-catalog\/\">Data Catalog<\/a><\/noindex> si muove verso la pubblicit\u00e0, lo includeremo nei nostri progetti per fornire agli utenti funzionalit\u00e0 come la ricerca per colonne.<\/p>\n<p>BigQuery consente di condividere e accedere facilmente ai dati, ma abbiamo dovuto controllare questo accesso per prevenire l'estrazione non autorizzata di dati. Tra gli altri strumenti, abbiamo selezionato due funzionalit\u00e0:<\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/resource-manager\/docs\/organization-policy\/restricting-domains\">Condivisione limitata al dominio<\/a><\/noindex>: una funzione beta che impedisce agli utenti di condividere set di dati BigQuery con utenti al di fuori di Twitter.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/vpc-service-controls\/\">Controlli dei servizi VPC<\/a><\/noindex>: un controllo che previene l'estrazione di dati e richiede agli utenti di accedere a BigQuery da range di indirizzi IP conosciuti.<\/li>\n<\/ul>\n<p>\nAbbiamo implementato i requisiti di autenticazione, autorizzazione e audit (AAA) per garantire la sicurezza nel modo seguente:<\/p>\n<ul>\n<li> Autenticazione: abbiamo utilizzato account utente GCP per richieste ad hoc e account di servizio per richieste operative.<\/li>\n<li>Autorizzazione: richiedevamo che ogni set di dati avesse un account di servizio proprietario e un gruppo di lettori.<\/li>\n<li>Audit: abbiamo esportato i log del stack driver di BigQuery, che contenevano dettagli sulle esecuzioni delle query, in un set di dati BigQuery per agevolarne l'analisi.<\/li>\n<\/ul>\n<p>\nPer garantire un'adeguata gestione dei dati personali degli utenti di Twitter, dobbiamo registrare tutti i set di dati BigQuery, annotare i dati personali, mantenere un corretto stoccaggio e cancellare (ripulire) i dati che sono stati rimossi dagli utenti.<\/p>\n<p>Abbiamo esaminato Google <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/dlp\/\">Cloud Data Loss Prevention API<\/a><\/noindex>, che utilizza l'apprendimento automatico per classificare e modificare i dati riservati, ma si \u00e8 deciso di optare per l'annotazione manuale del set di dati a causa della precisione. Prevediamo di utilizzare l'API di prevenzione della perdita di dati per integrare l'annotazione degli utenti.<\/p>\n<p>In Twitter abbiamo creato quattro categorie di riservatezza per i set di dati in BigQuery, elencate qui in ordine decrescente di sensibilit\u00e0:<\/p>\n<ul>\n<li>I set di dati ad alta sensibilit\u00e0 sono accessibili su base necessaria secondo il principio del minimo privilegio. Ogni set di dati ha un gruppo di lettori separato e monitoreremo l'uso di singoli account.<\/li>\n<li>I set di dati di media sensibilit\u00e0 (pseudonimi unidirezionali che utilizzano l'hashing salato) non contengono informazioni personali (Personally Identifiable Information - PII) e sono accessibili a un gruppo pi\u00f9 ampio di dipendenti. Questo rappresenta un buon equilibrio tra considerazioni di riservatezza e utilit\u00e0 dei dati. Permette ai dipendenti di eseguire attivit\u00e0 analitiche, come il calcolo del numero di utenti che hanno utilizzato una funzione, senza sapere chi siano realmente gli utenti.<\/li>\n<li>I set di dati a bassa sensibilit\u00e0 contengono informazioni che identificano l'utente. Questo approccio \u00e8 valido dal punto di vista della riservatezza, ma non pu\u00f2 essere utilizzato per analisi a livello di utente.<\/li>\n<li>I set di dati pubblici (rilasciati al di fuori di Twitter) sono accessibili a tutti i dipendenti di Twitter.<\/li>\n<\/ul>\n<p>\nPer quanto riguarda la registrazione, abbiamo utilizzato attivit\u00e0 pianificate per elencare i set di dati BigQuery e registrarli nel Data Access Layer (<noindex><a rel=\"nofollow\" href=\"https:\/\/blog.twitter.com\/engineering\/en_us\/topics\/insights\/2016\/discovery-and-consumption-of-analytics-data-at-twitter.html\">DAL<\/a><\/noindex>), il data warehouse dei metadati di Twitter. Gli utenti annoteranno i set di dati con informazioni sulla riservatezza e specificheranno anche il periodo di conservazione. Per quanto riguarda la pulizia, stiamo valutando le prestazioni e i costi di due opzioni: <i>1.<\/i> Pulizia dei set di dati in GCS utilizzando strumenti come Scalding, e caricamento in BigQuery; <i>2.<\/i> Utilizzo degli operatori DML di BigQuery. Probabilmente utilizzeremo una combinazione di entrambi i metodi per soddisfare i requisiti di diversi gruppi e dati.<\/p>\n<h4>Funzionalit\u00e0 del sistema<\/h4>\n<p>\nPoich\u00e9 BigQuery \u00e8 un servizio gestito, non \u00e8 stato necessario coinvolgere il team SRE di Twitter nella gestione dei sistemi o nell'esecuzione di compiti di guardia. \u00c8 stato facile garantire una grande capacit\u00e0 sia per l'archiviazione che per il calcolo. Avremmo potuto modificare la prenotazione degli slot aprendo ticket di supporto a Google. Abbiamo identificato aree di miglioramento, come l'autoservizio per la distribuzione degli slot e il potenziamento del dashboard per il monitoraggio, e abbiamo inoltrato queste richieste a Google.<\/p>\n<h4>Prezzo<\/h4>\n<p>\nLa nostra analisi preliminare ha mostrato che il costo delle query per BigQuery e Presto era equivalente. Abbiamo acquisito slot a <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\/pricing#flat_rate_pricing\">prezzo fisso, per avere un costo mensile stabile anzich\u00e9 pagare<\/a><\/noindex> a consumo <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\/pricing#on_demand_pricing\">per TB di dati elaborati. Questa decisione \u00e8 stata anche influenzata dai feedback degli utenti che non volevano preoccuparsi dei costi prima di eseguire ogni query.<\/a><\/noindex> L'archiviazione dei dati in BigQuery ha comportato costi aggiuntivi oltre a quelli di GCS. Strumenti come Scalding richiedono set di dati in GCS, e per accedere a BigQuery abbiamo dovuto caricare gli stessi set di dati nel formato BigQuery<\/p>\n<p>Capacitor <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/blog\/products\/gcp\/inside-capacitor-bigquerys-next-generation-columnar-storage-format\">. Stiamo lavorando per collegare Scalding ai set di dati di BigQuery, eliminando la necessit\u00e0 di archiviare set di dati sia in GCS che in BigQuery.<\/a><\/noindex>Per i casi rari che richiedevano query non frequenti su decine di petabyte, abbiamo deciso che archiviare i set di dati in BigQuery non fosse economicamente vantaggioso e abbiamo utilizzato Presto per accedere direttamente ai set di dati in GCS. A tal fine, stiamo considerando i BigQuery External Data Sources.<\/p>\n<p>Abbiamo registrato un grande interesse per BigQuery sin dal rilascio dell'alpha. Stiamo aggiungendo pi\u00f9 set di dati e pi\u00f9 team in BigQuery. Stiamo sviluppando connettori per strumenti di analisi dei dati, come Scalding, per la lettura e la scrittura nello storage di BigQuery. Stiamo esplorando strumenti come Looker e Apache Zeppelin per realizzare report aziendali sulla qualit\u00e0 e note utilizzando set di dati di BigQuery.<\/p>\n<h3>Passaggi successivi<\/h3>\n<p>\nLa collaborazione con Google \u00e8 stata molto produttiva, e siamo felici di proseguire e sviluppare questa partnership. Abbiamo lavorato con Google per implementare il nostro<\/p>\n<p>Partner Issue Tracker <noindex><a rel=\"nofollow\" href=\"https:\/\/developers.google.com\/issue-tracker\/guides\/partner-access\">, per inviare richieste direttamente a Google. Alcuni di questi, come il caricatore BigQuery Parquet, sono gi\u00e0 stati implementati da Google.<\/a><\/noindex>, per inviare richieste direttamente a Google. Alcuni di essi, come il caricatore BigQuery Parquet, sono gi\u00e0 stati implementati da Google.<\/p>\n<p>Ecco alcune delle nostre richieste di funzionalit\u00e0 ad alta priorit\u00e0 per Google:<\/p>\n<ul>\n<li>Strumenti per la raccolta facilitata dei dati e supporto per il formato LZO-Thrift.<\/li>\n<li>Segmentazione oraria<\/li>\n<li>Miglioramenti nel controllo degli accessi, come le autorizzazioni a livello di tabelle, righe e colonne.<\/li>\n<li>BigQuery <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\/external-data-sources\">Fonti di dati esterne<\/a><\/noindex> con integrazione e supporto per Hive Metastore per il formato LZO-Thrift.<\/li>\n<li>Integrazione migliorata del catalogo dati nell'interfaccia utente di BigQuery<\/li>\n<li>Self-service per la distribuzione e il monitoraggio dei slot.<\/li>\n<\/ul>\n<p><\/p>\n<h3>Conclusione<\/h3>\n<p>\nLa democratizzazione dell'analisi dei dati, della visualizzazione e dell'apprendimento automatico in modo sicuro \u00e8 la massima priorit\u00e0 per il team della Data Platform. Abbiamo identificato Google BigQuery e Data Studio come strumenti che possono aiutare a raggiungere questo obiettivo e abbiamo rilasciato BigQuery Alpha per l'intera azienda lo scorso anno. <\/p>\n<p>Abbiamo scoperto che le query su BigQuery erano semplici ed efficaci. Per la raccolta e la trasformazione dei dati abbiamo utilizzato strumenti Google per pipeline semplici, ma per pipeline pi\u00f9 complesse abbiamo dovuto creare la nostra infrastruttura Airflow. Nel campo della gestione dei dati, i servizi di BigQuery per autenticazione, autorizzazione e audit soddisfano le nostre esigenze. Per la gestione dei metadati e il rispetto della privacy avevamo bisogno di maggiore flessibilit\u00e0 e abbiamo dovuto creare sistemi propri. BigQuery, essendo un servizio gestito, era facile da utilizzare. I costi delle query erano simili a quelli degli strumenti esistenti. L'archiviazione dei dati in BigQuery comportava costi aggiuntivi rispetto a quelli di GCS.<\/p>\n<p>In generale, BigQuery funziona bene per l'analisi SQL generale. Notiamo un grande interesse per BigQuery e stiamo lavorando per trasferire un numero maggiore di set di dati, coinvolgere pi\u00f9 team e creare pi\u00f9 pipeline con BigQuery. A Twitter vengono utilizzati diversi dati, per i quali sar\u00e0 necessario un mix di strumenti come Scalding, Spark, Presto e Druid. Intendiamo continuare a potenziare i nostri strumenti di analisi dei dati e fornire raccomandazioni chiare ai nostri utenti su come utilizzare al meglio le nostre offerte.<\/p>\n<h3>Parole di ringraziamento<\/h3>\n<p>\nVorrei ringraziare i miei coautori e compagni di squadra, Anju Dja e Will Pascucci, per la loro splendida collaborazione e il duro lavoro in questo progetto. Vorrei anche ringraziare gli ingegneri e i manager di diversi team di Twitter e Google, che ci hanno aiutato e agli utenti di BigQuery su Twitter, fornendo preziosi feedback.<\/p>\n<p>Se sei interessato a lavorare su questi progetti, dai un'occhiata alle nostre <noindex><a rel=\"nofollow\" href=\"https:\/\/careers.twitter.com\/content\/careers-twitter\/en\/jobs-search.html?q=&amp;team=careers-twitter%3Ateam%2Finfrastructure-engineering\">offerte di lavoro<\/a><\/noindex> nel team Data Platform.<\/p>\n<p>\n<noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/eD9S\/\">La qualit\u00e0 dei dati in DWH - coerenza del data warehouse<\/a><\/noindex><\/p>\n<p>Fonte: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/513782\/\">habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb. \u0412 \u043f\u0440\u0435\u0434\u0434\u0432\u0435\u0440\u0438\u0438 \u0441\u0442\u0430\u0440\u0442\u0430 \u043a\u0443\u0440\u0441\u0430 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u043c \u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u0441 \u0432\u0430\u043c\u0438 \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u043c \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u043e\u043c. \u0427\u0438\u0442\u0430\u0442\u044c \u043f\u0435\u0440\u0432\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u0423\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0421\u0438\u043b\u044c\u043d\u043e\u0435 \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 (Strong Data Governance) \u2014 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043f\u0440\u0438\u043d\u0446\u0438\u043f Twitter Engineering. \u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043c\u044b \u0432\u043d\u0435\u0434\u0440\u044f\u0435\u043c BigQuery \u0432 \u043d\u0430\u0448\u0443 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0443, \u043c\u044b \u043a\u043e\u043d\u0446\u0435\u043d\u0442\u0440\u0438\u0440\u0443\u0435\u043c\u0441\u044f \u043d\u0430 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445, \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435 \u0434\u043e\u0441\u0442\u0443\u043f\u0430, \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e\u0441\u0442\u0438 [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":91904,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-91903","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.1.1 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2\" \/>\n\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.1.1\" \/>\n\t\t<meta property=\"og:locale\" content=\"it_IT\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041a\u0430\u043a BigQuery \u043e\u0442 Google \u0434\u0435\u043c\u043e\u043a\u0440\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445. \u0427\u0430\u0441\u0442\u044c 2 | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2020-08-20T05:42:18+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-08-20T05:42:18+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Come BigQuery di Google ha democratizzato l'analisi dei dati. Parte 2 | ProHoster","description":"Ciao, Habr! Proprio ora in OTUS \u00e8 aperto il reclutamento per un nuovo corso \"Data Engineer\".","canonical_url":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"it_IT","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041a\u0430\u043a BigQuery \u043e\u0442 Google \u0434\u0435\u043c\u043e\u043a\u0440\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445. \u0427\u0430\u0441\u0442\u044c 2 | ProHoster","og:description":"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb.","og:url":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-2","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-08-20T05:42:18+00:00","article:modified_time":"2020-08-20T05:42:18+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"91903","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 12:18:28","updated":"2022-10-08 11:10:45","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts\/91903","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/comments?post=91903"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts\/91903\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/media\/91904"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/media?parent=91903"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/categories?post=91903"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/tags?post=91903"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}