แฐแแ แฐแแแ ! แแฃแ แกแแก แแฎแแแ แแแแแแแกแแแแก แฉแแ แแชแฎแแ แฆแแแ OTUS-แจแ แแฎแแแแ
แงแแแแแแฆแแฃแ แแ แแก แแแแแแแแ แแแขแ แแแแแแแแ แกแขแฃแแ แแแก Twitter-แก, แ แแแ แแแแ แแแแแก แ แ แฎแแแแ แแกแแคแแแแจแ แแ แแแแแฎแแแแก แแแ. แแแแแแฃแแ แขแแแขแ แแ แแแแแกแแแแ แ แกแฎแแ แแแแฎแแแ แแแแแก แฅแแแแแแ แฅแแแแก แแแแแแแแก, แ แแแแแแช แฎแแแแแกแแฌแแแแแแ แจแแแ แแแแแชแแแแแแก แแแแแแแแกแแแแก Twitter-แจแ. แแกแแแแ แแแแแแจแ แแแแแ แแแแแแแแแแก แแ แแกแแฎแแแก แแ แแแแแชแแแแแก แแ แแแแ แแแแแชแแแแแแแก แแแฃแแฏแแแแกแแแ Twitter แแแแแชแแแแ แแแแขแคแแ แแแก แแฃแแแแก แแแแแแ แ แแ แแแ แแขแแขแแ.
แฉแแแ แแแฏแแ แ, แ แแ แขแแฅแแแแฃแ แ แฃแแแ แแแแก แคแแ แแ แกแแแฅแขแ แแก แแฅแแแ แแแแฎแแแ แแแแแแก แฃแแแ แจแแแซแแแ แแแแแชแแแแ แแแซแแแแ แแ แฐแฅแแแแแ แฌแแแแแ แแแ แแแ แคแฃแแฅแชแแแแแ แแแฃแ SQL-แแ แแแคแฃแซแแแแฃแแ แแแแแแแแกแ แแ แแแแฃแแแแแแชแแแก แแแกแขแ แฃแแแแขแแแแ. แแก แกแแจแฃแแแแแแก แแแกแชแแแก แแแแแแแแ แขแแฅแแแแฃแ แ แแแแฎแแแ แแแแแแแก แกแ แฃแแแแ แแฎแแ แฏแแฃแคแก, แแแ แจแแ แแก แแแแแชแแแแ แแแแแแขแแแแกแแแก แแ แแ แแแฃแฅแขแแก แแแแแฏแแ แแแก, แแแแแฆแแ แแแคแแ แแแชแแ แแแแแชแแแแแแแแ, แ แแช แแแ แกแแจแฃแแแแแแก แแแกแชแแแก แฃแแแ แแแแแแ แแ แแแแแแงแแแแ Twitter-แแก แซแแแ. แแกแ แแแแแแ แแขแแแแชแแแก แแแฎแแแแ แแแแแชแแแแ แแแแแแแแก Twitter-แแ.
แ แแแแแแแแแช แแแฃแแฏแแแแกแแ แฉแแแแ แแแกแขแ แฃแแแแขแแแ แแ แจแแกแแซแแแแแแแแแ แจแแแ แแแแแชแแแแ แแแแแแแแกแแแแก, แฉแแแ แแแแฎแแ Twitter แกแแ แแแกแแก แแแฃแแฏแแแแกแแแ. แแฃแแชแ, แแแฃแแฏแแแแกแแแแก แแแแแแ แฏแแ แแแแแ แแ แกแแแแแก. แแฆแแแแแแแแ แแแกแขแ แฃแแแแขแแแ, แ แแแแ แแชแแ Scalding, แแแแแฎแแแก แแ แแแ แแแแ แแแแก แแแแแชแแแแแแแก. SQL-แแ แแแคแฃแซแแแแฃแแ แแแแแแแแก แแแกแขแ แฃแแแแขแแแก, แ แแแแ แแชแแ Presto แแ Vertica, แแฅแแ แแฃแจแแแแแก แแ แแแแแแแแ แแแแ แแแกแจแขแแแแ. แฉแแแ แแกแแแ แแแแฅแแก แแ แแแแแแ แแ แแแแ แกแแกแขแแแแจแ แแแแแชแแแแแแก แแแแ แชแแแแแแกแแแ แแฃแแแแแ แฌแแแแแแก แแแ แแจแ.
แจแแ แจแแ แแแแแแแชแฎแแแแ
bigquery : แกแแฌแแ แแแก แแแแแชแแแแ แกแแฌแงแแแ SQL แซแ แแแแ แแแคแฃแซแแแแฃแแแแ แแแแแ , แ แแแแแแช แชแแแแแแแ แแแแแกแ แกแแกแฌแ แแคแแ, แกแแแแ แขแแแแ แแ แฃแแแแแแแแแแแแแฅแแแแแแชแแแแแแแ .แแแแแชแแแแ แกแขแฃแแแ: แแแแ แแแแแชแแแแ แแแแฃแแแแแแชแแแก แฎแแแกแแฌแงแ แแแแแแแ แแชแแแก แคแฃแแฅแชแแแแแ, แ แแแแ แแชแแ Google Docs.
แแ แกแขแแขแแแจแ แแฅแแแ แแแแชแแแแแ แฉแแแแก แแแแแชแแแแแแแก แแ แแแกแขแ แฃแแแแขแแแแแ แแแแแแจแแ แแแแ: แ แ แแแแแแแแแ, แ แ แแแกแฌแแแแแ แแ แ แแก แแแแแแแแแแ แจแแแแแ. แฉแแแ แแฎแแ แงแฃแ แแแฆแแแแก แแแแแแแฎแแแแแแ แฏแแฃแคแฃแ แแ แแแขแแ แแฅแขแแฃแ แแแแแแขแแแแแ. แ แแแแฃแ แแ แแจแ แแแแแแขแแแ แแแแฎแแแฃแแ แแฅแแแแ แแแแแแแแ แกแขแแขแแแจแ.
แแแแแชแแแแ แกแแฌแงแแแแแแก แแกแขแแ แแ Twitter-แแ
BigQuery-แจแ แฉแแกแแแแแแ, แฆแแ แก แแแแแแ แแแแแงแแแ แแแแแชแแแแ แกแแฌแงแแแแแแก แแกแขแแ แแ Twitter-แแ. 2011 แฌแแแก Twitter-แแก แแแแแชแแแแ แแแแแแแ แฉแแขแแ แแ แแแ แขแแแแกแ แแ แฐแแแแแจแ. MapReduce Hadoop แกแแแฃแจแแแแแแก แจแแกแแฅแแแแแแ, แฉแแแ แแแแแแแงแแแแ Pig. 2012 แฌแแแก แฉแแแ แจแแแชแแแแแ Pig Scalding-แแ, แ แแแแแกแแช แฐแฅแแแแ Scala API แแกแแแ แฃแแแ แแขแแกแแแแแแ, แ แแแแ แแชแแ แ แแฃแแ แแแแกแแแแแแแแก แจแแฅแแแแก แจแแกแแซแแแแแแแ แแ แขแแกแขแแ แแแแก แกแแแแ แขแแแ. แแฃแแชแ, แแ แแแแแ แแแแแชแแแแ แแแแแแขแแแแกแแกแ แแ แแ แแแฃแฅแขแแก แแแแแฏแแ แแกแแแแก, แ แแแแแแแช แฃแคแ แ แแแแคแแ แขแฃแแแ แแฃแจแแแแแแแ SQL-แแแ, แแก แแงแ แกแแแแแแ แชแแชแแแ แกแแกแฌแแแแ แแ แฃแแ. แแแแฎแแแแแแ 2016 แฌแแแก, แฉแแแ แแแแแฌแงแแ Presto-แก แแแแแงแแแแแ, แ แแแแ แช แฉแแแแ SQL แฌแแแ แแแฌแแแ Hadoop แแแแแชแแแแแแกแแแแก. Spark-แแ แจแแกแแแแแแ แแแแแแแก แแแขแแ แคแแแกแ, แ แแช แแแก แแแ แ แแ แฉแแแแแก แฎแแแก แแแแแชแแแแ แแ แแแแแแ แแแชแแแแ แแแแกแ แแ แแแแฅแแแแแแชแแแแแแแแกแแแแก.
2018 แฌแแแแแ แฉแแแ แแแงแแแแแ แจแแแแแ แแแกแขแ แฃแแแแขแแแก แแแแแชแแแแ แแแแแแแแกแ แแ แแแแฃแแแแแแชแแแกแแแแก:
- แแแแฌแแ แแแ แกแแฌแแ แแแ แฎแแแแแแกแแแแก
- Scalding แแ Spark แแแแแชแแแแ ad hoc แแแแแแขแแแแกแ แแ แแแแฅแแแฃแ แ แกแฌแแแแแกแแแแก
- Vertica แแ Presto ad hoc แแ แแแขแแ แแฅแขแแฃแแ SQL แแแแแแแแกแแแแก
- แแ แฃแแแ แแแแแแ แแแขแแ แแฅแขแแฃแแ, แกแแซแแแแ แแ แแแแแแ แแแขแแแขแฃแ แ แฌแแแแแแกแแแแก แแ แแแก แกแแ แแแแแก แแแขแ แแแแแแ
- Tableau, Zeppelin แแ Pivot แแแแแชแแแแ แแแแฃแแแแแแชแแแกแแแแก
แฉแแแ แแฆแแแแแฉแแแแ, แ แแ แแแฃแฎแแแแแแ แแแแกแ, แ แแ แแก แฎแแแกแแฌแงแแแแ แแแแแแแแแแแ แซแแแแแ แแซแแแแ แคแฃแแฅแชแแแแก, แฉแแแ แแแแแแญแแ แแ แแ แคแฃแแฅแชแแแแแก แคแแ แแ แแฃแแแขแแ แแแกแแแแก แฎแแแแแกแแฌแแแแแ แแแแฎแแแแ Twitter-แแ. แฉแแแแ แแแแขแคแแ แแแก Google Cloud-แแ แแแคแแ แแแแแแ, แฉแแแ แงแฃแ แแแฆแแแแก แแแแแฎแแแแแแ แฉแแแแ แแแแแแขแแแฃแ แ แแแกแขแ แฃแแแแขแแแแก แแแแแ แขแแแแแแแ แแแแแ Twitter-แแกแแแแก.
Google-แแก BigQuery แแแแแชแแแแ แกแแฌแงแแแ
Twitter-แแก แ แแแแแแแแ แแฃแแแแ แฃแแแ แจแแแขแแแ BigQuery แแแแ แฌแแ แแแแแแก แแแแแแ แ แแแแกแแแแแจแ. แแแแ แแแแแชแแแแแแแก แแแแแงแแแแแแ, แฉแแแ แแแแแฌแงแแ BigQuery-แแก แจแแกแแซแแแแแแแแแแก แจแแคแแกแแแ Twitter-แแก แแแแแงแแแแแแก แงแแแแ แจแแแแฎแแแแแกแแแแก. แฉแแแแ แแแแแแ แแงแ แจแแแแแแแแแ BigQuery แแแแ แแแแแแแแแก แแ แแแกแ แกแขแแแแแ แขแแแแชแแ แแ แแฎแแ แแแญแแ แ แแแแแชแแแแ แแแแขแคแแ แแแก แแแกแขแ แฃแแแแขแแ แแฃแแแก แคแแ แแแแแจแ. แแก แ แแฃแแ แแงแ แแ แแแแแ แแแแแแแก แแแแ. แฉแแแ แแแญแแ แแแแแแ แแแคแ แแกแขแ แฃแฅแขแฃแ แแก แจแแแฃแจแแแแแ แแแแ แ แแแแแแแแแ แแแแแชแแแแแแก แกแแแแแแแ แแแกแแฆแแแแ, แแแแแแแแแก แแแกแจแขแแแแ แแแแแชแแแแ แแแแแฏแแแแขแแก แแฎแแ แแแกแแญแแ แแ, แฌแแแแแแก แกแแแแแแแ แแแแขแ แแแแก แฃแแ แฃแแแแแกแแงแแคแแ แแ แแแแฎแแแ แแแแแก แแแแคแแแแแชแแแแฃแ แแแแก แฃแแ แฃแแแแแกแแงแแคแแ. แฉแแแ แแกแแแ แฃแแแ แจแแแแแฅแแแ แกแแกแขแแแแแ แ แแกแฃแ แกแแแแก แแแแแฌแแแแแแกแแแแก, แแแแแขแแ แแแแแกแแแแก แแ แแแแ แฃแแแแแกแแแแก, แ แแแ แแฃแแแแแแ แจแแซแแแ BigQuery แแคแแฅแขแฃแ แแ แแแแแงแแแแแ.
2018 แฌแแแก แแแแแแแ แจแ แแแแแแแฅแแแงแแแ BigQuery-แแกแ แแ Data Studio-แก แแแคแ แแแแแจแแแแ แแแแแ แแแแแแแแแกแแแแก. Twitter-แแก แแแแแแจแ แแแแแแก แจแแแแแแแแแ แฉแแแแ แงแแแแแแ แฎแจแแ แแ แแแแแงแแแแแฃแแ แแแ แกแแแแแฃแ แ แแแแแชแแแแแแ แแแกแฃแคแแแแแแฃแแ แชแฎแ แแแแแ. BigQuery แแแแแแงแแแ 250-แแ แแแขแแ แแแแฎแแแ แแแแแแ แกแฎแแแแแกแฎแแ แแฃแแแแแแ, แแแแแแแ แแแก, แคแแแแแกแแแแกแ แแ แแแ แแแขแแแแแก แฉแแแแแแ. แแแแ แแ แแก แแกแแแ แแฌแแ แแแแแแแแ แแแแฎแแแแแแ 8 แแแแฎแแแแแก, แแแฃแจแแแแแแแแ แแแแฎแแแแแแ 100 PB-แก แแแแจแ, แแแแแแแแแ แแแแฎแแแแแแแก แแแ แแจแ. แซแแแแแ แแแแแแแแ แแแแแฎแแแฃแ แแแแก แแแฆแแแแก แจแแแแแ, แฉแแแ แแแแแแฌแงแแแขแแ แฌแแแกแแแ แแ BigQuery แจแแแแแแแแแ, แ แแแแ แช แแแ แแแแแแ แ แแกแฃแ แกแ Twitter-แแ แแแแแชแแแแแแแ แฃแ แแแแ แแแแแกแแแแก.
แแฅ แแ แแก แฉแแแแ Google BigQuery แแแแแชแแแแ แกแแฌแงแแแแก แแแฆแแแ แแแแแก แแ แฅแแขแแฅแขแฃแ แแก แแแแแ แแแ.
แฉแแแ แแแแแแแ แแแ แแแแแชแแแแแก แแแแแแแแ แแแ Hadoop แแแแกแขแแ แแแแแแ Google Cloud Storage-แจแ (GCS) แจแแแ Cloud Replicator แฎแแแกแแฌแงแแก แแแแแงแแแแแแ. แจแแแแแ แฉแแแ แแแงแแแแแ Apache Airflow-แก, แ แแแ แจแแแฅแแแแ แแแแกแแแแแแแ, แ แแแแแแแช แแงแแแแแแ "
แจแแแแแ แกแแฅแชแแแแจแ แแแแแแฎแแแแแ แฉแแแแก แแแแแแแแก แแ แแแแแชแแแแแแแก แแแแแงแแแแแแก แกแแแแ แขแแแแจแ, แจแแกแ แฃแแแแแจแ, แแแแแชแแแแ แแแแแฏแแแแขแจแ, แกแแกแขแแแแก แกแแฏแแแกแแฆแแกแ แแ แฆแแ แแแฃแแแแแจแ.
แแแ แขแแแแ แแแแแงแแแแแ
แฉแแแ แแฆแแแแแฉแแแแ, แ แแ แแแแฎแแแ แแแแแแแกแแแแก แแแแแแ แแงแ BigQuery-แแก แแแฌแงแแแ, แ แแแแแ แแก แแ แกแแญแแ แแแแแ แแ แแแ แแแฃแแ แฃแแ แฃแแแแแงแแคแแก แแแกแขแแแแชแแแก แแ แแแแฎแแแ แแแแแแก แจแแแซแแแ แแแกแแ แฌแแแแแ แแแขแฃแแชแแฃแ แ แแแ แแแขแแ แคแแแกแแก แกแแจแฃแแแแแแ. แแฃแแชแ, แแแแฎแแแ แแแแแแก แกแญแแ แแแแแแแ แแแแชแแแ GCP-แแก แแแแแแ แ แแแฎแแกแแแแแแแแก แแ แแแแชแแคแชแแแก, แแแ แจแแ แแก แ แแกแฃแ แกแแแก, แ แแแแ แแชแแ แแ แแแฅแขแแแ, แแแแแชแแแแ แแแแ แแแ แแ แชแฎแ แแแแแ. แฉแแแ แจแแแแแฃแจแแแแ แแแแแแแแแแแ แแ แแแแแแแแแแแ, แ แแแ แแแแแฎแแแ แแ แแแแฎแแแ แแแแแแก แแแฌแงแแแแจแ. แแแฆแแแฃแแ แซแแ แแแแแ แแแแแแแ, แแแแฎแแแ แแแแแแแกแแแแก แแแแแแแ แแแแแชแแแแ แแแแแแแชแแ, แกแฅแแแแกแ แแ แชแฎแ แแแแก แแแแแชแแแแแแก แแแฎแแ, แแแ แขแแแ แแแแฎแแแแแแแก แแแจแแแแ แแ แจแแแแแแแแก แแแแฃแแแแแแชแแ Data Studio-แจแ.
BigQuery-แจแ แแแแแชแแแแ แจแแงแแแแแก แฉแแแแ แแแแแแ แแงแ HDFS แแ GCS แแแแแชแแแแ แแแแ แแแแก แฃแฌแงแแแขแ แฉแแขแแแ แแแ แแ แแ แแแฌแแแแฃแแแแแ. แแแแแแฎแแแแ
แแแแแชแแแแแแก BigQuery-แแ แแแแแฅแชแแแแกแแแแก, แแแแฎแแแ แแแแแแ แฅแแแแแ แแแ แขแแ SQL แแแแแชแแแแ แแแแกแแแแแแแก แแแแแแแแแ แแแแฎแแแแแแแก แแแแแงแแแแแแ. แแแแแแแแแแฃแแแแแก แแฅแแแ แ แแฃแแ แแ แแแแแกแแคแแฎแฃแ แแแแ แแแแกแแแแแแแแกแแแแก, แฉแแแ แแแแแแแแ แแแแแแแงแแแแ แฉแแแแ แกแแแฃแแแ แ Airflow Framework แแ Cloud Composer แแ แแแ
แแแฅแแแแแแ
BigQuery แจแแฅแแแแแแ แแแแแแ แแแแแจแแฃแแแแแก SQL แแแแฎแแแแแแแกแแแแก, แ แแแแแแแช แแแฃแจแแแแแแ แแแแ แ แแแแแแแแแ แแแแแชแแแแแก. แแก แแ แแ แแก แจแแฅแแแแแ แขแ แแแแแฅแชแแแแแก แแแแแชแแแแ แแแแแก แแแแ แแแแฎแแแแแแ แแแแแแ แจแแงแแแแแแแก, แแแฆแแแ แแแแขแแ แฃแแแ แแแแแแแก แแแแฎแแแแแแแกแแแแก แแ แแแแฎแแ แชแแแแแแฃแแ แแแแแแ แจแแงแแแแแแแก แแ แแแก แกแแ แแแแแก แแแแแแแแกแแแแก.
แฉแแแ แแแแแแแแแแแแ 800-แแ แแแขแ แแแแฎแแแแ, แ แแแแแแแช แแแฃแจแแแแแแ แแแแฎแแแแแแ 1 แขแ แแแแแชแแแก แแ แแฆแแแแแฉแแแแ, แ แแ แจแแกแ แฃแแแแแก แกแแจแฃแแแ แแ แ แแงแ 30 แฌแแแ. แฉแแแ แแกแแแ แแแแแแแ, แ แแ แจแแกแ แฃแแแแ แแแแแ แแ แแก แแแแแแแแแแฃแแ แฉแแแแ แกแแแขแแก แแแแแงแแแแแแแ แกแฎแแแแแกแฎแแ แแ แแแฅแขแแแกแ แแ แแแแชแแแแแจแ. แฉแแแ แแแแแแ แฃแแแ แแแแแแงแแ แฉแแแแ แฌแแ แแแแแแก แแ ad hoc แกแแแขแแก แ แแแแ แแแแ, แ แแแ แจแแแแ แฉแฃแแแแฃแแแงแ แแคแแฅแขแฃแ แแแ แฌแแ แแแแแแก แแแแแงแแแแแแก แจแแแแฎแแแแแแแกแ แแ แแแขแแ แแฅแขแแฃแแ แแแแแแแแกแแแแก. แแแแ แแแแแ แแแแฅแแแแ แฉแแแแก แแแแแแแแ แกแแแขแแแแก แแแฏแแแจแแแแ แแ แแ แแแฅแขแแก แแแ แแ แฅแแแแ.
แแแแแชแแแแ แแแแแฏแแแแขแแ, แคแฃแแฅแชแแแแแแฃแ แแแแกแ แแ แกแแกแขแแแแแแก แฆแแ แแแฃแแแแแแ แฃแแฎแแแแก แแฆแแแแจแ แแแกแแฃแแ แแแ แแแ แแแแแแก แแแแ แ แแแฌแแแจแ, แแฎแแ แแ แงแแแแแก แแแฌแแแแ
แฒฌแแแแแแฎแ แแแขแ:
แแแแแชแแแแ Build Tool แแ แ แ แแ แแก แกแแแ แแ Data Warehouse-แกแ แแ Smoothie-แก แจแแ แแก แฉแแงแแแแแแ แแแแขแแก แขแแแจแ: แกแฅแแแแก แแฆแกแ แฃแแแแ แแ แแแแแฃแชแแ แแแฆแแแกแแฉแฅแแ แแแแ Apache แแแ แแแขแ แแแแแแจแ Apache Arrow-แแ
แฌแงแแ แ: www.habr.com