{"id":90783,"date":"2020-08-06T01:42:19","date_gmt":"2020-08-05T23:42:19","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1"},"modified":"2020-08-06T01:42:19","modified_gmt":"2020-08-05T23:42:19","slug":"kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1","status":"publish","type":"post","link":"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1","title":{"rendered":"Hogyan demokratiz\u00e1lta a Google BigQuery az adatelemz\u00e9st. 1. r\u00e9sz","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p><b><i>Hell\u00f3, Habr! Jelenleg az OTUS \u00faj kurzus\u00e1ra jelentkez\u00e9st hirdet\u00fcnk. <noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/wDZQ\/\">\u201eAdatm\u00e9rn\u00f6k\u201d<\/a><\/noindex>. A kurzus kezdet\u00e9re hagyom\u00e1nyosan egy \u00e9rdekes anyag ford\u00edt\u00e1s\u00e1t k\u00e9sz\u00edtett\u00fck el sz\u00e1motokra. <\/i><\/b><\/p>\n<p>\nMinden nap t\u00f6bb mint sz\u00e1zmilli\u00f3 ember l\u00e1togat el a Twitterre, hogy megtudja, mi t\u00f6rt\u00e9nik a vil\u00e1gban, \u00e9s megbesz\u00e9lje azt. Minden egyes tweet \u00e9s egy\u00e9b felhaszn\u00e1l\u00f3i tev\u00e9kenys\u00e9g esem\u00e9nyt gener\u00e1l, amely el\u00e9rhet\u0151 a Twitter bels\u0151 adatainak elemz\u00e9s\u00e9re. Sz\u00e1mtalan alkalmazott elemzi \u00e9s vizualiz\u00e1lja ezeket az adatokat, \u00e9s az \u0151 tapasztalataik jav\u00edt\u00e1sa kiemelt priorit\u00e1s a Twitter Adatplatform csapata sz\u00e1m\u00e1ra. <\/p>\n<p>Azt gondoljuk, hogy a sz\u00e9lesk\u00f6r\u0171 m\u0171szaki h\u00e1tt\u00e9rrel rendelkez\u0151 felhaszn\u00e1l\u00f3knak lehet\u0151s\u00e9get kell biztos\u00edtani az adatok keres\u00e9s\u00e9re \u00e9s a j\u00f3l m\u0171k\u00f6d\u0151 SQL-alap\u00fa elemz\u0151 \u00e9s vizualiz\u00e1l\u00f3 eszk\u00f6z\u00f6khez val\u00f3 hozz\u00e1f\u00e9r\u00e9sre. Ez lehet\u0151v\u00e9 tenn\u00e9 egy \u00faj felhaszn\u00e1l\u00f3i csoport, p\u00e9ld\u00e1ul az adatkutat\u00f3k \u00e9s a term\u00e9kmenedzserek sz\u00e1m\u00e1ra, hogy inform\u00e1ci\u00f3t nyerjenek az adatokb\u00f3l, jobban meg\u00e9rts\u00e9k \u00e9s kihaszn\u00e1lj\u00e1k a Twitter lehet\u0151s\u00e9geit. \u00cdgy demokratiz\u00e1ljuk az adatkezel\u00e9st a Twitteren. <noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<p>Ahogy t\u00f6k\u00e9letes\u00edtj\u00fck eszk\u00f6zeinket \u00e9s bels\u0151 adatelemz\u0151 kapacit\u00e1sainkat, tapasztalataik javul\u00e1s\u00e1t l\u00e1tjuk a Twitter szolg\u00e1ltat\u00e1sain. Mindazon\u00e1ltal m\u00e9g van hova fejl\u0151dni. A jelenlegi eszk\u00f6z\u00f6k, mint a Scalding, programoz\u00f3i tapasztalatot ig\u00e9nyelnek. Az SQL-alap\u00fa elemz\u0151 eszk\u00f6z\u00f6k, mint a Presto \u00e9s Vertica, teljes\u00edtm\u00e9nyprobl\u00e9m\u00e1kkal k\u00fczdenek nagym\u00e9ret\u0171 haszn\u00e1lat sor\u00e1n. Tov\u00e1bb\u00e1, gondunk van az adatok t\u00f6bb rendszer k\u00f6z\u00f6tti \u00e1tvitel\u00e9vel an\u00e9lk\u00fcl, hogy folyamatos hozz\u00e1f\u00e9r\u00e9ssel rendelkezn\u00e9nek.<\/p>\n<p>Tavaly bejelentett\u00fck <noindex><a rel=\"nofollow\" href=\"https:\/\/blog.twitter.com\/engineering\/en_us\/topics\/infrastructure\/2018\/a-new-collaboration-with-google-cloud.html\">\u00faj egy\u00fcttm\u0171k\u00f6d\u00e9s\u00fcnket a Google-lal<\/a><\/noindex>, amelynek keret\u00e9ben adataink egyes r\u00e9szeit <noindex><a rel=\"nofollow\" href=\"https:\/\/blog.twitter.com\/engineering\/en_us\/topics\/infrastructure\/2019\/the-start-of-a-journey-into-the-cloud.html\">a Google Cloud Platformra (GCP) helyezz\u00fck \u00e1t. Meg\u00e1llap\u00edtottuk, hogy a Google Cloud eszk\u00f6zei<\/a><\/noindex> seg\u00edthetnek nek\u00fcnk az adatelemz\u00e9s, vizualiz\u00e1ci\u00f3 \u00e9s g\u00e9pi tanul\u00e1s demokratiz\u00e1l\u00e1s\u00e1ban a Twitteren: <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/products\/big-data\/\">Nagy adatok<\/a><\/noindex> : egy SQL-alap\u00fa v\u00e1llalati adatt\u00e1rol\u00f3, amely a<\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\/\">: T\u00e1bla particion\u00e1l\u00e1s \u00e9s csoportos\u00edt\u00e1s, \u00d6sszef\u00e9s\u00fcl\u00e9si viselked\u00e9s, KMS titkos\u00edt\u00e1s, C\u00edmk\u00e9k \u00e9s Tagok<\/a><\/noindex>Dremel <noindex><a rel=\"nofollow\" href=\"https:\/\/ai.google\/research\/pubs\/pub36632\">, amely k\u00f6zismert a gyorsas\u00e1g\u00e1r\u00f3l, egyszer\u0171s\u00e9g\u00e9r\u0151l \u00e9s arr\u00f3l, hogy kezelni tudja a<\/a><\/noindex>g\u00e9pi tanul\u00e1st. <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery-ml\/docs\/bigqueryml-intro\">Data Studio:<\/a><\/noindex>.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/datastudio.google.com\/overview\">nagy adatok vizualiz\u00e1l\u00e1s\u00e1ra szolg\u00e1l\u00f3 eszk\u00f6z, egy\u00fcttm\u0171k\u00f6d\u00e9si funkci\u00f3kkal, mint a Google Docs-ban.<\/a><\/noindex> nagy adatok vizualiz\u00e1l\u00e1s\u00e1ra szolg\u00e1l\u00f3 eszk\u00f6z, egy\u00fcttm\u0171k\u00f6d\u00e9si funkci\u00f3kkal, mint a Google Docs eset\u00e9ben.<\/li>\n<\/ul>\n<p>\nA cikkb\u0151l megtudhatja tapasztalatainkat ezekkel az eszk\u00f6z\u00f6kkel: mit tett\u00fcnk, mit tanultunk, \u00e9s mit fogunk tenni a j\u00f6v\u0151ben. Jelenleg a csomagolt \u00e9s interakt\u00edv elemz\u00e9sre \u00f6sszpontos\u00edtunk. Az val\u00f3s idej\u0171 elemz\u00e9st a k\u00f6vetkez\u0151 cikkben fogjuk megvitatni.<\/p>\n<h2>A Twitter adatb\u00e1zis\u00e1nak t\u00f6rt\u00e9nete<\/h2>\n<p>\nMiel\u0151tt m\u00e9lyebben belemer\u00fcln\u00e9nk a BigQuery-be, \u00e9rdemes r\u00f6viden \u00e1ttekinteni a Twitter adatb\u00e1zis\u00e1nak t\u00f6rt\u00e9net\u00e9t. 2011-ben a Twitterben a Vertica \u00e9s a Hadoop seg\u00edts\u00e9g\u00e9vel v\u00e9geztek adatelemz\u00e9st. A Hadoop MapReduce l\u00e9trehoz\u00e1s\u00e1hoz Pigt haszn\u00e1ltunk. 2012-ben a Pigt Scaldingra cser\u00e9lt\u00fck, amely Scala API-t tartalmazott olyan el\u0151ny\u00f6kkel, mint a bonyolult cs\u0151vezet\u00e9kek l\u00e9trehoz\u00e1sa \u00e9s a tesztel\u00e9s egyszer\u0171s\u00e9ge. Azonban sok adat-analitikus \u00e9s term\u00e9kmenedzser sz\u00e1m\u00e1ra, akik sz\u00e1m\u00e1ra a SQL k\u00e9nyelmesebb volt, a tanul\u00e1si g\u00f6rbe el\u00e9g meredek volt. K\u00f6r\u00fclbel\u00fcl 2016 k\u00f6r\u00fcl kezdt\u00fck el haszn\u00e1lni a Presto-t SQL interf\u00e9szk\u00e9nt a Hadoop adatokhoz. A Spark Python interf\u00e9szt k\u00edn\u00e1lt, amely j\u00f3 v\u00e1laszt\u00e1s a helysz\u00edni adatkutat\u00e1sokhoz \u00e9s g\u00e9pi tanul\u00e1shoz.<\/p>\n<p>2018-t\u00f3l kezdve az al\u00e1bbi eszk\u00f6z\u00f6ket haszn\u00e1ltuk az adatok elemz\u00e9s\u00e9re \u00e9s vizualiz\u00e1l\u00e1s\u00e1ra:<\/p>\n<ul>\n<li>Scalding a termel\u00e9si cs\u0151vezet\u00e9kekhez<\/li>\n<li>Scalding \u00e9s Spark az ad hoc adatkutat\u00e1shoz \u00e9s g\u00e9pi tanul\u00e1shoz<\/li>\n<li>Vertica \u00e9s Presto ad hoc \u00e9s interakt\u00edv SQL elemz\u00e9shez <\/li>\n<li>Druid kis interakt\u00edv, kutat\u00e1si \u00e9s alacsony k\u00e9sleltet\u00e9s\u0171 hozz\u00e1f\u00e9r\u00e9shez az id\u0151beli metrik\u00e1khoz<\/li>\n<li>Tableau, Zeppelin \u00e9s Pivot az adatok vizualiz\u00e1l\u00e1s\u00e1hoz<\/li>\n<\/ul>\n<p>\nFelt\u00e1rtuk, hogy b\u00e1r ezek az eszk\u00f6z\u00f6k nagyon er\u0151teljes lehet\u0151s\u00e9geket k\u00edn\u00e1lnak, neh\u00e9zs\u00e9geink voltak ezen lehet\u0151s\u00e9gek hozz\u00e1f\u00e9rhet\u0151s\u00e9g\u00e9nek megval\u00f3s\u00edt\u00e1s\u00e1ban a Twitter sz\u00e9lesebb k\u00f6z\u00f6ns\u00e9ge sz\u00e1m\u00e1ra. A Google Cloud seg\u00edts\u00e9g\u00e9vel b\u0151v\u00edtve platformunkat a c\u00e9lunk az analitikai eszk\u00f6z\u00f6k egyszer\u0171s\u00edt\u00e9se az eg\u00e9sz Twitter sz\u00e1m\u00e1ra.<\/p>\n<h2>A Google BigQuery adatb\u00e1zisa <\/h2>\n<p>\nT\u00f6bb csapat a Twitteren m\u00e1r integr\u00e1lta a BigQueryt n\u00e9h\u00e1ny gy\u00e1rt\u00e1si munkafolyamat\u00e1ba. Tapasztalataik felhaszn\u00e1l\u00e1s\u00e1val elkezdt\u00fck \u00e9rt\u00e9kelni a BigQuery lehet\u0151s\u00e9geit a Twitter \u00f6sszes felhaszn\u00e1l\u00e1si forgat\u00f3k\u00f6nyv\u00e9hez. C\u00e9lunk az volt, hogy a BigQueryt az eg\u00e9sz c\u00e9g sz\u00e1m\u00e1ra el\u00e9rhet\u0151v\u00e9 tegy\u00fck, valamint standardiz\u00e1ljuk \u00e9s t\u00e1mogassuk az adatplatform eszk\u00f6zk\u00e9szlet\u00e9n bel\u00fcl. Ez sok okb\u00f3l neh\u00e9zkes volt. Infrastrukt\u00far\u00e1t kellett kidolgoznunk a nagy mennyis\u00e9g\u0171 adatok megb\u00edzhat\u00f3 fogad\u00e1s\u00e1ra, az adatok kezel\u00e9s\u00e9re a v\u00e1llalat szintj\u00e9n, a megfelel\u0151 hozz\u00e1f\u00e9r\u00e9s-ellen\u0151rz\u00e9s biztos\u00edt\u00e1s\u00e1ra \u00e9s az \u00fcgyf\u00e9ladatok v\u00e9delm\u00e9re. Emellett rendszereket kellett l\u00e9trehoznunk az er\u0151forr\u00e1sok eloszt\u00e1s\u00e1ra, a nyomon k\u00f6vet\u00e9sre \u00e9s a visszat\u00e9r\u00edt\u00e9sek kezel\u00e9s\u00e9re, hogy a csapatok hat\u00e9konyan tudj\u00e1k haszn\u00e1lni a BigQueryt.<\/p>\n<p>2018 november\u00e9ben kiadtuk a BigQuery \u00e9s a Data Studio alfa verzi\u00f3j\u00e1t az eg\u00e9sz c\u00e9g sz\u00e1m\u00e1ra. Aj\u00e1nlottuk a Twitter alkalmazottainak n\u00e9h\u00e1ny kiv\u00e1gott szem\u00e9lyes adatokkal dolgoz\u00f3 leggyakrabban haszn\u00e1lt t\u00e1bl\u00e1nkat. A BigQueryt t\u00f6bb mint 250 felhaszn\u00e1l\u00f3 haszn\u00e1lta k\u00fcl\u00f6nb\u00f6z\u0151 csapatokb\u00f3l, bele\u00e9rtve a m\u00e9rn\u00f6ki, p\u00e9nz\u00fcgyi \u00e9s marketingcsoportokat. Legut\u00f3bb k\u00f6r\u00fclbel\u00fcl 8000 lek\u00e9rdez\u00e9st futtattak, havi 100 PB adatfeldolgoz\u00e1ssal (a tervezett lek\u00e9rdez\u00e9seket nem sz\u00e1m\u00edtva). Miut\u00e1n nagyon pozit\u00edv visszajelz\u00e9seket kaptunk, \u00fagy d\u00f6nt\u00f6tt\u00fcnk, hogy el\u0151rel\u00e9p\u00fcnk, \u00e9s a BigQueryt a Twitterben az adatokkal val\u00f3 interakci\u00f3 f\u0151 forr\u00e1sak\u00e9nt aj\u00e1nljuk.<\/p>\n<p>Itt l\u00e1that\u00f3 a Google BigQuery adat-lerakatunk magas szint\u0171 architekt\u00far\u00e1ja. <\/p>\n<p><img decoding=\"async\" alt=\"Hogyan demokratiz\u00e1lta a Google BigQuery az adatelemz\u00e9st. 1. r\u00e9sz\" src=\"\/wp-content\/uploads\/2020\/08\/6a3e0b43752ebbac641c43519c8c2fba.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\nA Hadoop helyi klasztereib\u0151l a Google Cloud Storage-ba (GCS) m\u00e1soljuk az adatokat egy bels\u0151 Cloud Replicator eszk\u00f6z seg\u00edts\u00e9g\u00e9vel. Ezut\u00e1n az Apache Airflow-t haszn\u00e1ljuk cs\u0151vezet\u00e9kek l\u00e9trehoz\u00e1s\u00e1ra, amelyek haszn\u00e1lj\u00e1k a \u201e<noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\/docs\/reference\/bq-cli-reference#bq_load\">bq_load<\/a><\/noindex>\u201d parancsot az adatok GCS-b\u0151l a BigQuery-ba val\u00f3 bet\u00f6lt\u00e9s\u00e9re. A Presto-t haszn\u00e1ljuk a Parquet vagy Thrift-LZO adathalmazok lek\u00e9rdez\u00e9s\u00e9re a GCS-ben. A BQ Blaster egy bels\u0151 Scalding eszk\u00f6z a Vertica \u00e9s Thrift-LZO HDFS adathalmazok BigQuery-ba val\u00f3 bet\u00f6lt\u00e9s\u00e9re.<\/p>\n<p>A k\u00f6vetkez\u0151 szakaszokban megvitatjuk megk\u00f6zel\u00edt\u00e9s\u00fcnket \u00e9s ismereteinket a haszn\u00e1lhat\u00f3s\u00e1gr\u00f3l, a teljes\u00edtm\u00e9nyr\u0151l, az adatkezel\u00e9sr\u0151l, a rendszer m\u0171k\u00f6d\u0151k\u00e9pess\u00e9g\u00e9r\u0151l \u00e9s a k\u00f6lts\u00e9gekr\u0151l.<\/p>\n<h4>Haszn\u00e1lhat\u00f3s\u00e1g<\/h4>\n<p>\nFelfedezt\u00fck, hogy a felhaszn\u00e1l\u00f3k sz\u00e1m\u00e1ra k\u00f6nny\u0171 volt kezdeni a BigQuery haszn\u00e1lat\u00e1t, mivel nem ig\u00e9nyelt szoftvertelep\u00edt\u00e9st, \u00e9s a felhaszn\u00e1l\u00f3k egy intuit\u00edv webes fel\u00fcleten kereszt\u00fcl \u00e9rhett\u00e9k el. Ennek ellen\u00e9re a felhaszn\u00e1l\u00f3knak meg kellett ismerni\u00fck a GCP egyes funkci\u00f3it \u00e9s azok koncepci\u00f3it, bele\u00e9rtve olyan er\u0151forr\u00e1sokat, mint a projektek, adat\u00e1llom\u00e1nyok \u00e9s t\u00e1bl\u00e1k. K\u00e9pz\u00e9si anyagokat \u00e9s \u00fatmutat\u00f3kat dolgoztunk ki, hogy seg\u00edts\u00fck a felhaszn\u00e1l\u00f3kat a kezd\u00e9sben. Az alapvet\u0151 ismeretek megszerz\u00e9se ut\u00e1n a felhaszn\u00e1l\u00f3k sz\u00e1m\u00e1ra k\u00f6nny\u0171 volt navig\u00e1lni az adat\u00e1llom\u00e1nyok k\u00f6z\u00f6tt, megtekinteni a t\u00e1bl\u00e1k s\u00e9m\u00e1j\u00e1t \u00e9s adatait, egyszer\u0171 lek\u00e9rdez\u00e9seket v\u00e9grehajtani, valamint vizualiz\u00e1lni az eredm\u00e9nyeket a Data Studio-ban.<\/p>\n<p>C\u00e9lunk a BigQuery-adatok bet\u00f6lt\u00e9s\u00e9vel kapcsolatban az volt, hogy lehet\u0151v\u00e9 tegy\u00fck az HDFS vagy GCS adat\u00e1llom\u00e1nyok z\u00f6kken\u0151mentes, egy kattint\u00e1ssal t\u00f6rt\u00e9n\u0151 bet\u00f6lt\u00e9s\u00e9t. Megfontoltuk <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/composer\/\">A Cloud Composer<\/a><\/noindex> (kezelhet\u0151 Airflow), de nem tudtuk haszn\u00e1lni a Domain Restricted Sharing biztons\u00e1gi modell\u00fcnk miatt (err\u0151l tov\u00e1bbi inform\u00e1ci\u00f3k a 'Adatkezel\u00e9s' r\u00e9szben tal\u00e1lhat\u00f3k). Kipr\u00f3b\u00e1ltuk a Google Data Transfer Service (DTS) haszn\u00e1lat\u00e1t a BigQuery teherfeladatainak kezel\u00e9s\u00e9re. M\u00edg a DTS gyorsan be\u00e1ll\u00edthat\u00f3 volt, nem volt rugalmas az \u00f6sszef\u00fcgg\u0151 cs\u0151vezet\u00e9kek l\u00e9trehoz\u00e1s\u00e1hoz. Az alfa verzi\u00f3nkhoz saj\u00e1t Apache Airflow k\u00f6rnyezetet hoztunk l\u00e9tre a GCE-n, \u00e9s k\u00e9sz\u00edtj\u00fck el\u0151 a termel\u00e9si \u00fczemeltet\u00e9sre, hogy t\u00f6bb adatforr\u00e1st t\u00e1mogathasson, p\u00e9ld\u00e1ul a Vertica-t.<\/p>\n<p>Az adatok BigQuery-be t\u00f6rt\u00e9n\u0151 \u00e1talak\u00edt\u00e1s\u00e1hoz a felhaszn\u00e1l\u00f3k egyszer\u0171 SQL adatcs\u0151vezet\u00e9keket hoznak l\u00e9tre \u00fctemezett lek\u00e9rdez\u00e9sek seg\u00edts\u00e9g\u00e9vel. A bonyolult, t\u00f6bb l\u00e9pcs\u0151s, \u00f6sszef\u00fcgg\u0151 cs\u0151vezet\u00e9kekhez tervezz\u00fck, hogy vagy a saj\u00e1t Airflow infrastrukt\u00far\u00e1nkat, vagy a Cloud Composer-t haszn\u00e1ljuk egy\u00fctt a <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/dataflow\/\">Cloud Dataflow-val.<\/a><\/noindex>.<\/p>\n<h4>Teljes\u00edtm\u00e9ny<\/h4>\n<p>\nA BigQuery a nagym\u00e9ret\u0171 adatok feldolgoz\u00e1s\u00e1ra szolg\u00e1l\u00f3 \u00e1ltal\u00e1nos c\u00e9l\u00fa SQL lek\u00e9rdez\u00e9sekhez k\u00e9sz\u00fclt. Nem alkalmas alacsony k\u00e9sleltet\u00e9s\u0171, nagy \u00e1tviteli sebess\u00e9get ig\u00e9nyl\u0151 lek\u00e9rdez\u00e9sekhez, amelyek tranzakci\u00f3s adatb\u00e1zisra, vagy alacsony k\u00e9sleltet\u00e9s\u0171 id\u0151sor-anal\u00edzishez sz\u00fcks\u00e9gesek, amelyet <noindex><a rel=\"nofollow\" href=\"https:\/\/druid.apache.org\/\">az Apache Druid val\u00f3s\u00edt meg.<\/a><\/noindex>. Az interakt\u00edv analitikai lek\u00e9rdez\u00e9sek eset\u00e9ben felhaszn\u00e1l\u00f3ink kevesebb mint egy perces v\u00e1laszid\u0151t v\u00e1rnak el. A BigQuery haszn\u00e1lat\u00e1t \u00fagy kellett megtervezn\u00fcnk, hogy megfeleljen ezeknek az elv\u00e1r\u00e1soknak. A felhaszn\u00e1l\u00f3i el\u0151re jelezhet\u0151 teljes\u00edtm\u00e9ny biztos\u00edt\u00e1sa \u00e9rdek\u00e9ben a BigQuery r\u00f6gz\u00edtett d\u00edjas funkci\u00f3j\u00e1t haszn\u00e1ltuk, amely lehet\u0151v\u00e9 teszi a projekt tulajdonosai sz\u00e1m\u00e1ra, hogy minim\u00e1lis slotokat foglaljanak a lek\u00e9rdez\u00e9sekhez. <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\/docs\/slots\">Slot<\/a><\/noindex> A BigQuery az a sz\u00e1m\u00edt\u00e1si teljes\u00edtm\u00e9ny egys\u00e9ge, amely sz\u00fcks\u00e9ges SQL lek\u00e9rdez\u00e9sek v\u00e9grehajt\u00e1s\u00e1hoz. <\/p>\n<p>T\u00f6bb mint 800 lek\u00e9rdez\u00e9st elemezt\u00fcnk, amelyek mindegyike k\u00f6r\u00fclbel\u00fcl 1 TB adatot dolgoz fel, \u00e9s meg\u00e1llap\u00edtottuk, hogy az \u00e1tlagos v\u00e9grehajt\u00e1si id\u0151 30 m\u00e1sodperc volt. Azt is felfedezt\u00fck, hogy a teljes\u00edtm\u00e9ny nagym\u00e9rt\u00e9kben f\u00fcgg a slotok k\u00fcl\u00f6nb\u00f6z\u0151 projektekben \u00e9s feladatokban val\u00f3 felhaszn\u00e1l\u00e1s\u00e1nak m\u00f3dj\u00e1t\u00f3l. Vil\u00e1gosan el kellett v\u00e1lasztanunk a termel\u00e9si \u00e9s ad hoc slot foglal\u00e1sokat, hogy fenntartsuk a teljes\u00edtm\u00e9nyt a termel\u00e9si felhaszn\u00e1l\u00e1si esetek \u00e9s az interakt\u00edv elemz\u00e9s sor\u00e1n. Ez jelent\u0151s hat\u00e1ssal volt a slot foglal\u00e1si \u00e9s projekt hierarchiai tervez\u00e9s\u00fcnkre.<\/p>\n<p><i>Az adatkezel\u00e9s, funkcionalit\u00e1s \u00e9s a rendszerek k\u00f6lts\u00e9geir\u0151l a k\u00f6zelj\u00f6v\u0151ben a ford\u00edt\u00e1s m\u00e1sodik r\u00e9sz\u00e9ben fogunk besz\u00e9lni, most pedig mindenkit szeretettel v\u00e1runk a <noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/wDZQ\/\">ingyenes \u00e9l\u0151 webin\u00e1riumra<\/a><\/noindex>, ahol r\u00e9szletes inform\u00e1ci\u00f3kat kaphat a tanfolyamr\u00f3l, \u00e9s k\u00e9rd\u00e9seket tehet fel szak\u00e9rt\u0151nknek, Egor Matysuk-nak (Senior Data Engineer, MaximaTelecom). <\/i><\/p>\n<p><\/p>\n<h2>Tov\u00e1bb olvasva:<\/h2>\n<p><\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/501380\/\">Data Build Tool vagy mi a k\u00f6z\u00f6s az Adatgy\u0171jt\u0151 \u00e9s a Smoothie k\u00f6z\u00f6tt<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/502324\/\">Bevezet\u00e9s a Delta Lake-be: k\u00f6telez\u0151 \u00e9rv\u00e9ny\u0171 s\u00e9ma \u00e9s evol\u00faci\u00f3<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/503132\/\">Nagyteljes\u00edtm\u00e9ny\u0171 Apache Parquet Pythonban Apache Arrow haszn\u00e1lat\u00e1val<\/a><\/noindex><\/li>\n<\/ul>\n<p>Forr\u00e1s: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/513780\/\">habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb. \u0412 \u043f\u0440\u0435\u0434\u0434\u0432\u0435\u0440\u0438\u0438 \u0441\u0442\u0430\u0440\u0442\u0430 \u043a\u0443\u0440\u0441\u0430 \u043c\u044b \u0442\u0440\u0430\u0434\u0438\u0446\u0438\u043e\u043d\u043d\u043e \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u0438\u043b\u0438 \u0434\u043b\u044f \u0432\u0430\u0441 \u043f\u0435\u0440\u0435\u0432\u043e\u0434 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0433\u043e \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u0430. \u041a\u0430\u0436\u0434\u044b\u0439 \u0434\u0435\u043d\u044c \u0431\u043e\u043b\u0435\u0435 \u0441\u0442\u0430 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u0447\u0435\u043b\u043e\u0432\u0435\u043a \u043f\u043e\u0441\u0435\u0449\u0430\u044e\u0442 Twitter, \u0447\u0442\u043e\u0431\u044b \u0443\u0437\u043d\u0430\u0442\u044c, \u0447\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0432 \u043c\u0438\u0440\u0435, \u0438 \u043e\u0431\u0441\u0443\u0434\u0438\u0442\u044c \u044d\u0442\u043e. \u041a\u0430\u0436\u0434\u044b\u0439 \u0442\u0432\u0438\u0442 \u0438 \u043b\u044e\u0431\u043e\u0435 \u0434\u0440\u0443\u0433\u043e\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u044e\u0442 \u0441\u043e\u0431\u044b\u0442\u0438\u0435, \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0435 \u0434\u043b\u044f \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0433\u043e [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":90784,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-90783","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.3 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1\" \/>\n\t\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.3\" \/>\n\t\t<meta property=\"og:locale\" content=\"hu_HU\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041a\u0430\u043a BigQuery \u043e\u0442 Google \u0434\u0435\u043c\u043e\u043a\u0440\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445. \u0427\u0430\u0441\u0442\u044c 1 | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2020-08-05T23:42:19+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-08-05T23:42:19+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Hogyan demokratiz\u00e1lta a Google BigQuery az adatelemz\u00e9st. 1. r\u00e9sz | ProHoster","description":"Hell\u00f3, Habr! Jelenleg az OTUS-ban elindult az \u00faj \"Data Engineer\" kurzusra val\u00f3 jelentkez\u00e9s.","canonical_url":"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"hu_HU","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041a\u0430\u043a BigQuery \u043e\u0442 Google \u0434\u0435\u043c\u043e\u043a\u0440\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445. \u0427\u0430\u0441\u0442\u044c 1 | ProHoster","og:description":"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041f\u0440\u044f\u043c\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432 OTUS \u043e\u0442\u043a\u0440\u044b\u0442 \u043d\u0430\u0431\u043e\u0440 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u0442\u043e\u043a \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb.","og:url":"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/kak-bigquery-ot-google-demokratiziroval-analiz-dannyh-chast-1","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-08-05T23:42:19+00:00","article:modified_time":"2020-08-05T23:42:19+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"90783","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 12:42:25","updated":"2022-10-03 03:00:18","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/posts\/90783","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/comments?post=90783"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/posts\/90783\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/media\/90784"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/media?parent=90783"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/categories?post=90783"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/tags?post=90783"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}