Nyob zoo, Habr! Kev tso npe kawm rau cov chav kawm tshiab tau qhib tam sim no ntawm OTUS . Hauv kev cia siab ntawm qhov pib ntawm chav kawm, peb txuas ntxiv muab cov ntaub ntawv tseem ceeb rau koj.
Kev tswj cov ntaub ntawv
Strong Data Governance yog lub ntsiab lus tseem ceeb ntawm Twitter Engineering. Raws li peb siv BigQuery rau hauv peb lub platform, peb tsom mus rau kev tshawb pom cov ntaub ntawv, kev tswj xyuas kev nkag, kev nyab xeeb thiab kev ceev ntiag tug.
Txhawm rau nrhiav thiab tswj cov ntaub ntawv, peb tau nthuav peb Cov Ntaub Ntawv Nkag Nkag mus rau ) muab cov cuab yeej rau ob qho tib si hauv tsev thiab Google Cloud cov ntaub ntawv, muab ib qho interface thiab API rau peb cov neeg siv. Raws li Google tab tom txav mus rau qhov muaj dav dav, peb yuav suav nrog nws hauv peb cov haujlwm los muab cov neeg siv nrog cov yam ntxwv xws li kev tshawb nrhiav kab.
BigQuery ua rau nws yooj yim los qhia thiab nkag mus rau cov ntaub ntawv, tab sis peb yuav tsum muaj qee qhov kev tswj hwm qhov no los tiv thaiv cov ntaub ntawv tshem tawm. Ntawm lwm cov cuab yeej, peb xaiv ob txoj haujlwm:
- : Beta feature tiv thaiv cov neeg siv los ntawm kev sib koom BigQuery datasets nrog cov neeg siv sab nraud ntawm Twitter.
- : Ib qho kev tswj uas tiv thaiv cov ntaub ntawv tshem tawm thiab xav kom cov neeg siv nkag mus rau BigQuery los ntawm qhov paub IP chaw nyob.
Peb tau ua raws li kev lees paub, kev tso cai, thiab kev tshuaj xyuas (AAA) cov cai rau kev nyab xeeb raws li hauv qab no:
- Kev lees paub: Peb siv GCP cov neeg siv nyiaj rau ad hoc thov thiab cov nyiaj pabcuam rau kev thov tsim khoom.
- Kev Tso Cai: Peb xav kom txhua dataset kom muaj tus tswv kev pabcuam tus account thiab pab pawg nyeem.
- Kev Tshawb Fawb: Peb tau xa tawm BigQuery stackdriver cav, uas muaj cov ncauj lus kom ntxaws txog kev ua tiav cov ntaub ntawv, rau hauv BigQuery dataset kom yooj yim tsom xam.
Txhawm rau kom cov neeg siv Twitter cov ntaub ntawv tus kheej raug tswj kom raug, peb yuav tsum sau npe tag nrho BigQuery datasets, sau cov ntaub ntawv tus kheej, khaws cia kom raug, thiab tshem tawm (scrape) cov ntaub ntawv uas tau muab tshem tawm los ntawm cov neeg siv.
Peb saib hauv Google , uas siv tshuab kev kawm los faib thiab hloov kho cov ntaub ntawv rhiab, tab sis txiav txim siab los ntawm kev sau cov ntaub ntawv ntawm tus kheej vim qhov tseeb. Peb npaj yuav siv Cov Ntaub Ntawv Loss Tiv Thaiv API txhawm rau txhim kho cov lus piav qhia kev cai.
Ntawm Twitter, peb tau tsim plaub pawg tsis pub lwm tus paub rau cov ntaub ntawv hauv BigQuery, teev ntawm no hauv kev txiav txim siab los ntawm kev nkag siab:
- Cov ntaub ntawv rhiab heev yog tsim muaj raws li qhov xav tau raws li lub hauv paus ntsiab lus ntawm qhov tsawg kawg nkaus. Txhua cov ntaub ntawv teev muaj ib pab pawg neeg nyeem, thiab peb yuav taug qab kev siv los ntawm tus kheej cov nyiaj.
- Cov ntaub ntawv rhiab heev nruab nrab (ib-txoj kev pseudonym siv salted hashing) tsis muaj Cov Ntaub Ntawv Qhia Txog Tus Kheej (PII) thiab nkag mus rau cov neeg ua haujlwm loj dua. Qhov no yog qhov sib npaug zoo ntawm kev txhawj xeeb txog kev ceev ntiag tug thiab cov ntaub ntawv siv hluav taws xob. Qhov no tso cai rau cov neeg ua haujlwm los ua cov haujlwm tshuaj ntsuam xyuas, xws li suav cov naj npawb ntawm cov neeg siv uas siv cov yam ntxwv, tsis paub tias leej twg yog cov neeg siv tiag.
- Tsawg rhiab heev datasets nrog txhua tus neeg siv cov ntaub ntawv txheeb xyuas. Qhov no yog ib txoj hauv kev zoo los ntawm kev xav tsis pub lwm tus paub, tab sis tsis tuaj yeem siv rau kev txheeb xyuas cov neeg siv qib.
- Cov ntaub ntawv pej xeem (tso tawm sab nraud ntawm Twitter) muaj rau txhua tus neeg ua haujlwm Twitter.
Raws li kev nkag mus, peb tau siv cov haujlwm teem sijhawm los suav cov ntaub ntawv BigQuery thiab sau npe rau lawv nrog Cov Ntaub Ntawv Nkag Nkag (), Twitter metadata repository. Cov neeg siv yuav sau cov ntaub ntawv nrog cov ntaub ntawv ntiag tug thiab tseem qhia lub sijhawm khaws cia. Raws li kev ntxuav, peb ntsuas qhov ua tau zoo thiab tus nqi ntawm ob txoj kev xaiv: 1. Ntxuav cov ntaub ntawv hauv GCS siv cov cuab yeej xws li Scalding thiab thauj lawv mus rau hauv BigQuery; 2. Siv BigQuery DML nqe lus. Peb yuav zoo li yuav siv ob txoj hauv kev los ua kom tau raws li qhov xav tau ntawm cov pab pawg sib txawv thiab cov ntaub ntawv.
Qhov system ua haujlwm
Vim tias BigQuery yog qhov kev pabcuam tswj hwm, tsis tas yuav koom nrog Twitter's SRE pab pawg hauv kev tswj hwm lossis lub rooj haujlwm. Nws yog ib qho yooj yim los muab ntau lub peev xwm rau ob qho tib si cia thiab suav. Peb tuaj yeem hloov qhov kev tshwj tseg los ntawm kev tsim daim pib nrog Google kev txhawb nqa. Peb tau txheeb xyuas thaj chaw uas tuaj yeem txhim kho, xws li kev faib cov kev pabcuam tus kheej thiab kev txhim kho dashboard rau kev saib xyuas, thiab xa cov lus thov mus rau Google.
nqi ntawm
Peb qhov kev soj ntsuam ua ntej tau pom tias cov nqi nug rau BigQuery thiab Presto nyob rau tib theem. Peb muab cov slots rau tus nqi kom muaj tus nqi ruaj khov txhua hli es tsis txhob them nyiaj rau TB ntawm cov ntaub ntawv ua tiav. Qhov kev txiav txim siab no kuj yog los ntawm kev tawm tswv yim los ntawm cov neeg siv uas tsis xav xav txog cov nqi ua ntej ua txhua qhov kev thov.
Kev khaws cov ntaub ntawv hauv BigQuery coj cov nqi ntxiv rau GCS cov nqi. Cov cuab yeej zoo li Scalding xav tau cov ntaub ntawv hauv GCS, thiab nkag mus rau BigQuery peb yuav tsum thauj cov ntaub ntawv qub rau hauv BigQuery hom . Peb tab tom ua haujlwm ntawm Scalding kev sib txuas rau BigQuery datasets uas yuav tshem tawm qhov xav tau khaws cov ntaub ntawv hauv GCS thiab BigQuery.
Rau cov xwm txheej tsawg uas yuav tsum muaj cov lus nug tsis tu ncua ntawm kaum ntawm petabytes, peb tau txiav txim siab tias khaws cov ntaub ntawv khaws tseg hauv BigQuery tsis raug nqi thiab siv Presto ncaj qha mus saib cov ntaub ntawv hauv GCS. Txhawm rau ua qhov no, peb tab tom saib BigQuery Sab Nraud Cov Ntaub Ntawv.
Cov kauj ruam tom ntej
Peb tau pom ntau qhov kev txaus siab hauv BigQuery txij li alpha tso tawm. Peb tab tom ntxiv ntau cov ntaub ntawv thiab ntau cov lus txib rau BigQuery. Peb tsim cov khoom sib txuas rau cov cuab yeej ntsuas cov ntaub ntawv xws li Scalding los nyeem thiab sau rau BigQuery cia. Peb tab tom saib cov cuab yeej zoo li Looker thiab Apache Zeppelin rau kev tsim cov ntawv tshaj tawm kev lag luam thiab sau ntawv siv BigQuery datasets.
Peb txoj kev koom tes nrog Google tau ua tau zoo heev thiab peb txaus siab los txuas ntxiv thiab txhim kho kev koom tes no. Peb tau ua haujlwm nrog Google los siv peb tus kheej xa cov lus nug ncaj qha rau Google. Ib txhia ntawm lawv, xws li BigQuery Parquet loader, twb tau siv los ntawm Google.
Nov yog qee qhov ntawm peb qhov tseem ceeb tshwj xeeb thov rau Google:
- Cov cuab yeej rau kev txais cov ntaub ntawv yooj yim thiab kev txhawb nqa rau LZO-Thrift hom.
- Ib teev segmentation
- Kev tswj xyuas kev txhim kho xws li rooj-, kab-, thiab kab-qib kev tso cai.
- LojQuery nrog Hive Metastore kev koom ua ke thiab kev txhawb nqa rau LZO-Thrift hom.
- Txhim kho cov ntaub ntawv catalog kev koom ua ke hauv BigQuery tus neeg siv interface
- Kev pabcuam tus kheej rau qhov faib thiab saib xyuas.
xaus
Kev ywj pheej ntawm kev txheeb xyuas cov ntaub ntawv, kev pom pom, thiab kev kawm tshuab hauv txoj kev nyab xeeb yog qhov tseem ceeb tshaj plaws rau pab pawg Data Platform. Peb tau txheeb xyuas Google BigQuery thiab Data Studio ua cov cuab yeej uas tuaj yeem pab ua tiav lub hom phiaj no, thiab tso tawm BigQuery Alpha tuam txhab thoob plaws xyoo tas los.
Peb pom cov lus nug hauv BigQuery kom yooj yim thiab ua tau zoo. Peb siv Google cov cuab yeej los noj thiab hloov cov ntaub ntawv rau cov kav dej yooj yim, tab sis rau cov kav dej nyuaj peb yuav tsum tsim peb tus kheej Airflow moj khaum. Hauv qhov chaw tswj xyuas cov ntaub ntawv, BigQuery cov kev pabcuam rau kev lees paub, kev tso cai, thiab kev tshuaj xyuas raws li peb xav tau. Txhawm rau tswj hwm cov metadata thiab tswj hwm tus kheej, peb xav tau kev hloov pauv ntau dua thiab yuav tsum tsim peb tus kheej lub tshuab. BigQuery, ua ib qho kev tswj xyuas, tau yooj yim siv. Cov nqi nug tau zoo ib yam li cov cuab yeej uas twb muaj lawm. Kev khaws cov ntaub ntawv hauv BigQuery raug nqi ntxiv rau GCS cov nqi.
Zuag qhia tag nrho, BigQuery ua haujlwm zoo rau kev tsom xam SQL. Peb tab tom pom ntau qhov kev txaus siab hauv BigQuery, thiab peb tab tom ua haujlwm los hloov cov ntaub ntawv ntau dua, nqa ntau pab pawg, thiab tsim ntau cov kav dej nrog BigQuery. Twitter siv ntau yam ntaub ntawv uas yuav xav tau kev sib txuas ntawm cov cuab yeej xws li Scalding, Spark, Presto, thiab Druid. Peb npaj siab yuav ntxiv dag zog rau peb cov cuab yeej tshuaj ntsuam xyuas cov ntaub ntawv thiab muab cov lus qhia meej rau peb cov neeg siv yuav ua li cas siv peb cov khoom zoo tshaj plaws.
Cov lus ua tsaug
Kuv xav ua tsaug rau kuv cov kws sau ntawv thiab cov phooj ywg, Anju Jha thiab Will Pascucci, rau lawv txoj kev sib koom tes zoo thiab kev ua haujlwm nyuaj ntawm txoj haujlwm no. Kuv kuj xav ua tsaug rau cov engineers thiab cov thawj coj los ntawm ntau pab pawg ntawm Twitter thiab Google uas tau pab peb thiab cov neeg siv BigQuery hauv Twitter uas tau muab cov lus qhia muaj txiaj ntsig.
Yog tias koj txaus siab ua haujlwm rau cov teeb meem no, mus saib peb hauv pab pawg Data Platform.
Tau qhov twg los: www.hab.com