Kia ora, Habr! Kua tuwhera te whakaurunga mo te roma akoranga hou i tenei wa i OTUS . I te tatari mo te timatanga o te akoranga, ka tohatoha tonu matou i nga korero whai hua ki a koe.
Te whakahaere raraunga
Ko te Whakahaere Raraunga Kaha he kaupapa matua o Twitter Engineering. I a matou e whakatinana ana i te BigQuery ki roto i to maatau papaahi, ka aro matou ki te rapu raraunga, te mana uru, te haumarutanga me te noho muna.
Hei kimi me te whakahaere raraunga, kua whakawhänuihia e mätau te Apa Uru Raraunga ki ) ki te whakarato taputapu mo nga raraunga i runga-whare me te Google Cloud, e whakarato ana i te atanga kotahi me te API mo o maatau kaiwhakamahi. Hei Google kei te anga whakamua ki te waatea whanui, ka whakauruhia e matou ki roto i a maatau kaupapa hei whakarato ki nga kaiwhakamahi nga ahuatanga penei i te rapu pou.
Ko BigQuery he mea ngawari ki te tiri me te uru ki nga raraunga, engari me whai mana maatau ki runga i tenei kia kore ai e tango raraunga. I roto i etahi atu taputapu, i tohua e matou nga mahi e rua:
- : He waahanga Beta hei aukati i nga kaiwhakamahi ki te tiri i nga huingararaunga BigQuery ki nga kaiwhakamahi kei waho o Twitter.
- : He mana hei aukati i te tangohanga raraunga me te tono kia uru atu nga kaiwhakamahi ki a BigQuery mai i nga awhe wahitau IP e mohiotia ana.
Kua whakatinanahia e matou nga whakaritenga motuhēhēnga, whakamana, me te arotake (AAA) mo te haumarutanga e whai ake nei:
- Motuhēhēnga: I whakamahia e matou nga kaute kaiwhakamahi GCP mo nga tono noa me nga kaute ratonga mo nga tono whakaputa.
- Whakamanatanga: I hiahia matou ki ia huinga raraunga kia whai putea ratonga rangatira me tetahi roopu panui.
- Te Kaute: I kaweakehia e matou nga raarangi BigQuery stackdriver, kei roto nga korero whakamaarama patai, ki roto i te huingararaunga BigQuery kia ngawari te tātari.
Hei whakarite kia tika te whakahaere i nga raraunga whaiaro a nga kaiwhakamahi Twitter, me rehita tatou i nga huingararaunga BigQuery katoa, me tuhi i nga raraunga whaiaro, pupuri tika te rokiroki, me te muku (scrape) raraunga kua mukua e nga kaiwhakamahi.
I titiro matou ki a Google , e whakamahi ana i te ako miihini ki te whakarōpū me te whakatika i nga raraunga tairongo, engari i whakatauhia kia pai te tuhi-a-ringa i te huingararaunga na te tika. Ka whakamahere matou ki te whakamahi i te API Arai Ngaronga Raraunga hei whakanui ake i te tuhipoka ritenga.
I Twitter, kua hanga e matou nga waahanga tūmataiti e wha mo nga huingararaunga i BigQuery, kua whakarārangihia i konei i roto i te raupapa heke o te tairongo:
- Ko nga huinga raraunga tairongo e waatea ana i runga i te kaupapa e hiahiatia ana i runga i te kaupapa o te mana iti. Kei ia huinga raraunga he roopu panui motuhake, a ka whai maatau i te whakamahinga a nga kaute takitahi.
- Ko nga huingararaunga tairongo ngawari (kotahi-ara pseudonyms whakamahi hashing tote) karekau he Moohiohio Whakaaturanga Whaiaro (PII) ka taea e te roopu kaimahi nui ake. He taurite pai tenei i waenga i nga awangawanga tūmataiti me te whaipainga raraunga. Ma tenei ka taea e nga kaimahi te mahi i nga mahi tātari, penei i te tatau i te maha o nga kaiwhakamahi i whakamahi i tetahi ahuatanga, me te kore e mohio ko wai nga tino kaiwhakamahi.
- Ko nga huingararaunga tairongo iti me nga korero tautuhi kaiwhakamahi katoa. He huarahi pai tenei mai i te tirohanga tūmataiti, engari kaore e taea te whakamahi mo te tātari taumata-kaiwhakamahi.
- Ko nga huingararaunga a-iwi (i tukuna i waho o Twitter) e waatea ana ki nga kaimahi Twitter katoa.
Mo te takiuru, i whakamahia e matou nga mahi kua whakaritea hei tatau i nga huingararaunga BigQuery me te rehita ki te Apa Uru Raraunga (), Twitter metadata putunga. Ka tohuhia e nga kaiwhakamahi nga huingararaunga me nga korero tūmataitinga me te tohu hoki i te waa pupuri. Mo te horoi, ka arotakehia e matou te mahi me te utu o nga whiringa e rua: 1. Te horoi i nga huingararaunga i roto i te GCS ma te whakamahi i nga taputapu penei i te Whakanui me te uta ki BigQuery; 2. Ma te whakamahi i nga korero DML BigQuery. Ka whakamahia pea e matou he huinga o nga tikanga e rua hei whakatutuki i nga whakaritenga o nga roopu rereke me nga raraunga.
Te mahinga o te punaha
Na te mea he ratonga whakahaere a BigQuery, kaore he take ki te whakauru i te roopu SRE o Twitter ki te whakahaere i nga punaha me nga mahi tepu. He ngawari ki te whakarato i te kaha ake mo te rokiroki me te rorohiko. Ka taea e taatau te whakarereke i te rahui mokamoka ma te hanga tiiti me te tautoko a Google. I tautuhia e matou nga waahi ka taea te whakapai ake, penei i te tohatoha mokamoka mahi whaiaro me nga whakapainga papatohu mo te aro turuki, me te tuku i aua tono ki a Google.
utu o
I whakaatuhia e ta maatau tātaritanga tuatahi ko nga utu patai mo BigQuery me Presto i te taumata kotahi. I hokona e matou nga waahi mo utu ki te whai i te utu marama pūmau hei utu mo te utu ia TB o nga raraunga tukatuka. I whakatauhia ano tenei whakatau i runga i nga urupare mai i nga kaiwhakamahi kaore e hiahia ki te whakaaro mo nga utu i mua i te tono mo ia tono.
Ko te penapena raraunga i BigQuery i utu taapiri atu ki nga utu GCS. Ko nga taputapu penei i te Scalding e hiahia ana nga huingararaunga i roto i te GCS, me te uru atu ki a BigQuery me utaina e matou nga huingararaunga rite ki te whakatakotoranga BigQuery . Kei te mahi matou i te hononga Scalding ki nga huingararaunga BigQuery ka whakakore i te hiahia ki te rokiroki i nga huingararaunga i roto i te GCS me te BigQuery.
Mo nga keehi onge e hiahia ana ki nga paatai iti mo te tekau o nga petabytes, i whakatau matou ko te penapena i nga huingararaunga ki BigQuery ehara i te utu-utu ka whakamahia a Presto ki te uru tika ki nga huingararaunga i GCS. Hei mahi i tenei, kei te titiro matou ki nga Puna Raraunga o waho BigQuery.
Nga mahi ka whai ake
Kua kite matou i te hiahia nui ki BigQuery mai i te tukunga alpha. Kei te taapirihia e matou etahi atu huingararaunga me etahi atu tono ki BigQuery. Ka whakawhanakehia e matou he hononga mo nga taputapu tātari raraunga penei i te Scalding hei panui me te tuhi ki te rokiroki BigQuery. Kei te titiro matou ki nga taputapu penei i a Looker me Apache Zeppelin mo te hanga ripoata kounga hinonga me nga tuhipoka ma te whakamahi i nga huingararaunga BigQuery.
Ko ta matou mahi tahi me Google kua tino whai hua, a kei te koa matou ki te haere tonu me te whakawhanake i tenei hononga. I mahi tahi matou me Google ki te whakatinana i a maatau ake ki te tuku patai ki a Google. Ko etahi o ratou, penei i te BigQuery Parquet loader, kua whakatinanahia e Google.
Anei etahi o a maatau tono kaupapa matua mo Google:
- Nga taputapu mo te tango raraunga pai me te tautoko mo te whakatakotoranga LZO-Thrift.
- Te wehenga o ia haora
- Nga whakapainga mana uru penei i nga whakaaetanga taumata ripanga, haupae, me te taumata-tiwae.
- BigQuery me te whakaurunga a Hive Metastore me te tautoko mo te whakatakotoranga LZO-Thrift.
- Kua pai ake te tuitui putumōhio raraunga ki te atanga kaiwhakamahi BigQuery
- Mahi-whaiaro mo te tohatoha mokowhiti me te aroturuki.
mutunga
Ko te whakakore i nga tātaritanga raraunga, te whakakitenga, me te ako miihini i runga i te haumaru he kaupapa matua mo te roopu Raraunga Raraunga. I tautuhia e matou a Google BigQuery me te Data Studio hei taputapu ka taea te whakatutuki i tenei whainga, a ka tukuna a BigQuery Alpha ki te kamupene puta noa i tera tau.
I kitea e maatau nga patai i BigQuery he ngawari me te whai hua. I whakamahia e matou nga taputapu a Google ki te whakauru me te whakarereke i nga raraunga mo nga raina paipa ngawari, engari mo nga paipa uaua me hanga e matou a maatau ake anga Rererangi. I roto i te waahi whakahaere raraunga, ko nga ratonga a BigQuery mo te whakamotuhēhēnga, te whakamanatanga, me te arotake e tutuki ana o maatau hiahia. Hei whakahaere i nga metadata me te pupuri i te tūmataitinga, me kaha ake taatau me te hanga i a maatau ake punaha. BigQuery, he ratonga whakahaere, he ngawari te whakamahi. He rite nga utu patai ki nga taputapu o naianei. Ko te penapena raraunga ki BigQuery ka nui nga utu hei taapiri atu ki nga utu GCS.
I te katoa, he pai te mahi a BigQuery mo te tātari SQL whanui. Kei te kite matou i te hiahia nui ki a BigQuery, a kei te mahi matou ki te neke atu i nga huinga raraunga, ki te kawe mai i etahi atu kapa, ki te hanga paipa atu ano me BigQuery. Ka whakamahi a Twitter i nga momo raraunga ka hiahiatia he huinga taputapu penei i te Scalding, Spark, Presto, me Druid. Ko ta matou hiahia ki te whakapakari tonu i o maatau taputapu tātari raraunga me te whakarato i nga aratohu marama ki o maatau kaiwhakamahi me pehea te whakamahi pai i a maatau tuku.
Nga kupu mihi
E mihi ana ahau ki aku kaituhi me aku hoa mahi, a Anju Jha raua ko Will Pascucci, mo ta raua mahi tahi me te kaha ki tenei kaupapa. Kei te mihi ano ahau ki nga miihini me nga kaiwhakahaere mai i nga roopu maha i Twitter me Google i awhina i a matou me nga kaiwhakamahi BigQuery i runga i Twitter i tuku urupare utu nui.
Mena kei te hiahia koe ki te mahi i enei raru, tirohia to maatau i roto i te roopu Raraunga Raraunga.
Source: will.com