Ko tenei rauemi e whakaatu ana i te taputapu rapu raraunga ngawari me te tere, ko nga mahi e kitea ana e koe i runga i te KDPV. He mea whakamiharo, i hangaia te tohorā kia noho ki runga i te tūmau git mamao. Nga korero i raro i te tapahi.
Na te Utauta Tirohanga Raraunga a Airbnb i Hurihia Toku Ora
I waimarie ahau ki te mahi i etahi raruraru ngahau i roto i aku mahi: I ako ahau i te pangarau miro i te wa e whiwhi ana ahau i taku tohu i te MIT, i mahi ahau i nga tauira taapiri me tetahi kaupapa puna tuwhera. i Wayfair, me te whakatinana i nga tauira whainga wharangi hou me nga whakapainga CUPED i Airbnb. Engari ko enei mahi katoa kaore rawa i tino whakahihiri - inaa, he maha nga wa i whakapaua e au ki te rapu, ki te ako me te whakamana i nga raraunga. Ahakoa he ahua tonu tenei i te mahi, kaore au i whakaaro he raru tenei tae noa ki taku taenga ki Airbnb, i whakatauhia ma te whakamahi i tetahi taputapu rapu raraunga - .
Kei hea ka kitea e ahau {{data}}? Putanga Raraunga.
He aha te tikanga o tenei pou? Putanga Raraunga.
Kei te pehea a {{metric}} i tenei ra? Putanga Raraunga.
He aha te ahua o te ora? IN Putanga Raraunga, pea.
Kaati, kei a koe te pikitia. Ko te rapu raraunga me te maarama he aha te tikanga, pehea te hanga, me pehea te whakamahi i enei mea ka pau nga meneti, kaua nga haora. Ka taea e au te whakapau i taku taima ki te hanga whakaaro ngawari, ki nga huringa algorithm hou ranei, (... te whakautu ranei i nga patai matapōkere e pā ana ki te raraunga) kaua ki te kopikopiko i roto i nga tuhipoka, te tuhi i nga uiui SQL tukurua, me te whakahua i nga hoa mahi i runga i a Slack ki te ngana ki te waihanga i te horopaki, na tetahi atu. kua whai.
He aha te raruraru?
I mohio ahau ko te nuinga o aku hoa kaore i uru ki taua taputapu. He iti nga kamupene e hiahia ana ki te whakapau rauemi nui ki te hanga me te pupuri i tetahi taputapu papaa penei i te Dataportal. A, ahakoa he maha nga otinga puna tuwhera e waatea ana, he mea hangaia kia tauine, he uaua ki te whakarite me te tiaki kaore he miihini DevOps i whakatapua. Na ka whakatau ahau ki te hanga i tetahi mea hou.
Tohorā: he taputapu rapu raraunga maamaa noa
Ae, ma te ngawari ki te ahua o te wairangi, ko taku tikanga he ngawari ki te ahua o te wairangi. E rua noa nga wahanga o te tohorā:
- He whare pukapuka Python ka kohi metadata me te whakahōputu ki MarkDown.
- He atanga raina whakahau Rust mo te rapu i enei raraunga.
Mai i te tirohanga o te hanganga o roto mo te tiaki, he maha noa nga konae tuhinga me tetahi kaupapa e whakahou ana i te tuhinga. Koina, no reira he mea iti te manaaki i runga i te tūmau git penei i a Github. Kaore he reo patai hou hei ako, kaore he hanganga whakahaere, kaore he taapiri. E mohiotia ana a Git ki te katoa, no reira ka kore utu te tukutahi me te mahi tahi. Kia ata titiro tatou ki te mahi .
Ko te GUI e whakaatuhia ana i runga i te git
I hangaia te tohorā ki te whakatere i te moana o te tūmau git mamao. Ko ia ka taea te whakarite: tautuhia etahi hononga, kape i te tuhinga Hohenga Github (tuhi ranei tetahi mo to papaarangi CI/CD) ka whiwhi koe i tetahi taputapu rapu raraunga i runga ipurangi i te wa poto. Ka taea e koe te rapu, te tiro, te tuhi, me te tiritiri tika i o ripanga ki a Github.
He tauira o te ripanga papa i hangaia ma te whakamahi i nga Mahi a Github. Te whakaaturanga mahi katoa .
Ko te rapunga CLI tere uira o to putunga
Kei te ora te tohorā me te manawa i te raina whakahau, e whakarato ana i nga rapunga kaha, mirimimihakona puta noa i o ripanga. Ahakoa te tini miriona teepu, i taea e matou te mahi tohorā kia tino pai te mahi ma te whakamahi i etahi tikanga keteroki mohio, me te hanga ano i te tuara ki Rust. Kare koe e kite i tetahi taima rapu [hello, Google DS].
Whakaaturanga tohorā, rapu i roto i te miriona tepu.
Te tatau aunoa o nga ine [i te beta]
Ko tetahi o aku mea tino pai rawa atu i te mea he kaiputaiao raraunga kei te whakahaere i nga patai ano mo te tirotiro noa i te kounga o nga raraunga e whakamahia ana. Kei te tautoko a Whale i te kaha ki te tautuhi i nga inenga i roto i te SQL ngawari ka whakaritea kia haere i te taha o to riipene riipene metadata. Tautuhia he paraka inenga i roto i te whakatakotoranga YAML i roto i te ripanga stub, ka rere aunoa a Tohora i runga i te waarangi me te whakahaere patai i roto i nga ine.
```metrics
metric-name:
sql: |
select count(*) from table
```
Ka honoa ki a Github, ko te tikanga tenei ka taea e te tohorā te noho hei puna matua mo te pono mo nga whakamaramatanga ine. Ko te tohorā ka penapena nga uara me te tohu wa i te raarangi "~/". whale/metrics" ki te hiahia koe ki te mahi kauwhata, rangahau hohonu ranei.
Future
Whai muri i te korero ki nga kaiwhakamahi o a maatau momo tohorā i mua i te tukunga, ka mohio matou he nui ake te mahi a te tangata. He aha te taputapu rapu ripanga? He aha e kore ai he taputapu rapu inenga? He aha te kore e aroturuki? He aha te take kaore he taputapu uiui SQL? Ahakoa ko te tohorā v1 te tikanga he taputapu hoa CLI ngawari Dataportal/Amundsen, kua tipu ake hei papaa tuukoo katoa, me te tumanako ka noho hei waahanga nui o te kete taputapu a te kaiputaiao raraunga.
Mena kei te hiahia koe ki te kite i te whanaketanga, uru mai ki a maatau , tuwhera Take i , me whakapā tika atu ranei . He maha nga ahuatanga pai - nga tauira a Jinja, tohu tohu, whiriwhiringa rapu, matohi Slack, Jupyter tuitui, ara he papatohu CLI mo nga ine - engari ka pirangi matou ki to urunga.
mutunga
Ka whakawhanakehia, ka tautokohia a Whale e Dataframe, he whakaohotanga i pai ai ahau ki te hanga tahi me etahi atu. Ahakoa i hangaia te tohorā mo nga kaiputaiao raraunga, i hangaia a Dataframe mo nga roopu pūtaiao raraunga. Mo koutou e hiahia ana ki te mahi tahi atu, tena koa , ka whakauruhia koe ki te rarangi tatari.
Na ma te waehere whakatairanga HABR, ka taea e koe te tiki atu 10% ki te hekenga kua tohua ki te kara.
Ētahi atu akoranga
Tuhinga o mua
Source: will.com