O lenei tusiga o loʻo talanoa e uiga i le mea sili ona faigofie ma sili ona vave maua faʻamaumauga, o le galuega o loʻo e vaʻaia ile KDPV. O le mea e malie ai, o le tafola ua mamanuina e talimalo i luga o se git server mamao. Fa'amatalaga i lalo o le tipi.
Fa'afefea ona Suia Lo'u Olaga e le Meafaigaluega Su'esu'eina o Fa'amatalaga a Airbnb
I la'u galuega, sa ou maua le fiafia e galue i ni faafitauli malie: Sa ou su'esu'eina le numera o le tafe a'o faia la'u tikeri i le MIT, galue i luga o fa'ata'ita'iga fa'aopoopo, ma se galuega fa'atino avanoa. i Wayfair, ma fa'atino ni fa'ata'ita'iga fa'ata'ita'iga fou o le itulau autu ma fa'aleleia CUPED ile Airbnb. Ae o nei galuega uma e leʻi manaia lava-o le mea moni, e masani ona ou faʻaaluina le tele o loʻu taimi e suʻe, suʻesuʻe, ma faʻamaonia faʻamaumauga. E ui lava o se tulaga faifai pea lea i le galuega, ae ou te leʻi oʻo mai ia te aʻu o se faʻafitauli seʻi vagana ua ou oʻo i Airbnb lea na foia ai i se meafaigaluega e suʻe ai faʻamatalaga - .
O fea ou te maua ai {{data}}? fa'amaumauga.
O le a le uiga o lenei koluma? fa'amaumauga.
O a mai {{metric}} i aso nei? fa'amaumauga.
O le a le uiga o le olaga? IN fa'amaumauga, masalo.
Lelei, ua e tu'uina atu le ata. O le su'eina o fa'amaumauga ma le malamalama i lona uiga, pe na fa'apefea ona faia ma fa'aogaina uma na'o ni nai minute, ae le o ni itula. E mafai ona ou faʻaaluina loʻu taimi e faia ai ni faʻamatalaga faigofie, poʻo ni algorithms fou, (... poʻo le taliina o fesili faʻafuaseʻi e uiga i faʻamaumauga), nai lo le eliina i faʻamatalaga, tusia o fesili faifaipea SQL, ma taʻua a latou paaga i luga ole Slack e taumafai e toe faʻamatalaina le tala. sa iai.
O le a le faafitauli?
Sa ou iloaina o le toatele o a'u uo e le'i mauaina se meafaigaluega faapena. E toaitiiti kamupani e naunau e tuʻuina atu punaoa tetele i le fausiaina ma le tausia o se meafaigaluega faʻavae e pei o Dataportal. Ma e ui lava o loʻo i ai ni nai faʻamatalaga tatala punaoa, e masani lava ona mamanuina e fua, e faigata ai ona faʻatutuina ma tausia e aunoa ma se faʻapitoa DevOps inisinia. O lea na ou filifili ai e fatu se mea fou.
Tafola: Ose mea fa'avalevalea faigofie e su'e ai fa'amaumauga
Ma ioe, o le faavalevalea faigofie o lona uiga o le faavalevalea faigofie. O le tafola e na'o le lua vaega:
- O se faletusi Python e aoina metadata ma faʻatulagaina i MarkDown.
- Rust command line interface mo su'esu'ega i nei fa'amaumauga.
Mai le vaaiga i totonu ole atinaʻe mo le tausiga, e naʻo le tele o faila faila ma se polokalame e faʻafouina ai tusitusiga. O le mea lena, o le talimalo i luga o se git server e pei o Github e le taua. Leai se gagana fesili fou e aʻoaʻoina, leai ni atinaʻe pulega, leai ni faʻamaumauga. E iloa e tagata uma Git, o lea e leai se totogi o le syncing ma le galulue faatasi. Se'i o tatou va'ava'ai toto'a ile fa'atinoga .
Fa'aaliga atoatoa git-fa'avae GUI
Ua mamanuina le tafola e aau i le vasa o se server git mamao. O ia fetuutuuna'i: fa'amatala nisi o feso'ota'iga, kopi le fa'amaumauga a le Github Actions (pe tusi se tasi mo lau fa'avae CI/CD filifilia) ona maua loa lea o sau mea faigaluega i luga o le upega tafa'ilagi. E mafai ona e su'esu'e, va'ai, fa'amaumau ma fa'asoa sa'o au ripoti ile Github.
O se faʻataʻitaʻiga o se laulau faʻapipiʻi na gaosia e faʻaaoga ai Github Actions. Fa'aaliga galue atoatoa .
Uila vave su'esu'e CLI mo lau fale teu oloa
O lo'o ola ma manava le tafola i luga o le laina fa'atonu, e maua ai su'esu'ega malosi, millisecond i luga o au laulau. E oo lava i le faitau miliona o laulau, na mafai ona matou faia le tafola i se tulaga mataʻina e ala i le faʻaogaina o ni masini faʻapipiʻi atamai ma faʻapea foʻi ma le toe fausia o le pito i tua i Rust. E te le matauina se tuai o sailiga [hello Google DS].
Tafola demo, miliona su'ega laulau.
Fuafuaga otometi o fua [i le beta]
O se tasi o mea e sili ona ou fiafia i ai i le avea ai ma se saienitisi faʻamatalaga o loʻo faʻaauau pea fesili tutusa e siaki ai le lelei o faʻamatalaga o loʻo faʻaaogaina. E lagolagoina e Tafola le tomai e fa'amatala ai metrics i le SQL manino lea o le a fa'atulaga e fa'agasolo fa'atasi ma au laina fa'amama metadata. Fa'amatala se poloka metric YAML i totonu o le laulau fa'amau, ma o le a otometi lava ona ta'e le Tafola i luga o se fa'asologa ma fa'atautaia fesili e fa'aputu i metrics.
```metrics
metric-name:
sql: |
select count(*) from table
```
Faʻatasi ma Github, o lenei auala o lona uiga o le tafola e mafai ona avea o se punavai tutotonu faigofie o le mea moni mo faʻamatalaga metric. E faʻasaoina foi e le tafola ia tau faʻatasi ma le timestamp i le "~/. whale/metrics" pe a e mana'o e fai se siata po'o nisi su'esu'ega loloto.
Lumanai
Ina ua uma ona talanoa i tagata o loʻo faʻaogaina a matou lomiga muamua o le tafola, na matou iloa ai e manaʻomia e tagata le tele o galuega. Aisea e fai ai se meafaigaluega su'e laulau? Aisea e le o se meafaigaluega su'esu'e fua? Aisea e le mataituina ai? Aisea e le o se meafaigaluega e faʻatino ai fesili SQL? E ui o le tafola v1 na fa'avae muamua o se meafaigaluega fa'asoa CLI faigofie Dataportal/Amundsen, ua mae'a ona fa'atupuina i se tulaga tu'ufa'atasi tu'ufa'atasia atoatoa, ma matou te fa'amoemoe o le a avea ma vaega taua o le meafaigaluega a le Saienitisi Fa'amatalaga.
Afai ei ai se mea e te manaʻo e vaʻai i le faʻagasologa o atinaʻe, auai i la matou , tatala Mataupu i pe fa'afeso'ota'i sa'o . Ua uma ona i ai le tele o foliga manaia - Jinja templates, bookmarks, search filters, Slack alerts, Jupyter integration, e oʻo lava i le CLI panel mo metrics - ae matou te faʻafeiloaʻi lau faʻamatalaga.
iʻuga
O le tafola ua atiina ae ma tausia e Dataframe, o se amataga na ou maua talu ai nei le fiafia e faʻatasi ma isi tagata. A'o faia le tafola mo su'esu'ega fa'amaumauga, ae fai le Dataframe mo su'esu'ega fa'amaumauga. Mo outou e fia galulue vavalalata atili, lagona le saoloto i matou te fa'aopoopoina oe ile lisi fa'atali.
Ma e ala i le code promo HABR, e mafai ona e maua se 10% faaopoopo i le faʻaitiitiga o loʻo faʻaalia i luga o le fuʻa.
Tele kosi
Mataupu Fa'apitoa
puna: www.habr.com