Dan il-materjal jiddeskrivi l-aktar għodda sempliċi u mgħaġġla għall-iskoperta tad-dejta, li x-xogħol tagħha tara fuq KDPV. Interessanti, il-balieni hija mfassla biex tiġi ospitata fuq server git remot. Dettalji taħt il-qatgħa.
Kif l-Għodda ta' Skoperta tad-Data ta' Airbnb Biddlet Ħajti
Fil-karriera tiegħi, kelli l-pjaċir naħdem fuq xi problemi divertenti: studjajt il-matematika tal-flussi waqt li kont qed tagħmel il-lawrja tiegħi fl-MIT, ħdimt fuq mudelli inkrementali, u bi proġett open source f'Wayfair, u implimenta mudelli ġodda ta' mira tal-homepage u titjib CUPED f'Airbnb. Iżda dan ix-xogħol kollu qatt ma kien glamorous—anzi, spiss kont inqattaʼ ħafna mill-ħin tiegħi nfittex, nirriċerka, u nivvalida d-dejta. Għalkemm dan kien stat kostanti fuq ix-xogħol, ma kontx f'moħħi li din kienet kwistjoni sakemm wasalt Airbnb fejn ġiet solvuta b'għodda ta' skoperta tad-dejta − .
Fejn nista' nsib {{data}}? dataportal.
Xi tfisser din il-kolonna? dataportal.
Kif sejjer {{metric}} illum? dataportal.
X'inhu sens ta 'ħajja? IN dataportal, probabbilment.
Tajjeb, ippreżentajt l-istampa. Is-sejba tad-dejta u l-fehim xi tfisser, kif inħoloq u kif tużaha kollha tieħu biss ftit minuti, mhux sigħat. Nista' nqatta' l-ħin tiegħi niġbed konklużjonijiet sempliċi, jew algoritmi ġodda, (... jew inwieġeb mistoqsijiet każwali dwar id-dejta), aktar milli nħaffer noti, nikteb mistoqsijiet SQL ripetittivi, u nsemmi kollegi fuq Slack biex nipprova jirrikreja l-kuntest. kellu.
X'inhi l-problema?
Irrealizzajt li ħafna mill-ħbieb tiegħi ma kellhomx aċċess għal għodda bħal din. Ftit kumpaniji huma lesti li jiddedikaw riżorsi enormi għall-bini u ż-żamma ta 'għodda ta' pjattaforma bħal Dataportal. U filwaqt li hemm ftit soluzzjonijiet ta’ sors miftuħ, dawn għandhom tendenza li jkunu ddisinjati biex jitkabbru, u jagħmluha diffiċli biex jitwaqqaf u jinżamm mingħajr inġinier DevOps dedikat. Għalhekk iddeċidejt li noħloq xi ħaġa ġdida.
Balieni: Għodda stupidament sempliċi għall-iskoperta tad-dejta
U iva, b'sempliċi sal-punt ta 'stupidità, ngħid sempliċi sal-punt ta' stupidity. Il-balieni għandha biss żewġ komponenti:
- Librerija Python li tiġbor metadejta u tifformatjaha f'MarkDown.
- Interface tal-linja tal-kmand tas-sadid għat-tiftix minn din id-dejta.
Mil-lat tal-infrastruttura interna għall-manutenzjoni, hemm biss ħafna fajls ta 'test u programm li jaġġorna t-test. Dak hu, għalhekk hosting fuq server git bħal Github huwa trivjali. L-ebda lingwa ta' mistoqsija ġdida biex titgħallem, l-ebda infrastruttura ta 'ġestjoni, l-ebda backups. Kulħadd jaf il-Git, għalhekk is-sinkronizzazzjoni u l-kollaborazzjoni huma b'xejn. Ejja nagħtu ħarsa aktar mill-qrib lejn il-funzjonalità .
GUI sħiħa bbażata fuq git
Whale hija mfassla biex tgħum fl-oċean ta 'server git remot. Hu konfigurabbli: iddefinixxi xi konnessjonijiet, ikkopja l-iskrittura tal-Azzjonijiet Github (jew ikteb waħda għall-pjattaforma CI/CD magħżula tiegħek) u jkollok għodda tal-web għall-iskoperta tad-dejta minnufih. Int tkun tista' tfittex, tara, tiddokumenta u taqsam l-ispreadsheets tiegħek direttament fuq Github.
Eżempju ta 'stub table iġġenerat bl-użu ta' Github Actions. Demo tax-xogħol sħiħ .
Tfittxija CLI veloċi sajjetti tar-repożitorju tiegħek
Il-balieni tgħix u tieħu n-nifs fuq il-linja tal-kmand, u tipprovdi ħarsa qawwija, millisekondi fuq it-tabelli tiegħek. Anke b'miljuni ta 'tabelli, irnexxielna nagħmlu l-balieni b'rendiment oerhört billi nużaw xi mekkaniżmi ta' caching għaqlija u wkoll billi nbnew mill-ġdid il-backend f'Rut. Ma tinnota l-ebda dewmien fit-tfittxija [hello Google DS].
Demo tal-balieni, tfittxija tal-mejda ta' miljuni.
Kalkolu awtomatiku tal-metriċi [f'beta]
Waħda mill-affarijiet l-inqas favoriti tiegħi bħala xjenzat tad-dejta qed iwettaq l-istess mistoqsijiet għal darb'oħra biss biex tivverifika l-kwalità tad-dejta li qed tintuża. Whale jappoġġja l-abbiltà li tiddefinixxi metriċi f'SQL sempliċi li se jkunu skedati biex jaħdmu flimkien mal-pipelines tat-tindif tal-metadata tiegħek. Iddefinixxi blokka tal-metriċi YAML ġewwa t-tabella stub, u Whale se taħdem awtomatikament fuq skeda u tmexxi mistoqsijiet imdaħħla fil-metriċi.
```metrics
metric-name:
sql: |
select count(*) from table
```
Flimkien ma 'Github, dan l-approċċ ifisser li l-balieni jistgħu jservu bħala sors ċentrali faċli ta' verità għal definizzjonijiet metriċi. Whale saħansitra jiffranka l-valuri flimkien mal-timestamp fil-"~/. balieni/metriċi" jekk trid tagħmel xi charting jew riċerka aktar fil-fond.
Futur
Wara li tkellimna ma' utenti tal-verżjonijiet tagħna ta' qabel ir-rilaxx tal-balieni, indunajna li n-nies kellhom bżonn aktar funzjonalità. Għaliex għodda ta 'tfittxija ta' tabella? Għaliex mhux għodda għat-tiftix tal-metriċi? Għaliex ma monitoraġġ? Għaliex mhux għodda ta 'eżekuzzjoni ta' query SQL? Filwaqt li l-balieni v1 kien oriġinarjament maħsub bħala għodda sempliċi ta 'kumpann CLI Dataportal/Amundsen, diġà evolviet fi pjattaforma awtonoma b'karatteristika sħiħa, u nittamaw li ssir parti integrali mill-għodda tad-Data Xjentist.
Jekk hemm xi ħaġa li trid tara fil-proċess ta 'żvilupp, ingħaqad tagħna , tiftaħ Kwistjonijiet fi , jew saħansitra ikkuntattja direttament . Diġà għandna numru ta' karatteristiċi tajbin - mudelli Jinja, bookmarks, filtri ta' tfittxija, twissijiet Slack, integrazzjoni ta' Jupyter, anke dashboard CLI għall-metriċi - iżda nixtiequ l-kontribut tiegħek.
Konklużjoni
Whale huwa żviluppat u miżmum minn Dataframe, startup li reċentement kelli l-pjaċir li nikkofunda ma' nies oħra. Filwaqt li l-balieni huwa magħmul għax-xjentisti tad-dejta, id-Dataframe huwa magħmul għax-xjentisti tad-dejta. Għal dawk minnkom li jixtiequ jikkollaboraw aktar mill-qrib, tħossok liberu li aħna nżiduk mal-lista ta' stennija.
U permezz ta 'kodiċi promo HABR, tista' tikseb 10% addizzjonali għar-roħs indikat fuq il-banner.
Aktar korsijiet
Artikoli Dehru
Sors: www.habr.com