Selles materjalis käsitletakse lihtsat ja kiiret andmete avastamise tööriista, mille toimimist näete KDPV-l. Huvitav on, et whale on loodud paigutuma kaugserveri git-ees. Üksikasjad allpool.
Kuidas andmete avastamise tööriist Airbnb mu elu muutis
Oma karjääri jooksul olen saanud võimaluse töötada mitmete huvitavate probleemide kallal: õppisin MITis voogude matemaatikat, töötasin inkrementaalsete mudelite ja avatud koodiga projekti kallal Wayfairis, samuti rakendasin uusi sihtimise mudeleid avalehe jaoks ja täiustasin CUPED-i Airbnb-s. Kuid kogu see töö ei ole kunagi olnud glamuurne — tegelikult kulutasin sageli suure osa ajast andmete leidmisele, uurimisele ja kontrollimisele. Kuigi see oli pidev seisund tööl, ei tulnud mul kunagi pähe, et see probleem oleks, kuni jõudsin Airbnb-sse, kus see lahendati andmete avastamise tööriista abil — .
Kus ma saan leida {{data}}? Dataportal.
Mida see veerg tähendab? Dataportal.
Kuidas läheb {{metric}} täna? Dataportal.
Milline on elu mõte? See on Dataportal, tõenäoliselt.
Noh, sa esitasite pildi. Andmete leidmine ja mõistmine, kuidas need on loodud ja kuidas neid kasutada — see võtab aega vaid mõned minutid, mitte tunde. Ma võiksin oma aega veeta lihtsate järelduste tegemiseks või uute algoritmide leidmiseks, (…) või andmete juhuslikele küsimustele vastamiseks, mitte märkmete läbivaatamiseks, korduvate SQL-päringute koostamiseks ja kolleegide Slacki märkimiseks, et proovida taastada konteksti, mis juba kellegi teise käes oli.
Mis probleem siis on?
Mõistsin, et enamik mu sõpradest ei saanud sellisele tööriistale ligi. Vähe ettevõtteid on valmis panustama suuri ressursse sellise platvormi nagu Dataportal loomisse ja hooldamisse. Ja kuigi avatud lähtekoodiga lahendusi on, on need üldjuhul loodud skaleerimise jaoks, mis teeb nende kohandamise ja hooldamise ilma spetsiaalse DevOps-insenerita keeruliseks. Seetõttu otsustasin luua midagi uut.
Whale: naeruväärselt lihtne andmete avastamise tööriist
Ja jah, kui ma ütlen, et naeruväärselt lihtne, siis mõtlen ma seda päriselt. Whale'il on vaid kaks komponenti:
- Python'i teekond, mis kogub metaandmeid ja vormindab need MarkDown'i formaati.
- Rust'i käsurealiides, et otsida neid andmeid.
Sisese infrastruktuuri osas on olemas ainult hulk tekstifaile ja neid uuendav tekstiprogramm. See on kõik, seega on serveris, nagu Github, majutamine triviaalne. Pole uut päringukeelt, mida õppida, pole haldusinfrastruktuuri, pole varukoopiaid. Git on kõigile tuttav, nii et sünkroniseerimine ja koostöö on tasuta. Uurime funktsionaalsust lähemalt. .
Täisfunktsionaalne graafiline liides git'i alusel.
Whale on loodud, et ujutada git'i kaugserveri ookeanis. Ta konfigureerida: määrake mõned ühendused, kopeerige Github Actions'i skript (või kirjutage see valitud CI/CD platvormi jaoks) — ja saate koheselt veebitööriista andmete avastamiseks. Saate otsida, vaadata, dokumenteerida ja jagada oma tabeleid otse Github'is.
Näide Github Actions'i abil genereeritud kohatabelist. Täis töötavat demonstreerimist. .
Välkkiire otsing CLI kaudu teie salvestuses
Whale elab ja hingab käsureas, pakkudes funktsionaalset, millisekundilist otsingut teie tabelites. Isegi miljonite tabelite puhul oleme suutnud whale'i uskumatult jõudluse saavutada, kasutades nutikaid vahemälu mehhanisme ja ümberehitades tagaplaani Rustis. Te ei märka otsingu viivitust [tere, Google DS].
Whale'i demo, otsimine miljonist tabelist.
Automaatne mõõdikute arvutamine [betoos]
Üks minu lemmik asju andmeuurijana on see, et pean jooksutama samu päringuid korduvalt, et vaid kontrollida kasutatavate andmete kvaliteeti. Whale toetab mõõdikute määratlemise võimalust lihtsas SQL-is, mis täidetakse ajakavaga koos teie metaandmete puhastamise voogudega. Määrake metrics plokk YAML formaadis tabeli pistikprogrammi sisse ja Whale täidetakse automaatselt ajakava alusel ja käivitab metrics'i päringud.
```metrics
metric-name:
sql: |
select count(*) from table
``` 
Koos Githubiga tähendab see lähenemine, et whale võib olla kerge keskne tõepärasuse allikas mõõdikute määratlemiseks. Whale salvestab isegi väärtused koos ajatempli märkega katalooge »~/. whale/metrics«, kui soovite luua mõnda graafikut või sügavamat uurimist.
Tulevik
Rääkides meie eelversioonide whale kasutajatega, saime teada, et inimestele on vajalik laiem funktsionaalsus. Miks just tabeliotsingu tööriist? Miks mitte mõõdikute otsingu tööriist? Miks mitte jälgimise tööriist? Miks mitte SQL-päringute teostamise tööriist? Kuigi whale v1 algselt mõeldi lihtsalt CLI kaaslane tööriistana, Dataportal/Amundsen, on see juba muutunud täisfunktsionaalseks autonoomseks platvormiks ja loodame, et see saab olema asendamatu osa andeteaduri tööriistakastist.
Kui on midagi, mida soovite arenduse käigus näha, liituge meie , avage Issues leht , või isegi pöörduda otse . Meil on juba palju huvitavaid funktsioone — Jinja mallid, järjehoidjad, otsingufiltrid, Slacki teavitused, integreerimine Jupyteriga, isegi CLI paneel mõõdikute jaoks — kuid me oleme rõõmsad teie panuse üle.
Kokkuvõte
Whale on välja töötatud ja seda toetab Dataframe, idufirma, mille asutamisega mul oli hiljuti hea meel koos teistega tegeleda. Kui Whale on loodud andmetöötlejatele, siis Dataframe on mõeldud andmehalduse meeskondadele. Neile, kes soovivad tihedamat koostööd — ärge kartke , me lisame teid ootejärjekorda.
Ja sooduskoodi HABR, saab lisada veel 10% soodustust reklaamitud hinnale.
Rohkem kursusi
Soovitatud artiklid
Allikas: habr.com
