🥇Kuidas lihtsalt ja kiiresti leida andmeid Whale'i abil

Selles materjalis räägitakse lihtsast ja kiirest andmete avastamise vahendist, mille tööd näete KDPV-s. Huvitav, et whale on loodud nõnda, et see paigutatakse kaugserverisse git. Üksikasjad allpool.

Kuidas andmete avastamise tööriist Airbnb-s muutis mu elu

Oma karjääri jooksul on mul olnud õnne töötada mõne lõbusa probleemiga: õppisin voogude matemaatikat, kui omandasin kraadi MIT-s, töötasin inkrementaalsete mudelite kallal ja avatud lähtekoodiga projektiga pylift Wayfairis ja rakendasin uusi sihtimistulemusi peamenüüs ning CUPEDi täiendusi Airbnb-s. Kuid kogu see töö ei olnud kunagi glamuurne — tegelikult veetsin sageli suurema osa oma ajast andmete otsimise, uurimise ja kontrollimisega. Kuigi see oli pidev olek tööl, ei tulnud mul pähe, et see oleks probleem, kuni ma sattusin Airbnb-sse, kus see lahendati andmete avastamise tööriista abil — Dataportal.

Kus ma saan leida {{data}}? Dataportal.
Mida tähendab see veerg? Dataportal.
Kuidas läheb {{metric}} täna? Dataportal.
Mis on elu mõte? Dataportal, võib-olla.

Olgu, sa andsid pildi. Andmete leidmine ja arusaamine, mida nad tähendavad, kuidas need loodi ja kuidas neid kasutada — see kõik võtab vaid paar minutit, mitte tunde. Ma oleksin võinud oma aega kasutada lihtsalt järelduste tegemiseks või uute algoritmide väljatöötamiseks (… või vastamiseks juhuslikele andmeküsimustele), mitte kaevumiseks märkmetes, korduvate SQL-päringute kirjutamiseks ja kolleegide mainimiseks Slackis, et proovida rekonstrueerida konteksti, mis juba kellelgi teisel oli.

Mis on probleem?

Mõistsin, et enamik mu sõpradest ei olnud sellisele tööriistale juurdepääsu saanud. Harvadel ettevõtetel on soov investeerida tohutult ressursse sellise tööriista platvormi loomisse ja toetamisesse nagu Dataportal. Ja kuigi on olemas mõningaid avatud lähtekoodiga lahendusi, on need enamasti välja töötatud skaleeritavusele, mis muudab nende seadistamise ja hooldamise keeruliseks ilma sellele pühendatud DevOpsi insenerita. Seetõttu otsustasin luua midagi uut.

Whale: lihtne rumalusteni viiv andmete avastamise tööriist

Ja jah, lihtne rumalusteni tähendab lihtsalt rumalusteni. Whalel on ainult kaks komponenti:

Python'i teek, mis kogub metaandmeid ja vormindab need MarkDownis.
Rusti käsurea liides andmete otsimiseks.

Sisese infrastruktuuri osas on olemas ainult hulk tekstifailide ja värskendavat tekstiprogrammi. See on kõik, seega on Git-serveris, näiteks Githubis, majutamine triviaalne. Ei mingit uut päringute keelt, mida õppida, ei mingit haldusinfrastruktuuri, ei mingit varundamist. Git on tuntud kõigile, nii et sünkroniseerimine ja koostöö on tasuta. Vaatame lähemalt funktsionaalsust. Whale v1.0.

Täiesti funktsionaalne graafiline liides Git'i põhjal.

Whale on loodud ujuvaks Git'i kaugserveri ookeanis. See on äärmiselt lihtne konfigureerida: seadke üles mõned ühendused, kopeerige Github Actions'i skript (või kirjutage see arvutite CI/CD valitud platvormi jaoks) — ja saate kohe veebitööriista andmete avastamiseks. Saate otsida, vaadata, dokumenteerida ja jagada oma tabeleid otse Githubis.

Näide Github Actions'i abil genereeritud vale tabelist. Täielikku töödemot vaadake selles osas..

Äärmiselt kiire otsing CLI kaudu teie hoidlas.

Whale elab ja hingab käsureas, pakkudes funktsionaalset, millisekundilise reageerimisega otsingut teie tabelites. Isegi miljonite tabelitega oleme suutnud whale’i äärmiselt tõhusaks muuta, kasutades nutikaid vahemälu mehhanisme ja ehitades tagakülje Rustis. Te ei märka otsingu viivitust [tere, Google DS].

Whale'i demo, miljoni tabeli otsimine.

Automaatne mõõdikute arvutamine [beta versioonis]

Üks mu vähem lemmik asju andmete teadlase ja uurijana on sama päringu pidev käivitamine, et lihtsalt kontrollida kasutatavate andmete kvaliteeti. Whale toetab võimalust määrata mõõdikud lihtsas SQL-is, mida käitatakse ajakava alusel koos teie metaandmete puhastamise torudega. Määrake yaml formaadis mõõdikute plokk vale tabelis, ja Whale käivitub automaatselt ajakava järgi ning käivitab metrics'idesse sisestatud päringud.

```metrics
metric-name:
  sql: |
    select count(*) from table
```

Koos koos Githubiga tähendab see lähenemine, et whale saab toimida lihtsa keskse tõeallikana metrikate määratlemiseks. Whale salvestab isegi väärtused koos ajatempli märkega katalooge»~\/whale\/metrics», kui soovite luua graafiku või teha süvitsi minevaid uuringuid.

Tulevik

Kuna rääkisime meie eelreklaami versioonide kasutajatega, mõistsime, et inimestele on vajalik laiem funktsionaalsus. Miks siis tabelite otsingu tööriist? Miks mitte metrikate otsingu tööriist? Miks mitte jälgimine? Miks mitte SQL päringute täitmise tööriist? Kuigi whale v1 oli algselt mõeldud kui lihtne CLI kaaslane. Dataportal\/Amundsen, on see juba muutunud täisfunktsionaalseks autonoomseks platvormiks ja loodame, et see saab oluliseks osaks andeteaduri tööriistade komplektist.

Kui on midagi, mida soovite arendamisprotsessi näha, liituge meie Slacki kogukonnaga, avage Issues leht Github, või isegi võtke meiega otse ühendust LinkedIn. Meil on juba terve hulk huvitavaid funktsioone — Jinja mallid, järjehoidjad, otsingufiltrid, Slacki teavitused, integreerimine Jupyteriga, isegi CLI paneel metrikate jaoks — aga me oleksime rõõmsad teie panuse üle.

Kokkuvõte

Whale arendab ja toetab Dataframe, käivitus, millel mul oli hiljuti hea meel asutada koos teistega. Kui whale on loodud andmete töötlemise spetsialistide jaoks, on Dataframe mõeldud andmete töötlemise meeskondadele. Neile teist, kes soovite tihedamat koostööd — ärge kartke meie poole pöörduda, me lisame teid ootenimistesse.

Ja sooduskoodi HABR, saavad lisaks saada veel 10% allahindlust, mis on reklaamlindil.