Ky ky artikull flitet për një mjet të thjeshtë dhe të shpejtë për zbulimin e të dhënave, punën e të cilit e shihni në KDPV. E interesante është se whale është krijuar në një mënyrë që të vendoset në një server git të distancuar. Detajet janë më poshtë.
Si mjeti i zbulimit të të dhënave Airbnb më ndryshoi jetën
Në karrierën time kam pasur fatin të punoj mbi disa probleme interesante: kam studiuar matematikën e rrjedhave gjatë marrjes së diplomës në MIT, kam punuar mbi modele inkrementale dhe me një projekt me burim të hapur, në Wayfair, si dhe kam zbatuar modele të reja targetimi në faqen kryesore dhe përmirësime CUPED në Airbnb. Por gjithë kjo punë kurrë nuk ka qenë e glamurshme - në të vërtetë, shpesh kam kaluar pjesën më të madhe të kohës sime duke kërkuar, studiuar dhe verifikuar të dhënat. Edhe pse kjo ishte një gjendje e vazhdueshme në punë, nuk më kaloi mendja se ishte një problem derisa arrita në Airbnb, ku u zgjidh me ndihmën e mjetit të zbulimit të të dhënave - .
Ku mund ta gjej {{data}}? Dataportal.
ĂfarĂ« do tĂ« thotĂ« kĂ«to kolonĂ«? Dataportal.
Si po shkon {{metric}} sot? Dataportal.
Cili është kuptimi i jetës? Në Dataportal, ndoshta.
Mirë, ju e paraqitët skenën. Të gjesh të dhënat dhe të kuptosh çfarë do të thotë, si janë krijuar dhe si t'i përdorësh - e gjithë kjo merr vetëm disa minuta, jo orë. Mund të harxhoja kohën time duke bërë përfundime të thjeshta, ose duke punuar në algoritme të reja, (⊠ose përgjigje për pyetje të rastësishme rreth të dhënave), e jo duke kërkuar në shënime, duke shkruar kërkesa SQL të përsëritura dhe duke përmendur kolegë në Slack për të përpjekur të ripërfitoj kontekstin që tashmë kishte dikush tjetër.
Por çfarë është problemi?
E kuptova se shumica e miqve të mi nuk kishin qasje në një mjet të tillë. Pak kompani dëshirojnë të investojnë burime të mëdha në krijimin dhe mbështetje e një platforme si Dataportal. Dhe edhe pse ekzistojnë disa zgjidhje me burim të hapur, ato zakonisht janë të dizajnuara për të shkallëzuar, që e bën të vështirë konfigurimin dhe mirëmbajtjen pa një inxhinier DevOps të dedikuar për këtë punë. Prandaj vendosa të krijoj diçka të re.
Whale: një mjet zbulimi të dhënash aq i thjeshtë sa që bëhet budallallëk
Dhe po, me të thjeshtë aq sa bëhet budallallëk nënkuptoj të thjeshtë aq sa bëhet budallallëk. Whale ka vetëm dy komponentë:
- Një bibliotekë Python që mbledh meta-të dhëna dhe i formaton ato në MarkDown.
- Miren e komandës Rust për kërkimin në këto të dhëna.
Nga këndvështrimi i infrastrukturës së brendshme për mirëmbajtjen, ka vetëm një sërë fichiers tekstesh dhe një program që i përditëson ato. Kjo është e gjitha, prandaj hostimi në një server git, si Github, është triviale. Asnjë gjuhë e re kërkese për të mësuar, asnjë infrastrukturë menaxhimi, asnjë kopje rezervë. Git është i njohur nga të gjithë, kështu që sinkronizimi dhe bashkëpunimi vijnë falas. Le të hedhim një vështrim më të detajuar në funksionalitetin. .
Një ndërfaqe grafike e plotë e bazuar në git
Whale Ă«shtĂ« krijuar pĂ«r tĂ« notuar nĂ« oqeanin e njĂ« serveri tĂ« largĂ«t git. Ai pĂ«r t'u konfiguruar: pĂ«rcaktoni disa lidhje, kopjoni skriptin Github Actions (ose shkruajeni pĂ«r platformĂ«n tuaj tĂ« zgjedhur CI/CD) â dhe menjĂ«herĂ« keni njĂ« mjet ueb pĂ«r zb discovery e tĂ« dhĂ«nave. Do tĂ« keni mundĂ«si tĂ« kĂ«rkoni, shikoni, dokumentoni dhe ndani tabelat tuaja drejtpĂ«rdrejt nĂ« Github.
Shembuj i tabelave të krijuara me Github Actions. Për një demonstrim të plotë .
Kërkim i shpejtë si rrufe nga CLI në depozitën tuaj
Whale jeton dhe merr frymë në komandën e linjës, duke ofruar një kërkim funksional, në millisekonda në tabelat tuaja. Edhe me miliona tabela, kemi arritur të bëjmë whale jashtëzakonisht të performuar, duke përdorur disa mekanizma strategjikë për caching, si dhe duke rindërtuar backend-in në Rust. Nuk do të ndjeni asnjë vonesë kërkimi [përshëndetje, Google DS].
Demonstrimi i whale, kërkimi në një milion tabela.
Llogaritja automatike e metrikave [në beta]
Një nga gjërat që më pëlqejnë më pak si një shkencëtar i të dhënave është përsëritja e të njëjtave kërkesa përsëri dhe përsëri thjesht për të verifikuar cilësinë e të dhënave që po përdoren. Whale mbështet mundësinë për të përcaktuar metrika në një SQL të thjeshtë, të cilat do të ekzekutohen sipas një programi së bashku me tubat tuaj të pastrimit të metadave. Përcaktoni bllokun e metrikave në formatin YAML brenda tabelës së provës, dhe Whale do të ekzekutohet automatikisht sipas një programi dhe do të ekzekutojë kërkesat e përfshira në metrika.
```metrics
metric-name:
sql: |
select count(*) from table
``` 
Në kombinim me Github, ky qasje do të thotë se whale mund të shërbejë si një burim i lehtë qendror për përcaktimin e metrikeve. Whale madje ruan vlerat me etiketën e kohës në katalogun»~\/ whale\/metrics», nëse dëshironi të bëni ndonjë grafik ose hulumtim më të thellë.
E ardhmja
Pas bisedave me përdoruesit e versioneve tona para-lançim të whale, kuptuam se njerëzit kishin nevojë për funksionalitete më të gjera. Pse pikërisht një mjet kërkimi tabelar? Pse jo një mjet kërkimi metrike? Pse jo monitorim? Pse jo një mjet për ekzekutimin e pyetjeve SQL? Ndërsa whale v1 fillimisht u konceptua si një mjet i thjeshtë shoqërues CLI Dataportal\/Amundsen, ai tashmë është transformuar në një platformë autonome të plotë për funksionalitetin, dhe shpresojmë se do të bëhet një pjesë e pandarë e mjeteve të shkencëtarëve të të dhënave.
NĂ«se ka diçka qĂ« dĂ«shironi tĂ« shihni nĂ« procesin e zhvillimit, bashkohuni me , hapni Issues nĂ« , ose madje kontaktoni drejtpĂ«rdrejt nĂ« . Ne tashmĂ« kemi njĂ« numĂ«r tĂ« madh funksionesh interesante â shabllone Jinja, shenjĂ«zime, filtre tĂ« kĂ«rkimit, njoftime Slack, integrim me Jupyter, madje edhe njĂ« panel CLI pĂ«r metrike â por do tĂ« ishim tĂ« lumtur pĂ«r kontributin tuaj.
PĂ«rfundim
Whale zhvillohet dhe mbĂ«shtetet nga Dataframe, njĂ« startup qĂ« unĂ« sapo kam pasur kĂ«naqĂ«sinĂ« ta themeloj sĂ« bashku me disa njerĂ«z tĂ« tjerĂ«. NdĂ«rsa whale Ă«shtĂ« krijuar pĂ«r profesionistĂ«t e tĂ« dhĂ«nave, Dataframe Ă«shtĂ« pĂ«r ekipet e trajtimit tĂ« tĂ« dhĂ«nave. PĂ«r ata nga ju qĂ« dĂ«shirojnĂ« tĂ« bashkĂ«punojnĂ« mĂ« ngushtĂ« â mos ngurroni , ne do t'ju shtojmĂ« nĂ« listĂ«n e pritjes.
Dhe me kodin promocional HABR, mund të merrni 10% zbritje të mëtejshme mbi zbritjen që është e treguar në banner.
Kurse të tjera
Artikuj të rekomanduar
Burimi: habr.com
