Artikulu honek datuak aurkitzeko tresna erraz eta azkarrenari buruz hitz egiten du, KDPVn ikusten duzun lana. Interesgarria da whale urruneko git zerbitzari batean ostatatzeko diseinatuta dago. Xehetasunak ebaki azpian.
Airbnb-en datuak aurkitzeko tresnak nola aldatu zuen nire bizitza
Nire karreran, zortea izan dut arazo dibertigarri batzuk lantzeko: fluxu-matematika ikasi nuen MIT-en gradua egiten nuen bitartean, eredu inkrementaletan lan egin nuen eta kode irekiko proiektu batekin. Wayfair-en, eta hasierako orria bideratzeko eredu berriak eta CUPED hobekuntzak ezarri zituen Airbnb-en. Baina lan hori guztia ez zen inoiz dotorea izan; izan ere, askotan pasatzen nuen denbora gehiena datuak bilatzen, ikertzen eta balioztatzen. Lanean etengabeko egoera izan arren, ez zitzaidan bururatu arazo bat zenik Airbnb-ra iritsi arte, non datuak aurkitzeko tresna batekin konpondu zen - .
Non aurki ditzaket {{datuak}}? datu-ataria.
Zer esan nahi du zutabe honek? datu-ataria.
Zer moduz dago gaur {{metric}}? datu-ataria.
Zer da bizitzaren zentzua? IN datu-ataria, ziurrenik.
Ados, argazkia aurkeztu duzu. Datuak aurkitzea eta zer esan nahi duten, nola sortu den eta nola erabili dena ulertzea minutu gutxi batzuk besterik ez dira behar, ez orduak. Denbora pasa nezake ondorio errazak ateratzen, edo algoritmo berriak ateratzen (... edo datuei buruzko ausazko galderei erantzuten), oharrak arakatzen, SQL kontsulta errepikakorrak idazten eta Slack-eko lankideak aipatu beharrean, testuingurua birsortzen saiatzeko. izan.
Zein da arazoa?
Konturatu nintzen nire lagun gehienek ez zutela horrelako tresnarik sarbiderik. Enpresa gutxi daude prest Dataportal bezalako plataforma tresna bat eraikitzeko eta mantentzeko baliabide handiak emateko. Eta kode irekiko irtenbide batzuk dauden arren, eskalatzeko diseinatuta egon ohi dira, eta DevOps ingeniari dedikaturik gabe konfiguratzea eta mantentzea zaila da. Beraz, zerbait berria sortzea erabaki nuen.
Balea: datuak aurkitzeko tresna ergelki sinplea
Eta bai, ergelki sinplearekin esan nahi dut ergelki sinplea. Baleak bi osagai baino ez ditu:
- Metadatuak bildu eta MarkDown-en formateatzen dituen Python liburutegia.
- Rust komando-lerroko interfazea datu hauen bidez bilatzeko.
Mantentze-lanetarako barne azpiegituraren ikuspuntutik, testu-fitxategi asko eta testua eguneratzen duen programa bat besterik ez dago. Hori da, beraz, Github bezalako git zerbitzari batean ostatzea hutsala da. Ez da ikasteko kontsulta-lengoaia berririk, ez kudeaketa azpiegiturarik, ez babeskopiarik. Guztiek ezagutzen dute Git, beraz, sinkronizazioa eta elkarlana doakoak dira. Ikus ditzagun funtzionaltasuna hurbilagotik .
Git oinarritutako GUI ezaugarri osoa
Whale urruneko git zerbitzari baten ozeanoan igeri egiteko diseinatuta dago. Berak konfiguragarria: definitu konexio batzuk, kopiatu Github Actions script-a (edo idatzi bat aukeratu duzun CI/CD plataformarako) eta datuak aurkitzeko web tresna bat izango duzu berehala. Zure kalkulu-orriak zuzenean bilatu, ikusi, dokumentatu eta partekatu ahal izango dituzu Github-en.
Github Actions erabiliz sortutako zirriborro-taula baten adibidea. Lan-demo osoa .
Zure biltegirako CLI bilaketa azkarra
Whale komando-lerroan bizi eta arnasten du, eta milisegundoko bilaketa indartsuak eskaintzen ditu zure tauletan. Milioika mahai izanda ere, whale ikaragarri eraginkorra izatea lortu genuen cacheko mekanismo adimentsu batzuk erabiliz eta baita Rust-en backend-a berreraikiz. Ez duzu bilaketa-atzerapenik nabarituko [kaixo Google DS].
Whale demoa, milioi bat taularen bilaketa.
Neurrien kalkulu automatikoa [beta]
Datu-zientzialari gisa gutxien gustatzen zaidan gauza bat kontsulta berdinak behin eta berriro egitea da erabiltzen ari diren datuen kalitatea egiaztatzeko. Whale-k zure metadatuak garbitzeko kanalizazioekin batera exekutatzeko programatutako SQL arruntean neurketak definitzeko gaitasuna onartzen du. Definitu YAML metrics bloke bat zirriborro-taularen barruan, eta Whale-k automatikoki programazio batean exekutatu eta metriketan habiaratuta dauden kontsultak egingo ditu.
```metrics
metric-name:
sql: |
select count(*) from table
```
Github-ekin konbinatuta, ikuspegi honek esan nahi du baleak egiaren iturri zentral erraz gisa balio dezakeela definizio metrikoetarako. Whale-k balioak denbora-zigiluarekin batera gordetzen ditu "~/. whale/metrics" grafikoren bat edo ikerketa sakonagoa egin nahi baduzu.
etorkizunean
Whale-ren kaleratu aurreko bertsioen erabiltzaileekin hitz egin ondoren, jendeak funtzionalitate gehiago behar zuela konturatu ginen. Zergatik mahaiak bilatzeko tresna? Zergatik ez metrika bilatzeko tresna bat? Zergatik ez monitorizazioa? Zergatik ez SQL kontsulta exekutatzeko tresna bat? Whale v1 jatorriz CLI tresna lagungarri gisa sortu zen bitartean Dataportal/Amundsen, dagoeneko ezaugarri osoko plataforma autonomo batean eboluzionatu da, eta Data Scientist-en tresna-tresnaren osagai bihurtuko dela espero dugu.
Garapen prozesuan ikusi nahi baduzu zerbait, sartu gure , ireki gaiak helbidean edo zuzenean harremanetan jarri ere . Dagoeneko baditugu hainbat funtzio polit: Jinja txantiloiak, laster-markak, bilaketa-iragazkiak, Slack alertak, Jupyter integrazioa, baita neurgailuetarako CLI panel bat ere, baina zure ekarpena gustatuko litzaiguke.
Ondorioa
Whale Dataframe-k garatu eta mantentzen du, duela gutxi beste pertsona batzuekin batera sortzeko plazerra izan dudan startup bat. Balea datu-zientzialarientzat egina dagoen bitartean, Dataframe datu-zientzialarientzat egina dago. Elkarlan estuagoa egin nahi duzuenontzat, anima zaitez itxaron zerrendan sartuko zaitugu.
Eta promozio kodearen bidez HABR, pankartan adierazitako deskontuaren %10 gehigarria lor dezakezu.
Ikastaro gehiago
Artikulu aipagarriak
Iturria: www.habr.com