Atik sa a pale sou zouti dekouvèt done ki pi senp ak pi rapid, travay ou wè sou KDPV. Enteresan, balèn fèt pou yo òganize sou yon sèvè git aleka. Detay anba koupe a.
Kijan Zouti Dekouvèt Done Airbnb la te chanje lavi mwen
Nan karyè mwen, mwen te gen plezi pou m travay sou kèk pwoblèm amizan: mwen te etidye matematik flux pandan m t ap fè diplòm nan MIT, mwen te travay sou modèl incrémentielle, ak yon pwojè sous louvri. nan Wayfair, ak aplike nouvo modèl vize paj dakèy ak amelyorasyon CUPED nan Airbnb. Men, tout travay sa a pa t janm selèb—an reyalite, mwen souvan te pase pifò tan m ap chèche, fè rechèch ak valide done yo. Malgre ke sa a te yon eta konstan nan travay, li pa t 'rive nan tèt mwen ke sa a te yon pwoblèm jiskaske mwen te rive nan Airbnb kote li te rezoud ak yon zouti dekouvèt done - .
Ki kote mwen ka jwenn {{done}}? dataportal.
Kisa kolòn sa a vle di? dataportal.
Ki jan {{metric}} ye jodi a? dataportal.
Ki sa ki se yon sans lavi? NAN dataportal, pwobableman.
Oke, ou te prezante foto a. Jwenn done ak konprann sa sa vle di, ki jan yo te kreye yo ak ki jan yo sèvi ak li tout pran jis kèk minit, pa èdtan. Mwen te kapab pase tan m 'desine konklizyon senp, oswa nouvo algoritm, (... oswa reponn kesyon o aza sou done yo), olye ke fouye nan nòt, ekri demann SQL repete, ak mansyone kòlèg sou Slack pou eseye ak rkree kontèks ke yon lòt moun deja. te genyen.
Ki pwoblèm nan?
Mwen reyalize ke pi fò nan zanmi m yo pa t gen aksè a yon zouti konsa. Gen kèk konpayi ki vle konsakre gwo resous pou konstwi ak kenbe yon zouti platfòm tankou Dataportal. Epi pandan ke gen kèk solisyon sous louvri, yo gen tandans yo dwe fèt pou echèl, sa ki fè li difisil pou mete kanpe ak kenbe san yon enjenyè DevOps devwe. Se konsa, mwen deside kreye yon bagay nouvo.
Balèn: Yon zouti dekouvèt done estipid senp
Epi wi, pa estipid senp mwen vle di estipid senp. Balèn nan gen sèlman de eleman:
- Yon bibliyotèk Python ki kolekte metadata ak fòma li nan MarkDown.
- Rust koòdone liy lòd pou chèche nan done sa yo.
Soti nan pwen de vi nan enfrastrikti entèn la pou antretyen, gen sèlman yon anpil nan dosye tèks ak yon pwogram ki mete ajou tèks la. Sa a li, kidonk hosting sou yon sèvè git tankou Github se trivial. Pa gen nouvo lang rechèch pou aprann, pa gen enfrastrikti jesyon, pa gen okenn sovgad. Tout moun konnen Git, kidonk senkronizasyon ak kolaborasyon gratis. Ann pran yon gade pi pre nan fonksyonalite a .
Tout chin an tap entèfas ki baze sou git
Balèn fèt pou naje nan oseyan an nan yon sèvè git aleka. Li configurable: defini kèk koneksyon, kopye script Github Actions (oswa ekri youn pou platfòm CI/CD ou chwazi a) epi w ap gen yon zouti entènèt dekouvèt done touswit. Ou pral kapab fè rechèch, gade, dokimante ak pataje fèy kalkil ou yo dirèkteman sou Github.
Yon egzanp yon tab souch ki te pwodwi lè l sèvi avèk Github Actions. Demo konplè k ap travay .
Rechèch CLI rapid zèklè pou depo ou a
Balèn ap viv ak respire sou liy lòd la, li bay pwisan, rechèch milisgond atravè tab ou yo. Menm ak dè milyon de tab, nou jere fè balèn ekstrèmman pèfòmans lè nou itilize kèk mekanis kachèt entelijan epi tou pa rebati backend la nan Rust. Ou p ap remake okenn reta rechèch [bonjou Google DS].
Balèn Demo, milyon dola rechèch tab.
Kalkil otomatik nan mezi [nan beta]
Youn nan pi piti bagay mwen pi renmen yo kòm yon syantis done ap kouri menm demann yo sou yo ak sou ankò jis tcheke bon jan kalite a nan done yo te itilize yo. Whale sipòte kapasite pou defini mezi nan SQL plenn ki pral pwograme pou kouri ansanm ak tiyo netwayaj metadata ou yo. Defini yon blòk metrik YAML andedan tab la, epi Whale pral otomatikman kouri sou yon orè epi kouri demann enbrike nan metrik.
```metrics
metric-name:
sql: |
select count(*) from table
```
Konbine ak Github, apwòch sa a vle di balèn ka sèvi kòm yon sous santral laverite fasil pou definisyon metrik. Whale menm sove valè yo ansanm ak timestamp la nan "~/. balèn/metrik" si ou vle fè kèk graphiques oswa plis rechèch apwofondi.
Future
Apre nou fin pale ak itilizatè yo nan vèsyon pre-lage nou yo nan balèn, nou reyalize ke moun te bezwen plis fonksyonalite. Poukisa yon zouti rechèch tab? Poukisa pa yon zouti rechèch metrik? Poukisa nou pa kontwole? Poukisa pa yon zouti ekzekisyon rechèch SQL? Pandan ke balèn v1 te orijinèlman vin ansent kòm yon senp zouti konpayon CLI Dataportal/Amundsen, li te deja evolye nan yon platfòm otonòm konplè, e nou espere ke li pral vin yon pati entegral nan bwat zouti Data Scientist la.
Si gen yon bagay ou vle wè nan pwosesis devlopman an, rantre nan nou an , louvri Pwoblèm nan oswa menm kontakte dirèkteman . Nou deja gen yon kantite karakteristik enteresan - modèl Jinja, Bookmarks, filtè rechèch, alèt Slack, entegrasyon Jupyter, menm yon tablodbò CLI pou mezi - men nou ta renmen opinyon ou.
Konklizyon
Whale devlope ak konsève pa Dataframe, yon demaraj ke mwen dènyèman te gen plezi nan ko-fonde ak lòt moun. Pandan ke balèn fèt pou syantis done yo, Dataframe fèt pou syantis done yo. Pou moun nan nou ki vle kolabore pi sere, santi yo lib nou pral ajoute ou nan lis datant la.
Ak pa kòd promo HABR, ou ka jwenn yon lòt 10% nan rabè ki endike sou banyè a.
Plis kou
Atik ki prezante yo
Sous: www.habr.com