Boitsebiso bona bo hlalosa sesebelisoa se bonolo le se potlakileng sa ho sibolla data, mosebetsi oo u o bonang ho KDPV. Ho khahlisang, leruarua le etselitsoe ho ts'oaroa ho seva sa git se hole. Lintlha tlas'a sehiloeng.
Kamoo Airbnb's Data Discovery Tool e Fetotseng Bophelo ba Ka
Ke bile lehlohonolo la ho sebetsana le mathata a monate mosebetsing oa ka: Ke ithutile lipalo tsa thread ha ke ntse ke fumana lengolo la ka MIT, ke sebetsa mefuteng e ntseng e eketseha le morero o bulehileng oa mohloli. Wayfair, hammoho le ho kenya ts'ebetsong mefuta e mecha ea maqephe a lehae le lintlafatso tsa CUPED ho Airbnb. Empa ha ho mohla mosebetsi ona o kileng oa ba monate - ha e le hantle, hangata ke ne ke qeta boholo ba nako ea ka ke batla, ke ithuta le ho netefatsa lintlha. Le hoja sena e ne e le boemo bo sa khaotseng mosebetsing, ha kea ka ka nahana hore sena e ne e le bothata ho fihlela ke fihla Airbnb, moo e ileng ea rarolloa ka sesebelisoa sa ho sibolla lintlha - .
Nka fumana {{data}} hokae? Dataportal.
Karolo ee e bolela'ng? Dataportal.
{{metric}} e phela joang kajeno? Dataportal.
Boikutlo ba bophelo ke eng? IN Dataportal, mohlomong.
Ho lokile, u se u fumane setšoantšo. Ho fumana data le ho utloisisa hore na e bolela eng, e bōpiloe joang, le mokhoa oa ho e sebelisa kaofela ho nka metsotso, eseng lihora. Nka qeta nako ea ka ke etsa likhakanyo tse bonolo, kapa li-algorithms tse ncha, (... kapa ho araba lipotso tse sa reroang mabapi le data) ho fapana le ho bala lintlha, ho ngola lipotso tse pheta-phetoang tsa SQL, le ho bua ka basebetsi-'moho le Slack ho leka ho pheta moelelo oa taba e se e na le.
Bothata ke eng?
Ke ile ka hlokomela hore boholo ba metsoalle ea ka e ne e se na mokhoa oa ho sebelisa sesebelisoa se joalo. Ke lik'hamphani tse fokolang tse batlang ho fana ka lisebelisoa tse kholo ho theha le ho boloka sesebelisoa sa sethala joaloka Dataportal. 'Me leha ho na le litharollo tse' maloa tse bulehileng tse fumanehang, hangata li etselitsoe ho lekanya, ho etsa hore ho seta le ho lokisa ho be thata ntle le moenjiniere ea inehetseng oa DevOps. Kahoo ke ile ka etsa qeto ea ho theha ntho e ncha.
Whale: sesebelisoa se bonolo sa ho sibolla data
'Me e, ka bonolo ho isa boemong ba bothoto, ke bolela ho bonolo ho isa boemong ba bothoto. whale e na le likarolo tse peli feela:
- Laeborari ea Python e bokellang metadata le ho e hlophisa ho MarkDown.
- A Rust command line interface bakeng sa ho batla data ena.
Ho ea ka pono ea lisebelisoa tsa ka hare bakeng sa tlhokomelo, ho na le lifaele tse ngata feela tsa mongolo le lenaneo le ntlafatsang mongolo. Ke eona, kahoo ho amohela seva sa git joalo ka Github ha ho na thuso. Ha ho na puo e ncha ea ho botsa, ha ho na lisebelisoa tsa tsamaiso, ha ho li-backups. Git e tsejoa ke motho e mong le e mong, kahoo khokahano le tšebelisano li tla mahala. Ha re shebeng ts'ebetso ka botlalo .
GUI e felletseng ea git e thehiloeng ho eona
Whale e etselitsoe ho sesa leoatleng la seva e hole ea git. Eena e ka khonehang: hlalosa likhokahano tse ling, kopitsa mongolo oa Github Actions (kapa u ngolle e le 'ngoe bakeng sa sethala sa hau sa CI/CD seo u se ratang) 'me u tla ba le sesebelisoa sa ho sibolla data se thehiloeng ho webo hang hang. U tla khona ho batla, ho sheba, ho ngola, le ho arolelana li-spreadsheet tsa hau ka kotloloho ho Github.
Mohlala oa tafole ea stub e hlahisitsoeng ho sebelisoa Github Actions. Demo e feletseng e sebetsang .
Patlo ea CLI e potlakileng ea lehalima sebakeng sa hau sa polokelo
Leruarua le phela 'me le phefumoloha mohala oa taelo, le fana ka lipatlisiso tse matla tsa millisecond ho pholletsa le litafole tsa hau. Leha re e-na le litafole tse limilione, re khonne ho etsa hore leruarua le sebetse ka mokhoa o makatsang ka ho sebelisa mekhoa e bohlale ea caching, hammoho le ho aha sebaka se ka morao ho Rust. U ke ke ua hlokomela khefu ea ho batla [hello, Google DS].
Pontšo ea leruarua, batla ka litafole milione.
Palo ea othomathike ea metrics [ho beta]
E 'ngoe ea lintho tseo ke li ratang haholo joalo ka rasaense oa data o ntse a botsa lipotso tse tšoanang khafetsa ho lekola boleng ba data e sebelisoang. Leruarua le ts'ehetsa bokhoni ba ho hlalosa metrics ka SQL e bonolo e tla reriloe ho tsamaisana le liphaephe tsa hau tsa metadata. Hlalosa metrics block ka fomete ea YAML ka har'a tafole ea stub, 'me Whale e tla itsamaisa ka kemiso ebe e botsa lipotso tse hlahang ka har'a metrics.
```metrics
metric-name:
sql: |
select count(*) from table
```
Ha e kopantsoe le Github, mokhoa ona o bolela hore leruarua le ka sebetsa e le mohloli o bonolo oa 'nete bakeng sa litlhaloso tsa metric. Whale e bile e boloka boleng hammoho le setempe sa nako "~/" directory. whale/metrics" haeba u batla ho etsa mofuta o itseng oa kerafo kapa lipatlisiso tse tebileng.
Bokamoso
Kamora ho bua le basebelisi ba mefuta ea rona ea leruarua, re ile ra hlokomela hore batho ba hloka ts'ebetso e pharalletseng. Hobaneng ho na le sesebelisoa sa ho batla tafoleng? Hobaneng e se sesebelisoa sa ho batla sa metrics? Ke hobane'ng ha u sa behe leihlo? Hobaneng e se sesebelisoa sa ho botsa SQL? Le hoja whale v1 qalong e ne e reretsoe ho ba sesebelisoa se bonolo sa motsoalle oa CLI Dataportal/Amundsen, e se e hōlile ho ba sethaleng se ikemetseng se sebetsang ka botlalo, 'me re tšepa hore e tla fetoha karolo ea bohlokoa ea lisebelisoa tsa setsebi sa data.
Haeba ho na le ntho eo u batlang ho e bona ntlafatsong, ikopanye le rona , bula Mathata ho , kapa ikopanye ka kotloloho . Re se re ntse re e-na le likarolo tse 'maloa tse monate - litempele tsa Jinja, li-bookmark, li-filters tsa ho batla, litemoso tsa Slack, kopanyo ea Jupyter, esita le dashboard ea CLI bakeng sa metrics - empa re ka thabela tlhahiso ea hau.
fihlela qeto e
Leruarua le ntlafatsoa le ho tšehetsoa ke Dataframe, qalo eo ke sa tsoa ba le thabo ea ho e theha le ba bang. Le ha leruarua le etselitsoe bo-ramahlale ba data, Dataframe e etselitsoe lihlopha tsa mahlale a data. Bakeng sa lona ba batlang ho sebelisana haufi-ufi, le ikutloe le lokolohile , re tla u kenya lenaneng la ba emetseng.
Le ka khoutu ea papatso HABRA, o ka fumana 10% e eketsehileng ho theolelo e bontšitsoeng ho banner.
Lithuto tse ling
Lingoliloeng tse hlahisitsoeng
Source: www.habr.com