Maqaalkani wuxuu ka hadlayaa qalabka helitaanka xogta ugu fudud uguna dhaqsaha badan, shaqada aad ku aragto KDPV. Waxa xiiso leh, nibiriga waxaa loogu talagalay in lagu martigeliyo server-ka git ee fog. Faahfaahinta hoos goynta.
Sida Qalabka Helitaanka Xogta ee Airbnb uu u beddelay Nolosheyda
Xirfadeyda, waxaan ku riyaaqay inaan ka shaqeeyo dhibaatooyinka madadaalada: Waxaan bartay xisaabta socodka anigoo shahaadadayda ka qaadanaya MIT, waxaan ka shaqeeyay moodooyinka kordhinta, iyo mashruuc il furan Wayfair, oo ay hirgelisay moodooyinka bartilmaameedka ah ee bogga hore iyo horumarinta CUPED ee Airbnb. Laakiin shaqadan oo dhami weligood may ahayn kuwo soo jiidasho lehβruntii, inta badan waxaan waqtigeyga ku qaatay raadinta, baarista, iyo xaqiijinta xogta. In kasta oo ay tani ahayd xaalad joogto ah oo shaqada ah, igumay dhicin in tani ay tahay arrin ilaa aan ka gaadhay Airbnb halkaas oo lagu xalliyey qalab xog-helid - .
Xagee ka heli karaa {{data}}? dataportal.
Waa maxay macnaha tiirkan? dataportal.
Sidee yahay {{metric}} maanta? dataportal.
Waa maxay dareenka nolosha? IN dataportal, malaha.
Hagaag, waad soo bandhigtay sawirka Helitaanka xogta iyo fahamka waxa ay ka dhigan tahay, sida loo abuuray iyo sida loo isticmaalo oo dhan waxay qaadataa dhowr daqiiqo, ma aha saacado. Waxaan waqtigeyga ku qaadan karaa soo saarista gabagabo fudud, ama algorithms cusub, (β¦ ama ka jawaabista su'aalaha aan tooska ahayn ee ku saabsan xogta) halkii aan ka qori lahaa qoraallada, qorista su'aalaha SQL ee soo noqnoqda, oo aan xuso asxaabta Slack si ay isugu dayaan oo dib u abuuraan macnaha guud. .
waa maxay dhibku?
Waxaan xaqiiqsaday in inta badan asxaabtayda aysan heli karin qalabkan oo kale. Shirkado yar ayaa raba inay u huraan kheyraad badan si ay u dhisaan oo ay u ilaaliyaan qalab madal sida Dataportal. In kasta oo ay jiraan dhawr xalal il furan, waxay u muuqdaan in loo qaabeeyey si loo cabbiro, taas oo adkeynaysa in la dejiyo oo la ilaaliyo iyada oo aan la helin injineer DevOps u go'ay. Markaa waxaan go'aansaday inaan abuuro wax cusub.
Whale: Waa qalab xog-helid fudud oo nacasnimo ah
Oo haa, nacasnimo fudud waxaan ula jeedaa doqon fudud. Nibirigu wuxuu leeyahay laba qaybood oo kaliya:
- Maktabad Python ah oo ururisa xogta badan oo ku qaabaysa MarkDown.
- Interface-ka khadka taliska ee Rust ee raadinta xogtan.
Marka laga eego aragtida kaabayaasha gudaha ee dayactirka, waxaa jira oo keliya faylal qoraal ah oo badan iyo barnaamij cusbooneysiiya qoraalka. Taasi waa sidaas, markaa martigelinta server-ka git sida Github waa wax yar. Ma jiro luqad cusub oo su'aal ah oo la barto, ma jiro kaabayaal maamul, ma jiraan wax kaabsi ah. Qof kastaa wuu garanayaa Git, markaa isku xidhka iyo wada shaqayntu waa bilaash. Aynu si qoto dheer u eegno shaqeynta .
GUI oo si buuxda u sifaysan git-ku-salaysan
Whale waxaa loogu talagalay inuu ku dabaasho badda server-ka git ee fog. Isaga la habeyn karo: qeex xiriirrada qaar, koobi ka samee qoraalka Github Actions (ama u qor mid ka mid ah madal CI/CD ee aad dooratay) oo waxaad isla markaaba heli doontaa qalab shabakad xogeed. Waxaad awoodi doontaa inaad si toos ah u baadho, u aragto, dukumeenti u sameyso oo aad wadaagto xaashiyahaaga si toos ah Github.
Tusaalaha miiska saxarada ee la soo saaray iyadoo la adeegsanayo Github Actions. Bandhig shaqo oo buuxa .
Hillaac degdeg ah CLI u raadi kaydkaaga
Whale wuxuu ku nool yahay oo ku neefsadaa khadka taliska, isaga oo siinaya indho-indheyn awood leh, millise-ilbiriqsi oo dhan miiskaaga. Xitaa malaayiin miis, waxaan ku guuleysanay inaan ka dhigno nibiriga si cajiib ah wax qabad annagoo adeegsanayna qaar ka mid ah habab kaydinta xariif ah iyo sidoo kale dib-u-dhiska dhabarka dambe ee Rust. Ma dareemi doontid wax daahitaan ah [hello Google DS].
Whale demo, milyan miis raadinta.
Xisaabinta tooska ah ee cabbirada [beta]
Mid ka mid ah waxyaalihii aan ugu jeclaa saynisyahanka xogta ayaa ah in aan isla weydiiyo marar badan si aan u hubiyo tayada xogta la isticmaalayo. Whale waxa ay taageertaa awooda lagu qeexo cabbirada SQL cad ee loo qorsheeyay in ay la socdaan dhuumaha nadiifinta xogta badan. Qeex mitirka YAML ee gudaha miiska stubka, iyo Whale wuxuu si toos ah ugu socon doonaa jadwal wuxuuna socodsiin doonaa weydiimaha ku dhex jira cabbiraadda.
```metrics
metric-name:
sql: |
select count(*) from table
```
Marka lagu daro Github, habkani waxa uu ka dhigan yahay nibirigu waxa uu u adeegi karaa sida isha dhexe ee sahlan ee qeexida mitirka. Whale xitaa wuxuu kaydiyaa qiyamka oo uu la socdo shaambada wakhtiga "~/. whale/metrics" haddii aad rabto inaad sameyso jaantus ama cilmi baaris qoto dheer oo dheeraad ah.
Mustaqbalka
Ka dib markii aan la hadalnay isticmaalayaasha noocyadayada sii daynta ka hor ee nibiriga, waxaan ogaanay in dadku ay u baahan yihiin hawlkarnimo dheeraad ah. Waa maxay sababta qalabka miis-raadinta? Waa maxay sababta aan loo isticmaalin qalabka raadinta cabbirka? Waa maxay sababta aan loola socon? Waa maxay sababta aan loo isticmaalin SQL qalab fulinta? Halka whale v1 markii hore loo raray sida qalab wehel fudud oo CLI ah Dataportal/Amundsen, waxay mar hore u xuubsiibtay madal gooni ah oo buuxda, waxaanan rajaynaynaa inay noqoto qayb muhiim ah oo ka mid ah agabka saynisyahanka xogta.
Haddii ay jiraan wax aad rabto inaad ku aragto geeddi-socodka horumarinta, nagu soo biir , arrimaha ka fur ama xitaa si toos ah ula xiriir . Waxaan horeyba u haysanay dhowr astaamood oo wanaagsan - Qaababyada Jinja, Bookmarks, filtarrada raadinta, Digniinaha Slack, isku dhafka Jupyter, xitaa dashboardka CLI ee cabbirada - laakiin waxaan jeclaan lahayn fikradaada.
gunaanad
Whale waxaa horumariyay oo ay ilaalisay Dataframe, bilow ah oo aan dhawaan ku riyaaqay la aasaasida dadka kale. Halka nibiriga loo sameeyay saynisyahanada xogta, Dataframe waxaa loo sameeyay saynisyahano xog. Kuwa idinka mid ah ee raba in aad si dhow u wada-shaqeyntaan, xor u noqo waxaanu kugu dari doonaa liiska sugitaanka.
Iyo code promo HABR, waxaad heli kartaa 10% dheeraad ah qiimo dhimista lagu tilmaamay banner.
Koorsooyin badan
Maqaallada la soo bandhigay
Source: www.habr.com