Ity lahatsoratra ity dia miresaka momba ny fitaovana fitadiavana angona tsotra sy haingana indrindra, ny asa hitanao ao amin'ny KDPV. Mahaliana fa ny trozona dia natao hampiantranoana amin'ny mpizara git lavitra. Ny antsipiriany eo ambanin'ny fanapahana.
Ny fomba nanova ny fiainako ny fitaovana fitadiavana data an'ny Airbnb
Tamin'ny asako dia tsara vintana aho niasa tamin'ny olana mahafinaritra sasany: Nianatra matematika mikoriana aho rehefa nanao ny mari-pahaizana tao amin'ny MIT, niasa tamin'ny modely incremental, ary niaraka tamin'ny tetikasa open source. tao amin'ny Wayfair, ary nampihatra modely mikendry ny pejy fandraisana vaovao sy fanatsarana CUPED ao amin'ny Airbnb. Saingy tsy nahafinaritra mihitsy izany asa rehetra izany β raha ny marina, matetika aho no nandany ny ankamaroan'ny fotoanako nikaroka, nikaroka ary nanamarina ny angona. Na dia toe-javatra tsy mitsaha-mitombo aza izany any am-piasana, dia tsy tonga tao an-tsaiko fa olana izany raha tsy tonga tany amin'ny Airbnb izay voavaha tamin'ny fitaovana fitadiavana angona β .
Aiza no ahitako {{data}}? dataportal.
Inona no dikan'ity tsanganana ity? dataportal.
Manao ahoana ny {{metric}} androany? dataportal.
Inona no atao hoe fahatsapana fiainana? IN dataportal, angamba.
Eny, nasehonao ny sary. Ny fitadiavana angon-drakitra sy ny fahatakarana ny dikan'izany, ny fomba namoronana azy ary ny fomba fampiasana azy dia mila minitra vitsy monja, fa tsy ora. Afaka mandany ny fotoanako amin'ny fanatsoahan-kevitra tsotra aho, na algorithm vaovao, (... na mamaly fanontaniana kisendrasendra momba ny angon-drakitra), fa tsy mandavaka naoty, manoratra fanontaniana SQL miverimberina, ary manonona ny mpiara-miasa ao amin'ny Slack mba hanandrana sy hamerina ny contexte. nanana.
Inona ny olana?
Tsapako fa ny ankamaroan'ny namako dia tsy manana fitaovana toy izany. Vitsy ny orinasa vonona hanokana loharanon-karena lehibe amin'ny fananganana sy fitazonana fitaovana sehatra toy ny Dataportal. Ary na dia misy vahaolana loharano misokatra vitsivitsy aza, dia mazΓ na novolavolaina amin'ny haavony izy ireo, ka manasarotra ny fametrahana sy fikojakojana tsy misy injeniera DevOps manokana. Noho izany dia nanapa-kevitra ny hamorona zava-baovao aho.
Trozona: Fitaovana fitadiavana angona tsotra adaladala
Ary eny, amin'ny adala tsotra no tiako holazaina hoe tsotra adala. Tsy misy afa-tsy singa roa ny trozona:
- Tranomboky Python izay manangona metadata ary mamolavola azy ao amin'ny MarkDown.
- Rust command line interface ho an'ny fikarohana amin'ny alalan'ity data ity.
Raha jerena ny fotodrafitrasa anatiny ho an'ny fikojakojana, dia tsy misy afa-tsy rakitra lahatsoratra sy programa manavao ny lahatsoratra. Izany no izy, ka tsy misy dikany ny fampiantranoana amin'ny mpizara git toa an'i Github. Tsy misy fiteny fanontanina vaovao hianarana, tsy misy fotodrafitrasa fitantanana, tsy misy backup. Fantatry ny rehetra ny Git, ka maimaim-poana ny sync sy ny fiaraha-miasa. Andeha hojerentsika akaiky ny fampiasa .
GUI mifototra amin'ny git nasongadina feno
Ny trozona dia natao hilomano ao anaty ranomasimbe amin'ny mpizara git lavitra. izy azo amboarina: mamaritra ny fifandraisana sasany, mandika ny script Github Actions (na manorata iray ho an'ny sehatra CI/CD nofidinao) dia hanana fitaovana tranonkala fitadiavana data avy hatrany ianao. Ho afaka hikaroka, hijery, handrakitra ary hizara mivantana ny takelakao amin'ny Github ianao.
Ohatra iray amin'ny latabatra stub novokarina tamin'ny fampiasana Github Actions. Demo miasa feno .
Mitadiava CLI haingana amin'ny fitahirizanao
Miaina sy miaina ao amin'ny laharana baiko ny trozona, manome fikarohana mahery vaika sy milisegondra manerana ny latabatrao. Na dia tamin'ny latabatra an-tapitrisany aza, dia nahavita nanamboatra trozona ho tena mahomby izahay tamin'ny alΓ lan'ny fampiasana mekanika caching mahay ary koa tamin'ny fanamboarana ny backend ao Rust. Tsy ho hitanao ny fahatarana amin'ny fikarohana [hello Google DS].
Demo trozona, fitadiavana latabatra an-tapitrisany.
Kajy mandeha ho azy ny metrika [amin'ny beta]
Ny iray amin'ireo zavatra tena tiako indrindra amin'ny maha mpahay siansa momba ny data dia mamerimberina ireo fanontaniana mitovy amin'izany mba hijerena ny kalitaon'ny data ampiasaina. Ny trozona dia manohana ny fahafahana mamaritra metrika amin'ny SQL tsotra izay hokasaina hiara-miasa amin'ny fantsona fanadiovana metadata. Farito ny sakana metrika YAML ao anatin'ny latabatra stub, ary ny Whale dia handeha ho azy amin'ny fandaharam-potoana ary hampandeha ireo fanontaniana napetraka ao anaty metrika.
```metrics
metric-name:
sql: |
select count(*) from table
```
Miaraka amin'ny Github, ity fomba fiasa ity dia midika fa ny trozona dia mety ho loharanom-pahamarinana mora ho an'ny famaritana metrika. Ny trozona aza dia mitahiry ny soatoavina miaraka amin'ny famantaranandro ao amin'ny "~/. whale/metrics" raha te hanao tabilao na fikarohana lalindalina kokoa ianao.
Future
Rehefa avy niresaka tamin'ireo mpampiasa ny trozona efa navoakanay izahay, dia nahatsapa izahay fa mila fiasa bebe kokoa ny olona. Nahoana no fitaovana fitadiavana latabatra? Nahoana no tsy fitaovana fikarohana metrika? Nahoana no tsy manara-maso? Nahoana no tsy fitaovana famonoana SQL query? Raha ny trozona v1 dia noheverina ho fitaovana miaraka amin'ny CLI tsotra Dataportal/Amundsen, dia efa nivoatra ho sehatra tokana manana endri-javatra feno, ary manantena izahay fa ho lasa ampahany manan-danja amin'ny fitaovan'ny Data Scientist.
Raha misy zavatra tianao ho hita ao amin'ny dingana fampandrosoana dia midira ato aminay , misokatra Olana amin'ny na mifandray mivantana aza . Efa manana endri-javatra mahafinaritra maromaro izahay - modely Jinja, tsoratadidy, sivana fikarohana, fanairana Slack, fampidirana Jupyter, eny fa na dia dashboard CLI ho an'ny metrika aza - fa tianay ny fidiranao.
famaranana
Ny Whale dia novolavolaina sy nokarakarain'ny Dataframe, fanombohana izay nahafaly ahy vao haingana ny niara-niorina tamin'ny olon-kafa. Raha natao ho an'ny mpahay siansa momba ny data ny trozona, ny Dataframe dia natao ho an'ny mpahay siansa data. Ho anao izay te hiara-hiasa akaiky kokoa dia aza misalasala ampidirinay ao anaty lisitra miandry ianao.
Ary amin'ny code promo HABR, afaka mahazo 10% fanampiny ianao amin'ny fihenam-bidy voalaza amin'ny sora-baventy.
More cours
Lahatsoratra nasongadina
Source: www.habr.com