Molaim duit an athscríbhinn de thuarascáil 2017 le Igor Stryhar "ClickHouse - anailís sonraí tapa agus soiléir a léamh i Tabix."
Comhéadan gréasáin le haghaidh ClickHouse sa tionscadal Tabix.
Príomhghnéithe:
- Oibríonn sé le ClickHouse go díreach ón mbrabhsálaí, gan gá le bogearraí breise a shuiteáil;
- Eagarthóir ceisteanna le béim ar chomhréir;
- Uath-chomhlánú orduithe;
- Uirlisí chun anailís ghrafach a dhéanamh ar fhorghníomhú fiosrúchán;
- Scéimeanna dathanna le roghnú astu.
Is mise stiúrthóir teicniúil SMI2. Is comhbhailitheoir nuachta malartaithe nuachta muid. Stórálaimid go leor sonraí a fhaighimid ónár gcomhpháirtithe agus cláraimid é i ClickHouse - thart ar 30 iarratas in aghaidh an tsoicind.
Seo sonraí mar:
- Cliceáil ar an nuacht.
- Taispeántais nuachta sa chomhbhailitheoir.
- Taispeánann meirgí ar ár líonra.
- Agus cláraíonn muid imeachtaí ónár gcuntar féin, atá cosúil le Yandex.Metrica. Is é seo ár micrea-anailís féin.
Bhí saol an-hectic againn roimh ClickHouse. D'fhulaing muid go leor, ag iarraidh na sonraí seo a stóráil áit éigin agus anailís a dhéanamh ar bhealach éigin.
Saol roimh ClickHouse - infiniDB
Ba é an chéad rud a bhí againn infiniDB. Chónaigh sí linn ar feadh 4 bliana. Sheol muid é le deacracht.
- Ní thacaíonn sé le cnuasach nó le bearrtha. Níor tháinig aon rud cliste den sórt sin amach as an mbosca de réir réamhshocraithe.
- Bíonn deacracht aici sonraí a lódáil. Ní raibh ach fóntais consól ar leith ann nach bhféadfadh ach comhaid CSV a luchtú agus nach raibh ann ach ar bhealach éigin an-doiléir.
- Tá an bunachar sonraí aon-snáithithe. D’fhéadfá scríobh nó léamh. Ach rinne sé indéanta méid mór sonraí a phróiseáil.
- Agus bhí crutch suimiúil aici freisin. Gach oíche b'éigean an freastalaí a atosú, mura n-oibreodh sé.
D’oibrigh sí dúinn go dtí deireadh 2016, nuair a d’athraigh muid go hiomlán go ClickHouse.
Saol roimh ClickHouse – Cassandra
Ós rud é go raibh infiniDB aon-snáithithe, shocraigh muid go raibh gá againn le cineál éigin de bhunachar sonraí il-snáithithe ina bhféadfaimis go leor snáitheanna a scríobh ag an am céanna.
Bhaineamar triail as a lán rudaí suimiúla. Ansin shocraigh muid triail a bhaint as Cassandra. Bhí gach rud go hiontach le Cassandra. 10 iarratas in aghaidh an tsoicind in aghaidh na tairisceana. 000 iarratas le léamh áit éigin.
Ach bhí a leasanna féin aici freisin. Uair sa mhí nó uair amháin gach dhá mhí fuair sí taithí ar dhíshioncrónú bunachar sonraí. Agus bhí orm dúiseacht agus rith chun Cassandra a shocrú. Atosaíodh na freastalaithe ceann ar cheann. Agus tháinig gach rud réidh agus álainn.
Life before ClickHouse – Druid
Ansin thuig muid go gcaithfimid níos mó sonraí a scríobh. In 2016 thosaigh muid ag breathnú ar Druid.
Is bogearraí foinse oscailte é Druid atá scríofa i Java. An-sonrach. Agus bhí sé oiriúnach le haghaidh clickstream, nuair is gá dúinn sruth áirithe imeachtaí a stóráil agus ansin comhiomlánú a dhéanamh orthu nó tuarascálacha anailíseacha a dhéanamh.
Bhí leagan 0.9.X ag Druid.
Tá sé an-deacair an bunachar sonraí féin a imscaradh. Is é seo castacht an bhonneagair. Chun é a imscaradh, bhí sé riachtanach go leor, go leor iarann a shuiteáil. Agus bhí gach píosa crua-earraí freagrach as a ról ar leith féin.
Chun sonraí a luchtú isteach ann, bhí gá le shamanachas de shaghas éigin a úsáid. Tá tionscadal OpenSource - Tranquility, a bhí ag cailleadh sonraí uainn i sruth. Nuair a lódáileamar sonraí isteach ann, chaill sé é.
Ach ar bhealach éigin thosaigh muid á chur i bhfeidhm. Thosaigh muidne, cosúil le gráinneoga a ghlac drugaí ach a lean orainn ag ithe cactus, á thabhairt isteach. Thóg sé thart ar mhí orainn an bonneagar ar fad a ullmhú dó. Is é sin, freastalaithe a ordú, róil a chumrú, agus imscaradh a uathoibriú go hiomlán. Is é sin, i gcás cliseadh braisle, déanfar an dara braisle a imscaradh go huathoibríoch.
Ach ansin tharla miracle. Bhí mé ar saoire agus sheol mo chomhghleacaithe nasc chugam chuig , a deir gur chinn Yandex ClickHouse a oscailt. Rá liom a ligean ar iarracht é.
Agus go litriúil i gceann 2 lá chuireamar imscaradh braisle tástála ClickHouse. Thosaigh muid ag lódáil sonraí isteach ann. I gcomparáid le infiniDB, tá sé seo bunrang; i gcomparáid le Druid, tá sé seo bunrang. I gcomparáid le Cassandra, tá sé bunrang freisin. Toisc má luchtaíonn tú sonraí ó PHP isteach i Cassandra, níl sé seo bunúsach.
Cad a fuair muid? Feidhmíocht i luas. Feidhmíocht i stóráil sonraí. Is é sin, úsáidtear spás diosca i bhfad níos lú. Tá ClickHouse tapa, tá sé an-tapa i gcomparáid le táirgí eile.
Ag am an tseolta, nuair a d'fhoilsigh Yandex ClickHouse in OpenSource, ní raibh ann ach cliant consól. Shocraigh muid ag ár gcuideachta SMI2 iarracht a dhéanamh cliant dúchais a dhéanamh don ngréasán, ionas go bhféadfaimis leathanach a oscailt ó bhrabhsálaí, iarratas a scríobh agus an toradh a fháil, mar gheall ar thosaigh muid ag scríobh go leor iarratas. Tá sé deacair scríobh sa chonsól. Agus rinneamar ár gcéad leagan.
Agus áit éigin níos gaire do gheimhreadh na bliana seo caite, thosaigh uirlisí tríú páirtí le haghaidh oibriú le ClickHouse le feiceáil. Seo uirlisí mar:
- .
- .
- . (Anois )
- .
- .
Breathnóidh mé ar chuid de na huirlisí seo, is é sin, iad siúd ar oibrigh mé leo.
Uirlis mhaith, ach don Druid. Nuair a bhí Druid á chur i bhfeidhm, bhí SuperSet á thástáil agam. thaitin sé liom. Do Druid tá sé an-tapa.
Níl sé oiriúnach do ClickHouse. Is é sin, go n-oireann sé, tosaíonn sé, ach tá sé réidh le próiseáil a dhéanamh ar cheisteanna bunúsacha amháin mar: Ócáid ROGHNACH, GHRÚPA DE RÉIR imeacht. Ní thacaíonn sé leis an chomhréir ClickHouse níos casta.
Is é an chéad uirlis eile Apache Zeppelin. Is rud maith agus suimiúil é seo. Oibríonn. Tacaíonn sé le leabhair nótaí, deais, agus tacaíonn sé le hathróga. Tá a fhios agam go n-úsáideann duine sa phobal ClickHouse é.
Ach níl aon tacaíocht ann do chomhréir ClickHouse, i.e. beidh ort ceisteanna a scríobh sa chonsól nó áit éigin eile. Ansin, seiceáil go n-oibríonn sé go léir. Tá sé ach deacair. Ach tá tacaíocht dea-chláir aige.
Is é an chéad uirlis eile Redash.IO. Tá Redash á óstáil ar an Idirlíon. Is é sin, murab ionann agus uirlisí roimhe seo, ní gá é a shuiteáil. Agus is painéal é seo leis an gcumas sonraí ó DataSources éagsúla a chomhdhlúthú. Is é sin, is féidir leat a íoslódáil ó ClickHouse, ó MySQL, ó PostgreSQL agus ó bhunachair shonraí eile.
Díreach mí ó shin (Márta 2017), bhí tacaíocht le feiceáil i Grafana. Nuair a thógann tú tuarascálacha i Grafana, mar shampla, ar staid do chrua-earraí nó ar roinnt méadrachta, anois is féidir leat an graf céanna nó painéal de chineál éigin a thógáil ó shonraí ó ClickHouse go díreach. Tá sé seo an-áisiúil, agus úsáidimid é féin. Ligeann sé seo duit aimhrialtachtaí a aimsiú. Is é sin, má tharlaíonn rud éigin agus go dtiteann nó go dtiocfaidh brú ar roinnt crua-earraí, is féidir leat breathnú ar an gcúis ar éirigh leis na sonraí seo dul isteach i ClickHouse.
Bhí sé an-uafásach orm scríobh sna huirlisí seo nó sa chonsól. Agus chinn mé feabhas a chur ar ár gcéad chomhéadan. Agus fuair mé an smaoineamh ó EventSQL, SeperSet, Zeppelin.
Cad a bhí uait? Theastaigh uaim grafaicí, eagarthóir feabhsaithe a fháil, agus tacaíocht a chur i bhfeidhm d’fhoclóirí leid. Toisc go bhfuil gné iontach ag ClickHouse - foclóirí. Ach tá sé deacair oibriú le foclóirí, mar ní mór duit formáid na luachanna stóráilte a mheabhrú, i.e. uimhir nó teaghrán é, srl. Agus toisc go n-úsáidimid foclóirí go minic ina n-éagsúlachtaí éagsúla, bhí sé deacair go leor ceisteanna a scríobh.
Tá 3 mhí caite ó eisíodh ár gcéad leagan. Rinne mé thart ar 330 gealltanas do bhrainse príobháideach agus ba é Tabix a bhí ann.
Murab ionann agus an leagan roimhe seo, ar a dtugtar ClickHouse-Frontend, chinn mé é a athainmniú go hainm simplí. Agus d'éirigh sé amach Tabix.
Cad a bhí le feiceáil?
Tarraingíonn sé graif. Tacaíonn sé le comhréir ClickHouse SQL. Tugann sé comhairle ar fheidhmeanna agus is féidir leis a lán rudaí suimiúla a dhéanamh.
Seo an chuma atá ar scéim ghinearálta Tabix. Ar thaobh na láimhe clé tá crann. Sa lár tá eagarthóir na gceisteanna. Agus seo thíos toradh an iarratais seo.
Ansin taispeánfaidh mé duit conas a oibríonn eagarthóir na gceisteanna.
Anseo oibríonn autocomplete go huathoibríoch ar an tábla agus leideanna, dá réir sin, autocomplete do na réimsí. Agus leideanna maidir le feidhmeanna. Má bhrúnn tú ctrl enter, déanfar an t-iarratas a fhorghníomhú nó má theipeann air le hearráid. Seoltar an t-iarratas is simplí chuig Tabix agus faightear an toradh, i.e. is féidir leat oibriú go tapa le ClickHouse.
Is rud an-suimiúil iad foclóirí, mar a dúirt mé cheana, a mbímid ag obair go leor leo. Agus a thug deis dúinn a lán rudaí a dhéanamh. Ligean le rá go stórálfaimid gach cathair i bhfoclóirí. Stórálaimid aitheantóir na cathrach agus ainm na cathrach, a domhanleithead agus a domhanfhad. Agus sa bhunachar sonraí ní stóráilimid ach aitheantóir na cathrach. Dá réir sin, comhbhrúimid na sonraí go han-láidir.
Is cosúil gur rud simplí é seo, ach cuidíonn sé i ClickHouse ar bhealach an-suimiúil. Toisc nach dtacaíonn ClickHouse ach le ceangail neadaithe, fásann an fiosrúchán síos agus leathan go leor. Agus nuair a osclaíonn an lúibín agus go dtagann léiriú fada isteach, ansin bíonn sé níos éasca oibriú leis an gceist féin le rud éigin chomh simplí agus an cheist a laghdú. Toisc nuair a bhíonn an cheist idir 200-300 líne ar fhad agus an-ollmhór ar leithead, tá sé an-chabhrach an cheist a laghdú agus ansin áit éigin a aimsiú nó é a logánú ar bhealach éigin.
Crann réad, multiqueries agus tabs (Físeán 13:46 )
Ansin taispeánfaidh mé duit faoin gcrann agus na cluaisíní. Ar thaobh na láimhe clé tá crann; ar a bharr is féidir leat roinnt cluaisíní a chruthú. Tá cluaisíní cosúil le spás oibre. Is féidir leat roinnt cluaisíní a chruthú agus gach ceann a ainmniú ar bhealach difriúil. Tá sé cosúil le mionchóras chun tuairisc a thógáil.
Déantar cluaisíní a shábháil go huathoibríoch. Má atosaíonn tú do bhrabhsálaí nó má dhúnann tú nó má osclaíonn tú Tabix, sábhálfar é seo go léir.
Hotkey - áisiúil (Físeán 14:39 )
Tá hotkeys ann agus tá go leor acu. Tá cuid acu bainte amach agam anseo mar shampla. Tá sé seo ag athrú cluaisíní, ag déanamh iarratais nó ag déanamh roinnt iarratas.
Taispeánfaidh mé duit conas oibriú leis an toradh. Seolaimid iarratas. Anseo táim ag tarraingt pheaca, cos agus tg. Is féidir leat an toradh a aibhsiú, i.e. léarscáil tipiciúil a tharraingt le haghaidh colún. Is féidir leat béim a chur ar luachanna dearfacha nó diúltacha. Nó go simplí dathaigh eilimint tábla ar leith. Tá sé seo áisiúil nuair a bhíonn an tábla ollmhór agus ní mór duit roinnt aimhrialtacht a aimsiú le do shúile. Nuair a bhí aimhrialtachtaí á lorg agam, leag mé béim ar roinnt línte, roinnt eilimintí i glas nó dearg.
Tá a lán rudaí suimiúla ann. Mar shampla, conas a chóipeáil isteach Redmine Markdown. Más gá duit an toradh a chóipeáil áit éigin, tá sé seo an-áisiúil. Is féidir leat limistéar a roghnú go simplí, a rá “Cóipeáil go Redmine” agus cóipeáilfidh sé isteach i Redmine Markdown nó cruthóidh sé ceist Where.
Ar Aghaidh tá optimization cheist. Rinne mé dearmad uair amháin ar an réimse “dáta” a shonrú. Agus níor próiseáladh m'iarratas i ClickHouse go han-tapa, go han-tapa, ach go tapa, ie níos lú ná soicind. Nuair a chonaic mé cé mhéad líne a rith sé tríd, tháinig eagla orm. Ní scríobhaimid an oiread sin sraitheanna chuig an tábla seo in aon lá amháin. Thosaigh mé ag déanamh anailís ar an iarratas agus chonaic mé go raibh dáta caillte agam in aon áit amháin. Is é sin, rinne mé dearmad a chur in iúl nach gá dom sonraí don tábla iomlán, ach ar feadh tréimhse ar leith.
Tá cluaisín “Stats” ag Tabix, a stórálann stair iomlán na n-iarratas seolta, i.e. is féidir leat a fheiceáil ann cé mhéad líne a léigh an t-iarratas seo agus cé chomh fada a thóg sé iad a fhorghníomhú. Ligeann sé seo leas iomlán a bhaint.
Is féidir leat tábla maighdeog a thógáil thar thoradh an fhiosrúcháin. Sheol tú iarratas chuig ClickHouse agus fuair tú roinnt sonraí. Agus ansin is féidir leat na sonraí seo a bhogadh le do luch agus a thógáil de chineál éigin tábla pivot.
Is é an chéad rud suimiúil eile a bhreacadh. Ligean le rá go bhfuil an t-iarratas seo a leanas againn: don pheaca, cos ó 0 go 299. Agus chun é a tharraingt, ní mór duit an cluaisín “Tarraing” a roghnú agus gheobhaidh tú graf le do pheaca agus cos.
Is féidir leat é seo a roinnt ina haiseanna éagsúla, i.e. is féidir leat dhá ghraf a tharraingt taobh le taobh ag an am céanna. Scríobh ordú amháin agus an dara hordú.
Is féidir leat histeagraim a tharraingt.
Is féidir leat é seo a bhriseadh síos i maitrís graif.
Is féidir leat léarscáil teasa a thógáil.
Is féidir leat féilire teirmeach a thógáil. Dála an scéil, is rud an-áisiúil é seo nuair is gá duit aimhrialtachtaí a anailísiú thar thréimhse bliana, ie, faigh spikes nó titeann. Chuidigh an léirshamhlú sonraí seo liom.
Ar aghaidh tá Treemap.
Is cairt suimiúil é Sankeys. Tá sé ceachtar Streamgrahps nó River. Ach tugaim Abhainn air. Ligeann sé duit freisin aon aimhrialtachtaí a lorg. Tá sé an-chompordach. Molaim é a úsáid le haghaidh cuardaigh.
Is é an chéad rud suimiúil eile ná léarscáil dhinimiciúil a tharraingt. Má stóráil tú domhanleithead, domhanfhad i do bhunachar sonraí agus, abair, ceann scríbe a stóráil, má tá trucailí nó eitleáin ag eitilt agat, mar shampla, is féidir leat cosáin chinn scríbe a tharraingt. Chomh maith leis sin is féidir leat a leagtar ar an luas agus méid de na rudaí a eitilt siad.
Ach is í an fhadhb atá leis an léarscáil seo ná go dtarraingíonn sé ach léarscáil den domhan, níl aon mhionsonraí ann.
Níos déanaí chuir mé léarscáil Google leis. Má stórálann tú domhanleithead, domhanfhad, ansin is féidir leat an toradh a tharraingt ar léarscáil Google, ach gan tacaíocht eitleáin.
Phléamar na príomhfheidhmeanna a bhaineann le bheith ag obair le torthaí agus ceisteanna i Tabix.
Is é an chéad cheann eile anailís ar do fhreastalaí ClickHouse. Tá cluaisín “Méadracht” ar leith ann, áit ar féidir leat méid na sonraí stóráilte do gach colún a fheiceáil. Léiríonn an screenshot go dtógann an réimse “atreoraithe” seo thart ar 730 Gb. Má thréigeann muid an réimse seo, sábhálfaimid trí shard de 700 GB an ceann, i.e. thart ar 2 TB nach bhfuil ag teastáil uainn.
Tá réimse "request_id" againn freisin a stórálaimid i sreang. Ach má thosaímid á stóráil i bhfoirm uimhriúil, laghdóidh an réimse seo go mór.
Taispeánann sé freisin cumraíocht an fhreastalaí agus liosta de na nóid i do bhraisle.
Is é an chéad chluaisín eile ná méadracht. Téann siad isteach i bhfíor-am le ClickHouse agus ligeann siad duit go simplí anailís a dhéanamh ar staid an fhreastalaí agus tuiscint a fháil ar cad atá ag tarlú dó. Níl sé seo in áit Grafana iomlán. Tá sé seo riachtanach le haghaidh anailíse tapa.
Is é an chéad chluaisín eile ná próisis. Ón iad is féidir leat a thuiscint cad atá ag tarlú ar an bhfreastalaí. Tuig cad atá ar siúl ansin. Bhí iarratas agam a d'ith 200 GB de léamh gach uair. Chonaic mé é seo a bhuíochas leis an gcomhéadan seo. Rug mé air agus cheartaigh mé é. Agus tharla sé go raibh sé thart ar 30 GB, i.e. feidhmíocht uaireanta.
Go raibh maith agat! Agus tá sé seo in OpenSource
Chríochnaigh mé. Agus dála an scéil, tá sé OpenSource, tá sé saor in aisce agus ní gá duit fiú é a íoslódáil. Oscail é i mbrabhsálaí agus oibreoidh gach rud.
ceisteanna
Igor, cad atá le teacht? Cá bhforbróidh tú an uirlis seo?
Ansin, feicfear deais, i.e., b’fhéidir go bhfeicfear deais. Comhtháthú le bunachair shonraí eile. Rinne mé é seo, ach níl sé foilsithe agam fós in OpenSource. Is é seo MySQL agus b'fhéidir PostgreSQL. Is é sin, beifear in ann iarratais a sheoladh ó Tabix ní hamháin chuig ClickHouse, ach freisin chuig uirlisí eile.
Is léir go bhfuil méid ollmhór oibre déanta. Iompaigh sé amach a bheith ina smaoineamh measartha iomlán. Rinneadh é seo sa bhrabhsálaí, is cosúil, d'fhonn deireadh a chur le crutches ar gach cineál na haiseanna agus go tapa caith an rud ar fad le chéile. Chuala mé go bhfuil tú ar php oibre, mar sin is é an bealach is éasca é a chlóscríobh sa bhrabhsálaí agus oibreoidh sé i ngach áit. Níl aon cheist faoi seo. Is í an cheist seo. Tá go leor déanta ann i ndáiríre. Cé mhéad duine a d'oibrigh air seo? Agus cé chomh fada a thóg sé ar fad? Toisc nach mbíonn an oiread sin feidhmiúlachta ag uirlisí saincheaptha de ghnáth.
D’oibrigh duine amháin ónár bhfoireann ón samhradh go dtí an fhómhar. Ba é seo an chéad leagan. Ansin rinne mé 330 gealltanas amháin. An rud a fheiceann tú, rinne mo chomhghleacaí agus mé i leath é. I 3 mhí, ón gcéad leagan go dtí an ceann deireanach, is mó a rinne mé é ina n-aonar. Ach níl a fhios agam Javascript go han-mhaith. Ba é seo an t-aon tionscadal Javascript atá agam agus, tá súil agam, ar oibrigh mé leis. Fuair mé é, d'fhéach mé - ó, horror. Ach bhí mé i ndáiríre ag iarraidh an táirge a chríochnú agus is é seo a tharla.
Go raibh míle maith agat as an tuairisc! Is uirlis iontach é seo. LE Tableau An ndearna tú comparáid?
Go raibh maith agat. Sin an fáth a d'ainmnigh mé Tabix é, toisc go bhfuil na chéad litreacha mar an gcéanna.
Toisc go bhfuil tú san iomaíocht?
Beidh go leor infheistíochta, beidh muid san iomaíocht.
Conas is féidir leat a thairiscint a dhíol le hanailísí inmheánacha go mbeidh an uirlis seo a athsholáthar go hiomlán *Tábla*? Cad a bheidh sna hargóintí?
Oibríonn sé ó dhúchas le ClickHouse. Bhain mé triail as Tableau, ach ní féidir leat tacaíocht d'fhoclóirí agus a leithéid a scríobh ansin. Tá a fhios agam conas a oibríonn daoine le Tabix. Scríobhann siad ceist, uaslódálann siad é chuig CSV agus uaslódáil siad chuig BI é. Agus tá siad ag déanamh rud éigin ann cheana féin. Ach tá am deacair agam a shamhlú conas a dhéanann siad seo, mar is uirlis grafach é. Is féidir leis 5 sraith a dhíluchtú, uasmhéid de 000 sraith, ach gan níos mó, nó ní bheidh an brabhsálaí in ann déileáil leis.
Is é sin, tá roinnt teorainneacha tromchúiseacha ar an méid sonraí, ceart?
Tá. Ní féidir liom a shamhlú gur mhaith leat 10 sraith a uaslódáil isteach i do tábla ar scáileán do bhrabhsálaí. I gcomhair Cad?
An gciallaíonn sé seo gur comhéadan é seo chun sonraí a fheiceáil go tapa? Twist sé beagán, twist é?
Sea, féach go tapa conas a oibríonn sé agus díreach graf achoimre a thógáil. Agus ansin é a thabhairt áit éigin. Tá ár gcóras tuairiscithe féin againn, agus is uaidh sin a ghlacaim leis an iarratas seo. Tarraingím isteach Tabix agus cuirim chuig ár dtuairisciú é.
Agus ceist eile. Anailís chohórt?
Má tá aon iarratais ann, cuirfimid é.
Cathain a thosaigh tú ag úsáid é? ClickHouse, cé chomh fada a thóg sé an cur i bhfeidhm? Cliceáil Teach agus ag tabhairt go staid táirgthe?
Mar a dúirt mé, chuireamar braisle tástála i bhfeidhm in achar an-ghearr. Imscaradh muid é i dhá lá. Agus rinneamar tástáil air ar feadh cúpla seachtain eile. Agus shroicheamar táirgeadh i 3 mhí, ach bhí ár ETL féin againn, i.e. uirlis chun sonraí a thaifeadadh. Agus scríobh sé i ngach rud a d'fhéadfadh sé. Is féidir leis scríobh i MongoDB, Cassandra, MySQL. Bhí sé éasca a mhúineadh dó conas scríobh i ClickHouse. Bhí bonneagar réidh againn le cur i bhfeidhm go tapa. Laistigh de 3 mhí thosaigh muid ag caitheamh amach an chéad chomhpháirt. I 6 mhí thréigeamar go hiomlán gach rud eile. Níl ach ClickHouse amháin fágtha againn.
Igor, go raibh míle maith agat as an tuarascáil. Thaitin feidhmiúlacht na gcosán a thógáil ag baint úsáide as léarscáileanna go mór liom. An bhfuil pleananna ann do chomhtháthú le Yandex.Maps agus go háirithe le Yandex.Maps saincheaptha?
Rinne mé iarracht comhtháthú a dhéanamh in ionad léarscáil Google, ach níor aimsigh mé téama dorcha ar Yandex.Maps. Níor inis mé píosa amháin duit. Déanfaidh mé athchasadh le cur.
Sleamhnán – léarscáil Google. Tá ordú “DRAW_GMAPS”, a tharraingíonn léarscáil. Tá ordú “DRAW_YMAPS”, i.e. is féidir leis Yandex.Map a tharraingt. Ach i ndáiríre, faoin ordú seo tá Javascript, i.e. is féidir na sonraí a fhaigheann tú ó ClickHouse a aistriú go Javascript, a scríobhann tú anseo. Agus tá limistéar aschuir agat inar chóir é a tharraingt. Is féidir leat aon ghraf a tharraingt, i.e. aon ghraf, léarscáil, is féidir leat do chomhpháirt féin a tharraingt. Roimhe seo, bhí leabharlann eile agam chun na graif a tharraingt iad féin.
Is é sin, an bhfuil uirlis ann chun an fheidhmiúlacht taispeána a shaincheapadh?
ar bith. Is féidir leat na poncanna seo a ghlacadh agus a dhathú arís, rud a fhágann nach dearg iad, ach gorm, glas.
Go raibh maith agat as an tuairisc! Bhí sleamhnán agat a chuir uirlisí fiosrúcháin eile i láthair Cliceáil Teach do thógáil deais agus tuarascálacha anailíse. Tuigim sin i láthair na huaire nuair a thosaigh tú ag obair le ClickHouse, níor scríobhadh aon oiriúntóirí do na huirlisí seo. Agus tá mé ag smaoineamh cén fáth a shocraigh tú a dhéanamh do uirlis féin, in ionad a scríobh adapter do roinnt réidh-déanta uirlis? Sílim go bhfuil tweaking an eagarthóir tástála tapaidh. Cén fáth ar shocraigh tú an oiread sin oibre a dhéanamh?
Tá pointe suimiúil anseo - is é fírinne an scéil gur stiúrthóir teicniúil mé, ní eolaí sonraí. Faoin am ar thosaigh muid ag cur Druid i bhfeidhm, bhí thart ar 50% de na tascanna ar mo threoirchlár - déanaimis é seo a ríomh, nó déanaimis é seo a ríomh, nó déanaimis anailís air seo. Agus tharla sé gur chuireamar ClickHouse i bhfeidhm. Agus thosaigh sé ar gach rud a thógáil go tapa, a chomhaireamh, agus dhún sé a léarscáil go tapa. Agus faoin am sin thuig mé go raibh easpa eolais agam ar Eolaíocht Sonraí agus ar léirshamhlú sonraí. Is cineál obair bhaile é Tabix chun léirshamhlú sonraí a fhoghlaim. Bhí mé ag féachaint ar conas Zeppelin a chomhlánú. Is beag nach dtaitníonn a chuid clár liom. Redash Bhreathnaigh mé ar conas é a chur leis, ach ba leor gnátheagarthóir domsa. Agus tá SuperSet scríofa freisin i dteanga nach dtaitníonn go mór liom. Agus mar sin chinn mé rothaíocht, agus is é seo a tharla.
Igor, an nglacann tú le hiarratais Tarraingthe?
Is ea.
Go raibh míle maith agat as an tuairisc! Agus dhá cheist. Ar dtús, ní labhraíonn tú go han-mhaith faoi Javascript. Ar scríobh tú i Javascript lom nó an é creatlach de chineál éigin é?*
Níos fearr i javascript saor in aisce,.
Mar sin, cén creat?
uilleach.
Tá sé soiléir. Agus an dara ceist. An ndearna tú machnamh R и *lonracha**?*
Mheas sé. D'imir.
D'fhéadfá freisin ach cuibheoir a scríobh.
Tá sé. Is cosúil gurb é an pobal a rinne é, ach, mar a d'fhreagair mé an cheist roimhe seo, bhí mé ag iarraidh é a thriail mé féin.
* Níl, maidir le léirshamhlú, tá sé ann freisin.
Deir tú go bhfuil a leithéid ann agus tarraingeoidh sé graf duit. D’oscail mé leabhar ar léirshamhlú sonraí. Agus shíl mé: “Lig dom iarracht a dhéanamh na sonraí seo a shamhlú. Scríobhfaidh mé chuige le go mbeidh sé in ann na sonraí a atógáil.” Agus thosaigh mé ag tuiscint níos fearr ar theicneolaíocht soláthair sonraí. Agus dá mba rud é go raibh comhpháirt réamhdhéanta glactha agam, bheadh sé níos measa agam go pearsanta conas é a úsáid, is é sin, léirshamhlú. Ach sea, thaitin R liom, ach níl an leabhar “R for Dummies” léite agam go fóill.
Go raibh maith agat!
Ceist shimplí. An bhfuil bealaí ann chun comhartha nó sceideal a uaslódáil go tapa?
Is féidir é a uaslódáil chuig CSV nó Excel.
Ní sonraí, ach pláta réidh de dhéantús an duine, graf réidh de dhéantús an duine? Mar shampla, a thaispeáint ar an Boss.
Tá cnaipe “Uaslódáil” ann agus tá cnaipe “Uaslódáil graf i png, i jpg”.
Go raibh maith agat!
PS Mini-treoracha maidir le tabix a shuiteáil
- íoslódáil
- Díphacáil, cóip eolaire
buildi nginx root_path - Cumraigh nginx
Foinse: will.com