Tha mi a’ moladh gun leugh thu an tar-sgrìobhadh den aithisg 2017 le Igor Stryhar “ClickHouse - mion-sgrùdadh dàta luath is soilleir ann an Tabix.”
Eadar-aghaidh lìn airson ClickHouse ann am pròiseact Tabix.
Prìomh fheartan:
- Ag obair le ClickHouse gu dìreach bhon bhrobhsair, gun fheum air bathar-bog a bharrachd a chuir a-steach;
- Deasaiche ceist le soilleireachadh co-chòrdadh;
- Autocompletion àitheantan;
- Innealan airson mion-sgrùdadh grafaigeach air coileanadh ceist;
- Sgeama dath airson taghadh.
Tha mi nam stiùiriche teignigeach air SMI2. Tha sinn nar cruinneachadh naidheachdan iomlaid naidheachdan. Bidh sinn a’ stòradh tòrr dàta a gheibh sinn bho ar com-pàirtichean agus ga chlàradh ann an ClickHouse - timcheall air 30 iarrtas gach diog.
Seo dàta mar:
- Cliog air naidheachdan.
- Taisbeanaidhean naidheachdan anns a 'chruinneachadh.
- Bratach a’ taisbeanadh air an lìonra againn.
- Agus bidh sinn a’ clàradh thachartasan bhon chunntair againn fhèin, a tha coltach ri Yandex.Metrica. Is e seo am meanbh-anailis againn fhèin.
Bha beatha gu math trang againn ro ClickHouse. Dh'fhuiling sinn mòran, a 'feuchainn ris an dàta seo a stòradh an àiteigin agus dòigh air choireigin a sgrùdadh.
Beatha ro ClickHouse - infiniDB
B’ e a’ chiad rud a bh’ againn infiniDB. Bha i a’ fuireach còmhla rinn airson 4 bliadhna. Chuir sinn air bhog e le duilgheadas.
- Chan eil e a 'toirt taic do bhith a' cruinneachadh no a 'sgoltadh. Cha tàinig rudan snasail mar sin a-mach às a’ bhogsa gu bunaiteach.
- Tha duilgheadas aice a’ luchdachadh dàta. Dìreach goireas tòcan sònraichte nach b’ urrainn ach faidhlichean CSV a luchdachadh agus dìreach ann an dòigh air choireigin nach eil soilleir.
- Tha an stòr-dàta aon-snàthainn. Dh’ fhaodadh tu an dàrna cuid sgrìobhadh no leughadh. Ach rinn e comasach àireamh mhòr de dhàta a phròiseasadh.
- Agus bha crutch inntinneach aice cuideachd. A h-uile h-oidhche dh'fheumadh am frithealaiche ath-thòiseachadh, air neo cha bhiodh e ag obair.
Bha i ag obair dhuinne gu deireadh 2016, nuair a thionndaidh sinn gu tur gu ClickHouse.
Beatha ro ClickHouse - Cassandra
Leis gu robh infiniDB aon-snàthainn, cho-dhùin sinn gu robh feum againn air seòrsa de stòr-dàta ioma-snàithlean anns am b’ urrainn dhuinn mòran snàithleanan a sgrìobhadh aig an aon àm.
Dh’fheuch sinn tòrr rudan inntinneach. An uairsin chuir sinn romhainn feuchainn air Cassandra. Bha a h-uile rud math le Cassandra. 10 iarrtas gach diog gach tagradh. 000 iarrtas an àiteigin airson leughadh.
Ach bha a h-ùidhean fhèin aice cuideachd. Aon uair sa mhìos no aon uair gach dà mhìos fhuair i eòlas air dì-shioncronachadh stòr-dàta. Agus bha agam ri dùsgadh agus ruith gus Cassandra a chàradh. Chaidh na frithealaichean ath-thòiseachadh aon às deidh aon. Agus dh'fhàs a h-uile càil rèidh agus brèagha.
Beatha ro ClickHouse - Druid
An uairsin thuig sinn gum feum sinn eadhon barrachd dàta a sgrìobhadh. Ann an 2016 thòisich sinn a’ coimhead Druid.
Tha Druid na bhathar-bog le còd fosgailte a chaidh a sgrìobhadh ann an Java. Gu math sònraichte. Agus bha e freagarrach airson clickstream, nuair a dh’ fheumas sinn seòrsa de shruth de thachartasan a stòradh agus an uairsin cruinneachadh a dhèanamh orra no aithisgean anailis a dhèanamh.
Bha dreach 0.9.X aig Druid.
Tha an stòr-dàta fhèin gu math duilich a chleachdadh. Is e seo iom-fhillteachd a’ bhun-structair. Gus a chleachdadh, bha e riatanach tòrr a stàladh, tòrr iarann. Agus bha uallach air gach pìos bathar-cruaidh airson a dhleastanas fhèin.
Gus dàta a luchdachadh a-steach dha, bha feum air seòrsa de shamanism. Tha pròiseact OpenSource ann - Tranquility, a bha a 'call dàta bhuainn ann an sruth. Nuair a chuir sinn dàta a-steach ann, chaill e e.
Ach dòigh air choireigin thòisich sinn ga bhuileachadh. Thòisich sinne, mar ghràineagan a ghabh drogaichean ach a lean ag ithe cactus, ga thoirt a-steach. Thug e timcheall air mìos dhuinn am bun-structar gu lèir ullachadh air a shon. Is e sin, òrdaich frithealaichean, rèiteachadh dreuchdan, agus cleachdadh làn fèin-ghluasadach. Is e sin, ma dh’ fhàillig cruinneachadh, thèid an dàrna buidheann a chuir a-steach gu fèin-ghluasadach.
Ach an uairsin thachair mìorbhaileach. Bha mi air saor-làithean agus chuir mo cho-obraichean ceangal thugam , a tha ag ràdh gun do cho-dhùin Yandex ClickHouse fhosgladh. Tha mi ag ràdh gum feuch sinn e.
Agus gu litearra ann an 2 latha chuir sinn a-steach buidheann deuchainn ClickHouse. Thòisich sinn air dàta a luchdachadh a-steach dha. An coimeas ri infiniDB, tha seo bunasach; an taca ri Druid, tha seo bunasach. An coimeas ri Cassandra, tha e bunasach cuideachd. Oir ma luchdaicheas tu dàta bho PHP gu Cassandra, chan eil seo bunaiteach.
Dè fhuair sinn? Coileanadh ann an luaths. Coileanadh ann an stòradh dàta. Is e sin, thathas a’ cleachdadh mòran nas lugha de dh’ àite diosc. Tha ClickHouse luath, tha e gu math luath an taca ri toraidhean eile.
Aig àm an cur air bhog, nuair a dh’ fhoillsich Yandex ClickHouse ann an OpenSource, cha robh ann ach teachdaiche tòcan. Cho-dhùin sinne aig a’ chompanaidh againn SMI2 feuchainn ri teachdaiche dùthchasach a dhèanamh airson an lìon, gus am b’ urrainn dhuinn duilleag fhosgladh bho bhrobhsair, iarrtas a sgrìobhadh agus an toradh fhaighinn, oir thòisich sinn a’ sgrìobhadh tòrr iarrtasan. Tha sgrìobhadh sa chonsail duilich. Agus rinn sinn a’ chiad dreach againn.
Agus an àiteigin nas fhaisge air geamhradh na bliadhna an-uiridh, thòisich innealan treas-phàrtaidh airson a bhith ag obair le ClickHouse a’ nochdadh. Seo innealan mar:
- .
- .
- . (A-nis )
- .
- .
Bheir mi sùil air cuid de na h-innealan sin, is e sin, an fheadhainn leis an robh mi ag obair.
Inneal math, ach airson Druid. Nuair a bha Druid ga chur an gnìomh, bha mi a’ dèanamh deuchainn air SuperSet. Chòrd e rium. Airson Druid tha e gu math luath.
Chan eil e freagarrach airson ClickHouse. Is e sin, tha e a ’freagairt, bidh e a’ tòiseachadh, ach tha e deiseil airson dìreach ceistean bunaiteach a phròiseasadh mar: tachartas SELECT, tachartas GROUP BY. Chan eil e a’ toirt taic don cho-chòrdadh ClickHouse nas iom-fhillte.
Is e an ath inneal Apache Zeppelin. Is e rud math agus inntinneach a tha seo. Obraichean. Bidh e a’ toirt taic do leabhraichean notaichean, deas-bhòrdan, agus a’ toirt taic do chaochladairean. Tha fios agam gu bheil cuideigin ann an coimhearsnachd ClickHouse ga chleachdadh.
Ach chan eil taic ann airson co-chòrdadh ClickHouse, i.e. feumaidh tu ceistean a sgrìobhadh an dàrna cuid sa chonsail no an àiteigin eile. An ath rud, dèan cinnteach gu bheil e uile ag obair. Tha e dìreach mì-ghoireasach. Ach tha deagh thaic deas-bhòrd aige.
Is e an ath inneal Redash.IO. Tha Redash air aoigheachd air an eadar-lìn. Is e sin, eu-coltach ri innealan roimhe, chan fheumar a chuir a-steach. Agus is e deas-bhòrd a tha seo le comas dàta a dhaingneachadh bho dhiofar Stòran Dàta. Is e sin, faodaidh tu luchdachadh sìos bho ClickHouse, bho MySQL, bho PostgreSQL agus bho stòran-dàta eile.
Dìreach mìos air ais (Màrt 2017), nochd taic ann an Grafana. Nuair a thogas tu aithisgean ann an Grafana, mar eisimpleir, air staid a’ bhathar-cruaidh agad no air cuid de mheatairean, a-nis faodaidh tu an aon ghraf no seòrsa de phannal a thogail bho dhàta bho ClickHouse gu dìreach. Tha seo gu math goireasach, agus bidh sinn ga chleachdadh sinn fhìn. Leigidh seo leat neo-riaghailteachdan a lorg. Is e sin, ma thachras rudeigin agus cuid de bhathar-cruaidh a’ tuiteam no fo chuideam, faodaidh tu coimhead air an adhbhar ma chaidh aig an dàta seo air faighinn a-steach do ClickHouse.
Bha e gu math neònach dhomh sgrìobhadh anns na h-innealan sin no anns a’ chonsail. Agus chuir mi romham a’ chiad eadar-aghaidh againn a leasachadh. Agus fhuair mi am beachd bho EventSQL, SeperSet, Zeppelin.
Dè bha thu ag iarraidh? Bha mi airson grafaigean fhaighinn, deasaiche leasaichte, agus taic a chuir an gnìomh airson faclairean sanas. Leis gu bheil feart math aig ClickHouse - faclairean. Ach tha e doirbh a bhith ag obair le faclairean, oir feumaidh tu cuimhneachadh air cruth nan luachan a tha air an stòradh, i.e. an e àireamh no sreang a th’ ann, msaa. Agus leis gu bheil sinn gu tric a’ cleachdadh fhaclairean anns na caochlaidhean eadar-dhealaichte aca, bha e caran duilich ceistean a sgrìobhadh.
Tha 3 mìosan air a dhol seachad bho chaidh a’ chiad dreach againn fhoillseachadh. Rinn mi timcheall air 330 gealltanas gu meur prìobhaideach agus thionndaidh e a-mach gur e Tabix a bh’ ann.
Eu-coltach ris an dreach roimhe, ris an canar ClickHouse-Frontend, chuir mi romham a h-ath-ainmeachadh gu ainm sìmplidh. Agus thionndaidh e a-mach Tabix.
Dè nochd?
A’ tarraing grafaichean. A 'toirt taic do cho-chòrdadh ClickHouse SQL. A’ toirt seachad comhairle air gnìomhan agus is urrainn dha tòrr rudan inntinneach a dhèanamh.
Seo mar a tha sgeama coitcheann Tabix coltach. Air an taobh chlì tha craobh. Anns a’ mheadhan tha deasaiche na ceiste. Agus gu h-ìosal tha toradh an iarrtais seo.
An uairsin seallaidh mi dhut mar a tha deasaiche na ceiste ag obair.
Seo autocomplete gu fèin-obrachail ag obair air a 'bhòrd agus a' brosnachadh, a rèir sin, autocomplete airson na h-achaidhean. Agus molaidhean air gnìomhan. Ma bhrùthas tu ctrl cuir a-steach, thèid an t-iarrtas a chuir gu bàs no ma dh’ fhailicheas tu le mearachd. Thèid an t-iarrtas as sìmplidh a chuir gu Tabix agus gheibhear an toradh, i.e. faodaidh tu obrachadh gu sgiobalta le ClickHouse.
Tha faclairean, mar a thuirt mi cheana, nan rud gu math inntinneach leis a bheil sinn ag obair tòrr. Agus a leig leinn iomadh rud a dhèanamh. Canaidh sinn gu bheil sinn a’ stòradh a h-uile baile mòr ann am faclairean. Bidh sinn a’ stòradh aithnichear a’ bhaile agus ainm a’ bhaile, a leud agus a leud. Agus anns an stòr-dàta cha bhith sinn a’ stòradh ach aithnichear a’ bhaile. Mar sin, bidh sinn a’ teannachadh an dàta gu làidir.
Tha e coltach gur e rud sìmplidh a tha seo, ach tha e na chuideachadh ann an ClickHouse ann an dòigh gu math inntinneach. Leis nach eil ClickHouse a’ toirt taic ach do cheangalaichean neadachaidh, bidh a’ cheist a’ fàs sìos agus farsaing gu leòr. Agus nuair a dh’fhosglas a’ bhreic agus beagan faireachdainn fada a’ tighinn a-steach, bidh rudeigin cho sìmplidh ri bhith a’ tuiteam às a’ cheist ga dhèanamh nas fhasa obrachadh leis a’ cheist fhèin. Air sgàth 's nuair a tha a' cheist 200-300 loidhne a dh'fhaid agus glè mhòr ann an leud, tha e gu math cuideachail a' cheist a leagail agus an uairsin lorg àite air choireigin no dòigh air choireigin a dhèanamh ionadail.
Crann nì, ioma-cheistean agus tabaichean (Bhidio 13:46 )
An uairsin seallaidh mi dhut mun chraoibh agus na tabaichean. Air an taobh chlì tha craobh; air a 'mhullach faodaidh tu grunn tabaichean a chruthachadh. Tha tabaichean coltach ri àite-obrach. Faodaidh tu grunn tabaichean a chruthachadh agus gach fear ainmeachadh ann an dòigh eadar-dhealaichte. Tha e coltach ri siostam beag airson aithisg a thogail.
Thèid tabaichean a shàbhaladh gu fèin-ghluasadach. Ma nì thu ath-thòiseachadh air do bhrobhsair no ma dhùin thu no ma dh’fhosglas tu Tabix, thèid seo uile a shàbhaladh.
Hotkey - goireasach (Bhidio 14:39 )
Tha hotkeys ann agus tha tòrr dhiubh ann. Tha mi air cuid dhiubh a tharraing a-mach an seo mar eisimpleir. Tha seo ag atharrachadh tabaichean, a’ cur an gnìomh iarrtas no a’ cur an gnìomh grunn iarrtasan.
Seallaidh mi dhut mar a dh’ obraicheas tu leis an toradh. Bidh sinn a 'cur iarrtas. An seo tha mi a 'tarraing peacadh, cos agus tg. Faodaidh tu an toradh a shoilleireachadh, i.e. tarraing mapa àbhaisteach airson colbh. Faodaidh tu luachan adhartach no àicheil a chomharrachadh. No dìreach cuir dath air eileamaid bùird sònraichte. Tha seo goireasach nuair a tha am bòrd mòr agus feumaidh tu beagan neo-riaghailteachd a lorg nad shùilean. Nuair a bha mi a 'coimhead airson neo-riaghailteachdan, chomharraich mi cuid de loidhnichean, cuid de eileamaidean ann an uaine no dearg.
Tha tòrr rudan inntinneach an sin. Mar eisimpleir, mar a nì thu leth-bhreac a-steach do Redmine Markdown. Ma dh’ fheumas tu an toradh a chopaigeadh an àiteigin, tha seo gu math goireasach. Faodaidh tu dìreach raon a thaghadh, abair “Copy to Redmine” agus nì e leth-bhreac a-steach do Redmine Markdown no cruthaich ceist Càite.
An ath rud tha optimization ceist. Dhìochuimhnich mi aon uair an raon “ceann-latha” a shònrachadh. Agus cha deach an t-iarrtas agam ann an ClickHouse a phròiseasadh gu math, gu math luath, ach gu sgiobalta, ie nas lugha na diog. Nuair a chunnaic mi cia mheud loidhne a ruith e troimhe, ghabh mi eagal. Cha bhith sinn a’ sgrìobhadh uimhir de shreathan chun chlàr seo ann an latha. Thòisich mi a’ dèanamh anailis air an iarrtas agus chunnaic mi gun robh mi air ceann-latha a chall ann an aon àite. Is e sin, dhìochuimhnich mi innse nach eil feum agam air dàta airson a 'chlàr gu lèir, ach airson ùine shònraichte.
Tha tab “Stats” aig Tabix, a bhios a’ stòradh eachdraidh iomlan nan iarrtasan a chaidh a chuir a-steach, ie an sin chì thu cia mheud loidhne a chaidh a leughadh leis an iarrtas seo agus dè cho fada ‘s a thug e airson a chuir an gnìomh. Leigidh seo le optimization.
Faodaidh tu clàr pivot a thogail thairis air toradh na ceiste. Chuir thu iarrtas gu ClickHouse agus fhuair thu beagan dàta. Agus an uairsin faodaidh tu an dàta seo a ghluasad leis an luchag agad agus seòrsa de bhòrd pivot a thogail.
Is e an ath rud inntinneach dealbhadh. Canaidh sinn gu bheil an t-iarrtas a leanas againn: airson peacadh, cos bho 0 gu 299. Agus airson a tharraing, feumaidh tu an taba “Tarraing” a thaghadh agus gheibh thu graf le do pheacadh agus cos.
Faodaidh tu seo a roinn ann an tuaghan eadar-dhealaichte, i.e. faodaidh tu dà ghraf a tharraing taobh ri taobh aig an aon àm. Sgrìobh aon àithne agus dàrna àithne.
Faodaidh tu histograman a tharraing.
Faodaidh tu seo a bhriseadh sìos ann am matrix de ghrafaichean.
Faodaidh tu mapa teas a thogail.
Faodaidh tu mìosachan teirmeach a thogail. Co-dhiù, is e rud gu math goireasach a tha seo nuair a dh’ fheumas tu anomalies a sgrùdadh thairis air bliadhna, is e sin, lorg spìcean no boinneagan. Chuidich an sealladh dàta seo mi le seo.
An ath rud tha Treemap.
Is e clàr inntinneach a th’ ann an Sankeys. Tha e an dara cuid Streamgrahps no River. Ach is e Abhainn a chanas mi ris. Tha e cuideachd a 'toirt cothrom dhut coimhead airson neo-riaghailteachdan sam bith. Tha e glè chofhurtail. Tha mi a 'moladh a chleachdadh airson rannsachadh.
Is e an ath rud inntinneach mapa fiùghantach a tharraing. Ma tha thu a 'stòradh domhan-leud, domhan-leud anns an stòr-dàta agad agus, abair, a' stòradh ceann-uidhe, ma tha thu, mar eisimpleir, air itealan no plèanaichean ag itealaich, faodaidh tu slighean ceann-uidhe a tharraing. Cuideachd an sin faodaidh tu astar agus meud nan nithean sin a shuidheachadh anns am bi iad ag itealaich.
Ach is e an duilgheadas leis a’ mhapa seo nach bi e a’ tarraing ach mapa den t-saoghal, chan eil mion-fhiosrachadh ann.
Nas fhaide air adhart chuir mi mapa Google ris. Ma tha thu a’ stòradh domhan-leud, domhan-leud, faodaidh tu an toradh a tharraing air mapa Google, ach às aonais taic itealain.
Tha sinn air bruidhinn mu na prìomh ghnìomhan a bhith ag obair le toraidhean agus ceistean ann an Tabix.
Is e an ath fhear mion-sgrùdadh air an t-seirbheisiche ClickHouse agad. Tha taba “Metrics” air leth ann, far am faic thu meud an dàta a tha air a stòradh airson gach colbh. Tha an dealbh-sgrìn a’ sealltainn gu bheil an raon “iomraidh” seo a’ toirt suas mu 730 Gb. Ma thrèigeas sinn an raon seo, sàbhalaidh sinn trì slatan de 700 GB gach fear, i.e. mu 2 TB nach fheum sinn.
Tha raon “request_id” againn cuideachd a bhios sinn a’ stòradh ann an sreang. Ach ma thòisicheas sinn ga stòradh ann an cruth àireamhach, bidh an raon seo a’ crìonadh gu mòr.
Bidh e cuideachd a’ sealltainn rèiteachadh an fhrithealaiche agus liosta de nodan anns a’ bhuidheann agad.
Is e an ath chlàr metrics. Bidh iad a’ faighinn a-steach gu fìor-ùine le ClickHouse agus dìreach a ’toirt cothrom dhut sgrùdadh a dhèanamh air staid an fhrithealaiche agus tuigsinn dè a tha a’ tachairt dha. Chan eil seo na àite airson Grafana slàn. Tha seo riatanach airson mion-sgrùdadh luath.
Is e an ath tab pròiseasan. Bhon iad tuigidh tu na tha a’ tachairt air an fhrithealaiche. Tuig dè tha dol an sin. Bha iarrtas agam a bhiodh ag ithe 200 GB de leughadh gach turas. Chunnaic mi seo le taing don eadar-aghaidh seo. Rug mi air agus cheartaich mi e. Agus thionndaidh e a-mach gu robh e timcheall air 30 GB, i.e. coileanadh aig amannan.
Tapadh leat! Agus tha e ann an OpenSource
Chrìochnaich mi. Agus leis an t-slighe, is e OpenSource a th’ ann, tha e an-asgaidh agus chan fheum thu eadhon a luchdachadh sìos. Fosgail e ann am brabhsair agus obraichidh a h-uile càil.
Do cheistean
Igor, dè an ath rud? Càite an leasaich thu an inneal seo?
An ath rud, nochdaidh clàran-dash, ie, is dòcha gun nochd dashboards. Amalachadh le stòran-dàta eile. Rinn mi seo, ach chan eil mi air fhoillseachadh ann an OpenSource fhathast. Is e seo MySQL agus is dòcha PostgreSQL. Is e sin, bidh e comasach iarrtasan bho Tabix a chuir chan ann a-mhàin gu ClickHouse, ach cuideachd gu innealan eile.
Tha e soilleir gun deach obair mhòr a dhèanamh. Thionndaidh e a-mach gur e beachd gu math coileanta a bh’ ann. Chaidh seo a dhèanamh anns a 'bhrobhsair, a rèir coltais, gus cuir às do bhratagan air gach seòrsa tuagh agus gu luath a' tilgeil an rud gu lèir còmhla. Chuala mi gu bheil thu air adhart PHP obraich, agus mar sin is e an dòigh as fhasa a thaipeadh sa bhrobhsair agus obraichidh e anns a h-uile àite. Chan eil ceistean sam bith ann mu dheidhinn seo. Is i a’ cheist seo. Chaidh tòrr a dhèanamh an sin dha-rìribh. Cia mheud duine a bha ag obair air seo? Agus dè cho fada 'sa thug e uile? Leis nach eil an uiread de ghnìomhachd aig innealan àbhaisteach mar as trice.
Bha aon neach bhon sgioba againn ag obair bho shamhradh gu foghar. B’ e seo a’ chiad dreach. An uairsin rinn mi 330 gealltanas leis fhèin. Na chì thu, rinn mo cho-obraiche agus mise e ann an leth. Ann an 3 mìosan, bhon chiad dreach chun an fhear mu dheireadh, mar as trice rinn mi e leis fhèin. Ach chan eil mi eòlach air Javascript glè mhath. B’ e seo an aon phròiseact Javascript agam agus, tha mi an dòchas, leis an do dh’ obraich mi. Fhuair mi e, choimhead mi - oh, uamhas. Ach bha mi dha-rìribh ag iarraidh crìoch a chuir air an toradh agus is e seo a thachair.
Mòran taing airson an aithris! Is e inneal fìor mhath a tha seo. LEIS Clàr An do rinn thu coimeas?
Tapadh leat. Sin as coireach gun tug mi Tabix mar ainm air, oir tha na ciad litrichean mar an ceudna.
A chionn 's gu bheil thu a' farpais?
Bidh tòrr tasgadh ann, bidh sinn a’ farpais.
Ciamar as urrainn dhut tairgse a reic ri sgrùdairean taobh a-staigh a thèid an inneal seo a chuir na àite gu tur *clàr*? Dè na h-argamaidean a bhios ann?
Ag obair gu dùthchasach le ClickHouse. Dh'fheuch mi Tableau, ach chan urrainn dhut taic a sgrìobhadh airson faclairean agus an leithid an sin. Tha fios agam mar a bhios daoine ag obair le Tabix. Bidh iad a’ sgrìobhadh ceist, ga luchdachadh suas gu CSV agus ga luchdachadh suas gu BI. Agus tha iad mar-thà a 'dèanamh rudeigin an sin. Ach tha ùine chruaidh agam a bhith a’ smaoineachadh mar a nì iad seo, oir is e inneal grafaigeach a th’ ann. Faodaidh e 5 sreath a luchdachadh, 000 sreath aig a’ char as àirde, ach chan eil barrachd, air neo cha dèilig am brabhsair.
Is e sin, tha cuid de chuingealachaidhean mòra air an ìre de dhàta, ceart?
Tha. Chan urrainn dhomh smaoineachadh gum biodh tu airson 10 sreath a luchdachadh suas don bhòrd agad gu scrion do bhrobhsair. Airson dè?
A bheil seo a’ ciallachadh gur e eadar-aghaidh a tha seo airson coimhead air dàta gu sgiobalta? Tionndaidh beagan e, toinneamh e?
Tha, faic gu sgiobalta mar a tha e ag obair agus dìreach tog graf geàrr-chunntas. Agus an uairsin thoir e an àiteigin. Tha an siostam aithris againn fhìn, às am bi mi dìreach a’ gabhail ris an iarrtas seo. Bidh mi a’ tarraing a-steach Tabix agus ga chuir chun aithris againn.
Agus ceist eile. Mion-sgrùdadh cohort?
Ma tha iarrtasan sam bith ann, cuiridh sinn ris.
Cuin a thòisich thu dìreach ga chleachdadh? ClickHouse, dè cho fada ’s a thug am buileachadh? Cliog Taigh agus a' toirt gu staid riochdachaidh?
Mar a thuirt mi, chuir sinn buidheann deuchainn an gnìomh ann an ùine gu math goirid. Chuir sinn a-steach e ann an dà latha. Agus rinn sinn deuchainn air airson beagan sheachdainean eile. Agus ràinig sinn cinneasachadh ann an 3 mìosan, ach bha an ETL againn fhèin, i.e. inneal airson dàta a chlàradh. Agus sgriobh e anns gach ni a b' urrainn e. Faodaidh e sgrìobhadh ann am MongoDB, Cassandra, MySQL. Bha e furasta a theagasg mar a sgrìobhas e ann an ClickHouse. Bha bun-structar deiseil againn airson a chuir an gnìomh gu sgiobalta. Taobh a-staigh 3 mìosan thòisich sinn a 'tilgeil a-mach a' chiad phàirt. Ann an 6 mìosan thrèig sinn a h-uile càil eile gu tur. Chan eil againn ach aon ClickHouse air fhàgail.
Igor, mòran taing airson na h-aithisg. Chòrd e rium gu mòr a bhith comasach air slighean a thogail a’ cleachdadh mhapaichean. A bheil planaichean ann airson amalachadh le Yandex.Maps agus gu sònraichte le Yandex.Maps àbhaisteach?
Dh'fheuch mi ri amalachadh an àite mapa Google, ach cha do lorg mi cuspair dorcha air Yandex.Maps. Cha do dh'innis mi aon phìos dhut. Bidh mi a-rithist airson cur ris.
Sleamhnachadh - mapa Google. Tha àithne ann “DRAW_GMAPS”, a tha a’ tarraing mapa. Tha àithne “DRAW_YMAPS”, i.e. is urrainn dha Yandex.Map a tharraing. Ach gu dearbh, fon àithne seo tha Javascript ann, i.e. faodar an dàta a gheibh thu bho ClickHouse a ghluasad gu Javascript, a sgrìobhas tu an seo. Agus tha raon toraidh agad far am bu chòir a tharraing. Faodaidh tu graf sam bith a tharraing, i.e. graf sam bith, mapa, faodaidh tu do phàirt fhèin a tharraing. Roimhe seo, bha leabharlann eile agam airson na grafaichean fhèin a tharraing.
Is e sin, a bheil inneal ann airson comas taisbeanaidh a ghnàthachadh?
Sam bith. Faodaidh tu na dotagan sin a ghabhail agus ath-dhathadh, a’ fàgail nach eil iad dearg, ach gorm, uaine.
Tapadh leibh airson an aithris! Bha sleamhnag agad a thug seachad innealan ceist eile Cliog Taigh airson clàran-bùird agus aithisgean anailis a thogail. Tha mi a’ tuigsinn sin aig an àm a thòisich thu ag obair le ClickHouse, cha deach innealan-atharrachaidh a sgrìobhadh airson na h-innealan sin. Agus tha mi a’ faighneachd carson a chuir thu romhpa an inneal agad fhèin a dhèanamh, an àite inneal-atharrachaidh a sgrìobhadh airson inneal deiseil? Tha mi a’ smaoineachadh gu bheil tweaking an deasaiche deuchainn luath. Carson a cho-dhùin thu uiread de dh'obair a dhèanamh?
Tha puing inntinneach an seo - is e an fhìrinn gur e stiùiriche teignigeach a th’ annam, chan e neach-saidheans dàta. Mun àm a thòisich sinn air Druid a chuir an gnìomh, bha timcheall air 50% de na gnìomhan air a’ mhapa-rathaid agam - dèanamaid seo obrachadh a-mach, no dèanamaid seo obrachadh a-mach, no sgrùdadh a dhèanamh air seo. Agus thionndaidh e a-mach gun do chuir sinn an gnìomh ClickHouse. Agus thòisich e air a h-uile càil a thogail gu luath, a 'cunntadh, agus gu luath dhùin e a chlàr-rathaid. Agus ron àm sin thuig mi nach robh eòlas agam ann an Saidheans Dàta agus fradharc dàta. Tha Tabix mar sheòrsa den obair-dachaigh agam airson a bhith ag ionnsachadh fradharc dàta. Bha mi a 'coimhead air mar a chuireas tu ri Zeppelin. Tha rud beag a' còrdadh rium ris a' phrògramadh aige. Redash Choimhead mi air mar a chuireadh mi ris, ach bha deasaiche àbhaisteach gu leòr dhomh. Agus tha SuperSet cuideachd sgrìobhte ann an cànan nach toil leam gu mòr. Agus mar sin chuir mi romhpa rothaireachd, agus is e seo a thachair.
Igor, a bheil thu a’ gabhail ri iarrtasan Pull?
Tha.
Mòran taing airson an aithris! Agus dà cheist. An toiseach, chan eil thu a 'bruidhinn gu math mu dheidhinn Javascript. An do sgrìobh thu ann an Javascript lom no an e seòrsa de fhrèam a th’ ann?*
Nas fheàrr ann an javascript lom.
Mar sin dè am frèam?
Angular.
Tha e soilleir. Agus an dàrna ceist. A bheil thu air beachdachadh R и *gleansach**?*
Bheachdaich air. Air a chluich.
Dh'fhaodadh tu cuideachd dìreach adapter a sgrìobhadh.
Tha e. Tha e coltach gun do rinn a’ choimhearsnachd e, ach, mar a fhreagair mi a’ cheist roimhe, bha mi airson feuchainn orm fhìn.
* Chan eil, a thaobh fradharc, tha e ann cuideachd.
Tha thu ag ràdh gu bheil a leithid ann agus tarraingidh e graf dhut. Dh’ fhosgail mi leabhar air fradharc dàta. Agus smaoinich mi: “Leig leam feuchainn ris an dàta seo fhaicinn. Sgrìobhaidh mi thuige gus an urrainn dha an dàta ath-thogail." Agus thòisich mi air tuigse nas fheàrr fhaighinn air teicneòlas biadhaidh dàta. Agus nam biodh mi air pàirt deiseil a ghabhail, bhithinn gu pearsanta air ionnsachadh nas miosa mar a chleachdas mi e, is e sin, fradharc. Ach bha, chòrd R rium, ach chan eil mi air an leabhar “R for Dummies” a leughadh fhathast.
Tapadh leibh!
Ceist shìmplidh. A bheil dòighean ann air soidhne no clàr a luchdachadh suas gu sgiobalta?
Faodar a luchdachadh suas gu CSV no Excel.
Chan e dàta, ach truinnsear deiseil, graf deiseil? Mar eisimpleir, airson an ceannard a shealltainn.
Tha putan “Upload” ann agus tha putan ann “Luchdaich suas graf ann am png, ann an jpg”.
Tapadh leibh!
P.S. Mion-stiùiridhean airson tabix a stàladh
- Luchdaich sìos
- Unpack, dèan lethbhreac den eòlaire
buildann an nginx root_path - Dèan rèiteachadh air nginx
Source: www.habr.com