Manaʻo wau e heluhelu ʻoe i ka transcript o ka hōʻike 2017 e Igor Stryhar "ClickHouse - ʻike wikiwiki a ʻike i ka ʻikepili ʻikepili ma Tabix."
Pūnaewele pūnaewele no ClickHouse ma ka papahana Tabix.
Nā hiʻohiʻona nui:
- Hana me ClickHouse pololei mai ka polokalamu kele pūnaewele, me ka ʻole o ka pono e hoʻokomo i nā polokalamu hou;
- Lunahooponopono nīnū me ka hōʻailona hōʻailona;
- Autocompletion o na kauoha;
- Nā mea hana no ka nānā ʻana i nā kiʻi no ka hoʻokō ʻana i nā nīnau;
- Nā kala kala e koho mai.
ʻO wau ke alakaʻi ʻenehana o SMI2. He mea hōʻuluʻulu nūhou mākou. Mālama mākou i nā ʻikepili he nui i loaʻa iā mākou mai kā mākou mau hoa a hoʻopaʻa inoa iā ia ma ClickHouse - ma kahi o 30 mau noi i kēlā me kēia kekona.
ʻO kēia ka ʻikepili e like me:
- Kaomi ma ka nūhou.
- Hōʻike ʻia nā nūhou i ka mea hoʻohui.
- Hōʻike ʻia ka hae ma kā mākou pūnaewele.
- A hoʻopaʻa inoa mākou i nā hanana mai kā mākou counter ponoʻī, e like me Yandex.Metrica. ʻO kā mākou micro-analytics kēia.
He ola koʻikoʻi ko mākou ma mua o ClickHouse. Ua pilikia nui mākou, e ho'āʻo ana e mālama i kēia ʻikepili ma kahi a me ka nānā ʻana iā ia.
Ke ola ma mua o ClickHouse - infiniDB
ʻO ka mea mua i loaʻa iā mākou he infiniDB. Noho ʻo ia me mākou no 4 mau makahiki. Hoʻomaka mākou me ka paʻakikī.
- ʻAʻole ia e kākoʻo i ka clustering a i ʻole sharding. ʻAʻohe mea akamai i puka mai i waho o ka pahu ma ka paʻamau.
- He paʻakikī kona hoʻouka ʻana i ka ʻikepili. ʻO kahi mea hoʻohana console kūikawā wale nō e hiki ke hoʻouka i nā faila CSV a ma kahi ʻano maopopo ʻole.
- ʻO ka waihona ʻikepili he kaula hoʻokahi. Hiki iā ʻoe ke kākau a heluhelu paha. Akā ua hiki ke hana i ka nui o ka ʻikepili.
- A loaʻa iā ia kahi koʻokoʻo hoihoi. I kēlā me kēia pō pono e hoʻomaka hou ke kikowaena, inā ʻaʻole e hana.
Ua hana ʻo ia no mākou a hiki i ka hopena o 2016, i ka wā i hoʻololi piha ai mākou iā ClickHouse.
Ke ola ma mua o ClickHouse - Cassandra
No ka mea ʻo ka infiniDB i hoʻokahi-threaded, ua hoʻoholo mākou e pono mākou i kahi ʻano ʻikepili multi-threaded kahi e hiki ai iā mākou ke kākau i nā loina he nui i ka manawa like.
Ua ho'āʻo mākou i nā mea hoihoi. A laila ua hoʻoholo mākou e hoʻāʻo iā Cassandra. Ua maikaʻi nā mea a pau me Cassandra. 10 noi i kēlā me kēia kekona no ke kūʻai. 000 noi ma kahi e heluhelu ai.
Akā, ua loaʻa iā ia kona mau pono ponoʻī. Hoʻokahi mahina a i ʻole hoʻokahi manawa i kēlā me kēia ʻelua mahina ua ʻike ʻo ia i ka desynchronization database. A pono wau e ala a holo e hoʻoponopono iā Cassandra. Hoʻomaka hou nā kikowaena i kēlā me kēia. A maʻalahi a nani nā mea a pau.
Ke ola ma mua o ClickHouse - Druid
A laila ʻike mākou he pono mākou e kākau i nā ʻikepili hou aʻe. Ma 2016 ua hoʻomaka mākou e nānā iā Druid.
ʻO Druid kahi polokalamu open source i kākau ʻia ma Java. kikoo loa. A ua kūpono ia no clickstream, i ka wā e pono ai mākou e mālama i kekahi ʻano kahawai o nā hanana a laila hana i ka hōʻuluʻulu ma luna o lākou a i ʻole e hana i nā hōʻike loiloi.
Loaʻa iā Druid ka mana 0.9.X.
He paʻakikī loa ka hoʻonohonoho ʻana i ka waihona. ʻO kēia ka paʻakikī o ka hoʻolālā. No ka hoʻolālāʻana, pono e hoʻokomo i ka nui, ka hao nui. A ʻo kēlā me kēia ʻāpana o ka ʻenehana ke kuleana no kāna kuleana ponoʻī.
No ka hoʻouka ʻana i ka ʻikepili i loko, pono e hoʻohana i kekahi ʻano shamanism. Aia kahi papahana OpenSource - Tranquility, e nalowale ana i ka ʻikepili mai iā mākou ma kahi kahawai. Ke hoʻouka mākou i ka ʻikepili i loko, ua nalowale ia.
Akā, ua hoʻomaka mākou e hoʻokō. ʻO mākou, e like me nā hedgehogs i lawe i nā lāʻau lapaʻau akā hoʻomau i ka ʻai ʻana i ka cactus, hoʻomaka mākou e hoʻolauna. Hoʻokahi mahina paha mākou e hoʻomākaukau ai i nā ʻōnaehana āpau no ia. ʻO ia hoʻi, kauoha i nā kikowaena, hoʻonohonoho i nā kuleana, a hoʻopiha piha i ka deployment. ʻO ia hoʻi, i ka wā o ka hāʻule ʻana o ka puʻupuʻu, e hoʻoili ʻia ka lua o ka puʻupuʻu.
Akā, ua hana ʻia kahi hana mana. Ua hoʻomaha wau a ua hoʻouna mai koʻu mau hoa hana i kahi loulou i , e ʻōlelo ana ua hoʻoholo ʻo Yandex e wehe iā ClickHouse. 'Ōlelo wau e ho'āʻo kāua.
A ʻoiaʻiʻo i nā lā 2 ua kau mākou i kahi pūʻulu hoʻāʻo ClickHouse. Hoʻomaka mākou e hoʻouka i ka ʻikepili i loko. Hoʻohālikelike ʻia i ka infiniDB, he haʻahaʻa kēia; ke hoʻohālikelike ʻia me Druid, he haʻahaʻa kēia. Hoʻohālikelike ʻia me Cassandra, he kula haʻahaʻa. No ka mea inā ʻoe e hoʻouka i ka ʻikepili mai PHP i Cassandra, a laila ʻaʻole kēia ke kula haʻahaʻa.
He aha ka mea i loaʻa iā mākou? Hana i ka wikiwiki. Hana ma ka waihona ʻikepili. ʻO ia hoʻi, ʻoi aku ka liʻiliʻi o ka hoʻohana ʻana i kahi disk. He wikiwiki ka ClickHouse, wikiwiki loa ia i ka hoʻohālikelike ʻana i nā huahana ʻē aʻe.
I ka manawa o ka hoʻomaka ʻana, i ka wā i paʻi ai ʻo Yandex ClickHouse ma OpenSource, aia wale nō kahi mea kūʻai console. Ua hoʻoholo mākou ma kā mākou hui SMI2 e hoʻāʻo e hana i kahi mea kūʻai maoli no ka pūnaewele, i hiki iā mākou ke wehe i kahi ʻaoʻao mai kahi polokalamu kele, kākau i kahi noi a loaʻa ka hopena, no ka mea ua hoʻomaka mākou e kākau i nā noi he nui. He paʻakikī ke kākau ʻana ma ka console. A hana mākou i kā mākou mana mua.
A ma kahi kokoke i ka hoʻoilo o ka makahiki i hala, ua hoʻomaka nā mea hana ʻekolu no ka hana ʻana me ClickHouse. ʻO kēia nā mea hana e like me:
- .
- .
- . (I kēia manawa )
- .
- .
E nānā au i kekahi o kēia mau mea hana, ʻo ia hoʻi nā mea aʻu i hana pū ai.
He mea hana maikaʻi, akā no Druid. Ke hoʻokō ʻia nei ʻo Druid, ke hoʻāʻo nei au iā SuperSet. Ua makemake au iā ia. No Druid he wikiwiki loa.
ʻAʻole kūpono ia no ClickHouse. ʻO ia, kūpono, hoʻomaka, akā mākaukau e hoʻoponopono i nā nīnaueleele wale nō e like me: SELECT event, GROUP BY event. ʻAʻole ia e kākoʻo i ka syntax ClickHouse paʻakikī.
ʻO ka mea hana aʻe ʻo Apache Zeppelin. He mea maikai a hoihoi keia. Nā hana. Kākoʻo ia i nā puke puke, nā dashboards, a kākoʻo i nā ʻano like ʻole. ʻIke wau i kekahi o ke kaiāulu ClickHouse e hoʻohana iā ia.
Akā ʻaʻohe kākoʻo no ClickHouse syntax, ʻo ia hoʻi, pono ʻoe e kākau i nā nīnau ma ka console a i ʻole ma kahi ʻē aʻe. A laila, e nānā i ka hana a pau. He pilikia wale nō. Akā, loaʻa iā ia ke kākoʻo dashboard maikaʻi.
ʻO ka mea hana aʻe ʻo Redash.IO. Hoʻokipa ʻia ʻo Redash ma ka Pūnaewele. ʻO ia, ʻaʻole like me nā mea hana mua, ʻaʻole pono e hoʻokomo. A he dashboard kēia me ka hiki ke hoʻohui i ka ʻikepili mai nā DataSources like ʻole. ʻO ia, hiki iā ʻoe ke hoʻoiho mai ClickHouse, mai MySQL, mai PostgreSQL a mai nā ʻikepili ʻē aʻe.
Hoʻokahi mahina i hala aku nei (Malaki 2017), ʻike ʻia ke kākoʻo ma Grafana. Ke kūkulu ʻoe i nā hōʻike ma Grafana, no ka laʻana, ma ke kūlana o kāu lako a i ʻole kekahi mau ana, hiki iā ʻoe ke kūkulu i ka pakuhi like a i ʻole kekahi ʻano panel mai ka ʻikepili mai ClickHouse pololei. He mea maʻalahi kēia, a hoʻohana mākou iā mākou iho. ʻAe kēia iā ʻoe e ʻike i nā anomalies. ʻO ia hoʻi, inā loaʻa kekahi mea a hāʻule a paʻakikī paha kekahi mea, a laila hiki iā ʻoe ke nānā i ke kumu inā hiki i kēia ʻikepili ke komo i ClickHouse.
Ua ʻike wau he paʻakikī loa ke kākau ʻana i kēia mau mea hana a i ʻole ma ka console. A ua hoʻoholo wau e hoʻomaikaʻi i kā mākou interface mua. A loaʻa iaʻu ka manaʻo mai EventSQL, SeperSet, Zeppelin.
He aha kāu i makemake ai? Makemake au e kiʻi i nā kiʻi, hoʻoponopono i hoʻomaikaʻi ʻia, a hoʻokō i ke kākoʻo no nā puke wehewehe ʻōlelo. No ka mea he hiʻohiʻona nui ko ClickHouse - nā puke wehewehe'ōlelo. Akā paʻakikī ka hana ʻana me nā puke wehewehe ʻōlelo, no ka mea, pono ʻoe e hoʻomanaʻo i ke ʻano o nā waiwai i mālama ʻia, ʻo ia hoʻi he helu a i ʻole ke kaula, a pēlā aku.
Ua hala nā mahina 3 mai ka hoʻokuʻu ʻia ʻana o kā mākou mana mua. Ua hana au ma kahi o 330 mau hana i kahi lālā pilikino a ua lilo ʻo Tabix.
ʻAʻole like me ka mana mua, i kapa ʻia ʻo ClickHouse-Frontend, ua hoʻoholo wau e hoʻololi hou i kahi inoa maʻalahi. A ua lilo ʻo Tabix.
He aha ka mea i ʻike ʻia?
Kaha kiʻi. Kākoʻo ʻo ClickHouse SQL syntax. Hāʻawi i ka ʻōlelo aʻo e pili ana i nā hana a hiki ke hana i nā mea hoihoi.
ʻO kēia ke ʻano o ka papahana Tabix maʻamau. Aia ma ka hema he kumulāʻau. Aia ma waenakonu ka mea hoʻoponopono nīnau. A ma lalo iho ka hopena o kēia noi.
A laila e hōʻike wau iā ʻoe pehea e hana ai ka mea hoʻoponopono nīnau.
Eia ka autocomplete e hana maʻalahi ma ka papaʻaina a koi aku, no laila, autocomplete no nā kahua. A me nā hōʻailona e pili ana i nā hana. Inā ʻoe e paʻi i ka ctrl komo, e hoʻokō ʻia ka noi a hāʻule paha me ka hewa. Hoʻouna ʻia ka noi maʻalahi iā Tabix a loaʻa ka hopena, ʻo ia hoʻi, hiki iā ʻoe ke hana wikiwiki me ClickHouse.
ʻO nā puke weheweheʻōlelo, e like me kaʻu i ʻōlelo ai, he mea hoihoi loa mākou e hana nui ai. A i ʻae iā mākou e hana i nā mea he nui. E ʻōlelo mākou e mālama mākou i nā kūlanakauhale a pau i loko o nā puke wehewehe. Mālama mākou i ka ʻike kūlanakauhale a me ka inoa kūlanakauhale, kona latitu a me ka longitude. A i loko o ka waihona waihona mākou mālama wale i ka ʻike kūlanakauhale. No laila, hoʻopaʻa ikaika mākou i ka ʻikepili.
He mea maʻalahi kēia, akā kōkua ia ma ClickHouse ma kahi ala hoihoi. Ma muli o ke kākoʻo wale ʻana o ClickHouse i nā hui pūnana, ulu ka nīnau i lalo a ākea. A i ka wehe ʻana o ka bracket a komo mai kekahi ʻōlelo lōʻihi, a laila ʻoi aku ka maʻalahi e like me ka hāʻule ʻana o ka nīnau e maʻalahi ka hana me ka nīnau ponoʻī. No ka mea inā he 200-300 laina ka lōʻihi a nui loa ka laula o ka nīnau, he mea kōkua nui ke hoʻohiolo i ka nīnau a laila e ʻimi i kahi a i ʻole e hoʻokaʻawale iā ia.
lāʻau Object, multiqueries and tabs (Video 13:46 )
A laila e hōʻike wau iā ʻoe e pili ana i ka lāʻau a me nā tab. Aia ma ka ʻaoʻao hema he lāʻau; ma luna hiki iā ʻoe ke hana i kekahi mau papa. Ua like nā papa hana. Hiki iā ʻoe ke hana i nā ʻāpana he nui a kapa ʻia kēlā me kēia ʻano ʻokoʻa. Ua like ia me kahi ʻōnaehana liʻiliʻi no ke kūkulu ʻana i kahi hōʻike.
Mālama 'akomi 'ia nā pā. Inā hoʻomaka hou ʻoe i kāu polokalamu kele pūnaewele a pani a wehe paha iā Tabix, e mālama ʻia kēia mau mea a pau.
Kiki wela - kūpono (Video 14:39 )
Aia nā kī wela a he nui loa. Ua unuhi au i kekahi o lākou ma ke ʻano he laʻana. Ke hoʻololi nei kēia i nā ʻaoʻao, hoʻokō i kahi noi a hoʻokō paha i kekahi mau noi.
E hōʻike wau iā ʻoe pehea e hana ai me ka hopena. Hoʻouna mākou i kahi noi. Eia au ke kaha nei i ka hewa, cos a me tg. Hiki iā ʻoe ke kuhikuhi i ka hopena, ʻo ia hoʻi, kahakiʻi i ka palapala ʻāina maʻamau no kahi kolamu. Hiki iā ʻoe ke hōʻike i nā waiwai maikaʻi a maikaʻi ʻole paha. A i ʻole e kala wale i kekahi mea papaʻaina. He kūpono kēia inā nui ka papaʻaina a pono ʻoe e ʻimi i kahi anomaly me kou mau maka. I koʻu ʻimi ʻana i nā anomalies, hōʻike wau i kekahi mau laina, kekahi mau mea i ka ʻōmaʻomaʻo a i ʻole ka ʻulaʻula.
Nui nā mea hoihoi ma laila. No ka laʻana, pehea e kope ai i Redmine Markdown. Inā pono ʻoe e kope i ka hopena ma kahi wahi, maʻalahi loa kēia. Hiki iā ʻoe ke koho i kahi wahi, e ʻōlelo "Kopi iā Redmine" a e kope ia i Redmine Markdown a i ʻole e hana i kahi nīnau ma kahi.
ʻO ka mea aʻe ʻo ka huli ʻana. Ua poina iaʻu i ka wehewehe ʻana i ka mahina "lā". A ʻo kaʻu noi ma ClickHouse ʻaʻole i hoʻokō ʻia, wikiwiki loa, akā wikiwiki, ʻo ia hoʻi ka liʻiliʻi ma mua o kekona. I koʻu ʻike ʻana i ka nui o nā laina āna i holo ai, makaʻu wau. ʻAʻole mākou kākau i nā lālani he nui i kēia pākaukau i ka lā. Ua hoʻomaka wau e nānā i ka noi a ʻike wau ua hala wau i kahi lā ma kahi hoʻokahi. ʻO ia hoʻi, ua poina iaʻu e hōʻike ʻaʻole pono wau i ka ʻikepili no ka papaʻaina holoʻokoʻa, akā no kahi manawa kikoʻī.
Aia ʻo Tabix i kahi "Stats" tab, kahi e mālama ai i ka mōʻaukala holoʻokoʻa o nā noi i hoʻouna ʻia, ʻo ia hoʻi ma laila ʻoe e ʻike ai i ka nui o nā laina i heluhelu ʻia e kēia noi a pehea ka lōʻihi o ka hoʻokō ʻana. Hāʻawi kēia i ka optimization.
Hiki iā ʻoe ke kūkulu i kahi papa pivot ma luna o ka hopena nīnau. Ua hoʻouna ʻoe i kahi noi iā ClickHouse a loaʻa iā ʻoe kekahi ʻikepili. A laila hiki iā ʻoe ke hoʻoneʻe i kēia ʻikepili me kāu ʻiole a kūkulu i kekahi ʻano papa pivot.
ʻO ka mea hoihoi hou aʻe ʻo ka hoʻolālā ʻana. E ʻōlelo mākou he noi kēia: no ka hewa, cos mai 0 a 299. A e huki iā ia, pono ʻoe e koho i ka pā "Draw" a loaʻa iā ʻoe kahi pakuhi me kāu hewa a me ka cos.
Hiki iā ʻoe ke hoʻokaʻawale i kēia i nā koʻi like ʻole, ʻo ia hoʻi, hiki iā ʻoe ke kaha kiʻi ʻelua ʻaoʻao ma ka ʻaoʻao hoʻokahi. E kākau i hoʻokahi kauoha a me ke kauoha ʻelua.
Hiki iā ʻoe ke kaha kiʻi histograms.
Hiki iā ʻoe ke hoʻokaʻawale i kēia i loko o kahi matrix o nā pakuhi.
Hiki iā ʻoe ke kūkulu i kahi palapala wela.
Hiki iā ʻoe ke kūkulu i kahi kalena wela. Ma ke ala, he mea maʻalahi kēia inā pono ʻoe e nānā i nā anomalies i hoʻokahi makahiki, ʻo ia hoʻi, e ʻike i nā spikes a i ʻole nā hāʻule. Ua kōkua kēia ʻike ʻikepili iaʻu i kēia.
A laila ʻo Treemap.
He pakuhi hoihoi ʻo Sankeys. ʻO ia ʻo Streamgrahps a i ʻole River. Akā kapa wau ʻo River. Hiki iā ʻoe ke ʻimi i nā anomalies. He oluolu loa. Paipai au e hoʻohana iā ia no ka ʻimi ʻana.
ʻO ka mea hoihoi hou aʻe, ʻo ke kahakiʻi ʻana i kahi palapala ʻāina. Inā mālama ʻoe i ka latitu, longitude i loko o kāu waihona a, e ʻōlelo, e mālama i kahi huakaʻi, inā ʻoe, no ka laʻana, he kaʻa kaʻa a i ʻole nā mokulele e lele ana, a laila hiki iā ʻoe ke huki i nā ala huakaʻi. Ma laila hoʻi hiki iā ʻoe ke hoʻonohonoho i ka wikiwiki a me ka nui o kēia mau mea i lele ai lākou.
Akā ʻo ka pilikia o kēia palapala ʻāina, ʻo ia wale nō ke kahakiʻi ʻana i ka palapala honua, ʻaʻohe kikoʻī.
Ma hope ua hoʻohui au i ka palapala ʻāina Google. Inā mālama ʻoe i ka latitu, longitude, a laila hiki iā ʻoe ke huki i ka hopena ma ka palapala ʻāina Google, akā me ke kākoʻo ʻole o ka mokulele.
Ua kūkākūkā mākou i nā hana nui o ka hana ʻana me nā hopena a me nā nīnau ma Tabix.
ʻO ka mea aʻe he loiloi o kāu kikowaena ClickHouse. Aia kahi ʻāpana "Metrics" ʻokoʻa, kahi āu e ʻike ai i ka nui o ka ʻikepili i mālama ʻia no kēlā me kēia kolamu. Hōʻike ka kiʻi kiʻi i kēia kahua "referrer" e pili ana i 730 Gb. Inā haʻalele mākou i kēia kahua, e mālama mākou i ʻekolu shards o 700 GB kēlā me kēia, ʻo ia hoʻi ma kahi o 2 TB ʻaʻole pono mākou.
Loaʻa iā mākou kahi kahua "request_id" a mākou e mālama ai i kahi kaula. Akā inā hoʻomaka mākou e mālama iā ia ma ke ʻano helu, e emi nui kēia kahua.
Hōʻike pū ia i ka hoʻonohonoho kikowaena a me kahi papa inoa o nā nodes i kāu hui.
ʻO ka ʻaoʻao aʻe he metric. Hele lākou i ka manawa maoli me ClickHouse a ʻae wale iā ʻoe e nānā i ke kūlana o ka server a hoʻomaopopo i ka mea e hana nei. ʻAʻole kēia he pani no ka Grafana piha. Pono kēia no ka nānā wikiwiki.
ʻO ka ʻaoʻao aʻe nā kaʻina hana. Mai lākou hiki iā ʻoe ke hoʻomaopopo i ka mea e hana nei ma ke kikowaena. E hoʻomaopopo i ka mea e hana nei ma laila. Ua loaʻa iaʻu kahi noi e hoʻopau i ka 200 GB o ka heluhelu ʻana i kēlā me kēia manawa. Ua ʻike au i kēia mahalo i kēia interface. Ua hopu au iā ia a hoʻoponopono iā ia. A ua lilo ia ma kahi o 30 GB, ʻo ia hoʻi he hana i kekahi manawa.
Mahalo iā ʻoe! A aia ma OpenSource
Ua pau au. A ma ke ala, ʻo OpenSource, manuahi a ʻaʻole pono ʻoe e hoʻoiho. E wehe iā ia ma kahi polokalamu kele pūnaewele a e hana nā mea a pau.
ʻO kāu mau nīnau
Igor, he aha ka mea e hiki mai ana? Ma hea ʻoe e kūkulu ai i kēia mea hana?
A laila, puka mai nā dashboards, ʻo ia hoʻi, e puka mai ana nā dashboards. Hoʻohui me nā ʻikepili ʻē aʻe. Ua hana au i kēia, akā ʻaʻole i paʻi ʻia ma OpenSource. ʻO MySQL kēia a me PostgreSQL paha. ʻO ia, hiki ke hoʻouna i nā noi mai Tabix ʻaʻole wale i ClickHouse, akā i nā mea hana ʻē aʻe.
Ua maopopo ua nui ka hana i hanaia. Ua lilo ia i manaʻo piha loa. Ua hanaʻia kēia ma ka polokalamu kele pūnaewele, i mea e hoʻopau ai i nā koʻi ma nāʻano koʻi a pau a hoʻolei koke i ka mea a pau. Ua lohe au aia ʻoe LIKE hana, no laila ʻo ke ala maʻalahi ke kākau ʻana iā ia ma ka polokalamu kele pūnaewele a e hana ia ma nā wahi āpau. ʻAʻohe nīnau e pili ana i kēia. ʻO kēia ka nīnau. Ua nui maoli i hana ʻia ma laila. Ehia kanaka i hana i keia? A pehea ka lōʻihi o ia mea? No ka mea, ʻaʻole i loaʻa ka nui o nā mea hana maʻamau.
Hoʻokahi kanaka o kā mākou hui i hana mai ke kauwela a hiki i ka hāʻule. ʻO kēia ka mana mua. A laila ua hana wau i 330 mau hana hoʻokahi. ʻO ka mea āu e ʻike ai, ua hana au me koʻu hoa hana i ka hapalua. I loko o 3 mau mahina, mai ka mana mua loa a hiki i ka hope, hana nui wau ia wale nō. Akā ʻaʻole maopopo iaʻu i ka Javascript. ʻO kēia wale nō kaʻu a, manaʻolana wau, kaʻu papahana Javascript hope loa aʻu i hana pū ai. Loaʻa iaʻu, nānā wau - ʻo, weliweli. Akā makemake nui au e hoʻopau i ka huahana a ʻo ia ka mea i hana.
Mahalo nui iā ʻoe no ka hōʻike! He mea paahana nui keia. ME papaʻaina Ua hoʻohālikelike ʻoe?
Mahalo iā ʻoe. No laila au i kapa ai iā Tabix, no ka mea, ua like nā hua mua.
No kou hoʻokūkū?
Nui ka hoʻokomo kālā, e hoʻokūkū mākou.
Pehea e hiki ai iā ʻoe ke hāʻawi aku e kūʻai aku i nā mea loiloi kūloko e hoʻololi loa kēia mea hana *Pakaukau*? He aha nā hoʻopaʻapaʻa?
Hana maoli me ClickHouse. Ua ho'āʻo wau iā Tableau, akā ʻaʻole hiki iā ʻoe ke kākau i ke kākoʻo no nā puke wehewehe ʻōlelo a me nā mea like ma laila. ʻIke wau i ka hana a nā kānaka me Tabix. Kākau lākou i kahi nīnau, hoʻouka iā CSV a hoʻouka iā BI. A ke hana nei lākou i kekahi mea ma laila. Akā paʻakikī koʻu noʻonoʻo pehea lākou e hana ai i kēia, no ka mea, he mea hana kiʻi ia. Hiki iā ia ke wehe i nā lālani 5, ʻoi aku ka nui o 000 mau lālani, akā ʻaʻole hou, inā ʻaʻole e hoʻokō ka polokalamu kele pūnaewele.
ʻO ia hoʻi, aia kekahi mau palena koʻikoʻi i ka nui o ka ʻikepili, pololei?
ʻAe. ʻAʻole hiki iaʻu ke noʻonoʻo e makemake ana ʻoe e hoʻouka i nā lālani 10 i kāu papaʻaina ma kāu pale kele pūnaewele. He aha ke kumu?
ʻO kēia ke ʻano he interface kēia no ka nānā wikiwiki ʻana i ka ʻikepili? wili iki, wili?
ʻAe, e ʻike koke i ka hana ʻana a kūkulu wale i ka pakuhi hōʻuluʻulu. A laila hāʻawi i kahi. Loaʻa iā mākou kā mākou ʻōnaehana hōʻike, kahi aʻu e lawe ai i kēia noi. Huki au iā Tabix a hoʻouna aku i kā mākou hōʻike.
A me kekahi ninau. ʻIkepili hui?
Inā he mau noi, e hoʻohui mākou.
I ka manawa hea ʻoe i hoʻomaka ai e hoʻohana? ClickHouse, pehea ka lōʻihi o ka hoʻokō ʻana? KaomiHouse a lawe mai i kūlana hana?
E like me kaʻu i ʻōlelo ai, ua hoʻokō mākou i kahi pūʻulu hoʻāʻo i ka manawa pōkole loa. Hoʻokomo mākou iā ia i nā lā ʻelua. A hoʻāʻo mākou iā ia no ʻelua mau pule. A hiki mākou i ka hana i nā mahina 3. Akā ua loaʻa iā mākou kā mākou ETL ponoʻī, ʻo ia hoʻi he mea hana no ka hoʻopaʻa ʻana i ka ʻikepili. A kākau ʻo ia i nā mea a pau i hiki iā ia. Hiki iā ia ke kākau ma MongoDB, Cassandra, MySQL. He mea maʻalahi ke aʻo iā ia pehea e kākau ai ma ClickHouse. Loaʻa iā mākou kahi ʻōnaehana i mākaukau no ka hoʻokō wikiwiki. I loko o 3 mau mahina ua hoʻomaka mākou e kiola i ka mea mua. I loko o 6 mahina ua haʻalele loa mākou i nā mea ʻē aʻe. Hoʻokahi wale nō ClickHouse i koe.
Igor, mahalo nui iā ʻoe no ka hōʻike. Makemake au i ka hana o ke kūkulu ʻana i nā ala me ka hoʻohana ʻana i nā palapala ʻāina. Aia kekahi mau hoʻolālā no ka hoʻohui ʻana me Yandex.Maps a me nā mea kūikawā me Yandex.Maps maʻamau?
Ua ho'āʻo wau e hoʻohui ma kahi o ka palapala ʻāina Google, akā ʻaʻole i loaʻa iaʻu kahi kumuhana ʻeleʻele ma Yandex.Maps. ʻAʻole wau i haʻi aku iā ʻoe i kahi ʻāpana. E hoʻihoʻi au e hoʻohui.
Paheʻe – Google map. Aia kahi kauoha "DRAW_GMAPS", e huki i ka palapala 'āina. Aia kahi kauoha "DRAW_YMAPS", ʻo ia hoʻi, hiki iā ia ke huki i kahi Yandex.Map. Akā ʻo ka ʻoiaʻiʻo, ma lalo o kēia kauoha aia ʻo Javascript, ʻo ia hoʻi ka ʻikepili i loaʻa iā ʻoe mai ClickHouse hiki ke hoʻololi ʻia i Javascript, āu e kākau ai ma aneʻi. A loaʻa iā ʻoe kahi wahi puka kahi e huki ʻia ai. Hiki iā ʻoe ke kahakiʻi i kekahi pakuhi, ʻo ia hoʻi kekahi pakuhi, palapala ʻāina, hiki iā ʻoe ke kaha i kāu ʻāpana ponoʻī. Ma mua o kēia, ua loaʻa iaʻu kahi waihona no ke kaha kiʻi ʻana iā lākou iho.
ʻO ia hoʻi, aia kahi mea hana no ka hoʻoponopono ʻana i ka hana hōʻike?
Kekahi. Hiki iā ʻoe ke lawe a pena hou i kēia mau kiko, ʻaʻole ʻulaʻula, akā uliuli, ʻōmaʻomaʻo.
Mahalo no ka hōʻike! Loaʻa iā ʻoe kahi paheʻe e hōʻike ana i nā mea hana nīnau ʻē aʻe KaomiHouse no ke kūkulu ʻana i nā dashboards a me nā hōʻike loiloi. Maopopo iaʻu i ka manawa āu i hoʻomaka ai e hana me ClickHouse, ʻaʻohe mea hoʻololi i kākau ʻia no kēia mau mea hana. A ke noʻonoʻo nei au no ke aha ʻoe i hoʻoholo ai e hana i kāu mea hana ponoʻī, ma kahi o ke kākau ʻana i kahi adapter no kekahi mea hana i mākaukau? Manaʻo wau he wikiwiki ka hoʻoponopono ʻana i ka hoʻoponopono hoʻāʻo. No ke aha ʻoe i hoʻoholo ai e hana i nā hana he nui?
Aia kekahi wahi hoihoi ma ʻaneʻi - ʻo ka mea ʻoiaʻiʻo he alakaʻi loea wau, ʻaʻole he ʻepekema data. I ka manawa a mākou i hoʻomaka ai e hoʻokō iā Druid, ua loaʻa i kaʻu palapala alanui ma kahi o 50% o nā hana - e helu kākou i kēia, a i ʻole e helu kākou i kēia, a i ʻole e nānā i kēia. A ua ʻike ʻia ua hoʻokō mākou i ka ClickHouse. A hoʻomaka ʻo ia e kūkulu wikiwiki i nā mea āpau, helu, a pani koke i kāna palapala alanui. A i kēlā manawa ua ʻike au ua nele au i ka ʻike i ka ʻIkepili ʻIkepili a me ka ʻike ʻike ʻikepili. ʻO Tabix kahi ʻano o kaʻu haʻawina home no ke aʻo ʻana i ka ʻike ʻikepili. Ke nānā nei au pehea e hoʻokō ai iā Zeppelin. ʻAʻole makemake iki au i kāna papahana. Redash Ua nānā au pehea e hoʻohui ai, akā ua lawa ka mea hoʻoponopono maʻamau iaʻu. A ua kākau pū ʻia ʻo SuperSet ma kahi ʻōlelo aʻu i makemake ʻole ai. A no laila ua hoʻoholo wau e kaʻa kaʻa, a ʻo ia ka mea i hana ʻia.
Igor, ʻae ʻoe i nā noi huki?
ʻAe.
Mahalo nui iā ʻoe no ka hōʻike! A ʻelua nīnau. ʻO ka mea mua, ʻaʻole ʻoe e kamaʻilio ʻoluʻolu loa Javascript. Ua kākau paha ʻoe ma ka Javascript wale nō a i ʻole kekahi ʻano hana?*
ʻOi aku ka maikaʻi ma ka Javascript.
No laila he aha ke kumu?
angular.
Ua maopopo. A ʻo ka nīnau ʻelua. Ua noʻonoʻo paha ʻoe R и *ʻālohilohi**?*
Noonoo ia. Hoʻokani ʻia.
Hiki iā ʻoe ke kākau wale i kahi adapter.
ʻo ia. Me he mea lā ua hana ke kaiāulu, akā, i koʻu pane ʻana i ka nīnau mua, makemake wau e hoʻāʻo iaʻu iho.
* ʻAʻole, e pili ana i ka nānā ʻana, aia pū kekahi.
Ke ʻōlelo nei ʻoe aia kekahi mea a e huki iā ʻoe i kahi pakuhi. Ua wehe au i kahi puke e pili ana i ka ʻike ʻikepili. A manaʻo wau: "E hoʻāʻo wau e nānā i kēia ʻikepili. E kākau wau iā ia i hiki iā ia ke kūkulu hou i ka ʻikepili. " A hoʻomaka wau e hoʻomaopopo pono i ka ʻenehana hānai data. A inā wau i lawe i kahi mea i hoʻomākaukau ʻia, ʻoi aku ka maikaʻi o kaʻu aʻo ʻana i ka hoʻohana ʻana, ʻo ia hoʻi, ʻike. Akā ʻae, makemake au iā R, akā ʻaʻole wau i heluhelu i ka puke "R for Dummies".
Alakaʻi!
Nīnau maʻalahi. Aia kekahi mau ala e hoʻouka wikiwiki ai i kahi hōʻailona a i ʻole ka papa manawa?
Hiki ke hoʻouka ʻia i CSV a i ʻole Excel.
ʻAʻole ʻikepili, akā he pā i mākaukau, kahi pakuhi i mākaukau? No ka laʻana, e hōʻike i ka luna.
Aia kahi pihi "Upload" a aia kahi pihi "Upload graph in png, in jpg".
Alakaʻi!
Nā ʻōlelo aʻoaʻo PS Mini no ka hoʻokomo ʻana i ka tabix
- Hoʻoili
- Wehe, kope i ka papa kuhikuhi
buildi ka nginx root_path - E hoʻonohonoho i ka nginx
Source: www.habr.com