Na dia eo aza ny zava-misy fa misy angon-drakitra be dia be amin'izao fotoana izao, ny angon-drakitra analytical dia mbola hafahafa ihany. Tsy dia fantatra loatra izy ireo ary mbola ratsy kokoa aza ny fampiasana azy ireo amin'ny fomba mahomby. Maro no manohy "mihinana cactus" miaraka amin'ny MySQL na PostgreSQL, izay natao ho an'ny toe-javatra hafa, mijaly amin'ny NoSQL, na mandoa mihoatra noho ny vahaolana ara-barotra. ClickHouse dia manova ny fitsipiky ny lalao ary mampihena be ny tokonam-baravarana hidirana amin'ny tontolon'ny DBMS analytical.
Tatitra avy amin'ny BackEnd Conf 2018 ary navoaka tamin'ny alΓ lan'ny mpandahateny.
Iza moa aho ary nahoana aho no miresaka momba ny ClickHouse? Talen'ny fampandrosoana ao amin'ny LifeStreet aho, izay mampiasa ClickHouse. Izaho koa no mpanorina ny Altinity. Izy io dia mpiara-miasa Yandex izay mampiroborobo ny ClickHouse ary manampy an'i Yandex hahomby kokoa ny ClickHouse. Vonona ihany koa ny hizara fahalalana momba ny ClickHouse.
Ary tsy rahalahin'i Petya Zaitsev aho. Matetika aho no anontaniana momba izany. Tsia, tsy mpirahalahy isika.
βFantatry ny rehetraβ fa ny ClickHouse:
- Haingana be,
- Tena mahazo aina
- Ampiasaina amin'ny Yandex.
Kely kely no fantatra amin'ny orinasa sy ny fomba ampiasana azy.
Holazaiko aminao ny antony, aiza ary ny fomba fampiasana ClickHouse, afa-tsy ny Yandex.
Holazaiko aminao ny fomba hamahana ny asa manokana miaraka amin'ny fanampian'ny ClickHouse amin'ny orinasa samihafa, inona ny fitaovana ClickHouse azonao ampiasaina amin'ny asanao, ary ny fomba nampiasana azy ireo tamin'ny orinasa samihafa.
Naka ohatra telo aho izay mampiseho ny ClickHouse amin'ny lafiny samihafa. Heveriko fa hahaliana izany.
Ny fanontaniana voalohany dia: "Nahoana isika no mila ClickHouse?". Toa fanontaniana mivandravandra io, saingy misy valiny mihoatra ny iray.
- Ny valiny voalohany dia ho an'ny fampisehoana. ClickHouse dia tena haingana. Ny Analytics amin'ny ClickHouse dia tena haingana ihany koa. Azo ampiasaina matetika izy io rehefa misy zavatra hafa miadana na ratsy be.
- Ny valiny faharoa dia ny vidiny. Ary voalohany indrindra, ny vidin'ny scaling. Ohatra, Vertica dia angon-drakitra tena tsara. Tena miasa tsara izy io raha tsy manana angona terabytes be dia be ianao. Saingy raha ny terabytes na petabytes an-jatony no resahina, ny vidin'ny fahazoan-dΓ lana sy ny fanohanana dia miditra amin'ny vola be. Ary lafo izany. Ary ny ClickHouse dia maimaim-poana.
- Ny valiny fahatelo dia ny vidin'ny fandidiana. Fomba hafa kely izany. RedShift dia analoga lehibe. Amin'ny RedShift, afaka mandray fanapahan-kevitra haingana ianao. Hiasa tsara izy io, saingy amin'ny fotoana mitovy, isan'ora, isan'andro, ary isam-bolana dia handoa vola be amin'ny Amazon ianao, satria serivisy lafo be izany. Google BigQuery koa. Raha misy olona nampiasa izany, dia fantany fa any ianao dia afaka manao fangatahana maromaro ary mahazo faktiora an-jatony dolara tampoka.
ClickHouse dia tsy manana ireo olana ireo.
Aiza no ampiasaina ankehitriny ny ClickHouse? Ho fanampin'ny Yandex, ClickHouse dia ampiasaina amin'ny vondron'orinasa sy orinasa samihafa.
- Voalohany indrindra, ity dia famakafakana fampiharana tranonkala, izany hoe tranga fampiasana izay avy amin'ny Yandex.
- Betsaka ny orinasa AdTech mampiasa ClickHouse.
- Orinasa maro mila mamakafaka ny diarin'ny fifanakalozana avy amin'ny loharano samihafa.
- Orinasa maromaro no mampiasa ClickHouse hanaraha-maso ny logs fiarovana. Mampakatra azy ireo any amin'ny ClickHouse izy ireo, manao tatitra, ary mahazo ny valiny ilainy.
- Manomboka mampiasa izany amin'ny famakafakana ara-bola ny orinasa, izany hoe manatona tsikelikely ny ClickHouse ihany koa ireo orinasa lehibe.
- cloudflare. Raha misy olona manaraka ClickHouse, dia mety efa naheno ny anaran'ity orinasa ity izy ireo. Izany no iray amin'ireo mpandray anjara tena ilaina avy amin'ny fiaraha-monina. Ary manana fametrahana ClickHouse tena matotra izy ireo. Ohatra, nanao Kafka Engine ho an'ny ClickHouse izy ireo.
- Nanomboka nampiasa ny orinasam-pifandraisan-davitra. Orinasa maromaro no mampiasa ClickHouse ho porofo momba ny foto-kevitra na efa eo amin'ny famokarana.
- Ny orinasa iray dia mampiasa ClickHouse hanaraha-maso ny fizotran'ny famokarana. Mitsapa microcircuits izy ireo, manoratra marika maromaro, misy toetra 2 eo ho eo. Ary avy eo dia mamakafaka izy ireo na tsara na ratsy ilay lalao.
- Blockchain analytics. Misy orinasa Rosiana toy ny Bloxy.info. Ity dia fanadihadiana momba ny tambajotra ethereum. Nanao izany koa izy ireo tao amin'ny ClickHouse.
Ary tsy maninona ny habeny. Betsaka ny orinasa mampiasa mpizara kely iray. Ary avelany hamaha ny olany izy ireo. Ary na dia betsaka aza ny orinasa mampiasa cluster lehibe amin'ny mpizara maro na mpizara am-polony.
Ary raha mijery ny rakitsoratra ianao dia:
- Yandex: mpizara 500+, mitahiry rakitra 25 lavitrisa isan'andro any izy ireo.
- LifeStreet: mpizara 60, firaketana manodidina ny 75 lavitrisa isan'andro. Vitsy kokoa ny mpizara, firaketana bebe kokoa noho ny ao amin'ny Yandex.
- CloudFlare: mpizara 36, ββmitahiry rakitra 200 lavitrisa isan'andro izy ireo. Mbola vitsy kokoa aza ny mpizara ary mitahiry angona bebe kokoa.
- Bloomberg: mpizara 102, fidirana iray tapitrisa tapitrisa isan'andro. Mpiandry firaketana.
Raha ara-jeografika dia betsaka ihany koa izany. Ity sarintany eto ity dia mampiseho sarintany mafana misy ny ClickHouse eran'izao tontolo izao. Rosia, Shina, Amerika dia misongadina mazava eto. Vitsy ny firenena eoropeanina. Ary misy cluster 4.
Fanadihadiana fampitahana ity, tsy ilaina ny mitady tarehimarika tanteraka. Ity dia famakafakana ireo mpitsidika mamaky fitaovana amin'ny teny anglisy ao amin'ny tranokalan'ny Altinity, satria tsy misy ireo miteny Rosiana ao. Ary i Rosia, Ukraine, Belarosia, izany hoe ny ampahany amin'ny fiaraha-monina miteny Rosiana, ireo no mpampiasa betsaka indrindra. Avy eo dia tonga ny Etazonia sy Kanada. Tena mahazo tombony i Shina. Saika tsy nisy Sinoa tany enim-bolana lasa izay, ankehitriny dia efa nihoatra an'i Eoropa i Shina ary mbola mitombo hatrany. Eoropeana taloha ihany koa dia tsy lavitra, ary ny mpitarika amin'ny fampiasana ClickHouse dia, mahagaga, i Frantsa.
Nahoana aho no milaza izany rehetra izany? Mba hampisehoana fa ny ClickHouse dia lasa vahaolana manara-penitra ho an'ny famakafakana data lehibe ary efa ampiasaina amin'ny toerana maro. Raha mampiasa azy ianao dia ao anatin'ny fironana mety. Raha mbola tsy mampiasa izany ianao dia tsy afaka hatahotra sao havela ho irery ianao ary tsy hisy hanampy anao, satria efa maro no manao izany.
Ohatra amin'ny fampiasana ClickHouse tena izy amin'ny orinasa maromaro.
- Ny ohatra voalohany dia tambajotra doka: fifindra-monina avy any Vertica mankany ClickHouse. Ary fantatro ny orinasa vitsivitsy izay nifindra avy any Vertica na efa eo am-pandrosoana.
- Ny ohatra faharoa dia fitahirizana transactional amin'ny ClickHouse. Ity dia ohatra natsangana tamin'ny antipatterns. Ny zavatra rehetra tsy tokony hatao ao amin'ny ClickHouse amin'ny torohevitry ny mpamorona dia atao eto. Ary vita amin'ny fomba mahomby izany ka miasa. Ary miasa tsara kokoa noho ny vahaolana transactional mahazatra.
- Ny ohatra fahatelo dia fizarana computing amin'ny ClickHouse. Nisy fanontaniana mikasika ny fomba hampidirana ny ClickHouse amin'ny tontolo iainana Hadoop. Haneho ohatra iray amin'ny fomba nanaovan'ny orinasa zavatra mitovy amin'ny sarintany fampihenana ny kaontenera ao amin'ny ClickHouse aho, ny fitazonana ny toerana misy ny angon-drakitra, sns., Mba hanombanana asa tena tsy misy dikany.
- LifeStreet dia orinasa Ad Tech manana ny teknolojia rehetra miaraka amin'ny tambajotra doka.
- Mirotsaka amin'ny fanatsarana ny doka izy, ny tolo-bidy voarindra.
- Betsaka ny angona: manodidina ny 10 lavitrisa hetsika isan'andro. Mandritra izany fotoana izany, ny hetsika any dia azo zaraina ho sub-hetsika maromaro.
- Betsaka ny mpanjifa amin'ity angona ity, ary tsy olona ihany izy ireo, fa mihoatra noho izany - ireo dia algorithm isan-karazany izay mirotsaka amin'ny tolo-bidy programa.
Ny orinasa dia tonga amin'ny lalana lava sy sarotra. Ary niresaka momba izany aho tao amin'ny HighLoad. Voalohany, ny LifeStreet dia nifindra avy tao MySQL (miaraka amin'ny fijanonana fohy ao Oracle) mankany Vertica. Ary afaka mahita tantara momba izany ianao.
Ary tena tsara ny zava-drehetra, saingy nazava haingana fa mitombo ny angon-drakitra ary lafo ny Vertica. Noho izany dia nisy fomba hafa notadiavina. Voatanisa eto ny sasany amin'izy ireo. Ary raha ny marina, nanao porofo momba ny foto-kevitra izahay na indraindray fitsapana ny fahombiazan'ny angon-drakitra rehetra izay hita teny an-tsena nanomboka tamin'ny taona faha-13 ka hatramin'ny faha-16 ary mety amin'ny lafiny fampiasa. Ary niresaka momba ny sasany amin'izy ireo tao amin'ny HighLoad ihany koa aho.
Ny asa dia ny mifindra monina avy any Vertica tamin'ny voalohany, satria nitombo ny angon-drakitra. Ary nitombo be izy ireo nandritra ny taona maro. Avy eo dia nandeha teo amin'ny talantalana izy ireo, saingy na izany aza. Ary maminavina io fitomboana io, ny fepetra takian'ny orinasa amin'ny habetsaky ny angon-drakitra tokony hanaovana karazana analyse sasany, mazava ho azy fa horesahina tsy ho ela ny petabytes. Ary ny fandoavana ny petabytes dia efa lafo be, ka nitady fomba hafa ho aiza.
Aiza no haleha? Ary nandritra ny fotoana ela dia tsy mazava tsara hoe aiza no haleha, satria amin'ny lafiny iray dia misy tahiry ara-barotra, toa mandeha tsara izy ireo. Ny sasany miasa saika mitovy amin'ny Vertica, ny sasany ratsy kokoa. Fa izy rehetra dia lafo, tsy misy mora kokoa sy tsara kokoa tsy hita.
Amin'ny lafiny iray, misy ny vahaolana open source, izay tsy dia betsaka, izany hoe ho an'ny analytics dia azo isaina amin'ny rantsantanana. Ary maimaim-poana izy ireo na mora, fa miadana. Ary matetika izy ireo no tsy ampy ny fampiasa ilaina sy mahasoa.
Ary tsy nisy na inona na inona hanambatra ny tsara ao amin'ny tahiry ara-barotra sy ny maimaim-poana rehetra izay ao amin'ny loharano misokatra.
Tsy nisy na inona na inona raha tsy, tsy nampoizina, nosintonin'i Yandex ny ClickHouse, toy ny mpanao ody amin'ny satroka, toy ny bitro. Ary fanapahan-kevitra tsy nampoizina izany, mbola mametraka fanontaniana izy ireo: "Nahoana?", Na izany aza.
Ary avy hatrany tamin'ny fahavaratry ny taona 2016, nanomboka nijery ny atao hoe ClickHouse izahay. Ary hita fa indraindray dia mety ho haingana kokoa noho ny Vertica. Nanandrana toe-javatra samihafa tamin'ny fanontaniana samihafa izahay. Ary raha latabatra iray ihany no nampiasain'ilay fanontaniana, izany hoe tsy misy idirana (mikambana), dia avo roa heny noho ny Vertica ny ClickHouse.
Tsy kamo loatra aho ary nijery ny fitsapana Yandex indray andro. Toy izany koa ny any: indroa haingana noho ny Vertica ny ClickHouse, ka matetika izy ireo no miresaka momba izany.
Fa raha misy mitambatra ao amin'ny fanontaniana, ny zava-drehetra dia tsy dia mazava loatra. Ary ny ClickHouse dia mety ho avo roa heny noho ny Vertica. Ary raha manitsy kely ny fangatahana ianao ary mamerina manoratra azy, dia mitovy izy ireo. Tsy ratsy. Ary maimaim-poana.
Ary rehefa nahazo ny valin'ny fitsapana, ary nijery izany tamin'ny lafiny samihafa, LifeStreet nankany ClickHouse.
Faha-16 taona izao, mampahatsiahy anao aho. Toy ny vazivazy momba ny totozy nitomany sy nanindrona ny tenany, nefa nanohy nihinana ny cactus. Ary io dia nofaritana tamin'ny antsipiriany, misy video momba izany, sns.
Noho izany dia tsy hiresaka amin'ny antsipiriany aho fa ny vokatra sy ny zavatra mahaliana vitsivitsy izay tsy noresahiko tamin'izany ihany no horesahiko.
Ny vokatra dia:
- Ny fifindra-monina nahomby ary herintaona mahery dia efa miasa amin'ny famokarana ny rafitra.
- Nitombo ny famokarana sy ny fahaiza-manao. Amin'ireo firaketana 10 lavitrisa izay azontsika tehirizina isan'andro ary avy eo mandritra ny fotoana fohy, ny LifeStreet izao dia mitahiry rakitsoratra 75 lavitrisa isan'andro ary afaka manao izany mandritra ny 3 volana na mihoatra. Raha manisa eo amin'ny tampony ianao, dia mahatratra iray tapitrisa isan-tsegondra izany. Maherin'ny iray tapitrisa ny fangatahana SQL isan'andro tonga amin'ity rafitra ity, ny ankamaroany dia avy amin'ny robots samihafa.
- Na dia eo aza ny zava-misy fa maro kokoa ny mpizara nampiasaina ho an'ny ClickHouse noho ny Vertica, dia nitahiry fitaovana ihany koa izy ireo, satria ny kapila SAS lafo vidy no nampiasaina tao Vertica. ClickHouse dia nampiasa SATA. Ary nahoana? Satria ny insert Vertica dia synchronous. Ary ny synchronization dia mitaky ny tsy hihena be ny kapila, ary koa ny tsy hihena be ny tambajotra, izany hoe, ny fandidiana lafo vidy. Ary ao amin'ny ClickHouse insert dia asynchronous. Ankoatra izany, azonao atao ny manoratra ny zava-drehetra eo an-toerana foana, tsy misy vidiny fanampiny ho an'izany, noho izany dia azo ampidirina ao amin'ny ClickHouse haingana kokoa ny angon-drakitra noho ny any Vertika, na dia amin'ny fiara miadana kokoa aza. Ary ny famakiana dia mitovy ihany. Ny famakiana amin'ny SATA, raha ao amin'ny RAID izy ireo, dia haingana be izany rehetra izany.
- Tsy voafetran'ny fahazoan-dΓ lana, izany hoe angona 3 petabytes amin'ny mpizara 60 (server 20 dia kopia iray) ary firaketana 6 trillion amin'ny zava-misy sy fitambarana. Tsy misy zavatra toy izany azo omena ao amin'ny Vertica.
Mitodika amin'ny zavatra azo ampiharina amin'ity ohatra ity aho izao.
- Ny voalohany dia drafitra mahomby. Miankina betsaka amin'ny schema.
- Ny faharoa dia famokarana SQL mahomby.
Ny fangatahana OLAP mahazatra dia safidy. Ny sasany amin'ireo tsanganana dia mandeha amin'ny vondrona, ny sasany amin'ireo tsanganana mankany amin'ny asa mitambatra. Misy ny toerana, izay azo aseho ho toy ny silaka ny goba. Ny vondrona manontolo amin'ny dia azo heverina ho toy ny projection. Ary izany no antony iantsoana azy hoe multivariate data analysis.
Ary matetika izany dia modely amin'ny endriky ny kintana-tetika, rehefa misy zava-misy ifotony sy ny toetra mampiavaka an'io zava-misy eo amin'ny lafiny, miaraka amin'ny taratra.
Ary amin'ny lafiny famolavolana ara-batana, ny fomba mifanaraka amin'ny latabatra, dia matetika izy ireo no manao fampisehoana mahazatra. Azonao atao ny manao denormalize, fa lafo amin'ny kapila ary tsy mahomby amin'ny fanontaniana. Noho izany, matetika izy ireo dia manao fanehoana ara-dalΓ na, izany hoe latabatra zava-misy sy tabilao misy refy maro.
Saingy tsy mandeha tsara ao amin'ny ClickHouse izany. Misy antony roa:
- Ny voalohany dia satria ny ClickHouse dia tsy dia tsara loatra ny miditra, izany hoe misy ny miditra, fa ratsy izy ireo. Raha ratsy.
- Ny faharoa dia tsy misy fanavaozana ny latabatra. Matetika amin'ireny takelaka ireny, izay manodidina ny kintana-circuit, dia mila ovaina ny zavatra. Ohatra, ny anaran'ny mpanjifa, ny anaran'ny orinasa, sns. Ary tsy mandeha izany.
Ary misy fomba hivoahana amin'izany ao amin'ny ClickHouse. roa aza:
- Ny voalohany dia ny fampiasana rakibolana. Ny Diksionera ivelany no manampy ny 99% hamaha ny olana amin'ny kintana-schema, miaraka amin'ny fanavaozana sy ny sisa.
- Ny faharoa dia ny fampiasana array. Ny Arrays koa dia manampy amin'ny fanesorana ny fifandraisana sy ny olana amin'ny normalization.
- Tsy ilaina ny miditra.
- azo havaozina. Nanomboka tamin'ny martsa 2018, nisy fahafahana tsy voarakitra (tsy ho hitanao ao amin'ny antontan-taratasy) hanavao amin'ny ampahany ny rakibolana, izany hoe ireo lahatsoratra niova. Raha ny marina dia toy ny latabatra izy io.
- Ao amin'ny fitadidiana foana, noho izany dia miara-miasa amin'ny rakibolana miasa haingana kokoa noho ny hoe latabatra izay ao amin'ny kapila ary tsy mbola zava-misy fa ao amin'ny cache, azo inoana fa tsy.
- Tsy mila miditra koa ianao.
- Ity dia fanehoana 1 amin'ny maro.
- Ary raha ny hevitro, ny array dia natao ho an'ny geeks. Ireo no fonction lambda sy ny sisa.
Tsy natao ho an'ny teny mena izany. Fampiasa tena mahery vaika izay ahafahanao manao zavatra maro amin'ny fomba tena tsotra sy kanto.
Ohatra mahazatra izay manampy amin'ny famahana ny arrays. Tsotra sy mazava tsara ireto ohatra ireto:
- Fikarohana amin'ny marika. Raha manana tenifototra ianao ary te hahita lahatsoratra amin'ny tenifototra.
- Fikarohana amin'ny mpivady sanda manan-danja. Misy ihany koa ny toetra sasany misy sanda.
- Mitahiry lisitr'ireo fanalahidy izay ilainao hadika ho zavatra hafa.
Ireo asa rehetra ireo dia azo voavaha tsy misy array. Ny marika dia azo apetraka amin'ny andalana sasany ary voafantina miaraka amin'ny fomba fiteny mahazatra na amin'ny latabatra misaraka, saingy tsy maintsy miditra ianao.
Ary ao amin'ny ClickHouse, tsy mila manao na inona na inona ianao, ampy ny mamaritra ny firafitry ny tady ho an'ny tenifototra na manao rafitra nested ho an'ny rafitra manan-danja.
Mety tsy ny anarana tsara indrindra ny rafitra misy akany. Ireo dia array roa izay manana ampahany iraisana amin'ny anarana sy ireo toetra mifandraika amin'izany.
Ary tena mora ny mikaroka amin'ny marika. Manana asa has, izay manamarina fa misy singa ny array. Ny rehetra, nahita ny lahatsoratra rehetra mifandraika amin'ny fihaonambentsika.
Ny fikarohana amin'ny subid dia somary sarotra kokoa. Mila mitady ny fanondroan'ny lakile aloha isika, ary alaivo ilay singa miaraka amin'ity fanondroana ity ary jereo fa io sanda io no ilaintsika. Na izany aza, dia tena tsotra sy mirindra.
Ny fomba fiteny mahazatra tianao hosoratana raha tazoninao amin'ny andalana iray izany rehetra izany dia ho, voalohany, kivy. Ary, faharoa, niasa ela kokoa noho ny array roa.
Ohatra iray hafa. Manana laharan-tseza misy anao ny ID ianao. Ary azonao atao ny mandika azy ireo ho anarana. asa arrayMap. Ity dia fiasa lambda mahazatra. Mandalo fomba fiteny lambda ianao any. Ary alainy ao amin'ny rakibolana ny sandan'ny anarana isaky ny ID.
Ny fikarohana dia azo atao amin'ny fomba mitovy. Ampidirina ny asa predicate izay manamarina izay mifanaraka amin'ireo singa.
Ireo zavatra ireo dia manamora ny fizaran-tany ary mamaha olana maro.
Fa ny olana manaraka atrehantsika, ary tiako ho lazaina, dia fanontaniana mahomby.
- ClickHouse dia tsy manana drafitra fangatahana. Tsia mihitsy.
- Na izany aza, mbola mila manomana fanontaniana sarotra. Amin'ny toe-javatra inona?
- Raha misy fiarahana maromaro ao amin'ny fangatahana, dia aforeto amin'ny subselects izy ireo. Ary zava-dehibe ny filaharan'ny famonoana azy ireo.
- Ary ny faharoa - raha ny fangatahana no zaraina. Satria amin'ny fangatahana zaraina, ny subselect anatiny ihany no tanterahana zaraina, ary ny zavatra hafa rehetra dia alefa amin'ny lohamilina iray izay nifandraisanao sy novonoinao tao. Noho izany, raha nizara fanontaniana miaraka amin'ny fidirana maro ianao (miaraka), dia mila misafidy ny baiko ianao.
Ary na dia amin'ny tranga tsotra kokoa aza, indraindray dia ilaina ihany koa ny manao ny asan'ny scheduler ary mamerina manoratra fanontaniana kely.
Ity misy ohatra iray. Eo amin'ny ilany havia dia misy fanontaniana mampiseho ny firenena 5 ambony. Ary mila 2,5 segondra izany, raha ny hevitro. Ary eo amin'ny ilany havanana, ny fanontaniana mitovy, fa nosoratana kely. Raha tokony ho vondrona amin'ny tady izahay, dia nanomboka nivondrona tamin'ny fanalahidy (int). Ary haingana kokoa. Ary avy eo dia nampifandraisinay rakibolana tamin'ny vokatra. Raha tokony ho 2,5 segondra, ny fangatahana dia maharitra 1,5 segondra. Tsara izany.
Ohatra mitovitovy amin'ny sivana fanoratana indray. Ity misy fangatahana ho an'i Rosia. Mandeha 5 segondra izy io. Raha mamerina manoratra azy io amin'ny fomba izay mampitaha indray isika fa tsy tady, fa isa miaraka amin'ireo fanalahidy sasany mifandraika amin'i Rosia, dia ho haingana kokoa izany.
Betsaka ny tetika toy izany. Ary mamela anao hanafaingana be ireo fanontaniana izay heverinao fa efa mihazakazaka haingana, na, mifanohitra amin'izany, mihazakazaka miadana. Azo atao haingana kokoa izy ireo.
- Asa ambony indrindra amin'ny fomba fizarana.
- Manasokajy amin'ny karazana kely indrindra, toy ny nataoko tamin'ny ints.
- Raha misy mitambatra (mikambana), rakibolana, dia tsara kokoa ny manao azy ireo ho toy ny fomba farany, rehefa efa manana angon-drakitra farafahakeliny ampahany vondrona, dia ny fampifandraisana na antso diksionera dia antsoina hoe fotoana kely kokoa ary ho haingana kokoa. .
- Fanoloana sivana.
Misy teknika hafa, fa tsy ireo izay nasehoko ihany. Ary izy rehetra ireo indraindray dia afaka manafaingana be ny fanatanterahana ny fanontaniana.
Andeha isika hiroso aminβny ohatra manaraka. Company X avy any Etazonia. Inona no ataony?
Nisy asa:
- Fampifandraisana an-tserasera amin'ny fifanakalozana dokam-barotra.
- Mamorona modely isan-karazany.
Inona ny scenario?
Ny mpitsidika tsotra dia tonga amin'ny tranokala, ohatra, in-20 isam-bolana avy amin'ny dokam-barotra samihafa, na toy izany koa indraindray tsy misy doka, satria tadidiny ity tranokala ity. Mijery ny vokatra sasany, mametraka azy ao anaty harona, manala azy ireo avy ao anaty harona. Ary, amin'ny farany, misy zavatra mividy.
Fanontaniana mitombina: "Iza no tokony handoa ny dokam-barotra, raha ilaina?" ary βInona no dokam-barotra nitaona azy, raha nisy?β. Izany hoe nahoana izy no nividy ary ahoana no fomba hahatonga ny olona toa an'io olona io hividy koa?
Mba hamahana ity olana ity dia mila mampifandray ny zava-mitranga ao amin'ny tranokala amin'ny fomba tsara ianao, izany hoe, manangana fifandraisana eo amin'izy ireo. Avy eo dia alefa any amin'ny DWH izy ireo hanaovana fanadihadiana. Ary miainga amin'io famakafakana io, manangana modely momba ny hoe iza sy inona ny doka haseho.
Ny fifampiraharahana doka dia andiana hetsika mifandraika amin'ny mpampiasa izay manomboka amin'ny fampisehoana doka, avy eo misy zavatra mitranga, avy eo mety fividianana, ary avy eo dia mety misy fividianana ao anatin'ny fividianana. Ohatra, raha fampiharana finday na lalao finday ity, dia matetika ny fametrahana ny fampiharana dia atao maimaim-poana, ary raha misy zavatra atao ao dia mety mitaky vola amin'izany. Ary arakaraka ny lanin'ny olona iray ao amin'ny fampiharana no tena sarobidy. Fa ho an'ity dia mila mampifandray ny zava-drehetra ianao.
Maro ny modely mifamatotra.
Ny malaza indrindra dia:
- Fifandraisana farany, izay misy ny fifampikasohana na tsindrim-peo.
- Fifandraisana voalohany, izany hoe ny zavatra voalohany nitondra olona teo amin'ny tranokala.
- Linear fitambarana - mitovy daholo.
- Attenuation.
- Sy ny sisa.
Ary ahoana no niasa tamin'ny voalohany? Nisy Runtime sy Cassandra. Cassandra dia nampiasaina ho fitehirizam-bola, izany hoe ny fifampiraharahana rehetra mifandraika dia voatahiry ao. Ary rehefa misy hetsika tonga ao amin'ny Runtime, ohatra, mampiseho pejy na zavatra hafa, dia nisy fangatahana natao tamin'i Cassandra - misy olona toy izany ve sa tsia. Avy eo dia azo ny varotra mifandraika amin'izany. Ary natao ny fifandraisana.
Ary raha tsara vintana fa ny fangatahana dia manana id transaction, dia mora izany. Fa matetika tsy vintana. Noho izany, ilaina ny mahita ny fifampiraharahana farany na ny fifampiraharahana amin'ny tsindry farany, sns.
Ary niasa tsara izany rehetra izany raha toa ka hatramin'ny tsindry farany ny fatorana. Satria misy, ohatra, 10 tapitrisa kitika isan'andro, 300 tapitrisa isam-bolana, raha mametraka varavarankely mandritra ny iray volana isika. Ary satria ao amin'ny Cassandra dia tsy maintsy ao anaty fitadidiana daholo izany mba handehanana haingana, satria mila mamaly haingana ny Runtime, dia mila mpizara 10-15 eo ho eo.
Ary rehefa te hampifandray ny fifampiraharahana amin'ny fampisehoana izy ireo dia tonga dia tsy nahafinaritra. Ary nahoana? Hita fa mila tehirizina in-30 heny ny hetsika. Ary, araka izany, mila mpizara in-30 bebe kokoa ianao. Ary hita fa karazana tarehimarika astronomika io. Mba hitazonana mpizara 500 mba hanaovana ny fampifandraisana, na dia vitsy kokoa aza ny mpizara ao amin'ny Runtime, dia karazana tarehimarika diso izany. Ary nanomboka nieritreritra izay tokony hatao izy ireo.
Ary nankany ClickHouse izahay. Ary ahoana no hanaovana izany amin'ny ClickHouse? Raha vao jerena dia toa andiana anti-pattern ity.
- Mitombo ny fifampiraharahana, mampifamatotra hetsika bebe kokoa amin'izany izahay, izany hoe azo ovaina, ary ny ClickHouse dia tsy miasa tsara amin'ny zavatra azo ovaina.
- Rehefa misy mpitsidika tonga eto amintsika dia mila misintona ny fifampiraharahany amin'ny alalan'ny fanalahidy, amin'ny alà lan'ny id-ny. Fanontaniana teboka ihany koa ity, tsy manao izany ao amin'ny ClickHouse izy ireo. Matetika ny ClickHouse dia manana⦠scans, fa eto dia mila maka rakitsoratra vitsivitsy isika. Antipattern koa.
- Fanampin'izany, tao amin'ny json ny fifampiraharahana, saingy tsy te-hanoratra izany izy ireo, noho izany dia te-hitahiry json amin'ny fomba tsy voarindra izy ireo, ary raha ilaina dia misintona zavatra avy ao. Ary ity koa dia antipattern.
Izany hoe, andiana antipatterns.
Saingy na izany aza dia hita fa nanao rafitra izay niasa tsara.
Inona no natao? Nipoitra ny ClickHouse, izay natsipy hazo, nozaraina ho firaketana. Nipoitra ny serivisy nomena izay nahazo logs avy amin'ny ClickHouse. Aorian'izay, isaky ny fidirana, amin'ny alalan'ny visite id, dia nahazo transaction izay mety mbola tsy vita ary miampy snapshots, izany hoe ny transactions efa mifandray, izany hoe ny vokatry ny asa teo aloha. Efa nanao lojika tamin'izy ireo aho, nisafidy ny fifanakalozana marina, mampifandray hetsika vaovao. Nisoratra anarana indray. Niverina tao amin'ny ClickHouse ny log, izany hoe rafitra cyclical tsy tapaka. Ary ankoatr'izay dia nandeha tany amin'ny DWH aho mba hamakafaka azy any.
Tamin'ity endrika ity no tsy niasa tsara. Ary mba ho mora kokoa ho an'ny ClickHouse, rehefa nisy fangatahana tamin'ny fitsidihana id, dia navondrony ireo fangatahana ireo ho blocs 1-000 visite ID ary nisintona ny fifanakalozana rehetra ho an'ny olona 2-000. Dia nandaitra daholo izany.
Raha mijery ao anatin'ny ClickHouse ianao dia misy latabatra lehibe 3 ihany no manompo an'izany rehetra izany.
Ny tabilao voalohany ampidirina ny logs, ary ny logs dia saika tsy misy fanodinana.
latabatra faharoa. Tamin'ny alalan'ny fijery mivaingana, avy amin'ireo lozisialy ireo, dia nokaikerin'ny zava-nitranga izay tsy mbola voalaza, izany hoe, tsy misy ifandraisany. Ary tamin'ny alΓ lan'ny fomba fijery mivaingana, nesorina tamin'ireo logs ireo ny fifanakalozana mba hananganana sary. Izany hoe, ny fomba fijery mivaingana manokana dia nanangana sary, izany hoe ny toetry ny varotra farany.
Ity ny lahatsoratra voasoratra amin'ny SQL. Te-haneho hevitra momba ny zava-dehibe vitsivitsy ao aho.
Ny zava-dehibe voalohany dia ny fahafahana misintona tsanganana sy saha avy amin'ny json ao amin'ny ClickHouse. Izany hoe, ClickHouse dia manana fomba fiasa amin'ny json. Tena primitive izy ireo.
visitParamExtractInt dia ahafahanao manala ny toetra avy amin'ny json, izany hoe miasa ny voalohany. Ary amin'ity fomba ity dia azonao atao ny manala ny id transaction na mitsidika id. Amin'ity indray mitoraka ity.
Faharoa, sahan-tava sarotra no ampiasaina eto. Inona no dikan'izany? Midika izany fa tsy azonao ampidirina ao anaty tabilao izany, izany hoe tsy ampidirina, kajy ary tehirizina rehefa ampidirina. Rehefa mametaka, ClickHouse no manao ny asa ho anao. Ary izay ilainao any aoriana dia efa nesorina tao amin'ny json.
Amin'ity tranga ity, ny fijery mivaingana dia ho an'ny andalana manta. Ary ny latabatra voalohany misy hazo saika manta dia ampiasaina fotsiny. Ary inona no ataony? Voalohany, manova ny fanasokajiana izany, izany hoe ny fanasokajiana izao dia mandeha amin'ny id fitsidihana, satria mila misintona haingana ny fifampiraharahany amin'ny olona iray manokana isika.
Ny zava-dehibe faharoa dia ny index_granularity. Raha nahita MergeTree ianao dia matetika 8 amin'ny default index_granularity. Inona izany? Ity no mari-pamantarana index sparseness. Ao amin'ny ClickHouse dia vitsy ny index, tsy manisy index ny fidirana rehetra. Izy io dia manao izany isaky ny 192 8. Ary tsara izany rehefa betsaka ny angon-drakitra takiana amin'ny kajy, fa ratsy kosa rehefa kely, satria misy overhead lehibe. Ary raha ahena ny index granularity, dia ahena ny overhead. Tsy azo ahena ho iray, satria mety tsy ampy ny fitadidiana. Ny fanondroana dia voatahiry ao anaty fitadidiana foana.
Mampiasa endri-javatra ClickHouse hafa mahaliana ihany koa ny Snapshot.
Voalohany, AggregatingMergeTree izany. Ary ny AggregatingMergeTree dia mitahiry argMax, izany hoe izao no toetry ny fifampiraharahana mifanaraka amin'ny fe-potoana farany. Ny fifampiraharahana dia avoaka amin'ny fotoana rehetra ho an'ny mpitsidika iray. Ary tamin'ny fanjakana farany tamin'ity fifampiraharahana ity dia nanampy hetsika iray izahay ary manana fanjakana vaovao izahay. Nidona indray ny ClickHouse. Ary amin'ny alΓ lan'ny argMax amin'ity fomba fijery mivaingana ity dia afaka mahazo ny fanjakana ankehitriny isika.
- Ny fatorana dia "navotsotra" avy amin'ny Runtime.
- Hatramin'ny 3 miliara isam-bolana no voatahiry sy karakaraina. Laharana lehibe kokoa noho ny tao Cassandra izany, izany hoe amin'ny rafitra transactional mahazatra.
- Cluster an'ny mpizara ClickHouse 2x5. Mpizara 5 ary manana kopia ny mpizara tsirairay. Mbola kely kokoa noho ny tao Cassandra izany mba hanaovana attribution mifototra amin'ny tsindry, ary eto isika dia manana fahatsapana mifototra. Izany hoe, raha tokony nampitombo in-30 ny isanβny mpizara dia vitanβizy ireo ny nampihena izany.
Ary ny ohatra farany dia ny orinasa ara-bola Y, izay nandinika ny fifandraisan'ny fiovan'ny vidin'ny tahiry.
Ary ny asa dia:
- Miisa 5 eo ho eo ny fizarana.
- Ny teny nalaina isaky ny 100 milisegondra dia fantatra.
- Ny angon-drakitra dia voaangona nandritra ny 10 taona. Toa ho an'ny orinasa sasany bebe kokoa, ho an'ny kely kokoa.
- Manodidina ny 100 lavitrisa ny andalana amin'ny fitambarany.
Ary nilaina ny kajy ny fifandraisan'ny fiovana.
Ireto misy petra-bola roa sy ny teniny. Raha miakatra ny iray ary miakatra ny iray dia fifamatorana tsara izany, izany hoe miakatra ny iray ary miakatra ny iray. Raha miakatra ny iray, toy ny amin'ny faran'ny grafika, ary midina ny iray, dia fifamatorana ratsy izany, izany hoe rehefa miakatra ny iray dia milatsaka ny iray.
Ny famakafakana ireo fiovana iarahan'ny tsirairay ireo dia afaka manao vinavina eo amin'ny tsena ara-bola.
Sarotra anefa ny asa. Inona no atao amin'izany? Manana firaketana 100 lavitrisa izahay izay manana: fotoana, tahiry ary vidiny. Mila manao kajy voalohany in-100 lavitrisa avo lenta ny fihazakazahana amin'ny algorithm amin'ny vidiny. RunningDifference dia fiasa ao amin'ny ClickHouse izay manitsy ny fahasamihafan'ny tady roa.
Ary rehefa afaka izany, dia mila kajy ny fifandraisana, ary ny fifandraisana dia tsy maintsy kajy ho an`ny tsiroaroa tsirairay. Ho an'ny fizarana 5 dia 000 tapitrisa ny mpivady. Ary izany dia be dia be, izany hoe in-12,5 dia ilaina ny manao kajy toy izany fifandraisana asa.
Ary raha misy nanadino dia Νx sy Νy no checkmate. andrasana santionany. Izany hoe, tsy ilaina ihany ny kajy ny fotony sy ny fitambarany, fa ny fitambarana iray hafa ao anatin'ireo vola ireo. Mila atao in-12,5 tapitrisa ny kajikajy maromaro, ary atambatra amin'ny ora mihitsy aza. Manana ora maro koa isika. Ary tsy maintsy manao izany ao anatin'ny 60 segondra ianao. Sangisangy izany.
Tena nilaina ny nanam-potoana, na ahoana na ahoana, satria niasa tsikelikely izany rehetra izany talohan'ny nahatongavan'ny ClickHouse.
Niezaka nanao kajy tao amin'ny Hadoop izy ireo, tao amin'ny Spark, tao amin'ny Greenplum. Ary izany rehetra izany dia tena miadana na lafo. Izany hoe, azo atao ny manao kajy, fa avy eo dia lafo.
Ary avy eo tonga ny ClickHouse ary nihatsara kokoa ny zava-drehetra.
Mampahatsiahy anao aho fa manana olana amin'ny toerana misy ny angon-drakitra izahay, satria tsy azo atao ny mifandray. Tsy afaka mametraka ny sasany amin'ireo angona amin'ny mpizara iray isika, ny sasany amin'ny iray hafa ary manao kajy, tsy maintsy manana ny angona rehetra na aiza na aiza.
Inona no nataonβizy ireo? Amin'ny voalohany, ny angon-drakitra dia eo an-toerana. Ny mpizara tsirairay dia mitahiry angon-drakitra momba ny vidin'ny ampahany iray. Ary tsy mifanindry izy ireo. Noho izany dia azo atao ny manao kajy ny logReturn amin'ny parallΓ¨le sy tsy miankina, izany rehetra izany dia mitranga amin'ny parallΓ¨le sy mizara.
Avy eo dia nanapa-kevitra ny hampihena ireo angon-drakitra ireo izahay, raha tsy manary ny fanehoan-kevitra. Ahena ny fampiasana arrays, izany hoe isaky ny vanim-potoana, manaova filaharana tahiry sy vidin-javatra. Noho izany dia maka toerana kely kokoa ny angon-drakitra. Ary mora kokoa ny miasa miaraka amin'izy ireo. Hetsika saika mifanitsy ireo, izany hoe mamaky amin'ny ampahany isika ary manoratra amin'ny mpizara.
Aorian'izay dia azo averina. Ny litera "r" dia midika fa naverinay io angona io. Izany hoe, manana angon-drakitra mitovy amin'ireo mpizara telo isika - ireo no array.
Ary avy eo miaraka amin'ny script manokana avy amin'ity andiana fifandraisana 12,5 tapitrisa izay mila kajy, dia afaka manao fonosana ianao. Izany hoe, asa 2 miaraka amin'ny fifamatorana 500. Ary ity asa ity dia tokony hokajiana amin'ny mpizara ClickHouse manokana. Manana ny angon-drakitra rehetra izy, satria mitovy ny data ary azony atao ny manao kajy azy ireo.
Toy izao indray ny endriny. Voalohany, manana ny angon-drakitra rehetra amin'ity rafitra ity isika: fotoana, ampahany, vidiny. Avy eo dia nikajy ny logReturn izahay, izany hoe angona mitovy amin'ny rafitra, fa raha tokony ho ny vidiny dia efa misy logReturn. Avy eo dia namboarina indray izy ireo, izany hoe nahazo ny fotoana sy ny groupArray ho an'ny tahiry sy ny vidiny. Sreplicated. Ary taorian'izay dia namorona asa marobe izahay ary namahanay azy ireo ClickHouse mba hanisa azy ireo. Ary miasa izany.
Amin'ny porofon'ny hevitra, ny asa dia subtask, izany hoe, kely kokoa ny angona noraisina. Ary mpizara telo ihany.
Ny dingana roa voalohany: naharitra adiny iray teo ho eo ny kajy Log_return sy ny famenoana ny array.
Ary ny kajy ny fifandraisana dia eo amin'ny 50 ora. Tsy ampy anefa ny 50 ora, satria niasa nandritra ny herinandro izy ireo. Fahombiazana lehibe izany. Ary raha manisa ianao, dia in-70 isan-tsegondra no isaina ny zava-drehetra amin'ity cluster ity.
Fa ny zava-dehibe indrindra dia ity rafitra ity dia saika tsy misy bottlenecks, izany hoe, mizana saika mizana. Ary nojereny izany. Nahomby ny nampitombo azy io.
- Ny tetika tsara dia ny antsasaky ny fahombiazana. Ary ny tetika mety dia ny fampiasana ny teknolojia ClickHouse ilaina rehetra.
- Summing/AggregatingMergeTrees dia teknΓ΄lΓ΄jia ahafahanao manangona na mihevitra ny sarin'ny fanjakana ho tranga manokana. Ary tena manatsotra zavatra maro izany.
- Ny View Materialized dia ahafahanao mandingana ny fetran'ny tondro iray. Angamba tsy nilaza mazava tsara aho, fa rehefa nampidirinay ny logs dia teo amin'ny latabatra miaraka amin'ny index iray ny logs manta, ary ny logs momba ny toetra dia tao amin'ny latabatra, izany hoe ny data mitovy, voasivana fotsiny, fa ny index dia tanteraka. ny hafa. Toa angon-drakitra iray ihany, fa hafa ny fanasokajiana. Ary ny Materialized Views dia mamela anao, raha mila izany ianao, handalo ny fetra ClickHouse toy izany.
- Ampidino ny granularity fanondro ho an'ny fanontaniana teboka.
- Ary zarao amim-pahendrena ny angon-drakitra, andramo mametraka ny angon-drakitra ao anatin'ny mpizara araka izay tratra. Ary miezaha manao fangatahana ihany koa mampiasa localization raha azo atao araka izay azo atao.
Ary raha fintinina ity lahateny fohy ity, dia afaka milaza isika fa ny ClickHouse izao dia nibodo mafy ny faritry ny tahiry ara-barotra sy ny tahiry open source, izany hoe, manokana ho an'ny analytics. Mifanaraka tsara amin'ity tontolo ity izy. Ary mihoatra noho izany, manomboka mihamitombo tsikelikely ny hafa, satria rehefa manana ClickHouse ianao dia tsy mila InfiniDB. Mety tsy ilaina haingana ny Vertika raha manao fanohanana SQL mahazatra izy ireo. Ankafizo!
-Misaotra tamin'ny tatitra! Tena mahaliana! Nisy fampitahana tamin'i Apache Phoenix ve?
Tsia, tsy mbola naheno olona nampitaha aho. Izahay sy Yandex dia manandrana manara-maso ny fampitahana ClickHouse rehetra amin'ny angon-drakitra samihafa. Satria raha misy zavatra haingana kokoa noho ny ClickHouse, dia tsy afaka matory amin'ny alina i Lesha Milovidov ary manomboka manafaingana azy haingana. Tsy mbola naheno fampitahana toy izany aho.
-
(Aleksey Milovidov) Apache Phoenix dia motera SQL ampiasain'ny Hbase. Hbase dia natao indrindra ho an'ny scenario asa manan-danja. Ao amin'ny andalana tsirairay dia mety misy tsanganana maromaro misy anarana tsy misy dikany. Izany dia azo lazaina momba ny rafitra toy ny Hbase, Cassandra. Ary fanontaniana famakafakana mavesa-danja indrindra izay tsy mety amin'izy ireo. Na mety hieritreritra ianao fa miasa tsara izy ireo raha tsy manana traikefa amin'ny ClickHouse ianao.
-
Π‘ΠΏΠ°ΡΠΈΠ±ΠΎ
-
Salama Efa tena liana amin'ity lohahevitra ity aho, satria manana subsystem analytical aho. Saingy rehefa mijery ny ClickHouse aho, dia mahatsapa fa ny ClickHouse dia tena mifanentana tsara amin'ny famakafakana hetsika, miovaova. Ary raha mila manadihady angon-drakitra momba ny raharaham-barotra be dia be miaraka amin'ny andian-databatra lehibe aho, dia tsy mety amiko ny ClickHouse, raha ny fahazoako azy? Indrindra raha miova izy ireo. Marina ve izany sa misy ohatra afaka manohitra izany?
-
Marina izany. Ary marina izany amin'ny ankamaroan'ny angon-drakitra famakafakana manokana. Izy ireo dia namboarina noho ny fisian'ny latabatra lehibe iray na maromaro izay azo ovaina, ary ho an'ny lehibe maro izay miova tsikelikely. Izany hoe, ClickHouse dia tsy toa an'i Oracle, izay ahafahanao mametraka ny zava-drehetra ary manangana fanontaniana sarotra be. Mba hampiasana ny ClickHouse amin'ny fomba mahomby dia mila manangana drafitra amin'ny fomba mahomby amin'ny ClickHouse ianao. Izany hoe, misoroka ny normalization tafahoatra, mampiasa diksionera, miezaka ny hanao rohy lava kokoa. Ary raha aorina amin'izany fomba izany ny tetika, dia azo vahana amin'ny ClickHouse amin'ny fomba mahomby kokoa ny asa fandraharahana mitovy amin'izany raha oharina amin'ny angon-drakitra ara-pifandraisana mahazatra.
-
Misaotra tamin'ny tatitra! Manana fanontaniana momba ny raharaha ara-bola farany aho. Nanana analytics izy ireo. nilaina ny fampitahana ny fomba niakatra sy nidina. Ary azoko fa nanangana ny rafitra manokana ho an'ity analytics ity ianao? Raha rahampitso, ohatra, dia mila tatitra hafa momba an'io data io izy ireo, mila manangana indray ny drafitra sy mampakatra ny angona? Izany hoe, manao karazana preprocessing mba hahazoana ny fangatahana?
Mazava ho azy fa ity no fampiasana ny ClickHouse ho an'ny asa manokana. Mety ho voavaha amin'ny fomba mahazatra ao anatin'ny Hadoop izany. Ho an'ny Hadoop, asa mety tsara izany. Saingy amin'ny Hadoop dia miadana be. Ary ny tanjoko dia ny hampiseho fa ny ClickHouse dia afaka mamaha ireo asa izay matetika voavaha amin'ny fomba hafa tanteraka, fa miaraka amin'izay koa, manao izany amin'ny fomba mahomby kokoa. Izy io dia namboarina ho an'ny asa manokana. Mazava fa raha misy olana amin'ny zavatra mitovitovy amin'izany dia azo vahana amin'ny fomba mitovy.
Mazava. Nilaza ianao fa 50 ora no nokarakaraina. Hatrany am-boalohany ve izany, oviana ianao no nampiditra ny angona na nahazo ny valiny?
Eny eny.
OK misaotra indrindra.
Ity dia ao amin'ny cluster server 3.
Miarahaba! Misaotra tamin'ny tatitra! Tena mahaliana ny zava-drehetra. Tsy hanontany kely momba ny fiasa aho, fa momba ny fampiasana ny ClickHouse amin'ny resaka fitoniana. Izany hoe, nisy ve ianao, tsy maintsy naverinao? Ahoana no fihetsiky ny ClickHouse amin'ity tranga ity? Ary nitranga ve fa nanana kopia koa ianao? Ohatra, nisedra olana tamin'ny ClickHouse izahay raha mbola mivoaka ny fetrany ary mianjera.
Mazava ho azy fa tsy misy rafitra idealy. Ary ny ClickHouse dia manana olana manokana ihany koa. Saingy efa nandre momba ny Yandex.Metrica tsy mandeha ela ve ianao? Angamba tsy izany. Niasa azo antoka izy io nanomboka tamin'ny 2012-2013 tao amin'ny ClickHouse. Afaka milaza toy izany koa aho momba ny zavatra niainako. Tsy mbola nisy tsy fahombiazana tanteraka. Mety hitranga ny zavatra ampahany sasany, saingy tsy nisy fanakianana na oviana na oviana mba hisy fiantraikany lehibe amin'ny orinasa. Tsy nisy mihitsy izany. ClickHouse dia azo ianteherana ary tsy mianjera kisendrasendra. Tsy mila manahy momba izany ianao. Tsy zavatra manta izany. Voaporofonβny orinasa maro izany.
Salama! Nilaza ianao fa mila mieritreritra avy hatrany ny schema data. Ahoana raha nitranga izany? Ny angon-drakitra dia midina sy midina. Enim-bolana no lasa, ary azoko fa tsy azo atao ny miaina tahaka izao, mila mamerina mamerina ny angon-drakitra aho ary manao zavatra miaraka amin'izy ireo.
Izany dia miankina mazava ho azy amin'ny rafitrao. Misy fomba maromaro hanaovana izany saika tsy misy fiatoana. Ohatra, azonao atao ny mamorona Fijery Materialized izay hanaovana rafitra angon-drakitra hafa raha azo atao sarintany manokana. Izany hoe, raha mamela ny sarintany mampiasa ClickHouse, izany hoe manala zavatra sasany, manova ny fanalahidy fototra, manova ny fisarahana, dia afaka manao Materialized View ianao. Soraty eo ny angona taloha, hosoratana ho azy ny vaovao. Ary avy eo dia miverena fotsiny amin'ny fampiasana ny Materialized View, avy eo ampifamadiho ny rakitra ary vonoy ny latabatra taloha. Amin'ny ankapobeny dia fomba tsy miato izany.
Π‘ΠΏΠ°ΡΠΈΠ±ΠΎ.
Source: www.habr.com