ClickHouse - saurin gani da zurfin bincike na bayanai a cikin Tabix. Igor Stryhar

Ina ba da shawarar ku karanta kwafin rahoton 2017 na Igor Stryhar "ClickHouse - na gani da sauri da bayyana bayanan bincike a cikin Tabix."

Yanar Gizo don ClickHouse a cikin aikin Tabix.
Babban fasali:

  • Yana aiki tare da ClickHouse kai tsaye daga mai binciken, ba tare da buƙatar shigar da ƙarin software ba;
  • Editan tambaya tare da nuna alama;
  • Kammala umarni;
  • Kayan aiki don nazarin zane-zane na aiwatar da tambaya;
  • Tsarin launi don zaɓar daga.
    ClickHouse - saurin gani da zurfin bincike na bayanai a cikin Tabix. Igor Stryhar


ClickHouse - saurin gani da zurfin bincike na bayanai a cikin Tabix. Igor Stryhar

Ni ne darektan fasaha na SMI2. Mu mai tara labarai ne na musayar labarai. Muna adana bayanai da yawa waɗanda muke karɓa daga abokan hulɗarmu kuma muna yin rajista a cikin ClickHouse - kusan buƙatun 30 a sakan daya.

Wannan shi ne bayanai kamar:

  • Danna kan labarai.
  • Nuna labarai a cikin mai tarawa.
  • Banner nuni akan hanyar sadarwar mu.
  • Kuma muna yin rajistar abubuwan da suka faru daga kan namu, wanda yayi kama da Yandex.Metrica. Wannan shine namu micro-analytics.

ClickHouse - saurin gani da zurfin bincike na bayanai a cikin Tabix. Igor Stryhar

Muna da rayuwa mai cike da wahala kafin ClickHouse. Mun sha wahala sosai, muna ƙoƙarin adana wannan bayanan a wani wuri kuma mu bincika ko ta yaya.

Rayuwa kafin ClickHouse - infiniDB

Abu na farko da muke da shi shine infiniDB. Ta zauna tare da mu tsawon shekaru 4. Muka kaddamar da shi da kyar.

  • Baya goyan bayan tari ko sharding. Babu irin waɗannan abubuwa masu wayo da suka fito daga cikin akwatin ta tsohuwa.
  • Tana da wahalar loda bayanai. Kawai takamaiman kayan aikin wasan bidiyo wanda zai iya loda fayilolin CSV kawai kuma ta wata hanya mara kyau.
  • Ma'ajiyar bayanai tana da zaren guda ɗaya. Kuna iya ko dai rubuta ko karanta. Amma ya ba da damar aiwatar da adadi mai yawa na bayanai.
  • Kuma ita ma tana da ƙugiya mai ban sha'awa. Kowane dare sai an sake kunna uwar garken, in ba haka ba ba zai yi aiki ba.

Ta yi mana aiki har zuwa ƙarshen 2016, lokacin da muka koma ClickHouse gaba ɗaya.

Rayuwa kafin ClickHouse - Cassandra

Tun da infiniDB mai zaren guda ɗaya ne, mun yanke shawarar cewa muna buƙatar wasu nau'ikan bayanai masu zare da yawa waɗanda za mu iya rubuta zaren da yawa a lokaci guda.

Mun gwada abubuwa masu ban sha'awa da yawa. Sai muka yanke shawarar gwada Cassandra. Komai yayi kyau tare da Cassandra. buƙatun 10 a kowane sakan na kowane tayin. buƙatun 000 a wani wuri don karatu.

Amma ita ma tana da nata muradin. Sau ɗaya a wata ko sau ɗaya a kowane wata biyu ta sami ɓata ma'ajin bayanai. Kuma dole in farka da gudu don gyara Cassandra. An sake kunna sabobin daya bayan daya. Kuma komai ya zama santsi da kyau.

Rayuwa kafin ClickHouse - Druid

Sa'an nan kuma muka gane cewa muna buƙatar rubuta ƙarin bayanai. A cikin 2016 mun fara kallon Druid.

Druid shine buɗaɗɗen tushen software da aka rubuta a cikin Java. Musamman takamaiman. Kuma ya dace da dannawa, lokacin da muke buƙatar adana wasu nau'ikan rafi na abubuwan da suka faru sannan mu yi tari akan su ko yin rahotanni na nazari.

Druid yana da sigar 0.9.X.

Database kanta yana da matukar wahala a tura shi. Wannan shi ne sarkakiyar abubuwan more rayuwa. Don ƙaddamar da shi, ya zama dole don shigar da yawa, ƙarfe mai yawa. Kuma kowane kayan masarufi yana da alhakin aikinsa na daban.

Don loda bayanai a ciki, ya zama dole a yi amfani da wani nau'i na shamanism. Akwai aikin OpenSource - Natsuwa, wanda ke rasa bayanai daga gare mu a cikin rafi. Lokacin da muka loda bayanai a ciki, ya ɓace.

Amma ko ta yaya muka fara aiwatar da shi. Mu, kamar bushiya da suka sha kwayoyi amma suka ci gaba da cin cactus, muka fara gabatar da shi. Sai da muka yi kusan wata guda muna shirya masa dukkan abubuwan more rayuwa. Wato, oda sabobin, saita matsayi, da cikakken tura aiki ta atomatik. Wato idan aka samu gazawar cluster, za a tura gungu na biyu kai tsaye.

ClickHouse - saurin gani da zurfin bincike na bayanai a cikin Tabix. Igor Stryhar

Amma sai wani abin al'ajabi ya faru. Ina hutu kuma abokan aikina sun aiko mini da hanyar haɗi zuwa habr, wanda ya ce Yandex ya yanke shawarar buɗe ClickHouse. Nace mu gwada.

Kuma a zahiri a cikin kwanaki 2 mun tura gunkin gwajin ClickHouse. Mun fara loda bayanai a ciki. Idan aka kwatanta da infiniDB, wannan na farko ne; idan aka kwatanta da Druid, wannan na farko ne. Idan aka kwatanta da Cassandra, shi ma na farko ne. Domin idan ka loda bayanai daga PHP zuwa Cassandra, to wannan ba na farko ba ne.

ClickHouse - saurin gani da zurfin bincike na bayanai a cikin Tabix. Igor Stryhar

Me muka samu? Yin aiki cikin sauri. Ayyuka a cikin ajiyar bayanai. Wato, ba a yi amfani da sararin diski da yawa. ClickHouse yana da sauri, yana da sauri sosai idan aka kwatanta da sauran samfuran.

ClickHouse - saurin gani da zurfin bincike na bayanai a cikin Tabix. Igor Stryhar

A lokacin ƙaddamarwa, lokacin da Yandex ya buga ClickHouse a cikin OpenSource, abokin wasan bidiyo ne kawai. Mu a kamfaninmu SMI2 mun yanke shawarar yin ƙoƙari don yin abokin ciniki na asali don gidan yanar gizon, don mu iya buɗe shafi daga mai bincike, rubuta buƙatun kuma samun sakamakon, saboda mun fara rubuta buƙatun da yawa. Rubutu a cikin na'ura wasan bidiyo yana da wahala. Kuma mun yi sigarmu ta farko.

ClickHouse - saurin gani da zurfin bincike na bayanai a cikin Tabix. Igor Stryhar

Kuma wani wuri kusa da hunturu na bara, kayan aikin ɓangare na uku don aiki tare da ClickHouse sun fara bayyana. Waɗannan kayan aikin ne kamar:

Zan duba wasu daga cikin waɗannan kayan aikin, wato waɗanda na yi aiki da su.

ClickHouse - saurin gani da zurfin bincike na bayanai a cikin Tabix. Igor Stryhar

Kyakkyawan kayan aiki, amma ga Druid. Lokacin da ake aiwatar da Druid, ina gwada SuperSet. Ina son shi. Don Druid yana da sauri sosai.

Bai dace da ClickHouse ba. Wato ya dace, yana farawa, amma yana shirye don aiwatar da tambayoyin farko kawai kamar: SELECT event, GROUP BY taron. Ba ya goyan bayan haɗaɗɗun ma'anar ClickHouse.

ClickHouse - saurin gani da zurfin bincike na bayanai a cikin Tabix. Igor Stryhar

Kayan aiki na gaba shine Apache Zeppelin. Wannan abu ne mai kyau kuma mai ban sha'awa. Ayyuka. Yana goyan bayan littattafan rubutu, dashboards, kuma yana goyan bayan masu canji. Na san wani a cikin yankin ClickHouse yana amfani da shi.

Amma babu wani tallafi ga ma'anar ClickHouse, watau dole ne ka rubuta tambayoyi ko dai a cikin na'ura mai kwakwalwa ko kuma wani wuri daban. Na gaba, duba cewa duk yana aiki. Yana da kawai m. Amma yana da kyakkyawan goyan bayan dashboard.

ClickHouse - saurin gani da zurfin bincike na bayanai a cikin Tabix. Igor Stryhar

Kayan aiki na gaba shine Redash.IO. Redash an shirya shi akan Intanet. Wato, ba kamar kayan aikin da suka gabata ba, ba ya buƙatar shigar da shi. Kuma wannan dashboard ne mai ikon haɗa bayanai daga DataSources daban-daban. Wato, zaku iya saukewa daga ClickHouse, daga MySQL, daga PostgreSQL da sauran bayanan bayanai.

ClickHouse - saurin gani da zurfin bincike na bayanai a cikin Tabix. Igor Stryhar

Wata daya da ya gabata (Maris 2017), tallafi ya bayyana a Grafana. Lokacin da kuke gina rahotanni a Grafana, alal misali, akan yanayin kayan aikin ku ko akan wasu awoyi, yanzu zaku iya gina hoto ɗaya ko wani nau'in panel daga bayanai daga ClickHouse kai tsaye. Wannan ya dace sosai, kuma muna amfani da kanmu. Wannan yana ba ku damar samun abubuwan da ba su da kyau. Wato idan wani abu ya faru kuma wasu na'urori sun fadi ko suka yi rauni, to za ku iya duba dalilin idan wannan bayanan ya sami damar shiga ClickHouse.

ClickHouse - saurin gani da zurfin bincike na bayanai a cikin Tabix. Igor Stryhar

Na ga yana da matukar wahala a rubuta a cikin waɗannan kayan aikin ko a cikin na'ura mai kwakwalwa. Kuma na yanke shawarar inganta mu na farko dubawa. Kuma na sami ra'ayin daga EventSQL, SeperSet, Zeppelin.

ClickHouse - saurin gani da zurfin bincike na bayanai a cikin Tabix. Igor Stryhar

Me kuke so? Ina so in sami zane-zane, ingantaccen edita, da aiwatar da tallafi don ƙamus na nuni. Domin ClickHouse yana da babban fasali - ƙamus. Amma yana da wuya a yi aiki tare da ƙamus, saboda kuna buƙatar tunawa da tsarin dabi'un da aka adana, watau lamba ko kirtani, da dai sauransu. Kuma tun da sau da yawa muna amfani da ƙamus a cikin bambance-bambancen su, yana da wuya a rubuta tambayoyin.

ClickHouse - saurin gani da zurfin bincike na bayanai a cikin Tabix. Igor Stryhar

Watanni 3 kenan da fitowar sigar mu ta farko. Na yi kusan ayyuka 330 zuwa reshe mai zaman kansa kuma ya zama Tabix.

Ba kamar sigar da ta gabata ba, wacce ake kira ClickHouse-Frontend, na yanke shawarar sake suna zuwa suna mai sauki. Kuma ya zama Tabix.

Me ya bayyana?

Zana jadawali. Yana goyan bayan haɗin haɗin ClickHouse SQL. Yana ba da shawara akan ayyuka kuma yana iya yin abubuwa masu ban sha'awa da yawa.

ClickHouse - saurin gani da zurfin bincike na bayanai a cikin Tabix. Igor Stryhar

Wannan shine abin da tsarin tsarin Tabix na gaba ɗaya yayi kama. A hagu itace itace. A tsakiyar akwai editan tambaya. Kuma a ƙasa akwai sakamakon wannan buƙatar.

ClickHouse - saurin gani da zurfin bincike na bayanai a cikin Tabix. Igor Stryhar

Na gaba zan nuna muku yadda editan tambaya ke aiki.

ClickHouse - saurin gani da zurfin bincike na bayanai a cikin Tabix. Igor Stryhar

Anan autocomplete yana aiki ta atomatik akan tebur kuma yana faɗakarwa, don haka, autocomplete don filayen. Kuma alamu akan ayyuka. Idan ka danna ctrl shigar, za a aiwatar da buƙatar ko kasa tare da kuskure. Ana aika buƙatar mafi sauƙi zuwa Tabix kuma an sami sakamakon, watau zaka iya aiki da sauri tare da ClickHouse.

ClickHouse - saurin gani da zurfin bincike na bayanai a cikin Tabix. Igor Stryhar

Kamus, kamar yadda na fada a baya, abu ne mai ban sha'awa wanda muke aiki da shi sosai. Kuma wanda ya ba mu damar yin abubuwa da yawa. Bari mu ce muna adana duk birane a cikin ƙamus. Muna adana mai gano birni da sunan birni, latitude da longitude. Kuma a cikin ma'ajin bayanai muna adana mai gano birni ne kawai. Saboda haka, muna damfara bayanai sosai.

ClickHouse - saurin gani da zurfin bincike na bayanai a cikin Tabix. Igor Stryhar

Wannan alama abu ne mai sauƙi, amma yana taimakawa a ClickHouse a hanya mai ban sha'awa. Saboda gaskiyar cewa ClickHouse kawai yana goyan bayan haɗin gwiwa, tambayar tana girma ƙasa da faɗi sosai. Kuma lokacin da maƙallan ya buɗe kuma wani dogon magana ya shigo, to wani abu mai sauƙi kamar rugujewar tambayar yana sauƙaƙa aiki tare da tambayar kanta. Domin idan tambaya ta kasance tsayin layi 200-300 kuma girman girmanta, yana da matukar amfani a ruguje tambayar sannan a nemo wani wuri ko ta yaya.

Itacen abu, tambayoyi da yawa da shafuka (Bidiyo 13:46 https://youtu.be/w1-XsL3nbRg?t=826)

ClickHouse - saurin gani da zurfin bincike na bayanai a cikin Tabix. Igor Stryhar

Na gaba zan nuna muku game da itacen da shafuka. A gefen hagu akwai bishiya; a saman za ku iya ƙirƙirar shafuka da yawa. Shafuna kamar filin aiki ne. Kuna iya ƙirƙirar shafuka da yawa kuma suna suna kowanne daban. Yana kama da ƙaramin tsarin don gina rahoto.

Ana ajiye shafuka ta atomatik. Idan ka sake kunna burauzarka ko rufe ko buɗe Tabix, duk waɗannan za su sami ceto.

Hotkey - dacewa (Bidiyo 14:39 https://youtu.be/w1-XsL3nbRg?t=879)

Akwai hotkeys kuma akwai da yawa daga cikinsu. Na ciro wasu daga cikinsu a nan a matsayin misali. Wannan shine sauyawa shafuka, aiwatar da buƙatu ko aiwatar da buƙatu da yawa.

ClickHouse - saurin gani da zurfin bincike na bayanai a cikin Tabix. Igor Stryhar

Zan nuna muku yadda ake aiki da sakamakon. Muna aika bukata. Anan ina zana zunubi, cos da tg. Kuna iya haskaka sakamakon, watau zana taswirar al'ada don ginshiƙi. Kuna iya haskaka dabi'u masu kyau ko mara kyau. Ko kuma kawai canza wani takamaiman abin tebur. Wannan ya dace lokacin da tebur yana da girma kuma kuna buƙatar nemo wasu anomaly tare da idanunku. Lokacin da nake neman abubuwan da ba su da kyau, na haskaka wasu layi, wasu abubuwa a kore ko ja.

ClickHouse - saurin gani da zurfin bincike na bayanai a cikin Tabix. Igor Stryhar

Akwai abubuwa masu ban sha'awa da yawa a wurin. Misali, yadda ake kwafi cikin Redmine Markdown. Idan kana buƙatar kwafin sakamakon a wani wuri, wannan ya dace sosai. Kuna iya zaɓar yanki kawai, faɗi "Kwafi zuwa Redmine" kuma zai kwafa zuwa Redmine Markdown ko ƙirƙirar tambaya inda.

ClickHouse - saurin gani da zurfin bincike na bayanai a cikin Tabix. Igor Stryhar

Na gaba shine inganta tambaya. Na taɓa manta da saka filin “kwanan wata”. Kuma buqata ta a ClickHouse ba a aiwatar da ita da sauri da sauri ba, amma cikin sauri, watau kasa da dakika daya. Da na ga yawan layin da ya bi, sai na tsorata. Ba mu rubuta layuka da yawa zuwa wannan tebur a rana ɗaya ba. Na fara nazarin buƙatar na ga cewa na rasa kwanan wata a wuri guda. Wato, na manta don nuna cewa ba na buƙatar bayanai ga dukan tebur, amma na wani takamaiman lokaci.

Tabix yana da shafin “Stats”, wanda ke adana duk tarihin buƙatun da aka aiko, watau a can za ku ga layin nawa aka karanta ta wannan buƙatar da tsawon lokacin da aka ɗauka don aiwatarwa. Wannan yana ba da damar haɓakawa.

Kuna iya gina tebur pivot akan sakamakon tambaya. Kun aika buƙatu zuwa ClickHouse kuma kun karɓi wasu bayanai. Sannan zaku iya motsa wannan bayanan tare da linzamin kwamfutanku kuma ku gina wani nau'in tebur na pivot.

ClickHouse - saurin gani da zurfin bincike na bayanai a cikin Tabix. Igor Stryhar

Abu na gaba mai ban sha'awa shine yin makirci. Bari mu ce muna da buƙatun mai zuwa: don zunubi, cos daga 0 zuwa 299. Kuma don zana shi, kuna buƙatar zaɓar shafin "Zana" kuma za ku sami jadawali tare da zunubinku da cos.

ClickHouse - saurin gani da zurfin bincike na bayanai a cikin Tabix. Igor Stryhar

Kuna iya raba wannan zuwa gatura daban-daban, watau zaku iya zana hotuna biyu gefe da gefe lokaci guda. Rubuta umarni daya da umarni na biyu.

ClickHouse - saurin gani da zurfin bincike na bayanai a cikin Tabix. Igor Stryhar

Kuna iya zana histogram.

ClickHouse - saurin gani da zurfin bincike na bayanai a cikin Tabix. Igor Stryhar

Kuna iya raba wannan zuwa matrix na jadawali.

ClickHouse - saurin gani da zurfin bincike na bayanai a cikin Tabix. Igor Stryhar

Kuna iya gina taswirar zafi.

ClickHouse - saurin gani da zurfin bincike na bayanai a cikin Tabix. Igor Stryhar

Kuna iya gina kalandar thermal. Af, wannan abu ne mai matukar dacewa lokacin da kake buƙatar nazarin abubuwan da ke faruwa a cikin shekara guda, watau, sami ko dai spikes ko saukad da. Wannan hangen nesa bayanan ya taimaka mini da wannan.

ClickHouse - saurin gani da zurfin bincike na bayanai a cikin Tabix. Igor Stryhar

Na gaba shine Treemap.

ClickHouse - saurin gani da zurfin bincike na bayanai a cikin Tabix. Igor Stryhar

ClickHouse - saurin gani da zurfin bincike na bayanai a cikin Tabix. Igor Stryhar

Sankeys ginshiƙi ne mai ban sha'awa. Shi ko dai Streamgrahps ko Kogi. Amma ina kiransa Kogi. Har ila yau, yana ba ku damar neman duk wani abu mara kyau. Yana da dadi sosai. Ina ba da shawarar amfani da shi don nema.

ClickHouse - saurin gani da zurfin bincike na bayanai a cikin Tabix. Igor Stryhar

Abu mai ban sha'awa na gaba shine zana taswira mai ƙarfi. Idan ka adana latitude, longitude a cikin bayananku kuma, a ce, adana wuri, idan kuna, alal misali, kuna da manyan motoci ko jiragen sama na yawo, to zaku iya zana hanyoyin zuwa. Hakanan a can zaku iya saita saurin da girman waɗannan abubuwan da suke tashi.

Amma matsalar wannan taswirar ita ce taswirar duniya kawai ta zana, babu cikakken bayani.

ClickHouse - saurin gani da zurfin bincike na bayanai a cikin Tabix. Igor Stryhar

Daga baya na kara Google map. Idan kun adana latitude, longitude, to zaku iya zana sakamakon akan taswirar Google, amma ba tare da tallafin jirgin sama ba.

Mun tattauna manyan ayyuka na aiki tare da sakamako da tambayoyi a cikin Tabix.

ClickHouse - saurin gani da zurfin bincike na bayanai a cikin Tabix. Igor Stryhar

Na gaba shine nazarin sabar ClickHouse ku. Akwai keɓan shafin "Ma'auni", inda zaku iya ganin girman bayanan da aka adana na kowane shafi. Hoton hoton yana nuna cewa wannan filin "mai nuni" yana ɗaukar kusan 730 Gb. Idan muka yi watsi da wannan filin, za mu adana shards guda uku na 700 GB kowanne, watau kusan TB 2 da ba mu buƙata.

Hakanan muna da filin "request_id" wanda muke adanawa a cikin layi. Amma idan muka fara adana shi a cikin adadi, wannan filin zai ragu sosai.

Hakanan yana nuna tsarin uwar garken da jerin nodes a cikin tarin ku.

ClickHouse - saurin gani da zurfin bincike na bayanai a cikin Tabix. Igor Stryhar

Shafin na gaba shine awo. Suna shiga cikin ainihin lokaci tare da ClickHouse kuma suna ba ku damar bincika yanayin uwar garken kuma ku fahimci abin da ke faruwa da shi. Wannan ba maye gurbin cikakken Grafana bane. Wannan wajibi ne don bincike mai sauri.

ClickHouse - saurin gani da zurfin bincike na bayanai a cikin Tabix. Igor Stryhar

Shafin na gaba shine matakai. Daga gare su za ku iya fahimtar abin da ke faruwa a kan uwar garke. Fahimtar abin da ke faruwa a wurin. Ina da bukatar da ta cinye 200 GB na karatu kowane lokaci. Na ga wannan godiya ga wannan dubawa. Na kama shi na gyara shi. Kuma ya juya ya zama kusan 30 GB, watau wasan kwaikwayo a wasu lokuta.

ClickHouse - saurin gani da zurfin bincike na bayanai a cikin Tabix. Igor Stryhar

Na gode! Kuma yana cikin OpenSource

Na gama. Kuma ta hanyar, OpenSource ne, kyauta ne kuma ba kwa buƙatar saukar da shi. Bude shi a cikin mai bincike kuma komai zai yi aiki.

Tambayoyi

Igor, me zai biyo baya? A ina za ku haɓaka wannan kayan aiki?

Na gaba, dashboards zasu bayyana, watau, watakila dashboards zasu bayyana. Haɗin kai tare da sauran bayanan bayanai. Na yi wannan, amma har yanzu ban buga shi a OpenSource ba. Wannan shine MySQL kuma mai yiwuwa PostgreSQL. Wato, zai yiwu a aika buƙatun daga Tabix ba kawai zuwa ClickHouse ba, har ma zuwa wasu kayan aikin.

A bayyane yake cewa an yi ayyuka masu yawa. Ya zama cikakkiyar ra'ayi. An yi wannan a cikin mai bincike, a fili, don kawar da kullun a kan kowane nau'i na gatari da sauri jefa dukan abu tare. Na ji cewa kun kunna php aiki, don haka hanya mafi sauƙi ita ce rubuta shi a cikin burauzar kuma zai yi aiki a ko'ina. Babu tambayoyi game da wannan. Tambayar ita ce. An yi abubuwa da yawa a can. Mutane nawa ne suka yi aiki a kan wannan? Kuma yaushe aka dauka duka? Domin kayan aikin al'ada yawanci ba su da wannan aiki mai yawa.

Mutum ɗaya daga ƙungiyarmu yayi aiki daga lokacin rani zuwa kaka. Wannan shi ne sigar farko. Sai na yi 330 ni kadai. Abin da kuka gani, ni da abokin aikina mun yi shi a cikin rabi. A cikin watanni 3, daga sigar farko zuwa ta ƙarshe, na fi yin shi ni kaɗai. Amma ni ban san Javascript sosai ba. Wannan shine kawai nawa kuma, ina fata, aikina na ƙarshe na Javascript wanda na yi aiki da shi. Na samu, na duba - oh, tsoro. Amma ina so in gama samfurin kuma abin da ya faru ke nan.

Na gode sosai da rahoton! Wannan babban kayan aiki ne. TARE DA Tableau Kun kwatanta?

Na gode. Shi ya sa na sanya masa suna Tabix, domin harafin farko iri daya ne.

Saboda kuna gasa?

Za a sami jari mai yawa, za mu yi takara.

Ta yaya za ku iya bayar da siyarwa ga masu sharhi na ciki cewa wannan kayan aikin zai maye gurbin gaba ɗaya *Tableau*? Menene muhawarar?

Yana aiki a asali tare da ClickHouse. Na gwada Tableau, amma ba za ku iya rubuta tallafi don ƙamus da makamantansu a can ba. Na san yadda mutane ke aiki tare da Tabix. Suna rubuta tambaya, loda shi zuwa CSV kuma su loda shi zuwa BI. Kuma sun riga sun yi wani abu a can. Amma ina da wuya in yi tunanin yadda suke yin haka, saboda kayan aiki ne na hoto. Yana iya sauke layuka 5, matsakaicin layuka 000, amma babu ƙari, in ba haka ba mai binciken ba zai iya jurewa ba.

Wato, akwai wasu ƙuntatawa masu tsanani akan adadin bayanai, daidai?

Ee. Ba zan iya tunanin cewa za ku so ku loda layuka 10 a cikin teburin ku akan allon burauzar ku ba. Don me?

Wannan yana nufin cewa wannan sigar dubawa ce don saurin duba bayanai? Ka ɗan murɗa shi, murɗa shi?

Ee, da sauri duba yadda yake aiki kuma kawai gina jadawali taƙaice. Sannan a ba shi wani wuri. Muna da namu tsarin bayar da rahoto, daga inda na ɗauki wannan buƙatar kawai. Na zana a cikin Tabix kuma in aika zuwa rahotonmu.

Da wata tambaya. Binciken ƙungiyar?

Idan akwai wasu buƙatu, za mu ƙara shi.

Yaushe ka fara amfani da shi? ClickHouse, yaushe aka ɗauki aiwatarwa? DannaHause da kawowa jihar samarwa?

Kamar yadda na fada, mun aiwatar da gungu na gwaji a cikin kankanin lokaci. Mun tura shi cikin kwanaki biyu. Kuma mun gwada shi har tsawon makonni biyu. Kuma mun kai ga samarwa a cikin watanni 3. Amma muna da namu ETL, watau kayan aiki don rikodin bayanai. Kuma ya rubuta a cikin duk abin da zai iya. Yana iya rubutu a MongoDB, Cassandra, MySQL. Yana da sauƙi a koya masa yadda ake rubutu a ClickHouse. Muna da kayan aikin da aka shirya don aiwatarwa cikin sauri. Cikin wata 3 muka fara fidda bangaren farko. A cikin wata 6 gaba daya mun watsar da komai. Muna da ClickHouse daya kawai.

Igor, na gode sosai da rahoton. Ina matukar son aikin gina hanyoyi ta amfani da taswira. Shin akwai wasu tsare-tsare don haɗawa tare da Yandex.Maps kuma musamman tare da Yandex.Maps na al'ada?

Na yi ƙoƙarin haɗawa maimakon taswirar Google, amma ban sami jigo mai duhu akan Yandex.Maps ba. Ban gaya muku guda ɗaya ba. Zan ja da baya don ƙara.

Slide - Google map. Akwai umarni "DRAW_GMAPS", wanda ke zana taswira. Akwai umarni "DRAW_YMAPS", watau yana iya zana Yandex.Map. Amma a zahiri, a ƙarƙashin wannan umarni akwai Javascript, watau bayanan da kuke karɓa daga ClickHouse za a iya tura su zuwa Javascript, waɗanda kuka rubuta a nan. Kuma kuna da wurin fitarwa inda ya kamata a zana shi. Kuna iya zana kowane jadawali, watau kowane jadawali, taswira, zaku iya zana naku bangaren. Kafin wannan, Ina da wani ɗakin karatu don zana jadawali da kansu.

Wato, akwai kayan aiki don daidaita aikin nuni?

Kowa. Kuna iya ɗauka da sake canza waɗannan ɗigon, sanya su ba ja ba, amma shuɗi, kore.

Na gode da rahoton! Kuna da nunin faifai wanda ya gabatar da madadin kayan aikin tambaya DannaHause don gina dashboards da rahotanni na nazari. Na fahimci hakan a lokacin da kuka fara aiki tare da ClickHouse, ba a rubuta adaftan don waɗannan kayan aikin ba. Kuma ina mamakin dalilin da yasa kuka yanke shawarar yin kayan aikin ku, maimakon rubuta adaftar don kayan aikin da aka shirya? Ina tsammanin cewa tweaking editan gwajin yana da sauri. Me ya sa kuka yanke shawarar yin ayyuka da yawa?

Akwai wani batu mai ban sha'awa a nan - gaskiyar ita ce, ni darektan fasaha ne, ba masanin kimiyyar bayanai ba. A lokacin da muka fara aiwatar da Druid, taswirar hanyata tana da kusan kashi 50% na ayyukan - bari mu ƙididdige wannan, ko mu ƙididdige wannan, ko kuma mu bincika wannan. Kuma ya juya cewa mun aiwatar da ClickHouse. Kuma ya fara gina komai da sauri, ya kirga, da sauri ya rufe taswirar hanyarsa. Kuma a lokacin na gane cewa ba ni da ilimin kimiyyar bayanai da hangen nesa. Tabix wani nau'in aikin gida ne na koyan gani na bayanai. Ina kallon yadda zan karawa Zeppelin. Ina da ɗan rashin son shirye-shiryensa. Redash Na kalli yadda zan kara, amma edita na yau da kullun ya ishe ni. Kuma SuperSet kuma an rubuta shi cikin yaren da ba na so da gaske. Don haka na yanke shawarar yin keke, abin da ya faru ke nan.

Igor, kuna karɓar buƙatun Ja?

Ee.

Na gode sosai da rahoton! Da tambayoyi guda biyu. Na farko, ba kwa magana sosai game da su Javascript. Shin kun rubuta a cikin javascript ko kuwa wani nau'in tsari ne?*

Mafi kyawun Javascript.

To menene tsarin?

Angular.

Yana da zahiri. Da tambaya ta biyu. Shin kun yi la'akari R и *Shine**?*

Yayi la'akari da shi. An buga

Hakanan zaka iya rubuta adaftar kawai.

Shi ne. Da alama al'umma sun yi hakan, amma, kamar yadda na amsa tambayar da ta gabata, ina so in gwada ta da kaina.

* A'a, game da hangen nesa, akwai kuma.

Kun ce akwai irin wannan kuma zai zana muku jadawali. Na bude littafi akan ganin bayanan. Kuma na yi tunani: “Bari in gwada ganin wannan bayanan. Zan rubuta masa domin ya sake gina bayanan.” Kuma na fara fahimtar fasahar samar da bayanai da kyau. Kuma da na ɗauki abin da aka yi da shi, da ni kaina da na koyi muni yadda ake amfani da shi, wato, hangen nesa. Amma eh, ina son R, amma ban karanta littafin "R don Dummies" ba tukuna.

Na gode!

Tambaya mai sauƙi. Akwai hanyoyin da za a hanzarta loda alama ko jadawalin?

Ana iya lodawa zuwa CSV ko Excel.

Ba bayanai ba, amma farantin da aka shirya, shirye-shiryen jadawali? Misali, don nuna shugaba.

Akwai maballin “Loka” kuma akwai maɓalli “Load jadawali a png, a cikin jpg”.

Na gode!

PS Mini-umarni don shigar da tabix

  • Saukewa sabuwar saki
  • Cire fakiti, kwafi directory build a cikin nginx root_path
  • Sanya nginx

source: www.habr.com

Add a comment