ClickHouse - uchambuzi wa data unaoonekana haraka na angavu katika Tabix. Igor Stryhar

Ninapendekeza usome nakala ya ripoti ya 2017 ya Igor Stryhar "ClickHouse - uchambuzi wa data unaoonekana haraka na wazi katika Tabix."

Kiolesura cha wavuti cha ClickHouse katika mradi wa Tabix.
Vipengele muhimu:

  • Inafanya kazi na ClickHouse moja kwa moja kutoka kwa kivinjari, bila hitaji la kusanikisha programu ya ziada;
  • Mhariri wa hoja na uangaziaji wa sintaksia;
  • Kukamilisha otomatiki kwa amri;
  • Zana za uchambuzi wa picha za utekelezaji wa hoja;
  • Mipango ya rangi ya kuchagua.
    ClickHouse - uchambuzi wa data unaoonekana haraka na angavu katika Tabix. Igor Stryhar


ClickHouse - uchambuzi wa data unaoonekana haraka na angavu katika Tabix. Igor Stryhar

Mimi ni mkurugenzi wa kiufundi wa SMI2. Sisi ni wakusanyaji habari wa kubadilishana habari. Tunahifadhi data nyingi tunazopokea kutoka kwa washirika wetu na kuzisajili katika ClickHouse - takriban maombi 30 kwa sekunde.

Hii ni data kama vile:

  • Bofya kwenye habari.
  • Maonyesho ya habari katika kijumlishi.
  • Maonyesho ya mabango kwenye mtandao wetu.
  • Na tunasajili matukio kutoka kwa counter yetu wenyewe, ambayo ni sawa na Yandex.Metrica. Hii ni uchanganuzi wetu mdogo.

ClickHouse - uchambuzi wa data unaoonekana haraka na angavu katika Tabix. Igor Stryhar

Tulikuwa na maisha ya kuhangaika sana kabla ya ClickHouse. Tuliteseka sana, tukijaribu kuhifadhi data hii mahali fulani na kwa namna fulani kuichambua.

Maisha kabla ya ClickHouse - infiniDB

Jambo la kwanza tulikuwa na infiniDB. Aliishi nasi kwa miaka 4. Tuliizindua kwa shida.

  • Haitumii kuunganisha au kushiriki. Hakuna mambo mahiri kama haya yaliyotoka kwenye kisanduku kwa chaguo-msingi.
  • Ana ugumu wa kupakia data. Ni matumizi mahususi pekee ya kiweko ambayo yanaweza kupakia faili za CSV pekee na kwa njia isiyoeleweka kabisa.
  • Hifadhidata ina uzi mmoja. Unaweza kuandika au kusoma. Lakini ilifanya iwezekane kusindika idadi kubwa ya data.
  • Na pia alikuwa na mkongojo wa kuvutia. Kila usiku seva ilibidi iwashwe upya, vinginevyo haitafanya kazi.

Alitufanyia kazi hadi mwisho wa 2016, tulipobadilisha kabisa ClickHouse.

Maisha kabla ya ClickHouse - Cassandra

Kwa kuwa infiniDB ilikuwa na uzi mmoja, tuliamua kwamba tunahitaji aina fulani ya hifadhidata yenye nyuzi nyingi ambamo tunaweza kuandika nyuzi nyingi kwa wakati mmoja.

Tulijaribu mambo mengi ya kuvutia. Kisha tukaamua kujaribu Cassandra. Kila kitu kilikuwa kizuri na Cassandra. Maombi 10 kwa sekunde kwa kila zabuni. Maombi 000 mahali fulani kwa kusoma.

Lakini pia alikuwa na masilahi yake mwenyewe. Mara moja kwa mwezi au mara moja kila baada ya miezi miwili alipata utenganishaji wa hifadhidata. Na ilinibidi kuamka na kukimbia kurekebisha Cassandra. Seva zilianzishwa upya moja baada ya nyingine. Na kila kitu kilikuwa laini na kizuri.

Maisha kabla ya ClickHouse - Druid

Kisha tukagundua kwamba tulihitaji kuandika data zaidi. Mnamo 2016 tulianza kutazama Druid.

Druid ni programu huria iliyoandikwa katika Java. Maalum sana. Na ilifaa kwa kubofya, tunapohitaji kuhifadhi aina fulani ya mtiririko wa matukio na kisha kuyajumlisha au kutoa ripoti za uchanganuzi.

Druid alikuwa na toleo la 0.9.X.

Database yenyewe ni ngumu sana kupeleka. Huu ndio ugumu wa miundombinu. Ili kuipeleka, ilikuwa ni lazima kufunga mengi, mengi ya chuma. Na kila kipande cha vifaa kiliwajibika kwa jukumu lake tofauti.

Ili kupakia data ndani yake, ilikuwa ni lazima kutumia aina fulani ya shamanism. Kuna mradi wa OpenSource - Utulivu, ambao ulikuwa unapoteza data kutoka kwetu kwenye mkondo. Tulipopakia data ndani yake, iliipoteza.

Lakini kwa namna fulani tulianza kutekeleza. Sisi, kama hedgehogs ambao walichukua dawa za kulevya lakini wakaendelea kula cactus, tulianza kuitambulisha. Ilituchukua takriban mwezi mmoja kuandaa miundombinu yote kwa ajili yake. Hiyo ni, kuagiza seva, kusanidi majukumu, na kusambaza otomatiki kikamilifu. Hiyo ni, katika tukio la kushindwa kwa nguzo, nguzo ya pili itatumwa moja kwa moja.

ClickHouse - uchambuzi wa data unaoonekana haraka na angavu katika Tabix. Igor Stryhar

Lakini muujiza ulitokea. Nilikuwa likizo na wenzangu walinitumia kiungo habri, ambayo inasema kwamba Yandex iliamua kufungua ClickHouse. Nasema tujaribu.

Na kwa kweli katika siku 2 tulituma nguzo ya majaribio ya ClickHouse. Tulianza kupakia data ndani yake. Ikilinganishwa na infiniDB, hii ni ya msingi; ikilinganishwa na Druid, hii ni ya msingi. Ikilinganishwa na Cassandra, pia ni ya msingi. Kwa sababu ikiwa unapakia data kutoka PHP hadi Cassandra, basi hii sio msingi.

ClickHouse - uchambuzi wa data unaoonekana haraka na angavu katika Tabix. Igor Stryhar

Tulipata nini? Utendaji kwa kasi. Utendaji katika uhifadhi wa data. Hiyo ni, nafasi ndogo zaidi ya diski hutumiwa. ClickHouse ni haraka, ni haraka sana ikilinganishwa na bidhaa nyingine.

ClickHouse - uchambuzi wa data unaoonekana haraka na angavu katika Tabix. Igor Stryhar

Wakati wa uzinduzi, wakati Yandex ilichapisha ClickHouse katika OpenSource, kulikuwa na mteja wa console tu. Sisi katika kampuni yetu SMI2 tuliamua kujaribu kufanya mteja wa asili kwa wavuti, ili tuweze kufungua ukurasa kutoka kwa kivinjari, kuandika ombi na kupata matokeo, kwa sababu tulianza kuandika maombi mengi. Kuandika kwenye koni ni ngumu. Na tulifanya toleo letu la kwanza.

ClickHouse - uchambuzi wa data unaoonekana haraka na angavu katika Tabix. Igor Stryhar

Na mahali pengine karibu na msimu wa baridi wa mwaka jana, zana za mtu wa tatu za kufanya kazi na ClickHouse zilianza kuonekana. Hizi ni zana kama vile:

Nitaangalia baadhi ya zana hizi, yaani zile ambazo nimefanya nazo kazi.

ClickHouse - uchambuzi wa data unaoonekana haraka na angavu katika Tabix. Igor Stryhar

Chombo kizuri, lakini kwa Druid. Wakati Druid inatekelezwa, nilikuwa nikijaribu SuperSet. Nilimpenda. Kwa Druid ni haraka sana.

Haifai kwa ClickHouse. Hiyo ni, inafaa, inaanza, lakini iko tayari kuchakata hoja za msingi pekee kama vile: CHAGUA tukio, GROUP BY tukio. Haiungi mkono syntax ngumu zaidi ya ClickHouse.

ClickHouse - uchambuzi wa data unaoonekana haraka na angavu katika Tabix. Igor Stryhar

Chombo kinachofuata ni Apache Zeppelin. Hili ni jambo zuri na la kuvutia. Inafanya kazi. Inaauni madaftari, dashibodi, na inasaidia vigeuzo. Ninajua mtu fulani katika jumuiya ya ClickHouse anaitumia.

Lakini hakuna usaidizi wa syntax ya ClickHouse, i.e. itabidi uandike maswali kwenye koni au mahali pengine. Ifuatayo, hakikisha kuwa yote inafanya kazi. Ni usumbufu tu. Lakini ina usaidizi mzuri wa dashibodi.

ClickHouse - uchambuzi wa data unaoonekana haraka na angavu katika Tabix. Igor Stryhar

Chombo kinachofuata ni Redash.IO. Redash inapangishwa kwenye Mtandao. Hiyo ni, tofauti na zana zilizopita, hazihitaji kusanikishwa. Na hii ni dashibodi yenye uwezo wa kuunganisha data kutoka kwa DataSource tofauti. Hiyo ni, unaweza kupakua kutoka kwa ClickHouse, kutoka kwa MySQL, kutoka kwa PostgreSQL na kutoka kwa hifadhidata zingine.

ClickHouse - uchambuzi wa data unaoonekana haraka na angavu katika Tabix. Igor Stryhar

Mwezi mmoja tu uliopita (Machi 2017), usaidizi ulionekana huko Grafana. Unapounda ripoti huko Grafana, kwa mfano, kuhusu hali ya maunzi yako au kwenye baadhi ya vipimo, sasa unaweza kuunda grafu sawa au aina fulani ya paneli kutoka kwa data kutoka kwa ClickHouse moja kwa moja. Hii ni rahisi sana, na tunaitumia wenyewe. Hii hukuruhusu kupata hitilafu. Hiyo ni, ikiwa kitu kinatokea na vifaa vingine vinaanguka au kuwa na shida, basi unaweza kuangalia sababu ikiwa data hii imeweza kuingia kwenye ClickHouse.

ClickHouse - uchambuzi wa data unaoonekana haraka na angavu katika Tabix. Igor Stryhar

Niliona ni aibu sana kuandika kwenye zana hizi au kwenye koni. Na niliamua kuboresha kiolesura chetu cha kwanza. Na nilipata wazo kutoka kwa EventSQL, SeperSet, Zeppelin.

ClickHouse - uchambuzi wa data unaoonekana haraka na angavu katika Tabix. Igor Stryhar

Ulitaka nini? Nilitaka kupata michoro, kihariri kilichoboreshwa, na kutekeleza usaidizi wa kamusi za kidokezo. Kwa sababu ClickHouse ina kipengele kizuri - kamusi. Lakini ni vigumu kufanya kazi na kamusi, kwa sababu unahitaji kukumbuka muundo wa maadili yaliyohifadhiwa, yaani, ni nambari au kamba, nk. Na kwa kuwa mara nyingi tunatumia kamusi katika tofauti zao tofauti, ilikuwa vigumu sana kuandika maswali.

ClickHouse - uchambuzi wa data unaoonekana haraka na angavu katika Tabix. Igor Stryhar

Miezi 3 imepita tangu kutolewa kwa toleo letu la kwanza. Nilifanya ahadi takriban 330 kwa tawi la kibinafsi na ikawa Tabix.

Tofauti na toleo la awali, ambalo liliitwa ClickHouse-Frontend, niliamua kuiita jina rahisi. Na ikawa Tabix.

Nini kilionekana?

Huchora grafu. Inasaidia sintaksia ya SQL ya ClickHouse. Inatoa ushauri juu ya utendaji na inaweza kufanya mambo mengi ya kuvutia.

ClickHouse - uchambuzi wa data unaoonekana haraka na angavu katika Tabix. Igor Stryhar

Hivi ndivyo mpango wa jumla wa Tabix unavyoonekana. Upande wa kushoto ni mti. Katikati ni mhariri wa hoja. Na hapa chini ni matokeo ya ombi hili.

ClickHouse - uchambuzi wa data unaoonekana haraka na angavu katika Tabix. Igor Stryhar

Ifuatayo nitakuonyesha jinsi mhariri wa swala hufanya kazi.

ClickHouse - uchambuzi wa data unaoonekana haraka na angavu katika Tabix. Igor Stryhar

Kukamilisha kiotomatiki hapa hufanya kazi kwenye jedwali na kuhimiza, ipasavyo, kukamilisha kiotomatiki kwa sehemu. Na vidokezo juu ya kazi. Ukibonyeza ctrl enter, ombi litatekelezwa au kushindwa na hitilafu. Ombi rahisi zaidi linatumwa kwa Tabix na matokeo yanapatikana, i.e. unaweza kufanya kazi haraka na ClickHouse.

ClickHouse - uchambuzi wa data unaoonekana haraka na angavu katika Tabix. Igor Stryhar

Kamusi, kama nilivyokwisha sema, ni jambo la kufurahisha sana ambalo tunafanya kazi nalo sana. Na ambayo ilituruhusu kufanya mambo mengi. Wacha tuseme tunahifadhi miji yote katika kamusi. Tunahifadhi kitambulisho cha jiji na jina la jiji, latitudo na longitudo yake. Na katika hifadhidata tunahifadhi kitambulisho cha jiji pekee. Ipasavyo, tunakandamiza data kwa nguvu sana.

ClickHouse - uchambuzi wa data unaoonekana haraka na angavu katika Tabix. Igor Stryhar

Hili linaonekana kuwa jambo rahisi, lakini inasaidia katika ClickHouse kwa njia ya kuvutia sana. Kwa sababu ya ukweli kwamba ClickHouse inasaidia tu viungio vilivyowekwa, swala inakua chini na pana vya kutosha. Na wakati mabano yanapofunguka na usemi mrefu unapoingia, basi kitu rahisi kama kukunja hoja hurahisisha kufanya kazi na hoja yenyewe. Kwa sababu swala linapokuwa na urefu wa mistari 200-300 na upana mkubwa sana, inasaidia sana kukunja hoja kisha kutafuta mahali fulani au kwa namna fulani kulijanibisha.

Mti wa kitu, maswali mengi na vichupo (Video 13:46 https://youtu.be/w1-XsL3nbRg?t=826)

ClickHouse - uchambuzi wa data unaoonekana haraka na angavu katika Tabix. Igor Stryhar

Ifuatayo nitakuonyesha juu ya mti na tabo. Upande wa kushoto ni mti; juu unaweza kuunda tabo kadhaa. Vichupo ni kama nafasi ya kazi. Unaweza kuunda tabo kadhaa na kutaja kila moja tofauti. Ni kama mfumo mdogo wa kuunda ripoti.

Vichupo huhifadhiwa kiotomatiki. Ukianzisha upya kivinjari chako au kufunga au kufungua Tabix, yote haya yatahifadhiwa.

Hotkey - rahisi (Video 14:39 https://youtu.be/w1-XsL3nbRg?t=879)

Kuna hotkeys na kuna mengi yao. Nimetoa baadhi yao hapa kama mfano. Hii ni kubadili vichupo, kutekeleza ombi au kutekeleza maombi kadhaa.

ClickHouse - uchambuzi wa data unaoonekana haraka na angavu katika Tabix. Igor Stryhar

Nitakuonyesha jinsi ya kufanya kazi na matokeo. Tunatuma ombi. Hapa ninachora sin, cos na tg. Unaweza kuangazia matokeo, i.e. kuchora ramani ya kawaida kwa safu. Unaweza kuangazia maadili chanya au hasi. Au tu rangi kipengele maalum cha meza. Hii ni rahisi wakati meza ni kubwa na unahitaji kupata shida na macho yako. Nilipokuwa nikitafuta hitilafu, niliangazia baadhi ya mistari, baadhi ya vipengele kwa kijani au nyekundu.

ClickHouse - uchambuzi wa data unaoonekana haraka na angavu katika Tabix. Igor Stryhar

Kuna mambo mengi ya kuvutia huko. Kwa mfano, jinsi ya kunakili kwenye Redmine Markdown. Ikiwa unahitaji kunakili matokeo mahali fulani, hii ni rahisi sana. Unaweza kuchagua eneo kwa urahisi, sema "Nakili kwa Redmine" na itanakili kwenye Redmine Markdown au kuunda swali la wapi.

ClickHouse - uchambuzi wa data unaoonekana haraka na angavu katika Tabix. Igor Stryhar

Inayofuata ni uboreshaji wa hoja. Mara moja nilisahau kutaja uwanja wa "tarehe". Na ombi langu katika ClickHouse halikushughulikiwa sana, haraka sana, lakini haraka, yaani chini ya sekunde. Nilipoona ni mistari mingapi aliyopitia, niliogopa. Hatuandiki safu nyingi kwenye jedwali hili kwa siku moja. Nilianza kuchambua ombi hilo na nikaona kuwa nilikuwa nimekosa tarehe mahali pamoja. Hiyo ni, nilisahau kuonyesha kwamba sihitaji data kwa meza nzima, lakini kwa muda maalum.

Tabix ina kichupo cha "Takwimu", ambacho huhifadhi historia nzima ya maombi yaliyotumwa, yaani, hapo unaweza kuona ni mistari ngapi iliyosomwa na ombi hili na ilichukua muda gani kutekeleza. Hii inaruhusu uboreshaji.

Unaweza kuunda jedwali la egemeo juu ya matokeo ya hoja. Ulituma ombi kwa ClickHouse na ukapokea data fulani. Na kisha unaweza kuhamisha data hii na kipanya chako na kuunda aina fulani ya jedwali la egemeo.

ClickHouse - uchambuzi wa data unaoonekana haraka na angavu katika Tabix. Igor Stryhar

Jambo linalofuata la kuvutia ni kupanga njama. Hebu sema tuna ombi lifuatalo: kwa dhambi, cos kutoka 0 hadi 299. Na kuivuta, unahitaji kuchagua kichupo cha "Chora" na utapata grafu na dhambi yako na cos.

ClickHouse - uchambuzi wa data unaoonekana haraka na angavu katika Tabix. Igor Stryhar

Unaweza kugawanya hii katika shoka tofauti, i.e. unaweza kuchora grafu mbili kando kando mara moja. Andika amri moja na amri ya pili.

ClickHouse - uchambuzi wa data unaoonekana haraka na angavu katika Tabix. Igor Stryhar

Unaweza kuchora histograms.

ClickHouse - uchambuzi wa data unaoonekana haraka na angavu katika Tabix. Igor Stryhar

Unaweza kugawanya hii kuwa matrix ya grafu.

ClickHouse - uchambuzi wa data unaoonekana haraka na angavu katika Tabix. Igor Stryhar

Unaweza kuunda ramani ya joto.

ClickHouse - uchambuzi wa data unaoonekana haraka na angavu katika Tabix. Igor Stryhar

Unaweza kuunda kalenda ya joto. Kwa njia, hii ni jambo rahisi sana wakati unahitaji kuchambua anomalies zaidi ya mwaka, yaani, kupata ama spikes au matone. Taswira hii ya data ilinisaidia na hii.

ClickHouse - uchambuzi wa data unaoonekana haraka na angavu katika Tabix. Igor Stryhar

Inayofuata ni Treep.

ClickHouse - uchambuzi wa data unaoonekana haraka na angavu katika Tabix. Igor Stryhar

ClickHouse - uchambuzi wa data unaoonekana haraka na angavu katika Tabix. Igor Stryhar

Sankeys ni chati ya kuvutia. Yeye ni Streamgrahps au Mto. Lakini naiita Mto. Pia hukuruhusu kutafuta hitilafu zozote. Ni vizuri sana. Ninapendekeza kuitumia kwa kutafuta.

ClickHouse - uchambuzi wa data unaoonekana haraka na angavu katika Tabix. Igor Stryhar

Jambo linalofuata la kuvutia ni kuchora ramani inayobadilika. Ikiwa utahifadhi latitudo, longitudo katika hifadhidata yako na, sema, kuhifadhi unakoenda, ikiwa wewe, kwa mfano, una lori au ndege zinazoruka, basi unaweza kuchora njia za marudio. Pia kuna unaweza kuweka kasi na ukubwa wa vitu hivi ndani ambayo wao kuruka.

Lakini tatizo la ramani hii ni kwamba inachora tu ramani ya dunia, hakuna maelezo.

ClickHouse - uchambuzi wa data unaoonekana haraka na angavu katika Tabix. Igor Stryhar

Baadaye niliongeza ramani ya Google. Ikiwa utahifadhi latitudo, longitudo, basi unaweza kuchora matokeo kwenye ramani ya Google, lakini bila msaada wa ndege.

Tumejadili kazi kuu za kufanya kazi na matokeo na maswali katika Tabix.

ClickHouse - uchambuzi wa data unaoonekana haraka na angavu katika Tabix. Igor Stryhar

Inayofuata ni uchambuzi wa seva yako ya ClickHouse. Kuna kichupo tofauti cha "Metriki", ambapo unaweza kuona ukubwa wa data iliyohifadhiwa kwa kila safu. Picha ya skrini inaonyesha kuwa sehemu hii ya "referrer" inachukua takriban 730 Gb. Ikiwa tutaacha uwanja huu, tutahifadhi shards tatu za GB 700 kila moja, yaani kuhusu 2 TB ambayo hatuhitaji.

Pia tuna sehemu ya "request_id" ambayo tunaihifadhi kwenye mfuatano. Lakini ikiwa tutaanza kuihifadhi kwa fomu ya nambari, uwanja huu utapungua sana.

Inaonyesha pia usanidi wa seva na orodha ya nodi kwenye nguzo yako.

ClickHouse - uchambuzi wa data unaoonekana haraka na angavu katika Tabix. Igor Stryhar

Kichupo kinachofuata ni vipimo. Wanaingia katika wakati halisi na ClickHouse na hukuruhusu kuchambua hali ya seva na kuelewa kinachotokea kwake. Hii sio nafasi ya Grafana kamili. Hii ni muhimu kwa uchambuzi wa haraka.

ClickHouse - uchambuzi wa data unaoonekana haraka na angavu katika Tabix. Igor Stryhar

Kichupo kinachofuata ni michakato. Kutoka kwao unaweza kuelewa kinachotokea kwenye seva. Elewa nini kinaendelea huko. Nilikuwa na ombi ambalo lilitumia GB 200 za kusoma kila wakati. Niliona shukrani hii kwa kiolesura hiki. Nilimshika na kumrekebisha. Na ikawa kama GB 30, i.e. utendaji wakati mwingine.

ClickHouse - uchambuzi wa data unaoonekana haraka na angavu katika Tabix. Igor Stryhar

Asante! Na iko kwenye OpenSource

Nimemaliza. Na kwa njia, ni OpenSource, ni bure na hauitaji hata kuipakua. Fungua kwenye kivinjari na kila kitu kitafanya kazi.

maswali

Igor, ni nini kinachofuata? Je, utatengeneza chombo hiki wapi?

Ifuatayo, dashibodi itaonekana, yaani, labda dashibodi itaonekana. Kuunganishwa na hifadhidata zingine. Nilifanya hivi, lakini bado sijaichapisha katika OpenSource. Hii ni MySQL na ikiwezekana PostgreSQL. Hiyo ni, itawezekana kutuma maombi kutoka kwa Tabix sio tu kwa ClickHouse, lakini pia kwa zana zingine.

Ni wazi kwamba kiasi kikubwa cha kazi kimefanywa. Iligeuka kuwa wazo kamili kabisa. Hii ilifanyika katika kivinjari, inaonekana, ili kuondokana na magongo kwenye kila aina ya axes na haraka kutupa jambo zima pamoja. Nilisikia kuwa umewasha php kazi, kwa hivyo njia rahisi ni kuiandika kwenye kivinjari na itafanya kazi kila mahali. Hakuna maswali kuhusu hili. Swali ni hili. Mengi yamefanyika huko kweli. Ni watu wangapi waliofanya kazi kwenye hii? Na yote yalichukua muda gani? Kwa sababu zana maalum kawaida hazina utendaji mwingi.

Mtu mmoja kutoka kwa timu yetu alifanya kazi kutoka majira ya joto hadi vuli. Hili lilikuwa toleo la kwanza. Kisha nikafanya ahadi 330 peke yangu. Unachokiona, mimi na mwenzangu tulifanya kwa nusu. Katika miezi 3, kutoka toleo la kwanza hadi la mwisho, mara nyingi nilifanya peke yangu. Lakini sijui Javascript vizuri. Huu ulikuwa mradi wangu wa pekee na, natumai, mradi wangu wa mwisho wa Javascript ambao nilifanya nao kazi. Nilipata, nikaona - oh, hofu. Lakini nilitaka sana kumaliza bidhaa na hii ndio ilifanyika.

Asante sana kwa ripoti! Hii ni chombo kikubwa. NA Jedwali Je, umelinganisha?

Asante. Ndio maana niliiita Tabix, kwa sababu herufi za kwanza ni sawa.

Kwa sababu unashindana?

Kutakuwa na uwekezaji mkubwa, tutashindana.

Unawezaje kutoa kuuza kwa wachambuzi wa ndani ambao chombo hiki kitachukua nafasi kabisa *Jedwali*? Mabishano yatakuwa nini?

Inafanya kazi asili na ClickHouse. Nilijaribu Tableau, lakini huwezi kuandika msaada kwa kamusi na kadhalika. Ninajua jinsi watu wanavyofanya kazi na Tabix. Wanaandika swali, wanapakia kwenye CSV na kuipakia kwa BI. Na tayari wanafanya kitu huko. Lakini nina wakati mgumu kufikiria jinsi wanavyofanya hivi, kwa sababu ni zana ya picha. Inaweza kupakua safu 5, upeo wa safu 000, lakini hakuna zaidi, vinginevyo kivinjari hakiwezi kukabiliana.

Hiyo ni, kuna mapungufu makubwa juu ya kiasi cha data, sawa?

Ndiyo. Siwezi kufikiria kuwa ungetaka kupakia safu mlalo 10 kwenye jedwali lako kwenye skrini ya kivinjari chako. Kwa ajili ya nini?

Je, hii inamaanisha kuwa hii ni kiolesura cha kutazama data haraka? Izungushe kidogo, izungushe?

Ndio, angalia haraka jinsi inavyofanya kazi na ujenge tu muhtasari wa grafu. Na kisha uipe mahali fulani. Tuna mfumo wetu wa kuripoti, ambapo ninachukua ombi hili. Ninachora Tabix na kuituma kwa ripoti yetu.

Na swali jingine. Uchambuzi wa kundi?

Ikiwa kuna maombi yoyote, tutaiongeza.

Umeanza kutumia lini? ClickHouse, utekelezaji ulichukua muda gani? Bonyeza Nyumba na kuleta kwa hali ya uzalishaji?

Kama nilivyosema, tulitekeleza nguzo ya majaribio kwa muda mfupi sana. Tuliisambaza kwa siku mbili. Na tuliijaribu kwa wiki kadhaa zaidi. Na tulifikia uzalishaji katika miezi 3. Lakini tulikuwa na ETL yetu wenyewe, yaani chombo cha kurekodi data. Na aliandika katika kila alichoweza. Anaweza kuandika katika MongoDB, Cassandra, MySQL. Ilikuwa rahisi kumfundisha jinsi ya kuandika katika ClickHouse. Tulikuwa na miundombinu tayari kwa utekelezaji wa haraka. Ndani ya miezi 3 tulianza kutupa sehemu ya kwanza. Katika miezi 6 tuliacha kabisa kila kitu kingine. Tumebakiza ClickHouse moja tu.

Igor, asante sana kwa ripoti. Nilipenda sana utendaji wa kujenga njia kwa kutumia ramani. Je, kuna mipango yoyote ya kuunganishwa na Yandex.Maps na hasa na Yandex.Maps maalum?

Nilijaribu kuunganisha badala ya ramani ya Google, lakini sikupata mandhari ya giza kwenye Yandex.Maps. Sikukuambia kipande kimoja. Nitarudisha nyuma ili kuongeza.

Slaidi - ramani ya Google. Kuna amri "DRAW_GMAPS", ambayo huchora ramani. Kuna amri "DRAW_YMAPS", i.e. inaweza kuchora Yandex.Map. Lakini kwa kweli, chini ya amri hii kuna Javascript, i.e. data unayopokea kutoka kwa ClickHouse inaweza kuhamishiwa kwa Javascript, ambayo unaandika hapa. Na unayo eneo la pato ambalo linapaswa kuchorwa. Unaweza kuchora grafu yoyote, i.e. grafu yoyote, ramani, unaweza kuchora sehemu yako mwenyewe. Kabla ya hii, nilikuwa na maktaba nyingine ya kuchora grafu zenyewe.

Hiyo ni, kuna zana ya kubinafsisha utendakazi wa onyesho?

Yoyote. Unaweza kuchukua na kuweka upya dots hizi, na kuzifanya zisiwe nyekundu, lakini bluu, kijani.

Asante kwa ripoti! Ulikuwa na slaidi iliyowasilisha zana mbadala za kuuliza Bonyeza Nyumba kwa ajili ya kujenga dashibodi na ripoti za uchambuzi. Ninaelewa kuwa wakati ulianza kufanya kazi na ClickHouse, hakuna adapta zilizoandikwa kwa zana hizi. Na ninashangaa kwa nini uliamua kufanya chombo chako mwenyewe, badala ya kuandika adapta kwa chombo kilichopangwa tayari? Nadhani kurekebisha kihariri cha jaribio ni haraka. Kwa nini umeamua kufanya kazi nyingi?

Kuna jambo la kufurahisha hapa - ukweli ni kwamba mimi ni mkurugenzi wa kiufundi, sio mwanasayansi wa data. Kufikia wakati tunaanza kutekeleza Druid, ramani yangu ya barabara ilikuwa na takriban 50% ya kazi - wacha tuhesabu hii, au tuhesabu hii, au tuchambue hii. Na ikawa kwamba tulitekeleza ClickHouse. Na akaanza haraka kujenga kila kitu, kuhesabu, na haraka kufunga ramani yake ya barabara. Na kufikia wakati huo niligundua kuwa sikuwa na ujuzi katika Sayansi ya Data na taswira ya data. Tabix ni aina ya kazi yangu ya nyumbani ya kujifunza taswira ya data. Nilikuwa nikiangalia jinsi ya kukamilisha Zeppelin. Sipendi kidogo upangaji wake. Redash niliangalia jinsi ya kuiongeza, lakini hariri ya kawaida ilinitosha. Na SuperSet pia imeandikwa katika lugha ambayo siipendi sana. Na kwa hivyo niliamua kuzunguka, na hii ndio ilifanyika.

Igor, unakubali maombi ya Vuta?

Ndiyo.

Asante sana kwa ripoti! Na maswali mawili. Kwanza, hauzungumzi kwa kupendeza sana Javascript. Je, uliandika kwa Javascript tupu au ni aina fulani ya mfumo?*

Bora katika Javascript tupu.

Kwa hivyo ni mfumo gani?

Angular.

Ni wazi. Na swali la pili. Je, umezingatia R и *Inang'aa**?*

Imezingatiwa. Imechezwa.

Unaweza pia kuandika adapta.

Yeye ni. Inaonekana kama jamii iliifanya, lakini, kama nilivyojibu swali lililopita, nilitaka kujaribu mwenyewe.

* Hapana, kuhusu taswira, iko pia.

Unasema kuwa kuna kitu kama hicho na kitakuchora grafu. Nilifungua kitabu cha taswira ya data. Na nikafikiria: "Acha nijaribu kuibua data hii. Nitamwandikia ili aweze kuunda tena data. Na nilianza kuelewa vyema teknolojia ya usambazaji wa data. Na ikiwa ningechukua sehemu iliyotengenezwa tayari, mimi binafsi ningejifunza mbaya zaidi jinsi ya kuitumia, ambayo ni, taswira. Lakini ndiyo, nilipenda R, lakini sijasoma kitabu "R for Dummies" bado.

Asante!

Swali rahisi. Je, kuna njia zozote za kupakia haraka ishara au ratiba?

Inaweza kupakiwa kwa CSV au Excel.

Sio data, lakini sahani iliyopangwa tayari, grafu iliyopangwa tayari? Kwa mfano, kuonyesha bosi.

Kuna kitufe cha "Pakia" na kuna kitufe "Pakia grafu katika png, katika jpg".

Asante!

PS Mini-maelekezo kwa ajili ya kufunga tabix

  • Shusha toleo jipya zaidi
  • Ondoa, nakili saraka build katika nginx root_path
  • Sanidi nginx

Chanzo: mapenzi.com

Kuongeza maoni