Мен сізге Игорь Стрихардың 2017 жылғы есебінің транскрипциясын оқуды ұсынамын «ClickHouse - Tabix-те визуалды жылдам және анық деректерді талдау».
Tabix жобасындағы ClickHouse веб-интерфейсі.
Негізгі ерекшеліктері:
- ClickHouse-пен тікелей браузерден жұмыс істейді, қосымша бағдарламалық жасақтаманы орнатудың қажеті жоқ;
- Синтаксисті бөлектеумен сұраныс редакторы;
- Командаларды автотолтыру;
- Сұраныстардың орындалуын графикалық талдау құралдары;
- Таңдау үшін түс схемалары.
Мен SMI2 техникалық директорымын. Біз жаңалықтар алмасу жаңалықтар агрегаторымыз. Біз серіктестерімізден алатын көптеген деректерді сақтаймыз және оны ClickHouse жүйесінде тіркейміз - секундына шамамен 30 000 сұраныс.
Бұл деректер, мысалы:
- Жаңалықтарды басады.
- Жаңалықтар агрегаторда көрсетіледі.
- Желіміздегі баннерлік дисплейлер.
- Ал біз оқиғаларды Яндекс.Метрикаға ұқсас жеке есептегішімізден тіркейміз. Бұл біздің жеке микроаналитика.
ClickHouse-қа дейін бізде өте қызу өмір болды. Біз бұл деректерді бір жерде сақтап, қалай болса да талдауға тырысып, көп зардап шектік.
ClickHouse алдындағы өмір – infiniDB
Бізде болған бірінші нәрсе infiniDB болды. Ол бізбен 4 жыл тұрды. Біз оны қиындықпен іске қостық.
- Ол кластерлеуге немесе бөлуге қолдау көрсетпейді. Әдепкі бойынша қораптан мұндай ақылды заттар шықпады.
- Ол деректерді жүктеуде қиындықтарға тап болды. Тек CSV файлдарын жүктей алатын арнайы консольдік утилита ғана және өте түсініксіз жолмен.
- Деректер базасы бір ағынды. Сіз жаза аласыз немесе оқи аласыз. Бірақ бұл деректердің үлкен көлемін өңдеуге мүмкіндік берді.
- Оның да қызық балдағы болды. Әр түнде серверді қайта жүктеу керек болды, әйтпесе ол жұмыс істемейді.
Ол бізде 2016 жылдың соңына дейін жұмыс істеді, біз ClickHouse-қа толығымен ауыстық.
ClickHouse алдындағы өмір – Кассандра
InfiniDB бір ағынды болғандықтан, бізге бір уақытта көптеген ағындарды жаза алатын көп ағынды дерекқор қажет деп шештік.
Біз көптеген қызықты нәрселерді қолданып көрдік. Содан кейін біз Кассандраны сынап көруді шештік. Кассандрамен бәрі тамаша болды. Бір ұсыныс үшін секундына 10 000 сұраныс. Бір жерде оқуға 2 сұраныс.
Бірақ оның да өз мүдделері болды. Айына бір рет немесе екі айда бір рет ол дерекқорды синхронизациялауды бастан кешірді. Ал мен Кассандраны жөндеу үшін оянып, жүгіруге тура келді. Серверлер бірінен соң бірі қайта іске қосылды. Және бәрі тегіс және әдемі болды.
ClickHouse алдындағы өмір – Друид
Сонда біз бұдан да көп деректерді жазуымыз керек екенін түсіндік. 2016 жылы біз Druid көре бастадық.
Druid — Java тілінде жазылған ашық бастапқы бағдарламалық құрал. Өте нақты. Бұл оқиғалар ағынының қандай да бір түрін сақтау, содан кейін олар бойынша жинақтау немесе аналитикалық есептерді жасау қажет болғанда, клик ағыны үшін қолайлы болды.
Druid нұсқасы 0.9.X болды.
Дерекқордың өзін орналастыру өте қиын. Бұл инфрақұрылымның күрделілігі. Оны орналастыру үшін көп, көп темір орнату керек болды. Және әрбір аппараттық құрал өзінің жеке рөліне жауап берді.
Оған деректерді жүктеу үшін шаманизмнің қандай да бір түрін қолдану қажет болды. OpenSource жобасы бар - Tranquility, ол бізден деректерді ағынмен жоғалтып алды. Біз оған деректерді жүктеген кезде ол оны жоғалтты.
Бірақ әйтеуір оны жүзеге асыра бастадық. Біз, есірткі ішіп, бірақ кактус жеуді жалғастырған кірпілер сияқты, оны таныстыра бастадық. Ол үшін барлық инфрақұрылымды дайындауға бір айға жуық уақыт кетті. Яғни, серверлерге тапсырыс беріңіз, рөлдерді конфигурациялаңыз және орналастыруды толығымен автоматтандырыңыз. Яғни, кластер істен шыққан жағдайда, екінші кластер автоматты түрде орналастырылады.
Бірақ содан кейін бір керемет болды. Мен демалыста болдым, әріптестерім маған сілтеме жіберді , бұл Яндекс ClickHouse ашуға шешім қабылдағанын айтады. Байқап көрейік деймін.
2 күнде біз ClickHouse сынақ кластерін орналастырдық. Біз оған деректерді жүктей бастадық. InfiniDB-мен салыстырғанда, бұл қарапайым; Druid-пен салыстырғанда, бұл қарапайым. Кассандрамен салыстырғанда ол қарапайым. Өйткені егер сіз PHP-ден деректерді Кассандраға жүктесеңіз, бұл қарапайым емес.
Біз не алдық? Жылдамдықтағы өнімділік. Деректерді сақтаудағы өнімділік. Яғни, дискілік кеңістік әлдеқайда аз пайдаланылады. ClickHouse жылдам, ол басқа өнімдермен салыстырғанда өте жылдам.
Іске қосу кезінде Яндекс OpenSource жүйесінде ClickHouse жариялаған кезде тек консоль клиенті болды. Біз SMI2 компаниямызда браузерден бет ашып, сұраныс жазып, нәтиже алу үшін веб үшін оригиналды клиент жасауға тырысамыз деп шештік, өйткені біз көптеген сұраныстар жаза бастадық. Консольде жазу қиын. Ал біз бірінші нұсқамызды жасадық.
Өткен жылдың қысына жақын жерде ClickHouse-пен жұмыс істеуге арналған үшінші тарап құралдары пайда бола бастады. Бұл құралдар, мысалы:
- .
- .
- . (Қазір )
- .
- .
Мен осы құралдардың кейбірін, яғни мен жұмыс істегендерді қарастырамын.
Жақсы құрал, бірақ Druid үшін. Druid іске асырылған кезде мен SuperSet-ті сынап көрдім. Ол маған ұнады. Druid үшін бұл өте жылдам.
Бұл ClickHouse үшін жарамсыз. Яғни, ол сәйкес келеді, басталады, бірақ тек қарапайым сұрауларды өңдеуге дайын: SELECT оқиғасы, GROUP BY оқиғасы. Ол неғұрлым күрделі ClickHouse синтаксисін қолдамайды.
Келесі құрал - Apache Zeppelin. Бұл жақсы және қызықты нәрсе. Жұмыстар. Ол жазу кітапшаларына, бақылау тақталарына және айнымалы мәндерге қолдау көрсетеді. Мен ClickHouse қауымдастығындағы біреудің оны пайдаланатынын білемін.
Бірақ ClickHouse синтаксисіне қолдау көрсетілмейді, яғни сұрауларды консольде немесе басқа жерде жазуға тура келеді. Әрі қарай, бәрі жұмыс істейтінін тексеріңіз. Бұл жай ғана ыңғайсыз. Бірақ оның бақылау тақтасының жақсы қолдауы бар.
Келесі құрал - Redash.IO. Редаш интернетте орналастырылған. Яғни, бұрынғы құралдардан айырмашылығы, оны орнату қажет емес. Және бұл әртүрлі деректер көздерінен деректерді біріктіру мүмкіндігі бар бақылау тақтасы. Яғни, ClickHouse, MySQL, PostgreSQL және басқа дерекқорлардан жүктеп алуға болады.
Бір ай бұрын (наурыз 2017 ж.) Grafana-да қолдау пайда болды. Grafana бағдарламасында есептерді құрастырған кезде, мысалы, аппараттық құралдың күйі немесе кейбір көрсеткіштер бойынша, енді бірдей графикті немесе қандай да бір панельді тікелей ClickHouse деректерінен құра аласыз. Бұл өте ыңғайлы, біз оны өзіміз пайдаланамыз. Бұл аномалияларды табуға мүмкіндік береді. Яғни, бірдеңе болып, кейбір аппараттық құрал құлап немесе шиеленісе, онда бұл деректер ClickHouse-қа кіре алғанының себебін қарауға болады.
Маған бұл құралдарда немесе консольде жазу өте ыңғайсыз болды. Мен бірінші интерфейсімізді жақсартуды шештім. Мен бұл идеяны EventSQL, SeperSet, Zeppelin-тен алдым.
Сізге не керек еді? Мен графиканы, жақсартылған редакторды алғым келді және анықтамалық сөздіктерге қолдау көрсеткім келді. Өйткені ClickHouse-тың тамаша мүмкіндігі бар - сөздіктер. Бірақ сөздіктермен жұмыс істеу қиын, өйткені сақталған мәндердің пішімін есте сақтау керек, яғни ол сан немесе жол ма, т.б. Біз сөздіктерді әртүрлі нұсқаларында жиі қолданатындықтан, сұрауларды жазу өте қиын болды.
Бірінші нұсқамыздың шыққанына 3 ай өтті. Мен жеке бөлімшеге шамамен 330 міндеттеме жасадым және ол Tabix болып шықты.
ClickHouse-Frontend деп аталатын алдыңғы нұсқадан айырмашылығы, мен оны қарапайым атаумен өзгертуді шештім. Табикс шықты.
Не пайда болды?
Графиктерді салады. ClickHouse SQL синтаксисін қолдайды. Функциялар бойынша кеңес береді және көптеген қызықты нәрселерді жасай алады.
Табикстің жалпы схемасы осылай көрінеді. Сол жақта ағаш. Орталықта сұраныс редакторы орналасқан. Ал төменде осы сұраныстың нәтижесі берілген.
Әрі қарай мен сізге сұрау өңдегішінің қалай жұмыс істейтінін көрсетемін.
Мұнда автотолтыру автоматты түрде кестеде жұмыс істейді және сәйкесінше өрістер үшін автотолтыруды ұсынады. Және функциялар туралы кеңестер. ctrl enter пернесін бассаңыз, сұрау орындалады немесе қатемен орындалмайды. Ең қарапайым сұраныс Tabix-ке жіберіледі және нәтиже алынады, яғни ClickHouse-пен жылдам жұмыс істеуге болады.
Сөздіктер, мен айтқанымдай, біз көп жұмыс істейтін өте қызықты нәрсе. Және бұл бізге көп нәрсені жасауға мүмкіндік берді. Барлық қалаларды сөздіктерде сақтаймыз делік. Біз қала идентификаторын және қала атауын, оның ендігі мен бойлығын сақтаймыз. Ал деректер базасында біз тек қала идентификаторын сақтаймыз. Тиісінше, біз деректерді өте қатты қысамыз.
Бұл қарапайым нәрсе сияқты, бірақ ол ClickHouse-те өте қызықты түрде көмектеседі. ClickHouse тек кірістірілген біріктірулерді қолдайтындықтан, сұрау төмен қарай және жеткілікті кеңейеді. Жақша ашылғанда және кейбір ұзын өрнектер енгізілгенде, сұрауды қысқарту сияқты қарапайым нәрсе сұраудың өзімен жұмыс істеуді жеңілдетеді. Өйткені сұраудың ұзындығы 200-300 жол және ені өте үлкен болса, сұрауды қысқарту, содан кейін бір орынды табу немесе оны қандай да бір жолмен локализациялау өте пайдалы.
Нысан ағашы, көп сұраулар және қойындылар (Бейне 13:46 )
Әрі қарай мен сізге ағаш пен қойындылар туралы көрсетемін. Сол жақта ағаш, жоғарғы жағында бірнеше қойынды жасауға болады. Қойындылар жұмыс кеңістігі сияқты. Бірнеше қойындыларды жасап, әрқайсысын басқаша атауға болады. Бұл есеп құрастыруға арналған шағын жүйе сияқты.
Қойындылар автоматты түрде сақталады. Браузерді қайта іске қоссаңыз немесе Tabix қолданбасын жапсаңыз немесе ашсаңыз, мұның бәрі сақталады.
Жылдам перне - ыңғайлы (Бейне 14:39 )
Жылдам пернелер бар және олардың саны өте көп. Мен олардың кейбірін мысал ретінде келтірдім. Бұл қойындыларды ауыстыру, сұрауды орындау немесе бірнеше сұрауларды орындау.
Мен сізге нәтижемен қалай жұмыс істеу керектігін көрсетемін. Біз сұраныс жібереміз. Мұнда мен sin, cos және tg суретін салып жатырмын. Нәтижені бөлектеуге болады, яғни бағанға әдеттегі картаны салуға болады. Оң немесе теріс мәндерді бөлектеуге болады. Немесе жай кестенің белгілі бір элементін бояңыз. Бұл үстел үлкен болған кезде ыңғайлы және сіз өзіңіздің көзіңізбен қандай да бір аномалияны табуыңыз керек. Мен аномалияларды іздеген кезде мен кейбір сызықтарды, кейбір элементтерді жасыл немесе қызыл түспен бөлектедім.
Онда қызық дүниелер көп. Мысалы, Redmine Markdown бағдарламасына қалай көшіруге болады. Нәтижені бір жерге көшіру қажет болса, бұл өте ыңғайлы. Сіз жай ғана аумақты таңдай аласыз, «Redmine-ге көшіру» деп айта аласыз, ол Redmine Markdown-ға көшіріледі немесе қайда сұрауды жасайды.
Келесі - сұрауды оңтайландыру. Мен бір рет «күн» өрісін көрсетуді ұмытып кеттім. Менің ClickHouse-тағы сұрауым өте тез емес, тез өңделді, яғни бір секундтан аз. Оның қанша жолдан өткенін көргенде, мен шошып кеттім. Біз бұл кестеге бір күнде көп жол жазбаймыз. Мен сұрауды талдай бастадым және бір жерде кездесуді өткізіп алғанымды көрдім. Яғни, мен бүкіл кесте үшін емес, белгілі бір кезең үшін деректер қажет емес екенін көрсетуді ұмытып кеттім.
Tabix-те жіберілген сұраулардың бүкіл тарихын сақтайтын «Статистика» қойындысы бар, яғни сол жерде осы сұрау қанша жол оқылғанын және оның орындалуына қанша уақыт кеткенін көре аласыз. Бұл оңтайландыруға мүмкіндік береді.
Сұрау нәтижесінің үстінен жиынтық кесте құра аласыз. ClickHouse қызметіне сұрау жіберіп, кейбір деректерді алдыңыз. Содан кейін сіз бұл деректерді тінтуірмен жылжытып, қандай да бір жиынтық кестені құра аласыз.
Келесі қызықты нәрсе - сюжетті құру. Бізде келесі сұрау бар делік: sin үшін, cos 0-ден 299-ға дейін. Ал оны салу үшін «Сызу» қойындысын таңдау керек, сонда сіз күнә мен cos көрсетілген графикті аласыз.
Мұны әртүрлі осьтерге бөлуге болады, яғни бір уақытта екі графикті қатар салуға болады. Бір пәрменді және екінші пәрменді жазыңыз.
Гистограммаларды салуға болады.
Мұны графиктердің матрицасына бөлуге болады.
Сіз жылу картасын жасай аласыз.
Жылу күнтізбесін құруға болады. Айтпақшы, бұл бір жыл ішінде аномалияларды талдау қажет болған кезде өте ыңғайлы нәрсе, яғни, шыбықтарды немесе тамшыларды табу. Бұл деректерді визуализациялау маған көмектесті.
Келесі - Treemap.
Sankeys - қызықты диаграмма. Ол Streamgrahps немесе River. Бірақ мен оны өзен деп атаймын. Ол сондай-ақ кез келген ауытқуларды іздеуге мүмкіндік береді. Бұл өте ыңғайлы. Мен оны іздеу үшін пайдалануды ұсынамын.
Келесі қызықты нәрсе - динамикалық картаны салу. Егер сіз дерекқорда ендік, бойлықты сақтасаңыз және айталық, тағайындалған орынды сақтасаңыз, мысалы, сізде жүк көлігі немесе ұшақтар ұшатын болса, онда сіз тағайындалған жолдарды сыза аласыз. Сондай-ақ, онда сіз олар ұшатын осы нысандардың жылдамдығы мен өлшемін орнатуға болады.
Бірақ бұл картаның проблемасы ол тек дүние картасын салады, деталь жоқ.
Кейінірек мен Google картасын қостым. Егер сіз ендік пен бойлықты сақтасаңыз, нәтижені Google картасына салуға болады, бірақ ұшақтың қолдауынсыз.
Біз Tabix-те нәтижелермен және сұраныстармен жұмыс істеудің негізгі функцияларын талқыладық.
Келесісі - ClickHouse серверінің талдауы. Әрбір баған үшін сақталған деректердің өлшемін көруге болатын бөлек «Метрика» қойындысы бар. Скриншот бұл «референт» өрісінің шамамен 730 Гб алатынын көрсетеді. Егер біз бұл өрістен бас тартсақ, біз үш 700 ГБ фрагментті, яғни бізге қажет емес шамамен 2 ТБ сақтаймыз.
Сондай-ақ бізде жолда сақтайтын "сұраныс_идентификаторы" өрісі бар. Бірақ егер біз оны сандық түрде сақтай бастасақ, бұл өріс өте қысқарады.
Ол сонымен қатар сервер конфигурациясын және кластердегі түйіндер тізімін көрсетеді.
Келесі қойынды – көрсеткіштер. Олар ClickHouse көмегімен нақты уақыт режиміне енеді және жай ғана сервердің күйін талдауға және оған не болып жатқанын түсінуге мүмкіндік береді. Бұл толық Grafana-ны алмастырмайды. Бұл жылдам талдау үшін қажет.
Келесі қойынды - процестер. Олардан серверде не болып жатқанын түсінуге болады. Онда не болып жатқанын түсініңіз. Менде әр жолы 200 ГБ оқуды қажет ететін сұрау болды. Мен мұны осы интерфейстің арқасында көрдім. Мен оны ұстап алып, түзетіп қойдым. Және бұл шамамен 30 ГБ болды, яғни кейде өнімділік.
Рақмет сізге! Және бұл OpenSource жүйесінде
Мен аяқтадым. Айтпақшы, бұл OpenSource, ол тегін және оны жүктеп алудың да қажеті жоқ. Оны браузерде ашыңыз және бәрі жұмыс істейді.
Сіздің сұрақтарыңыз
Игорь, енді не болады? Бұл құралды қай жерде әзірлейсіз?
Әрі қарай, бақылау тақталары пайда болады, яғни бақылау тақталары пайда болуы мүмкін. Басқа мәліметтер қорымен интеграция. Мен мұны жасадым, бірақ оны әлі OpenSource-те жариялаған жоқпын. Бұл MySQL және мүмкін PostgreSQL. Яғни, Tabix-тен тек ClickHouse-қа ғана емес, басқа құралдарға да сұрау жіберуге болады.
Орасан зор жұмыс атқарылғаны анық. Бұл жеткілікті толық идея болып шықты. Бұл браузерде, шамасы, осьтердің барлық түрлеріндегі балдақтарды жою және бәрін тез арада біріктіру үшін жасалды. Сіз қосылған деп естідім PHP жұмыс, сондықтан ең оңай жолы оны браузерде теру және ол барлық жерде жұмыс істейді. Бұл туралы сұрақтар жоқ. Сұрақ мынау. Ол жерде шынымен де көп нәрсе жасалды. Бұған қанша адам жұмыс істеді? Және барлығы қанша уақытқа созылды? Өйткені реттелетін құралдардың әдетте онша көп функционалдығы болмайды.
Біздің бригададан бір адам жаздан күзге дейін жұмыс істеді. Бұл бірінші нұсқа болды. Содан кейін мен жалғыз 330 міндеттеме жасадым. Көріп отырғаныңыздай, әріптесім екеуміз оны екіге бөлдік. 3 айдың ішінде, ең бірінші нұсқасынан соңғы нұсқасына дейін, мен мұны негізінен жалғыз жасадым. Бірақ мен Javascript-ті жақсы білмеймін. Бұл менің жалғыз және мен жұмыс істеген соңғы Javascript жобасы болды деп үміттенемін. Түсіндім, қарадым – ау, сұмдық. Бірақ мен өнімді аяқтағым келді және осылай болды.
Баяндама үшін көп рахмет! Бұл тамаша құрал. МЕН үстел Сіз салыстырдыңыз ба?
Рақмет сізге. Сондықтан бірінші әріптері бірдей болғандықтан оны Tabix деп атадым.
Сіз бәсекелес болғандықтан ба?
Инвестиция көп болады, бәсекеге түсеміз.
Бұл құрал толығымен алмастыратын ішкі талдаушыларға сатуды қалай ұсына аласыз *Кесте*? Аргументтер қандай болады?
ClickHouse бағдарламасымен жергілікті түрде жұмыс істейді. Мен Tableau-ды қолданып көрдім, бірақ ол жерде сөздіктерге және сол сияқтыларға қолдау жаза алмайсыз. Мен адамдардың Tabix-пен қалай жұмыс істейтінін білемін. Олар сұрау жазады, оны CSV-ге жүктейді және BI-ге жүктейді. Ал олар қазірдің өзінде бірдеңе істеп жатыр. Бірақ мен олардың мұны қалай жасайтынын елестету қиын, себебі бұл графикалық құрал. Ол 5 жолды, максимум 000 жолды жүктей алады, бірақ одан көп емес, әйтпесе браузер жеңе алмайды.
Яғни, деректер көлеміне айтарлықтай шектеулер бар, солай емес пе?
Иә. Браузер экранына кестеңізге 10 000 жолды жүктеп салғыңыз келетінін елестете алмаймын. Не үшін?
Бұл деректерді жылдам көруге арналған интерфейс екенін білдіре ме? Оны аздап бұраңыз, бұраңыз ба?
Иә, оның қалай жұмыс істейтінін жылдам көріңіз және жай ғана жиынтық графикті құрыңыз. Сосын бір жерге беріңіз. Бізде өз есеп беру жүйесі бар, мен осы сұрауды сол жерден аламын. Мен Tabix-те сурет салып, оны біздің репортажға жіберемін.
Және тағы бір сұрақ. Когортты талдау?
Қандай да бір сұраулар болса, біз оны қосамыз.
Сіз оны қашан ғана қолдана бастадыңыз? ClickHouse, іске асыру қанша уақытқа созылды? кликхаус және жеткізу өндірістік жағдайы?
Жоғарыда айтқанымдай, біз өте қысқа мерзімде тест кластерін енгіздік. Біз оны екі күнде орналастырдық. Біз оны тағы бірнеше апта бойы сынап көрдік. Біз өндіріске 3 айда жеттік.Бірақ бізде жеке ETL, яғни деректерді жазу құралы болды. Және ол қолынан келгеннің бәрін жазды. Ол MongoDB, Cassandra, MySQL тілдерінде жаза алады. Оған ClickHouse-та жазуды үйрету оңай болды. Жылдам іске асыру үшін бізде дайын инфрақұрылым болды. 3 айдың ішінде біз бірінші компонентті лақтыра бастадық. 6 айдың ішінде біз басқа нәрселерден толығымен бас тарттық. Бізде бір ғана ClickHouse қалды.
Игорь, баяндама үшін көп рахмет. Маған карталарды пайдаланып жол салу функционалдығы қатты ұнады. Яндекс.Карталармен, атап айтқанда, Яндекс.Карталармен интеграциялау жоспарлары бар ма?
Мен Google картасының орнына біріктіруге тырыстым, бірақ Yandex.Maps қолданбасында қараңғы тақырыпты таппадым. Мен саған бір үзінді айтқан жоқпын. Мен қосу үшін артқа айналдырамын.
Слайд – Google картасы. Картаны сызатын «DRAW_GMAPS» пәрмені бар. «DRAW_YMAPS» пәрмені бар, яғни Яндекс.Картасын сала алады. Бірақ шын мәнінде, бұл пәрменнің астында Javascript бар, яғни ClickHouse-тен алған деректерді сіз осында жазатын Javascript-ке тасымалдауға болады. Сізде оны салу керек шығыс аймағы бар. Кез келген графикті, яғни кез келген графикті, картаны салуға болады, өз компонентіңізді салуға болады. Бұған дейін менде графиктерді сызуға арналған басқа кітапхана болды.
Яғни, дисплей функционалдығын теңшеуге арналған құрал бар ма?
Кез келген. Сіз бұл нүктелерді қызыл емес, көк, жасыл етіп алып, бояуға болады.
Есеп үшін рахмет! Сізде балама сұрау құралдары ұсынылған слайд болды кликхаус бақылау тақталары мен аналитикалық есептерді құруға арналған. Мен мұны сіз жұмыс істей бастаған кезде түсінемін ClickHouse, бұл құралдар үшін адаптерлер жазылмаған. Маған қызық, неліктен дайын құралға адаптер жазудың орнына, өз құралыңызды жасауға бел будыңыз? Менің ойымша, сынақ редакторын өзгерту жылдам. Неліктен сонша көп жұмыс істеуді шештіңіз?
Бұл жерде бір қызық жайт бар – мен деректанушы емес, техникалық директормын. Біз Druid-ді енгізуді бастаған кезде, менің жол картамда тапсырмалардың шамамен 50% болды - мұны есептейік немесе оны есептейік немесе оны талдаймыз. Біз ClickHouse-ты іске асырғанымыз белгілі болды. Және ол бәрін тез тұрғызып, санап, жол картасын тез жауып тастады. Сол кезде мен Data Science және деректерді визуализациялау бойынша білімдерім жетіспейтінін түсіндім. Tabix - бұл деректерді визуализациялауды үйренуге арналған үй тапсырмасы. Мен Zeppelin-ді қалай толықтыруға болатынын қарастырдым. Мен оның бағдарламалауын аздап ұнатпаймын. Редаш Мен оны қалай қосуға болатынын қарастырдым, бірақ маған қарапайым редактор жеткілікті болды. Сондай-ақ SuperSet маған ұнамайтын тілде жазылған. Сондықтан мен велосипедпен жүруді шештім, осылай болды.
Игорь, сіз тарту сұрауларын қабылдайсыз ба?
Иә.
Баяндама үшін көп рахмет! Және екі сұрақ. Біріншіден, сіз бұл туралы өте мақтанышпен айтпайсыз Javascript. Сіз жалаң Javascript-те жаздыңыз ба, әлде бұл қандай да бір фреймворк па?*
Жалаң Javascript-те жақсырақ.
Сонымен, қандай шеңбер?
Бұрыштық.
Ол түсінікті. Ал екінші сұрақ. Ойланып көрдіңіз бе R и *Жылтыр**?*
Оны қарастырды. Ойнады.
Сіз жай ғана адаптерді жаза аласыз.
Ол. Қауымдастық мұны жасаған сияқты, бірақ мен алдыңғы сұраққа жауап бергенімде, мен оны өзім сынап көргім келді.
* Жоқ, визуализацияға қатысты, ол да бар.
Сіз мұндай нәрсе бар деп айтасыз және ол сізге график сызады. Мен деректерді визуализациялау туралы кітап аштым. Мен ойладым: «Маған осы деректерді визуализациялауға рұқсат етіңіз. Деректерді қалпына келтіруі үшін мен оған хат жазамын». Ал мен деректерді беру технологиясын жақсы түсіне бастадым. Ал егер мен дайын құрамдас бөлікті алған болсам, мен оны пайдалануды, яғни визуализацияны нашар меңгерген болар едім. Бірақ иә, маған R ұнады, бірақ мен «R for Dummies» кітабын әлі оқыған жоқпын.
рахмет!
Қарапайым сұрақ. Белгіні немесе кестені жылдам жүктеп салудың жолдары бар ма?
CSV немесе Excel бағдарламасына жүктеп салуға болады.
Деректер емес, дайын пластина, дайын график? Мысалы, бастықты көрсету үшін.
«Жүктеп салу» түймесі және «Графикті png, jpg форматында жүктеп салу» түймесі бар.
рахмет!
PS Tabix орнатуға арналған шағын нұсқаулар
- Жүктеу
- Қаптаманы ашу, каталогты көшіру
buildnginx root_path ішінде - nginx конфигурациялау
Ақпарат көзі: www.habr.com