🥇Переезжаем на ClickHouse: 3 года спустя

Три года назад Виктор Тарнавский и Алексей Миловидов из Яндекса на сцене högbelastningstillstånd ++ sa, какой ClickHouse хороший, и как он не тормозит. А на соседней сцене был Alexander Zaitsev с Rapportera о переезде на klickhus с другой аналитической СУБД и с выводом, что klickhus, конечно, хороший, но не очень удобный. Когда в 2016 году компания LifeStreet, в которой тогда работал Александр, переводила мультипетабайтовую аналитическую систему на klickhus, это была увлекательная «дорога из желтого кирпича», полная неведомых опасностей — klickhus тогда напоминал минное поле.

Tre år senare klickhus стал гораздо лучше — за это время Александр основал компанию Altinity, которая не только помогает переезжать на klickhus десяткам проектов, но и совершенствует сам продукт вместе с коллегами из Яндекса. Сейчас klickhus все еще не беззаботная прогулка, но уже и не минное поле.

Александр занимается распределенными системами с 2003 года, разрабатывал крупные проекты на MySQL, Oracle и Vertica. På den sista HighLoad ++ 2019 Александр, один из пионеров использования klickhus, berättade vad detta DBMS är nu. Vi kommer att lära oss om huvudfunktionerna klickhus: чем он отличается от других систем и в каких случаях его эффективнее использовать. На примерах рассмотрим свежие и проверенные проектами практики по построению систем на klickhus.

Ретроспектива: что было 3 года назад

Три года назад мы переводили компанию LifeStreet på klickhus från en annan analytisk databas, och migreringen av annonsnätverksanalys såg ut så här:

juni 2016. In Öppen källa dök klickhus и стартовал наш проект;
Augusti. Bevis på koncept: stort reklamnätverk, infrastruktur och 200-300 terabyte data;
Октябрь. Первые продакшн-данные;
Декабрь. Полная продуктовая нагрузка — 10-50 миллиардов событий в день.
Июнь 2017. Успешный переезд пользователей на klickhus, 2,5 петабайт данных на кластере из 60-ти серверов.

В процессе миграции росло понимание, что klickhus — это хорошая система, с которой приятно работать, но это внутренний проект компании Яндекс. Поэтому есть нюансы: Яндекс сначала будет заниматься собственными внутренними заказчиками и только потом — сообществом и нуждами внешних пользователей, а ClickHouse не дотягивал тогда до уровня энтерпрайза по многим функциональным областям. Поэтому в марте 2017 года мы основали компанию Altinity, чтобы сделать klickhus ещё быстрее и удобнее не только для Яндекса, но и для других пользователей. И теперь мы:

Обучаем и помогаем строить решения на klickhus так, чтобы заказчики не набивали шишки, и чтобы решение в итоге работало;
Обеспечиваем 24/7 поддержку klickhus-инсталляций;
Разрабатываем собственные экосистемные проекты;
Vi engagerar oss aktivt för oss själva klickhus, отвечая на запросы пользователей, которые хотят видеть те или иные фичи.

И конечно, мы помогаем с переездом на klickhus с MySQL, Vertica, Oracle, Greenplum, rödförskjutning och andra system. Vi har varit involverade i en mängd olika rörelser, och de har alla varit framgångsrika.

Зачем вообще переезжать на klickhus

Saknar inte farten! Detta är huvudorsaken. klickhus — очень быстрая база данных для разных сценариев:

Slumpmässiga citat från personer som har arbetat med människor länge klickhus.

Skalbarhet. На какой-то другой БД можно добиться неплохой производительности на одной железке, но klickhus можно масштабировать не только вертикально, но и горизонтально, просто добавляя сервера. Все работает не так гладко, как хотелось бы, но работает. Можно наращивать систему вместе с ростом бизнеса. Это важно, что мы не ограничены решением сейчас и всегда есть потенциал для развития.

Портируемость. Нет привязки к чему-то одному. Например, с Amazon RedShift тяжело куда-то переехать. А klickhus можно поставить себе на ноутбук, сервер, задеплоить в облако, уйти в Kubernetes — нет ограничений на эксплуатацию инфраструктуры. Это удобно для всех, и это большое преимущество, которым не могут похвастаться многие другие похожие БД.

flexibilitet. klickhus не останавливается на чем-то одном, например, на Яндекс.Метрике, а развивается и используется во всё большем и большем количестве разных проектов и индустрий. Его можно расширять, добавляя новые возможности для решения новых задач. Например, считается, что хранить логи в БД — моветон, поэтому для этого придумали Elasticsearch. Но, благодаря гибкости klickhus, в нём тоже можно хранить логи, и часто это даже лучше, чем в Elasticsearch - kl klickhus для этого требуется в 10 раз меньше железа.

Fri Open Source. Не нужно ни за что платить. Не нужно договариваться о разрешении поставить систему себе на ноутбук или сервер. Нет скрытых платежей. При этом никакая другая Open Source технология баз данных не может конкурировать по скорости с klickhus. MySQL, MariaDB, Greenplum — все они гораздо медленнее.

Сообщество, драйв и kul. i klickhus отличное сообщество: митапы, чаты и Алексей Миловидов, который нас всех заряжает своей энергией и оптимизмом.

Переезд на ClickHouse

Чтобы переходить на klickhus с чего-то, нужны всего лишь три вещи:

Понимать ограничения klickhus и для чего он не подходит.
Использовать преимущества технологии и ее самые сильные стороны.
Экспериментировать. Даже понимая как работает klickhus, det är inte alltid möjligt att förutse när det kommer att gå snabbare, när det kommer att gå långsammare, när det kommer att bli bättre och när det kommer att bli värre. Så prova det.

Проблема переезда

Есть только одно «но»: если переезжаете на klickhus с чего-то другого, то обычно что-то идет не так. Мы привыкли к каким-то практикам и вещам, которые работают в любимой БД. Например, любой человек, работающий с SQL-базами данных, считает обязательными такой набор функций:

транзакции;
констрейнты;
konsistens;
index;
UPDATE/DELETE;
NULLs;
millisekunder;
автоматические приведения типов;
множественные джойны;
произвольные партиции;
klusterhanteringsverktyg.

Набор-то обязательный, но три года назад в klickhus не было ни одной из этих функций! Сейчас из нереализованного осталось меньше половины: транзакции, констрейнты, Consistency, миллисекунды и приведение типов.

И главное — то, что в klickhus некоторые стандартные практики и подходы не работают или работают не так, как мы привыкли. Всё, что появляется в klickhus, соответствует «ClickHouse way», т.е. функции отличаются от других БД. Например:

Index väljs inte, men hoppas över.
UPDATE/DELETE не синхронные, а асинхронные.
Множественные джойны есть, но планировщика запросов нет. Как они тогда выполняются, вообще не очень понятно людям из мира БД.

Сценарии ClickHouse

В 1960 году американский математик венгерского происхождения Wigner E. P. написал статью «The unreasonable effectiveness of mathematics in the natural sciences” (”The Incomprehensible Effectiveness of Mathematics in the Natural Sciences”) att världen omkring oss av någon anledning är väl beskriven av matematiska lagar. Matematik är en abstrakt vetenskap, och fysiska lagar uttryckta i matematisk form är inte triviala, och Wigner E. P. подчеркнул, что это очень странно.

С моей точки зрения, klickhus — такая же странность. Переформулируя Вигнера, можно сказать так: поразительна непостижимая эффективность klickhus в самых разнообразных аналитических приложениях!

Например, возьмем Real-Time Data Warehouse, i vilken data laddas nästan kontinuerligt. Vi vill ta emot förfrågningar från den med en andra fördröjning. Snälla - använd den klickhus, потому что для этого сценария он и был разработан. klickhus именно так и используется не только в веб, но и в маркетинговой и финансовой аналитике, AdTech, а также в Fraud detection. В Real-time Data Warehouse используется сложная структурированная схема типа «звезда» или «снежинка», много таблиц с JOIN (иногда множественными), а данные обычно хранятся и меняются в каких-то системах.

Возьмем другой сценарий — Tidsföljder: övervakning av enheter, nätverk, användningsstatistik, Internet of things. Här möter vi ganska enkla händelser ordnade i tid. klickhus для этого не был изначально разработан, но хорошо себя показал, поэтому крупные компании используют klickhus som ett arkiv för övervakning av information. För att undersöka om det är lämpligt klickhus för tidsserier gjorde vi ett riktmärke baserat på tillvägagångssätt och resultat InfluxDB и Tidsskala DB — специализированных tidsföljder баз данных. Det visade sigAtt klickhus, даже без оптимизации под такие задачи, выигрывает и на чужом поле:

В tidsföljder обычно используется узкая таблица — несколько маленьких колонок. С мониторинга может приходить очень много данных, — миллионы записей в секунду, — и обычно они поступают маленькими вставками (realtid стримингом). Поэтому нужен другой сценарий вставки, а сами запросы — со своей некоторой спецификой.

logghantering. Сбор логов в БД — это обычно плохо, но в klickhus это можно делать с некоторыми комментариями, как описано выше. Многие компании используют klickhus именно для этого. В этом случае используется плоская широкая таблица, где мы храним логи целиком (например, в виде JSON), либо нарезаем на части. Данные загружаются обычно большими батчами (файлами), а ищем по какому-нибудь полю.

Для каждой из этих функций обычно используются специализированные БД. klickhus man kan göra allt och så bra att det överträffar dem. Låt oss nu ta en närmare titt tidsföljder сценарий, и как правильно «готовить» klickhus под этот сценарий.

Time-Series

В настоящий момент это основной сценарий, для которого klickhus считается стандартным решением. Tidsföljder — это набор упорядоченных во времени событий, представляющих изменения какого-то процесса во времени. Например, это может быть частота сердцебиений за день или количество процессов в системе. Всё, что дает временные тики с какими-то измерениями – это tidsföljder:

Больше всего такого рода событий приходит из мониторинга. Это может быть не только мониторинг веба, но и реальных устройств: автомобилей, промышленных систем, IoT, производств или беспилотных такси, в багажник которых Яндекс уже сейчас кладет klickhus-сервер.

Например, есть компании, которые собирают данные с судов. Каждые несколько секунд датчики с контейнеровоза отправляют сотни различных измерений. Инженеры их изучают, строят модели и пытаются понять, насколько эффективно используется судно, потому что контейнеровоз не должен простаивать ни секунды. Любой простой — это потеря денег, поэтому важно спрогнозировать маршрут так, чтобы стоянки были минимальными.

Numera finns det en tillväxt av specialiserade databaser som mäter tidsföljder. På plats DB-motorer каким-то образом ранжируются разные базы данных, и их можно посмотреть по типам:

Самый быстрорастущий тип — time-series. Также растут графовые БД, но time-series har vuxit snabbare under de senaste åren. Typiska representanter för denna familj av databaser är InfluxDB, Prometheus, KDB, Tidsskala DB (построенная на PostgreSQL), решения от amason. klickhus здесь тоже может быть использован, и он используется. Приведу несколько публичных примеров.

Один из пионеров — компания CloudFlare (CDN-leverantör). De övervakar sina CDN genom klickhus (DNS-запросы, HTTP-запросы) с громадной нагрузкой — 6 миллионов событий в секунду. Все идет через kafka, отправляется в klickhus, который предоставляет возможность в реальном времени видеть дашборды событий в системе.

Comcast - en av de ledande inom telekommunikation i USA: Internet, digital-tv, telefoni. De skapade ett liknande kontrollsystem CDN inom ramarna Open Source projektet Apache Traffic Control для работы со своими огромными данными. klickhus используется как бэкенд для аналитики.

percona inbyggd klickhus внутрь своего PMMatt lagra övervakning av olika MySQL.

Specifika krav

К time-series базам данных есть свои специфические требования.

Быстрая вставка со многих агентов. Мы должны очень быстро вставить данные со многих потоков. klickhus хорошо это делает, потому что у него все вставки не блокирующие. Любой infoga — это новый файл на диске, а маленькие вставки можно буферизовать тем или иным способом. В klickhus лучше вставлять данные большими пакетами, а не по одной строчке.
Гибкая схема. I tidsföljder мы обычно не знаем структуру данных до конца. Можно построить систему мониторинга для конкретного приложения, но тогда ее трудно использовать для другого приложения. Для этого нужна более гибкая схема. klickhus, позволяет это сделать, даже несмотря на то, что это строго типизированная база.
Эффективное хранение и «забывание» данных. Обычно в tidsföljder гигантский объем данных, поэтому их надо хранить максимально эффективно. Например, у InfluxDB хорошая компрессия — это его основная фишка. Но кроме хранения, нужно еще уметь и «забывать» старые данные и делать какой-нибудь nedsampling — Automatisk räkning av aggregat.
Быстрые запросы агрегированных данных. Иногда интересно посмотреть последние 5 минут с точностью до миллисекунд, но на месячных данных минутная или секундная гранулярность может быть не нужна — достаточно общей статистики. Поддержка такого рода необходима, иначе запрос за 3 месяца будет выполняться очень долго даже в klickhus.
Запросы типа «last point, as of». Это типичные для tidsföljder запросы: смотрим последнее измерение или состояние системы в момент времени t. Det här är inte särskilt trevliga frågor för en databas, men du måste också kunna utföra dem.
«Склеивание» временных рядов. Tidsföljder är en tidsserie. Om det finns två tidsserier behöver de ofta kopplas ihop och korreleras. Det är inte bekvämt att göra detta på alla databaser, särskilt med ojusterade tidsserier: här är några tidpunkter, det finns andra. Du kan överväga medelmåttig, men plötsligt kommer det fortfarande att finnas ett hål där, så det är inte klart.

Давайте посмотрим, как эти требования выполняются в klickhus.

Schemat

В klickhus схему для tidsföljder можно сделать разными способами, в зависимости от степени регулярности данных. Можно построить систему на регулярных данных, когда мы знаем все метрики заранее. Например, так сделал CloudFlare с мониторингом CDN — это хорошо оптимизированная система. Можно построить более общую систему, которая мониторит всю инфраструктуру, разные сервисы. В случае нерегулярных данных, мы не знаем заранее, что мониторим — и, наверное, это наболее общий случай.

Регулярные данные. Колонки. Схема простая – колонки с нужными типами:

CREATE TABLE cpu (
  created_date Date DEFAULT today(),  
  created_at DateTime DEFAULT now(),  
  time String,  
  tags_id UInt32,  /* join to dim_tag */
  usage_user Float64,  
  usage_system Float64,  
  usage_idle Float64,  
  usage_nice Float64,  
  usage_iowait Float64,  
  usage_irq Float64,  
  usage_softirq Float64,  
  usage_steal Float64,  
  usage_guest Float64,  
  usage_guest_nice Float64
) ENGINE = MergeTree(created_date, (tags_id, created_at), 8192);

Это обычная таблица, которая мониторит какую-то активность по загрузке системы (användare, system, inaktiv, trevligt). Просто и удобно, но не гибко. Если хотим более гибкую схему, то можно использовать массивы.

Нерегулярные данные. Массивы:

CREATE TABLE cpu_alc (
  created_date Date,  
  created_at DateTime,  
  time String,  
  tags_id UInt32,  
  metrics Nested(
    name LowCardinality(String),  
    value Float64
  )
) ENGINE = MergeTree(created_date, (tags_id, created_at), 8192);

SELECT max(metrics.value[indexOf(metrics.name,'usage_user')]) FROM ...

Struktur kapslade — это два массива: metrics.name и metrics.value. Здесь можно хранить такие произвольные мониторинговые данные, как массив названий и массив измерений при каждом событии. Для дальнейшей оптимизации вместо одной такой структуры можно сделать несколько. Например, одну — для flyta-значение, другую — для int-значение, потому что int хочется хранить эффективнее.

Но к такой структуре сложнее обращаться. Придется использовать специальную конструкцию, через специальные функции вытаскивать значения сначала индекса, а потом массива:

SELECT max(metrics.value[indexOf(metrics.name,'usage_user')]) FROM ...

Но это все равно работает достаточно быстро. Другой способ хранения нерегулярных данных – по строкам.

Нерегулярные данные. Строки. В этом традиционном способе без массивов хранятся сразу названия и значения. Если с одного устройства приходит сразу 5 000 измерений — генерируется 5 000 строк в БД:

CREATE TABLE cpu_rlc (
  created_date Date,  
  created_at DateTime,  
  time String,  
  tags_id UInt32,  
  metric_name LowCardinality(String),  
  metric_value Float64
) ENGINE = MergeTree(created_date, (metric_name, tags_id, created_at), 8192);


SELECT 
    maxIf(metric_value, metric_name = 'usage_user'),
    ... 
FROM cpu_r
WHERE metric_name IN ('usage_user', ...)

klickhus с этим справляется — у него есть специальные расширения klickhus SQL. Till exempel maxIf — специальная функция, которая считает максимум по метрике при выполнении какого-то условия. Можно в одном запросе написать несколько таких выражений и сразу посчитать значение для нескольких метрик.

Сравним три подхода:

detaljer

Här har jag lagt till "Disk Data Size" för en del testdata. När det gäller kolumner har vi den minsta datastorleken: maximal komprimering, maximal frågehastighet, men vi betalar genom att behöva spela in allt på en gång.

В случае с массивами всё чуть хуже. Данные все равно хорошо сжимаются, и можно хранить нерегулярную схему. Но klickhus — колоночная база данных, а когда мы начинаем хранить все в массиве, то она превращается в строковую, и мы платим за гибкость эффективностью. На любую операцию придется прочитать весь массив в память, после этого найти в нем нужный элемент — а если массив растет, то скорость деградирует.

В одной из компаний, которая использует такой подход (например, Uber), массивы нарезаются на кусочки из 128 элементов. Данные нескольких тысяч метрик объемом в 200 ТБ данных/в день хранятся не в одном массиве, а в из 10 или 30 массивах со специальной логикой для хранения.

Максимально простой подход — со строками. Но данные плохо сжимаются, размер таблицы получается большой, да ещё когда запросы идут по нескольким метрикам, то ClickHouse работает неоптимально.

Гибридная схема

Låt oss anta att vi har valt en matriskrets. Men om vi vet att de flesta av våra instrumentpaneler endast visar användar- och systemmått, kan vi dessutom materialisera dessa mätvärden i kolumner från en array på tabellnivå på detta sätt:

CREATE TABLE cpu_alc (
  created_date Date,  
  created_at DateTime,  
  time String,  
  tags_id UInt32,  
  metrics Nested(
    name LowCardinality(String),  
    value Float64
  ),
  usage_user Float64 
             MATERIALIZED metrics.value[indexOf(metrics.name,'usage_user')],
  usage_system Float64 
             MATERIALIZED metrics.value[indexOf(metrics.name,'usage_system')]
) ENGINE = MergeTree(created_date, (tags_id, created_at), 8192);

При вставке klickhus kommer automatiskt att räkna dem. På så sätt kan du kombinera affärer med nöje: schemat är flexibelt och generellt, men vi tog ut de mest använda kolumnerna. Observera att detta inte krävde att byta insats och ETL, который продолжает вставлять в таблицу массивы. Мы просто сделали ALTER TABLE, добавили пару колонок и получилась гибридная и более быстрая схема, которой можно сразу начинать пользоваться.

Кодеки и компрессия

för tidsföljder важно, насколько хорошо вы упаковываете данные, потому что массив информации может быть очень большой. В klickhus есть набор средств для достижения эффекта компрессии 1:10, 1:20, а иногда и больше. Это значит, что неупакованные данные объемом 1 ТБ на диске занимают 50-100 ГБ. Меньший размер — это хорошо, данные быстрее можно прочитать и обработать.

Для достижения высокого уровня компрессии, klickhus поддерживает следующие кодеки:

Exempeltabell:

CREATE TABLE benchmark.cpu_codecs_lz4 (
    created_date Date DEFAULT today(), 
    created_at DateTime DEFAULT now() Codec(DoubleDelta, LZ4), 
    tags_id UInt32, 
    usage_user Float64 Codec(Gorilla, LZ4), 
    usage_system Float64 Codec(Gorilla, LZ4), 
    usage_idle Float64 Codec(Gorilla, LZ4), 
    usage_nice Float64 Codec(Gorilla, LZ4), 
    usage_iowait Float64 Codec(Gorilla, LZ4), 
    usage_irq Float64 Codec(Gorilla, LZ4), 
    usage_softirq Float64 Codec(Gorilla, LZ4), 
    usage_steal Float64 Codec(Gorilla, LZ4), 
    usage_guest Float64 Codec(Gorilla, LZ4), 
    usage_guest_nice Float64 Codec(Gorilla, LZ4), 
    additional_tags String DEFAULT ''
)
ENGINE = MergeTree(created_date, (tags_id, created_at), 8192);

Здесь мы определяем кодек DoubleDelta в одном случае, во втором — gorilla, и обязательно добавляем еще LZ4 компрессию. В результате размер данных на диске сильно уменьшается:

Здесь показано, сколько места занимают одни и те же данные, но при использовании разных кодеков и компрессий:

в GZIP’ованном файле на диске;
в ClickHouse без кодеков, но с ZSTD-компрессией;
в ClickHouse c кодеками и компрессией LZ4 и ZSTD.

Видно, что таблицы с кодеками занимают гораздо меньше места.

Storlek betyder

Inte mindre viktigt выбрать правильный тип данных:

Во всех примерах выше я использовал Flyt 64. Но если бы мы выбрали Flyt 32, то это было бы даже лучше. Это хорошо продемонстрировали ребята из Перконы в статье по ссылке выше. Важно использовать максимально компактный тип, подходящий под задачу: даже в меньшей степени для размера на диске, чем для скорости запросов. klickhus очень к этому чувствителен.

Если вы можете использовать intxnumx istället för intxnumx, то ожидайте почти двукратное увеличение производительности. Данные занимают меньше памяти, и вся «арифметика» работает гораздо быстрее. klickhus внутри себя — очень строго типизированная система, он максимально использует все возможности, которые предоставляют современные системы.

Агрегация и Materialiserade vyer

Агрегация и материализованные представления позволяют сделать агрегаты на разные случаи жизни:

Например, у вас могут быть не агрегированные исходные данные, и на них можно навесить различные материализованные представления с автоматическим суммированием через специальный движок SummingMergeTree (SMT). SMT — это специальная агрегирующая структура данных, которая считает агрегаты автоматически. В базу данных вставляются сырые данные, они автоматически агрегируются, и сразу по ним можно использовать дашборды.

TTL — «забываем» старые данные

Как «забывать» данные, которые больше не нужны? klickhus умеет это. При создании таблиц можно указать TTL выражения: например, что минутные данные храним один день, дневные — 30 дней, а недельные или месячные не трогаем никогда:

CREATE TABLE aggr_by_minute
…
TTL time + interval 1 day

CREATE TABLE aggr_by_day
…
TTL time + interval 30 day

CREATE TABLE aggr_by_week
…
/* no TTL */

Flerskikts — разделяем данные по дискам

Развивая эту идею, данные можно хранить в klickhus в разных местах. Предположим, горячие данные за последнюю неделю хотим хранить на очень быстром локальном SSD, а более исторические данные складываем в другое место. В klickhus detta är nu möjligt:

Du kan konfigurera en lagringspolicy (lagringspolicy) так, что klickhus будет автоматически перекладывать данные по достижению некоторых условий в другое хранилище.

Но и это еще не все. На уровне конкретной таблицы можно определить правила, когда именно по времени данные переходят на холодное хранение. Например, 7 дней данные лежат на очень быстром диске, а все, что старше, переносится на медленный. Это хорошо тем, что позволяет систему держать на максимальной производительности, при этом контролируя расходы и не тратя средства на холодные данные:

CREATE TABLE 
... 
TTL date + INTERVAL 7 DAY TO VOLUME 'cold_volume', 
    date + INTERVAL 180 DAY DELETE

Unika möjligheter klickhus

Почти во всём в klickhus есть такие «изюминки», но они нивелируются эксклюзивом — тем, чего нет в других БД. Например, вот некоторые из уникальных функций klickhus:

Matriser. I klickhus очень хорошая поддержка для массивов, а также возможность выполнять на них сложные вычисления.
Агрегирующие структуры данных. Это одна из «киллер-фич» klickhus. Несмотря на то, что ребята из Яндекса говорят, что мы не хотим агрегировать данные, все агрегируют в klickhus, eftersom det är snabbt och bekvämt.
Материализованные представления. Tillsammans med aggregerande datastrukturer kan materialiserade vyer göra det bekvämt realtid aggregering.
ClickHouse SQL. Это расширение языка SQL med några extra och exklusiva funktioner som endast är tillgängliga i klickhus. Раньше это было как бы с одной стороны расширение, а с другой стороны — недостаток. Сейчас почти все недостатки по сравнению с SQL 92 мы убрали, теперь это только расширение.
Lambda–выражения. Finns de fortfarande i någon databas?
ML-поддержка. Это есть в разных БД, в каких-то лучше, в каких-то хуже.
öppen källa. Мы можем расширять klickhus вместе. Сейчас в klickhus около 500 контрибьюторов, и это число постоянно растет.

Хитрые запросы

В klickhus есть много различных способов сделать одно и то же. Например, можно тремя различными способами вернуть последнее значение из таблицы для CPU (есть еще и четвертый, но он ещё экзотичнее).

Den första visar hur bekvämt det är att göra i klickhus запросы, когда вы хотите проверять, что tupel содержится в подзапросе. Это то, чего мне лично очень не хватало в других БД. Если я хочу что-то сравнить с подзапросом, то в других БД с ним можно сравнивать только скаляр, а для нескольких колонок надо писать JOIN. I klickhus можно использовать tuple:

SELECT *
  FROM cpu 
 WHERE (tags_id, created_at) IN 
    (SELECT tags_id, max(created_at)
        FROM cpu 
        GROUP BY tags_id)

Второй способ делает то же самое, но использует агрегатную функцию argMax:

SELECT 
    argMax(usage_user), created_at),
    argMax(usage_system), created_at),
...
 FROM cpu

В klickhus есть несколько десятков агрегатных функций, а если использовать комбинаторы, то по законам комбинаторики их получится около тысячи. ArgMax - en av funktionerna som beräknar det maximala värdet: begäran returnerar värdet usage_user, на котором достигается максимальное значение skapad vid:

SELECT now() as created_at,
       cpu.*
  FROM (SELECT DISTINCT tags_id from cpu) base 
  ASOF LEFT JOIN cpu USING (tags_id, created_at)

ASOF GÅ MED — «склеивание» рядов c разным временем. Это уникальная функция для баз данных, которая есть ещё только в kdb+. Если есть два временных ряда с разным временем, ASOF GÅ MED позволяет их сместить и склеить в одном запросе. Для каждого значения в одном временном ряду находится ближайшее значение в другом, и они возвращаются на одной строчек:

Analytiska funktioner

I standarden SQL-2003 можно писать так:

SELECT origin,
       timestamp,
       timestamp -LAG(timestamp, 1) OVER (PARTITION BY origin ORDER BY timestamp) AS duration,
       timestamp -MIN(timestamp) OVER (PARTITION BY origin ORDER BY timestamp) AS startseq_duration,
       ROW_NUMBER() OVER (PARTITION BY origin ORDER BY timestamp) AS sequence,
       COUNT() OVER (PARTITION BY origin ORDER BY timestamp) AS nb
  FROM mytable
ORDER BY origin, timestamp;

В klickhus так нельзя — он не поддерживает стандарт SQL-2003 och kommer förmodligen aldrig att göra det. Istället i klickhus принято писать так:

Я обещал лямбды – вот они!

Это аналог аналитического запроса в стандарте SQL-2003: он считает разницу между двумя timestamp, duration, порядковый номер — всё, что обычно мы считаем аналитическими функциями. В klickhus мы их считаем через массивы: сначала сворачиваем данные в массив, после этого на массиве делаем всё, что хотим, а потом разворачиваем обратно. Это не очень удобно, требует любви к функциональному программированию, как минимум, но это очень гибко.

Specialfunktioner

Кроме того в klickhus много специализированных функций. Например, как определить, сколько сессий проходит одновременно? Типичная задача для мониторинга – определить максимальную загрузку одним запросом. В klickhus есть специальная функция для этой цели:

Вообще, для многих целей в ClickHouse есть специальные функции:

runningDifference, runningAccumulate, neighbor;
sumMap(key, value);
timeSeriesGroupSum(uid, timestamp, value);
timeSeriesGroupRateSum(uid, timestamp, value);
skewPop, skewSamp, kurtPop, kurtSamp;
WITH FILL / WITH TIES;
simpleLinearRegression, stochasticLinearRegression.

Detta är inte en komplett lista över funktioner, det finns 500-600 totalt. Tips: alla funktioner i klickhus есть в системной таблице (не все документированы, но все интересны):

select * from system.functions order by name

klickhus сам в себе хранит много информации о себе, в том числе logga tabeller, query_log, лог трассировки, лог операции с блоками данных (del_logg), лог метрик, и системный лог, который он обычно пишет на диск. Лог метрик – это tidsföljder в klickhus на самом klickhus: Själva databasen kan spela en roll tidsföljder databaser, och därmed "slukar" sig själv.

Это тоже уникальная вещь — раз мы хорошо делаем работу для tidsföljder, почему не можем сами в себе хранить всё, что нужно? Нам не нужен Prometheus, vi håller allt för oss själva. Ansluten grafana и сами себя мониторим. Однако, если klickhus упадет, то мы не увидим, — почему, — поэтому обычно так не делают.

Stort kluster eller många små klickhus

Что лучше — один большой кластер или много маленьких ClickHouse? Традиционный подход к DWH — это большой кластер, в котором выделяются схемы под каждое приложение. Мы пришли к администратору БД — дайте нам схему, и нам её выдали:

В klickhus можно сделать это по-другому. Можно каждому приложению сделать свой собственный klickhus:

Нам больше не нужен большой монструозный DWH и несговорчивые админы. Мы можем каждому приложению выдать свой собственный klickhus, и разработчик может это сделать сам, так как klickhus очень просто устанавливается и не требует сложного администрирования:

Но если у нас много klickhus, и надо часто его ставить, то хочется этот процесс автоматизировать. Для этого можно, например, используем Kubernetes и klickhus-оператор. В Kubernetes ClickHouse можно поставить «по щелчку»: я могу нажать кнопку, запустить манифест и база готова. Можно сразу же создать схему, начать туда грузить метрики, и через 5 минут у меня уже готов дашборд grafana. Настолько все просто!

Resultatet?

Så, klickhus - Detta:

Быстро. Это всем известно.
bara. Немного спорно, но я считаю, что тяжело в учении, легко в бою. Если понять, как klickhus работает, дальше все очень просто.
Allmänt. Den är lämplig för olika scenarier: DWH, Time Series, Log Storage. Men det är det inte OLTP база данных, поэтому не пытайтесь сделать там короткие вставки и чтения.
Intressant. Наверное, тот, кто работает с klickhus, пережил много интересных минут в хорошем и плохом смысле. Например, вышел новый релиз, все перестало работать. Или когда вы бились над задачей два дня, но после вопроса в Телеграм-чате задача решилась за две минуты. Или как на конференции на докладе Леши Миловидова скриншот из klickhus сломал трансляцию högbelastningstillstånd ++. Такого рода вещи происходят постоянно и делают нашу жизнь с klickhus яркой и интересной!

Презетацию можно посмотреть här.

Долгожданная встреча разработчиков высоконагруженных систем на högbelastningstillstånd ++ состоится 9 и 10 ноября в Сколково. Наконец это будет офлайн-конференция (хоть и с соблюдением всех мер предосторожности), так как энергию HighLoad++ невозможно упаковать в онлайн.

Для конференции мы находим и показываем вам кейсы о максимальных возможностях технологий: HighLoad++ был, есть и будет единственным местом, где можно за два дня узнать, как устроены Facebook, Яндекс, ВКонтакте, Google и Amazon.

Проводя наши встречи без перерыва с 2007 года, в этом году мы встретимся в 14-й раз. За это время конференция выросла в 10 раз, в прошлом году ключевое событие отрасли собрало 3339 участника, 165 спикеров докладов и митапов, а одновременно шло 16 треков.
В прошлом году для вас было 20 автобусов, 5280 литров чая и кофе, 1650 литров морсов и 10200 бутылочек воды. А ещё 2640 килограммов еды, 16 000 тарелок и 25 000 стаканчиков. Кстати, на деньги, вырученные от переработанной бумаги, мы посадили 100 саженцев дуба 🙂

Билеты купить можно här, получить новости о конференции — här, а поговорить — во всех соцсетях: Telegram, Facebook, vkontakte и Twitter.

Källa: will.com

Flytta till ClickHouse: 3 år senare