Yandex tomonidan yaratilgan onlayn tahliliy so'rovlarni qayta ishlash (OLAP) uchun ochiq manbali ustunli ma'lumotlar bazasini boshqarish tizimi. U butun dunyo bo'ylab Yandex, CloudFlare, VK.com, Badoo va boshqa xizmatlar tomonidan haqiqatan ham katta hajmdagi ma'lumotlarni saqlash uchun ishlatiladi (sekundiga minglab qatorlarni kiritish yoki diskda saqlangan ma'lumotlarning petabaytlari).
MySQL, Postgres, MS SQL Server misollari bo'lgan oddiy "string" DBMSda ma'lumotlar quyidagi tartibda saqlanadi:
Bunday holda, bir qatorga tegishli qiymatlar jismonan yonma-yon saqlanadi. Ustunli DBMSda turli ustunlardagi qiymatlar alohida saqlanadi va bitta ustunning ma'lumotlari birgalikda saqlanadi:
Ustunli DBMSlarga misollar: Vertica, Paraccel (Actian Matrix, Amazon Redshift), Sybase IQ, Exasol, Infobright, InfiniDB, MonetDB (VectorWise, Actian Vector), LucidDB, SAP HANA, Google Dremel, Google PowerDrill, Druid, kdb+.
Kompaniya pochta uzatuvchi hisoblanadi Men 2018 yilda hisobot berish uchun Clickhouse-dan foydalanishni boshladim va uning soddaligi, kengaytirilishi, SQL-ni qo'llab-quvvatlashi va tezligi bilan hayratda qoldim. Ushbu DBMS tezligi sehr bilan chegaralangan.
sukunat
Clickhouse Ubuntu-ga bitta buyruq bilan o'rnatiladi. Agar siz SQL tilini bilsangiz, darhol o'zingizning ehtiyojlaringiz uchun Clickhouse-dan foydalanishni boshlashingiz mumkin. Biroq, bu MySQL-da "jadval yaratishni ko'rsatish" va Clickhouse-da SQL-ni nusxalash va joylashtirishingiz mumkin degani emas.
MySQL bilan solishtirganda, ushbu DBMSda jadval sxemasi ta'riflarida muhim ma'lumotlar turi farqlari mavjud, shuning uchun sizga jadval sxemasi ta'riflarini o'zgartirish va qulay bo'lish uchun jadval dvigatellarini o'rganish uchun biroz vaqt kerak bo'ladi.
Clickhouse hech qanday qo'shimcha dasturiy ta'minotsiz ajoyib ishlaydi, lekin replikatsiyadan foydalanmoqchi bo'lsangiz, ZooKeeper-ni o'rnatishingiz kerak bo'ladi. So'rovlar samaradorligini tahlil qilish ajoyib natijalarni ko'rsatadi - tizim jadvallari barcha ma'lumotlarni o'z ichiga oladi va barcha ma'lumotlarni eski va zerikarli SQL yordamida olish mumkin.
unumdorlik
- Konfiguratsiya serverida Clickhouse va Vertica va MySQL taqqoslashlari: ikkita soket Intel® Xeon® CPU E5-2650 v2 @ 2.60 GHz; 128 Gb operativ xotira; md RAID-5 8 6TB SATA HDD, ext4.
- Clickhouse-ni Amazon RedShift bulutli saqlash bilan taqqoslash.
- Blogdan parchalar :
ClickHouse ma'lumotlar bazasi juda oddiy dizaynga ega - klasterdagi barcha tugunlar bir xil funksionallikka ega va muvofiqlashtirish uchun faqat ZooKeeper'dan foydalanadi. Biz bir nechta tugunlardan iborat kichik klasterni qurdik va sinovdan o'tkazdik, uning davomida tizim juda ta'sirli ko'rsatkichlarga ega ekanligini aniqladik, bu ma'lumotlar bazasi tahliliy mezonlarida da'vo qilingan afzalliklarga mos keladi. Biz ClickHouse orqasidagi kontseptsiyani batafsil ko'rib chiqishga qaror qildik. Tadqiqot uchun birinchi to'siq asboblarning etishmasligi va ClickHouse-ning kichik jamoasi edi, shuning uchun biz uning qanday ishlashini tushunish uchun ushbu DBMS dizayni bilan tanishdik.
ClickHouse to'g'ridan-to'g'ri Kafkadan ma'lumotlarni olishni qo'llab-quvvatlamaydi, chunki u shunchaki ma'lumotlar bazasi, shuning uchun biz Go'da o'z adapter xizmatimizni yozdik. U Cap'n Proto tomonidan Kafkadan kodlangan xabarlarni o'qiydi, ularni TSV ga o'zgartirdi va HTTP interfeysi orqali to'plamlarda ClickHouse-ga kiritdi. Keyinchalik ishlashni yaxshilash uchun o'z ClickHouse interfeysimiz bilan birgalikda Go kutubxonasidan foydalanish uchun ushbu xizmatni qayta yozdik. Paketlarni qabul qilish samaradorligini baholashda biz muhim narsani aniqladik - ClickHouse uchun bu ko'rsatkich paketning hajmiga, ya'ni bir vaqtning o'zida kiritilgan qatorlar soniga bog'liq ekanligi ma'lum bo'ldi. Nima uchun bu sodir bo'lishini tushunish uchun biz ClickHouse ma'lumotlarni qanday saqlashini o'rganib chiqdik.
Asosiy vosita, aniqrog'i, ClickHouse tomonidan ma'lumotlarni saqlash uchun ishlatiladigan jadval dvigatellari oilasi MergeTree hisoblanadi. Ushbu vosita kontseptual jihatdan Google BigTable yoki Apache Cassandra-da qo'llaniladigan LSM algoritmiga o'xshaydi, lekin oraliq xotira jadvalini yaratishdan qochadi va ma'lumotlarni to'g'ridan-to'g'ri diskka yozadi. Bu unga mukammal yozish qobiliyatini beradi, chunki har bir kiritilgan paket faqat "asosiy kalit" asosiy kaliti bo'yicha saralanadi, siqiladi va segment hosil qilish uchun diskka yoziladi.
Xotira jadvali yoki ma'lumotlarning "yangiligi" tushunchasining yo'qligi, shuningdek, ular faqat qo'shilishi mumkinligini anglatadi, tizim o'zgartirish yoki o'chirishni qo'llab-quvvatlamaydi. Bugungi kunga kelib, ma'lumotlarni o'chirishning yagona yo'li uni kalendar oyi bo'yicha o'chirishdir, chunki segmentlar hech qachon oylik chegarani kesib o'tmaydi. ClickHouse jamoasi ushbu xususiyatni moslashtirish ustida faol ishlamoqda. Boshqa tomondan, u yozish va segmentlarni birlashtirishni tortishuvsiz qiladi, shuning uchun kiritish-chiqarish yoki yadrolar to'yingangacha parallel qo'shimchalar soni bilan chiziqli o'tkazish shkalasini oling.
Biroq, bu holat tizimning kichik paketlar uchun mos emasligini ham anglatadi, shuning uchun buferlash uchun Kafka xizmatlari va qo'shuvchilar ishlatiladi. Bundan tashqari, fonda ClickHouse doimiy ravishda segmentlarni birlashtirishni davom ettiradi, shuning uchun ko'plab kichik ma'lumotlar birlashtiriladi va ko'proq marta yozib olinadi, bu esa yozishning intensivligini oshiradi. Biroq, bir-biriga bog'liq bo'lmagan qismlarning haddan tashqari ko'pligi, birlashma davom etar ekan, qo'shimchalarning tajovuzkor o'zgarishiga olib keladi. Biz aniqladikki, real vaqt rejimida ma'lumotlarni qabul qilish va qabul qilish samaradorligi o'rtasidagi eng yaxshi kelishuv jadvalga soniyasiga cheklangan miqdordagi qo'shimchalarni qabul qilishdir.
Jadvalni o'qish samaradorligining kaliti diskdagi ma'lumotlarning indekslanishi va joylashuvidir. Qayta ishlash qanchalik tez bo'lishidan qat'iy nazar, vosita diskdan terabayt ma'lumotlarni skanerlashi va uning faqat bir qismini ishlatishi kerak bo'lganda, vaqt kerak bo'ladi. ClickHouse - bu ustunlar do'koni, shuning uchun har bir segmentda har bir satr uchun tartiblangan qiymatlarga ega har bir ustun (ustun) uchun fayl mavjud. Shunday qilib, so'rovda mavjud bo'lmagan butun ustunlar birinchi navbatda o'tkazib yuborilishi mumkin, so'ngra vektorlashtirilgan ijro bilan parallel ravishda bir nechta hujayralar qayta ishlanishi mumkin. To'liq skanerlashni oldini olish uchun har bir segmentda kichik indeks fayli mavjud.
Barcha ustunlar "asosiy kalit" bo'yicha tartiblanganligini hisobga olsak, indeks fayli juda katta jadvallar uchun ham ularni xotirada saqlash imkoniyatiga ega bo'lishi uchun faqat har bir N-qatorning teglarini (qo'lga olingan qatorlarni) o'z ichiga oladi. Masalan, siz standart sozlamalarni "har bir 8192-qatorni belgilash", keyin jadvalni 1 trillion bilan "ozgina" indekslash uchun o'rnatishingiz mumkin. xotiraga osongina sig'adigan satrlar atigi 122 070 belgini oladi.
Tizimning rivojlanishi
Clickhouse-ning rivojlanishi va takomillashtirilishini kuzatish mumkin va "o'sish" jarayoni ta'sirchan sur'atda sodir bo'lishiga ishonch hosil qiling.
Mashhurlik
Aftidan, Clickhouse-ning mashhurligi, ayniqsa, rusiyzabonlar orasida o'sib bormoqda. O'tgan yilgi High load 2018 konferentsiyasi (Moskva, 8 yil 9-2018 noyabr) vk.com va Badoo kabi yirtqich hayvonlar bir vaqtning o'zida o'n minglab serverlardan ma'lumotlarni (masalan, jurnallar) kiritadigan Clickhouse-dan foydalanishini ko'rsatdi. 40 daqiqalik videoda . Tez orada material bilan ishlash qulayligi uchun transkriptni Habr-ga joylashtiramiz.
Ilovalar
Tadqiqotga biroz vaqt sarflaganimdan so'ng, ClickHouse foydali bo'lishi mumkin bo'lgan yoki MySQL, PostgreSQL, ELK, Google Big Query, Amazon RedShift, TimescaleDB, Hadoop, MapReduce, Pinot va boshqa an'anaviy va mashhur echimlarni to'liq almashtirishga qodir bo'lgan sohalar bor deb o'ylayman. Druid. Quyida yuqoridagi DBMSni yangilash yoki toʻliq almashtirish uchun ClickHouse-dan foydalanish tafsilotlari keltirilgan.
MySQL va PostgreSQL-ni kengaytirish
Yaqinda biz MySQL-ni qisman axborot byulletenlari platformasi uchun ClickHouse bilan almashtirdik . Muammo shundaki, MySQL noto'g'ri dizayn tufayli yuborilgan har bir elektron pochta xabarini va ushbu xatdagi har bir havolani base64 xesh bilan qayd qilib, katta MySQL jadvalini (email_stats) yaratdi. Xizmat obunachilariga bor-yo‘g‘i 10 million elektron xat jo‘natgandan so‘ng, bu jadval 150 Gb fayl maydonini egalladi va MySQL oddiy so‘rovlarda “ahmoqona” bo‘la boshladi. Fayl maydoni muammosini hal qilish uchun biz InnoDB jadvalini siqish usulidan muvaffaqiyatli foydalandik, bu esa uni 4 baravar kamaytirdi. Biroq, MySQL-da 20-30 milliondan ortiq elektron pochta xabarlarini faqat tarixni o'qish uchun saqlash hali ham mantiqqa to'g'ri kelmaydi, chunki biron bir sababga ko'ra to'liq skanerdan o'tkazishga to'g'ri keladigan oddiy so'rovlar almashtirish va og'ir kiritish-chiqarish bilan yakunlanadi. biz muntazam ravishda Zabbix ogohlantirishlarini olganmiz.
Clickhouse ma'lumotlar hajmini taxminan kamaytiradigan ikkita siqish algoritmidan foydalanadi , lekin bu alohida holatda ma'lumotlar ayniqsa "siqilgan" edi.
ELK almashtirish
O'z tajribamga asoslanib, ELK stekini (ElasticSearch, Logstash va Kibana, bu alohida holatda ElasticSearch) ishga tushirish uchun jurnallarni saqlash uchun zarur bo'lganidan ko'ra ko'proq resurslar talab qilinadi. Agar siz toʻliq matnli jurnalni yaxshi qidirishni istasangiz (bu sizga kerak emas deb oʻylayman), ElasticSearch ajoyib vosita, lekin nima uchun u de-fakto standart logging mexanizmiga aylanganiga hayronman. Logstash bilan birgalikda uning qabul qilish samaradorligi bizga juda engil ish yuklarida ham muammolarni keltirib chiqardi va tobora ko'proq RAM va disk maydonini qo'shishni talab qildi. Ma'lumotlar bazasi sifatida Clickhouse quyidagi sabablarga ko'ra ElasticSearch-dan yaxshiroqdir:
- SQL dialektini qo'llab-quvvatlash;
- Saqlangan ma'lumotlarni siqishning eng yaxshi darajasi;
- To'liq matnli qidiruv o'rniga Regex qidiruvini qo'llab-quvvatlash;
- So'rovlarni rejalashtirish yaxshilandi va umumiy ishlash yaxshilandi.
Hozirgi vaqtda ClickHouse-ni ELK bilan taqqoslashda yuzaga keladigan eng katta muammo - bu jurnallarni yuklash uchun echimlarning yo'qligi, shuningdek, ushbu mavzu bo'yicha hujjatlar va qo'llanmalarning etishmasligi. Shu bilan birga, har bir foydalanuvchi ELK ni Digital Ocean qo'llanmasidan foydalangan holda sozlashi mumkin, bu esa bunday texnologiyalarni tezkor joriy etish uchun juda muhimdir. Bu yerda ma'lumotlar bazasi mexanizmi mavjud, lekin hali ClickHouse uchun Filebeat yo'q. Ha bor va jurnallar bilan ishlash tizimi , vosita bor ClickHouse-ga jurnal fayli ma'lumotlarini kiritish uchun, lekin bularning barchasi ko'proq vaqt talab etadi. Biroq, ClickHouse o'zining soddaligi tufayli hali ham etakchilik qiladi, shuning uchun hatto yangi boshlanuvchilar ham uni osongina o'rnatishlari va atigi 10 daqiqada to'liq funktsional foydalanishni boshlashlari mumkin.
Minimalist echimlarni afzal ko'rgan holda, men Kafkadan foydalanishdan qochishga urinib, juda kam xotira jurnalini yuklash vositasi FluentBit-dan ClickHouse bilan foydalanishga harakat qildim. Biroq, kichik nomuvofiqliklarni hal qilish kerak, masalan oldin FluentBit-dan ClickHouse-ga ma'lumotlarni o'zgartiruvchi proksi-qatlamsiz amalga oshirilishi mumkin.
Kibana muqobili sifatida siz ClickHouse-dan backend sifatida foydalanishingiz mumkin . Men tushunganimdek, bu juda ko'p sonli ma'lumotlar nuqtalarini ko'rsatishda ishlash muammolariga olib kelishi mumkin, ayniqsa Grafana'ning eski versiyalarida. Qwintry'da biz buni hali sinab ko'rmadik, ammo bu haqda shikoyatlar vaqti-vaqti bilan Telegramdagi ClickHouse qo'llab-quvvatlash kanalida paydo bo'ladi.
Google Big Query va Amazon RedShift-ni almashtirish (yirik kompaniyalar uchun yechim)
BigQuery uchun ideal foydalanish holati 1TB JSON maʼlumotlarini yuklash va unda analitik soʻrovlarni bajarishdir. Big Query - bu ajoyib mahsulot bo'lib, uning kengaytirilishini ortiqcha baholash qiyin. Bu ichki klasterda ishlaydigan ClickHouse dasturiga qaraganda ancha murakkab dastur, ammo mijoz nuqtai nazaridan u ClickHouse bilan umumiy jihatlari bor. Har bir SELECT uchun toʻlashni boshlaganingizdan soʻng BigQuery tezda “narxini oshirishi” mumkin, shuning uchun u barcha ijobiy va salbiy tomonlari bilan haqiqiy SaaS yechimidir.
ClickHouse ko'p hisoblash qimmat so'rovlarni bajarganingizda eng yaxshi tanlovdir. Har kuni qancha ko‘p SELECT so‘rovlari bajarilsa, Big Query-ni ClickHouse bilan almashtirish shunchalik ko‘p ma’noga ega bo‘ladi, chunki bunday almashtirish ko‘p terabaytlik ma’lumotlarga ishlov berishda minglab dollarlarni tejaydi. Bu Big Query-da qayta ishlash uchun juda arzon bo'lgan saqlangan ma'lumotlarga taalluqli emas.
Altinity asoschilaridan biri Aleksandr Zaitsevning maqolasida bunday DBMS migratsiyasining afzalliklarini tavsiflaydi.
TimescaleDB almashtirish
TimescaleDB - bu PostgreSQL kengaytmasi bo'lib, u oddiy ma'lumotlar bazasida vaqt seriyalari bilan ishlashni optimallashtiradi (, ).
Garchi ClickHouse vaqt seriyasida jiddiy raqobatchi bo'lmasa-da, lekin ustunli tuzilma va vektor so'rovlarini bajarish nuqtai nazaridan, u analitik so'rovlarni qayta ishlashning aksariyat holatlarida TimescaleDB ga qaraganda ancha tezroq. Shu bilan birga, ClickHouse paket ma'lumotlarini qabul qilish unumdorligi taxminan 3 baravar yuqori, bundan tashqari, u 20 baravar kamroq disk maydonini ishlatadi, bu katta hajmdagi tarixiy ma'lumotlarni qayta ishlash uchun juda muhimdir: .
ClickHouse-dan farqli o'laroq, TimescaleDB-da disk maydonini tejashning yagona yo'li ZFS yoki shunga o'xshash fayl tizimlaridan foydalanishdir.
Kelgusi ClickHouse yangilanishlari, ehtimol, delta siqishni joriy qiladi, bu esa uni vaqt seriyasidagi ma'lumotlarni qayta ishlash va saqlash uchun yanada moslashtiradi. TimescaleDB quyidagi hollarda yalang'och ClickHouse'dan yaxshiroq tanlov bo'lishi mumkin:
- juda kam RAMga ega kichik o'rnatishlar (<3 GB);
- katta bo'laklarga buferlashni istamaydigan ko'p sonli kichik INSERTlar;
- yaxshiroq mustahkamlik, bir xillik va ACID talablari;
- PostGIS qo'llab-quvvatlash;
- mavjud PostgreSQL jadvallari bilan birlashing, chunki Timescale DB asosan PostgreSQL hisoblanadi.
Hadoop va MapReduce tizimlari bilan raqobat
Hadoop va boshqa MapReduce mahsulotlari juda koʻp murakkab hisob-kitoblarni amalga oshirishi mumkin, biroq ular katta kechikishda ishlaydi. ClickHouse terabayt maʼlumotlarni qayta ishlash va deyarli bir zumda natijalar berish orqali bu muammoni hal qiladi. Shunday qilib, ClickHouse tezkor, interaktiv analitik tadqiqotlarni amalga oshirish uchun ancha samarali bo'lib, ma'lumotlar olimlarini qiziqtirishi kerak.
Pinot va Druid bilan raqobat
ClickHouse-ning eng yaqin raqobatchilari ustunli, chiziqli kengaytiriladigan ochiq manbali Pinot va Druid mahsulotlaridir. Ushbu tizimlarni taqqoslash bo'yicha ajoyib ish maqolada chop etilgan 1 yil 2018 fevral
Ushbu maqola yangilanishi kerak - unda aytilishicha, ClickHouse UPDATE va DELETE operatsiyalarini qo'llab-quvvatlamaydi, bu oxirgi versiyalarga nisbatan mutlaqo to'g'ri kelmaydi.
Bizda bu DBMSlar boʻyicha koʻp tajribamiz yoʻq, lekin Druid va Pinot’ni ishga tushirish uchun zarur boʻlgan asosiy infratuzilmaning murakkabligi menga yoqmaydi – bu har tomondan Java bilan oʻralgan “harakatlanuvchi qismlar” toʻplami.
Druid va Pinot Apache inkubator loyihalari bo'lib, ular GitHub loyiha sahifalarida Apache tomonidan batafsil yoritilgan. Pinot inkubatorda 2018 yil oktyabr oyida paydo bo'lgan va Druid 8 oy oldin - fevralda tug'ilgan.
AFS qanday ishlashi haqida ma'lumot etishmasligi men uchun ba'zi va ehtimol ahmoqona savollar tug'diradi. Qiziq, Pinot mualliflari Apache jamg'armasi Druidga ko'proq moyil ekanligini payqashganmi va raqibga nisbatan bunday munosabat hasad tuyg'usini uyg'otganmi? Agar birinchisini qo'llab-quvvatlovchi homiylar to'satdan ikkinchisiga qiziqish bildirsa, Druidning rivojlanishi sekinlashadi va Pinotning rivojlanishi tezlashadimi?
ClickHouse-ning kamchiliklari
Balog'atga etmaganlik: Shubhasiz, bu hali ham zerikarli texnologiya, lekin har qanday holatda ham, boshqa ustunli DBMSda bunday narsa ko'rinmaydi.
Kichik qo'shimchalar yuqori tezlikda yaxshi ishlamaydi: qo'shimchalar katta bo'laklarga bo'linishi kerak, chunki kichik qo'shimchalarning ishlashi har bir qatordagi ustunlar soniga mutanosib ravishda pasayadi. ClickHouse ma'lumotlarni diskda shunday saqlaydi - har bir ustun 1 yoki undan ortiq faylni bildiradi, shuning uchun 1 ta ustundan iborat 100 qatorni kiritish uchun kamida 100 ta faylni ochish va yozish kerak. Shuning uchun qo'shish buferlash vositachini talab qiladi (agar mijozning o'zi buferlashni ta'minlamasa) - odatda Kafka yoki qandaydir navbat tizimi. Keyinchalik katta hajmdagi ma'lumotlarni MergeTree jadvallariga nusxalash uchun Bufer jadvali mexanizmidan ham foydalanishingiz mumkin.
Jadvalga qo'shilish server RAM bilan cheklangan, lekin hech bo'lmaganda ular mavjud! Masalan, Druid va Pinot-da bunday ulanishlar umuman yo'q, chunki ularni tugunlar o'rtasida katta hajmdagi ma'lumotlarning harakatlanishini qo'llab-quvvatlamaydigan taqsimlangan tizimlarda to'g'ridan-to'g'ri amalga oshirish qiyin.
topilmalar
Kelgusi yillarda biz Qwintry-da ClickHouse-dan keng foydalanishni rejalashtirmoqdamiz, chunki bu DBMS ishlashning ajoyib muvozanatini, past yukni, kengaytirilishini va soddaligini ta'minlaydi. Ishonchim komilki, ClickHouse hamjamiyati undan kichik va oʻrta oʻrnatishlarda foydalanishning koʻproq usullarini oʻylab topsa, u tez tarqaladi.
Ba'zi reklamalar 🙂
Biz bilan qolganingiz uchun tashakkur. Bizning maqolalarimiz sizga yoqdimi? Ko'proq qiziqarli tarkibni ko'rishni xohlaysizmi? Buyurtma berish yoki do'stlaringizga tavsiya qilish orqali bizni qo'llab-quvvatlang, , Siz uchun biz tomonidan ixtiro qilingan boshlang'ich darajadagi serverlarning noyob analogi: (RAID1 va RAID10, 24 tagacha yadro va 40 Gb gacha DDR4 bilan mavjud).
Amsterdamdagi Equinix Tier IV ma'lumotlar markazida Dell R730xd 2 baravar arzonmi? Faqat shu yerda Gollandiyada! Dell R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - 99 dollardan! Haqida o'qing
Manba: www.habr.com