ืืื ืึท ืจืขืืืืขืจ "ืฉืืจืืงื" ืืืืก, ืืืืฉืคืืื ืคืื ืืืึธืก ืืขื ืขื MySQL, Postgres, MS SQL Server, ืืึทืื ืืขื ืขื ืกืืึธืจื ืืื ืื ืคืืืืขื ืืข ืกืืจ:
ืืื ืืขื ืคืึทื, ืืืึทืืืขืก ืฉืืึทืืืช ืฆื ืืืื ืจืืืขืจื ืืขื ืขื ืคืืืืงืื ืกืืึธืจื ื ืืจืืื. ืืื ืงืึธืืืื ืขืจ DBMS, ืืืึทืืืขืก ืคืื ืคืึทืจืฉืืืขื ืข ืฉืคืืืื ืืขื ืขื ืกืืึธืจื ืกืขืคึผืขืจืึทืืื, ืืื ืืึทืื ืคืื ืืืื ืืืึทื ืืขื ืขื ืกืืึธืจื ืฆืืืึทืืขื:
ืืืืฉืคืืื ืคืื ืงืึธืืืื ืขืจ ืืืืก ืืขื ืขื ืืืขืจืืืงืึท, ืคึผืึทืจืึทืงืกืขื (ืึทืงืืืึทื ืืึทืืจืืฅ, ืึทืืึทืืึธื ืจืขืืฉืืคื), Sybase IQ, Exasol, Infobright, InfiniDB, MonetDB (VectorWise, Actian Vector), LucidDB, SAP HANA, Google Dremel, Google PowerDrill, Druid, kdb+.
ืคึผืึธืกื ืคืึธืจืืืขืจืืขืจ ืคืืจืืข
ืื
ืงืืืงืืึธืืกืข ืืื ืืื ืกืืึทืืืจื ืืืืฃ ืืืื ืื ืืื ืืืื ืืึทืคึฟืขื. ืืืื ืืืจ ืืืืกื SQL, ืืืจ ืงืขื ื ืืืืื ืึธื ืืืืื ื ืืฆื Clickhouse ืคึฟืึทืจ ืืืื ืืึทืจืฃ. ืึธืืขืจ, ืืึธืก ืืื ื ืืฉื ืืืื ืขื ืึทื ืืืจ ืงืขื ืขื ืืึธื "ืืืืึทืื ืฉืึทืคึฟื ืืืฉ" ืืื MySQL ืืื ื ืึธืืืึทืื ืืื ืคึผืึทืคึผ ืื SQL ืืื ืงืืืงืืึธืืกืข.
ืงืึทืืคึผืขืจื ืฆื MySQL, ืขืก ืืขื ืขื ืืืืืืืง ืืึทืื ืืืคึผ ืืืคืขืจืึทื ืกืื ืืื ืื ืืืฉ ืกืืฉืขืืึท ืืื, ืึทืืื ืืืจ ืืืขื ื ืึธื ืืึทืจืคึฟื ืขืืืขืืข ืืึธื ืฆื ืืืืฉื ืื ืืืฉ ืกืืฉืขืืึท ืืื ืืื ืืขืจื ืขื ืื ืืืฉ ืขื ืืืฉืึทื ื ืฆื ืืืื ืืึทืงืืืขื.
ืงืืืงืืึธืืกืข ืึทืจืืขื ืืจืืืก ืึธื ืงืืื ื ืึธื ืืืืืืืืืจื, ืึธืืขืจ ืืืื ืืืจ ืืืืื ืฆื ื ืืฆื ืจืขืคึผืืึทืงืืืฉืึทื, ืืืจ ืืึทืจืคึฟื ืฆื ืื ืกืืึทืืืจื ZooKeeper. ืึธื ืคึฟืจืขื ืคืึธืจืฉืืขืืื ื ืึทื ืึทืืืกืืก ืืืืืื ืืืกืืขืฆืืืื ื ืจืขืืืืืึทืื - ืื ืกืืกืืขื ืืืฉื ืึทื ืืืึทืืื ืึทืืข ืื ืืื ืคึฟืึธืจืืึทืฆืืข, ืืื ืึทืืข ืื ืืึทืื ืงืขื ืขื ืืืื ืจืืืจืืืื ืืื ืึทืื ืืื ื ืืื ืข ืกืงื.
ืคืึธืจืฉืืขืืื ื
ืืขื ืืฉืืึทืจืง ืงืึทืืคึผืขืจืึทืกืึทื ื ืคืื ืงืืืงืงืืึธืืกืข ืืื ืืืขืจืืืงืึท ืืื ืืืกืงื ืืืืฃ ืื ืกืขืจืืืขืจ ืงืึทื ืคืืืืขืจืืืฉืึทื: ืฆืืืื ืกืึทืงืึทืฅ Intelยฎ Xeonยฎ CPU E5-2650 v2 @ 2.60GHz; 128 ืืื ืืึทืจืึทื; md RAID-5 ืืืืฃ 8 6TB SATA HDD, ืขืงืกื4.ืืขื ืืฉืืึทืจืง ืคืึทืจืืืืึทื ืคืื Clickhouse ืืื Amazon RedShift ืืืึธืืงื ืกืืึธืจืืืืฉ.- ืืืึธื ืขืงืกืขืจืคึผืฅ
ืงืืึธืืืคืืึทืจืข ืืืืฃ ืงืืืงืืึธืืกืข ืคืึธืจืฉืืขืืื ื :
ืื ืงืืืงืืึธืืกืข ืืึทืืึทืืืืก ืืื ืึท ืืืืขืจ ืคึผืฉืื ืคึผืืึทื - ืึทืืข ื ืึธืืื ืืื ืืขื ืงื ืืื ืืึธืื ืื ืืขืืืข ืคืึทื ืืงืฉืึทื ืึทืืืื ืืื ื ืึธืจ ื ืืฆื ZooKeeper ืคึฟืึทืจ ืงืึธืืึธืจืืึทื ืืืฉืึทื. ืืืจ ืืึธืื ืืขืืืื ืึท ืงืืืื ืงื ืืื ืคืื ืขืืืขืืข ื ืึธืืื ืืื ืืืจืืืขืงืึธืื ืืขืกืืื ื, ืืขืฉืึทืก ืืืึธืก ืืืจ ืืขืคึฟืื ืขื ืึทื ืื ืกืืกืืขื ืืื ืืึทื ืฅ ืืืคึผืจืขืกืืื ืคืึธืจืฉืืขืืื ื, ืืืึธืก ืงืึธืจืึทืกืคึผืึทื ืื ืฆื ืื ืกืืืืืื ืึทืืืืึทื ืืืืืฉืื ืืื ืึทื ืึทืืืกืืก DBMS ืืขื ืืฉืืึทืจืงืก. ืืืจ ืืึทืฉืืึธืกื ืฆื ื ืขืืขื ืึท ื ืขืขื ืืขืจ ืงืืง ืืื ืืขื ืืึทืืจืืฃ ืืื ืืขืจ ClickHouse. ืืขืจ ืขืจืฉืืขืจ ืฉืืขืจืื ื ืคึฟืึทืจ ืคืึธืจืฉืื ื ืืื ืืขืืืขื ืื ืคืขืื ืคืื ืืืฉืืจืื ืืื ืื ืงืืืื ืงืืืงืืึธืืกืข ืงืื, ืึทืืื ืืืจ ืืขืืืืื ืืื ืืขื ืคึผืืึทื ืคืื ืืขื DBMS ืฆื ืคึฟืึทืจืฉืืืื ืืื ืขืก ืึทืจืืขื.
ClickHouse ืฉืืืฆื ื ืืฉื ืจืืกืืืืื ื ืืึทืื ืืืืื ืคึฟืื Kafka ืืื ื ืขืก ืืื ื ืึธืจ ืึท ืืึทืืึทืืืืก, ืึทืืื ืืืจ ืืขืฉืจืืื ืืื ืืืขืจ ืืืืืขื ืข ืึทืืึทืคึผืืขืจ ืืื ืกื ืืื Go. ืขืก ืืืืขื ืขื ืงืึทืคึผ'ื ืคึผืจืึธืืึธ ืงืึธืืขื ืึทืจืืืงืืขื ืคืื Kafka, ืงืึธื ืืืขืจืืขื ืืื ืฆื TSV ืืื ืื ืกืขืจืืึทื ืืื ืืื ืงืืืงืงืืึธืืกืข ืืื ืืึทืืฉืึทื ืืืจื ืื ืืืืคึผ ืฆืืืื ื. ืืืจ ืฉืคึผืขืืขืจ ืจืืจืึธืื ืืขื ืืื ืกื ืฆื ื ืืฆื ืื Go ืืืืืืึธืืขืง ืืื ืงืึทื ืืืฉืึทื ืืงืฉืึทื ืืื ClickHouse ืก ืืืืืขื ืข ืฆืืืื ื ืฆื ืคึฟืึทืจืืขืกืขืจื ืคืึธืจืฉืืขืืื ื. ืืืขื ืขืืืึทืืืึทืืื ื ืื ืคืึธืจืฉืืขืืื ื ืคืื ืจืืกืืืืื ื ืคึผืึทืงืืฅ, ืืืจ ืืืกืงืึทืืืขืจื ืึท ืืืืืืืง ืืึทื - ืขืก ืคืืจืงืขืจื ืืืืก ืึทื ืคึฟืึทืจ ClickHouse ืืขื ืคืึธืจืฉืืขืืื ื ืืขืคึผืขื ืืก ืฉืืืจืง ืืืืฃ ืื ืืจืืืก ืคืื ืืขื ืคึผืึทืงืึทื, ืืึธืก ืืื ืื ื ืืืขืจ ืคืื ืกืืืืึทืืืืื ืืึทืกืื ืื ืกืขืจืืึทื ืจืึธืื. ืฆื ืคึฟืึทืจืฉืืืื ืืืึธืก ืืึธืก ืืึทืคึผืึทื ื, ืืืจ ืืขืงืืงื ืืื ืงืืืงืืึธืืกืข ืกืืึธืจื ืืึทืื.
ืื ืืืืคึผื ืืึธืืึธืจ, ืึธืืขืจ ืืึทื ืฅ ืึท ืืฉืคึผืื ืคืื ืืืฉ ืขื ืืืฉืึทื ื, ืืขื ืืฆื ืืืจื ClickHouse ืฆื ืงืจืึธื ืืึทืื ืืื MergeTree. ืืขืจ ืืึธืืึธืจ ืืื ืงืึทื ืกืขืคึผืืฉืืึทืื ืขื ืืขื ืฆื ืื LSM ืึทืืืขืจืืืึทื ืืขื ืืฆื ืืื Google BigTable ืึธืืขืจ Apache Cassandra, ืึธืืขืจ ืืืกืืืืื ืงืึทื ืกืืจืึทืงืืื ื ืึท ืื ืืขืจืืืืืื ืืึผืจืื ืืืฉ ืืื ืฉืจืืืื ืืึทืื ืืืืึทื ืฆื ืืืกืง. ืืึธืก ืืื ืขืก ืืืกืืขืฆืืืื ื ืฉืจืืึทืื ืืจืืคึผืื, ืืืืึทื ืืขืืขืจ ืื ืกืขืจืืึทื ืคึผืึทืงืึทื ืืื ืืืืกืืขืฉืืขืื ืืืืื ืืืจื ืื ืขืจืฉืืืง ืฉืืืกื, ืงืึทืืคึผืจืขืกื ืืื ืืขืฉืจืืื ืฆื ืืืกืง ืฆื ืคืึธืจืขื ืึท ืึธืคึผืฉื ืื.
ืืขืจ ืึทืืืขืง ืคืื ืึท ืืืงืึธืจื ืืืฉ ืึธืืขืจ ืงืืื ืืึทืืจืืฃ ืคืื "ืคืจืขืฉื ืขืกืก" ืคืื ืืึทืื ืืืื ืืืื ืึทื ืืื ืงืขื ืขื ืืืืื ืืืื ืืืกืืฃ; ืื ืกืืกืืขื ืฉืืืฆื ื ืืฉื ืืฉืึทื ืืื ื ืึธืืขืจ ืืืืืืื ื. ืืขืจืืืืึทื, ืืขืจ ืืืืื ืืืขื ืฆื ืืืกืืขืงื ืืึทืื ืืื ืฆื ืืืกืืขืงื ืขืก ืืืจื ืงืึทืืขื ืืึทืจ ืืืืฉ, ืืืืึทื ืกืขืืืึทื ืฅ ืงืืื ืืึธื ืึทืจืืืขืจ ืึท ืืืืฉ ืืจืขื ืขืฅ. ืื ClickHouse ืืึทื ืฉืึทืคึฟื ืืื ืึทืงืืืืืื ืืจืืขืื ืฆื ืืึทืื ืืขื ืฉืืจืื ืงืืกืืึธืืืืึทืืืข. ืืืืฃ ืื ืื ืืขืจืข ืืึทื ื, ืขืก ืืืื ืฉืจืืืื ืืื ืฆืื ืืืคืืืกื ืกืขืืืึทื ืฅ ืงืึทื ืืขื ืฉืึทื-ืคืจืื, ืึทืืื ืืึทืงืืืขื ืืจืืคึผืื ืืืึธื ืืื ืขืึทืจืื ืืื ืื ื ืืืขืจ ืคืื ืงืึทื ืงืขืจืึทื ื ืื ืกืขืจืฅ ืืื ื / ืึธ ืึธืืขืจ ืืึทืจืฅ ืืขืืืงืื ื ืึทืงืขืจื.
ืึธืืขืจ, ืืึธืก ืืืื ืืืื ืึทื ืื ืกืืกืืขื ืืื ื ืืฉื ืคึผืึทืกืืง ืคึฟืึทืจ ืงืืืื ืคึผืึทืงืืฅ, ืึทืืื Kafka ืืึทืืื ืื ืืก ืืื ืื ืกืขืจืืขืจืก ืืขื ืขื ืืขื ืืฆื ืคึฟืึทืจ ืืึทืคืขืจืื ื. ืืขืจื ืึธื, ClickHouse ืืื ืืขืจ ืืื ืืขืจืืจืื ื ืงืขืกืืืืขืจ ืืืจืืคืืจื ืกืขืืืขื ื ืฆืื ืืืคืืืกื, ืึทืืื ืึทื ืคืืืข ืงืืืื ืืืืื ืคืื ืืื ืคึฟืึธืจืืึทืฆืืข ืืืขื ืืืื ืงืึทืืืืื ื ืืื ืจืขืงืึธืจืืขื ืืขืจ ืืึธื, ืึทืืื ืื ืงืจืืกืื ื ืื ืจืขืงืึธืจืืื ื ืื ืืขื ืกืืื. ืึธืืขืจ, ืฆื ืคืืืข ืึทื ืงืึทื ืขืงืืื ืคึผืึทืจืฅ ืืืขื ืคืึทืจืฉืึทืคื ืึทืืจืขืกืืื ืืขืจืื ืคืื ืื ืกืขืจืฅ ืึทืืื ืืึทื ื ืืื ืื ืฆืื ืืืคืืืกื ืืืื. ืืืจ ืืึธืื ืืขืคึฟืื ืขื ืึทื ืืขืจ ืืขืกืืขืจ ืงืึธืืคึผืจืึธืืืก ืฆืืืืฉื ืคืึทืงืืืฉ-ืฆืืื ืื ืืืฉืขืกืืฉืึทื ืืื ืื ืืืฉืขืกืืฉืึทื ืคืึธืจืฉืืขืืื ื ืืื ืฆื ืึทืจืืึทื ืฆืืขื ืึท ืืืืืืขื ื ืืืขืจ ืคืื ืื ืกืขืจืฅ ืคึผืขืจ ืกืขืงืื ืืข ืืื ืื ืืืฉ.
ืืขืจ ืฉืืืกื ืฆื ืืืืขื ืขื ืคืึธืจืฉืืขืืื ื ืคืื ืื ืืืฉ ืืื ืื ืืขืงืกืื ื ืืื ืื ืึธืจื ืคืื ืื ืืึทืื ืืืืฃ ืืืกืง. ื ืื ืงืืื ืขื ืื ืืื ืฉื ืขื ืื ืคึผืจืึทืกืขืกืื ื ืืื, ืืืขื ืืขืจ ืืึธืืึธืจ ืืึทืจืฃ ืืืขืจืงืืงื ืืขืจืึทืืืืขืก ืคืื ืืึทืื ืคืื ืืืกืง ืืื ื ืึธืจ ื ืืฆื ืึท ืืืื ืคืื ืขืก, ืขืก ืืืขื ื ืขืืขื ืฆืืื. ClickHouse ืืื ืึท ืงืึธืืืื ืขืจ ืงืจืึธื, ืึทืืื ืืขืืขืจ ืึธืคึผืฉื ืื ืึผืืื ืึท ืืขืงืข ืคึฟืึทืจ ืืขืืขืจ ืืืึทื (ืืืึทื) ืืื ืืืืกืืขืฉืืขืื ืืืึทืืืขืก ืคึฟืึทืจ ืืขืืขืจ ืจืืืขืจื. ืืขื ืืืขื, ืืึทื ืฅ ืฉืคืืืื ืคืขืื ืืืง ืคืื ืื ืึธื ืคึฟืจืขื ืงืขื ืขื ืืืื ืกืงืืคึผื ืขืจืฉืืขืจ, ืืื ืืขืืึธืื ืงืืืคื ืกืขืื ืงืขื ืขื ืืืื ืคึผืจืึทืกืขืกื ืืื ืคึผืึทืจืึทืืขื ืืื ืืืขืงืืึธืจืืืขื ืืืจืืคืืจืื ื. ืฆื ืืืกืืืืื ืึท ืคืื ืืืขืจืงืืงื, ืืขืืขืจ ืึธืคึผืฉื ืื ืืื ืึท ืงืืืื ืืื ืืขืงืก ืืขืงืข.
ืืขืืขืื ืึทื ืึทืืข ืฉืคืืืื ืืขื ืขื ืืืืกืืขืฉืืขืื ืืืจื ืื "ืขืจืฉืืืง ืฉืืืกื", ืื ืืื ืืขืงืก ืืขืงืข ืึผืืื ืืืืื ืื ืืึทืืขืืก (ืงืึทืคึผืืฉืขืจื ืจืึธืื) ืคืื ืืขืืขืจ ื ื ืจืืืขืจื ืฆื ืงืขื ืขื ืืึทืืื ืืื ืืื ืืึผืจืื ืืคืืื ืคึฟืึทืจ ืืืืขืจ ืืจืืืก ืืืฉื. ืคึฟืึทืจ ืืืึทืฉืคึผืื, ืืืจ ืงืขื ืขื ืฉืืขืื ืื ืคืขืืืงืืึทื ืกืขืืืื ืืก ืฆื "ืฆืืืื ืืขืืขืจ 8192 ืจืืืขืจื", ืืื ืืขืืึธืื "ืงื ืึทืคึผ" ืื ืืขืงืกืื ื ืคืื ืึท ืืืฉ ืืื 1 ืืจืืืืึทื. ืฉืืจืืช ืืืึธืก ืคึผืึทืกืืง ืืืืื ืืื ืืึผืจืื ืืืขื ื ืขืืขื ืืืืื 122 ืืืชืืืช.
ืกืืกืืขื ืึทื ืืืืืงืืื ื
ืื ืึทื ืืืืืงืืื ื ืืื ืคึฟืึทืจืืขืกืขืจืื ื ืคืื Clickhouse ืงืขื ืขื ืืืื ืืจืืืกื ืืื
ืคึผืึธืคึผืืืึทืจืืืขื
ืื ืคึผืึธืคึผืืืึทืจืืืขื ืคืื ืงืืืงืืึธืืกืข ืกืืื ืฆื ืืืึทืงืกื ืขืงืกืคึผืึธืื ืขื ืฉืึทืื, ืกืคึผืขืฆืืขื ืืื ืื ืจืืกืืฉ-ืืขืจืขืื ืงืื. ืืขืฆืืข ืืึธืจ ืก ืืืื ืืึทืกืข 2018 ืงืึธื ืคึฟืขืจืขื ืฅ (ืืึธืกืงืืืข, 8-9 ื ืืืืขืืืขืจ 2018) ืืขืืืืื ืึทื ืึทืืึท ืืึธื ืกืืขืจืก ืืื vk.com ืืื Badoo ื ืืฆื Clickhouse, ืืื ืืืึธืก ืืื ืึทืจืืึทื ืืืืื ืืึทืื (ืืืฉื, ืืึธืืก) ืคืื ืืขื ืก ืคืื ืืืืื ืืขืจ ืคืื ืกืขืจืืืขืจืก ืกืืืืึทืืืืื ืืึทืกืื. ืืื ืึท 40 ืืื ืื ืืืืืขื
ืึทืคึผืคึผืืืงืึทืืืึธื ืก
ื ืึธื ืกืคึผืขื ืืื ื ืขืืืขืืข ืืึธื ืจืืกืขืจืืฉืื ื, ืืื ืืจืึทืืื ืขืก ืืขื ืขื ืืขืืืื ืืื ClickHouse ืงืขื ืืืื ื ืืฆืืง ืึธืืขืจ ืืึธืจ ืคืึทืจืืืึทืื ืื ืืขืจืข, ืืขืจ ืืจืืืืฆืืื ืขืื ืืื ืคืึธืืงืก ืกืึทืืืฉืึทื ื ืึทืืึท ืืื MySQL, PostgreSQL, ELK, Google Big Query, Amazon RedShift, TimescaleDB, Hadoop, MapReduce, Pinot ืืื ืืจืืื. ืื ืคืืืืขื ืืข ืืืฉืจืืืื ืื ืืขืืึทืืืก ืคืื ื ืืฆื ClickHouse ืฆื ืคืึทืจืืืึทื ืืืงื ืึธืืขืจ ืืึธืจ ืคืึทืจืืืึทืื ืื ืืืืื DBMS.
ืคืึทืจืืจืืืืขืจื ืื ืงืืืคึผืึทืืืืึทืืื ืคืื MySQL ืืื PostgreSQL
ืืขืฆืื ืก ืืืจ ืืึธืื ืืืื ืจืืคึผืืืืกื MySQL ืืื ClickHouse ืคึฟืึทืจ ืืื ืืืขืจ ื ืืืืขืืขืจ ืคึผืืึทืืคืึธืจืืข
ืงืืืงืืึธืืกืข ื ืืฆื ืฆืืืื ืงืึทืืคึผืจืขืฉืึทื ืึทืืืขืจืืืึทืื ืืืึธืก ืจืขืืืฆืืจื ืื ืืึทืื ืืึทื ื ืืื ืืขืขืจืขื
ืจืืคึผืืืืกืื ื ELK
ืืึทืืืจื ืืืืฃ ืืืื ืืืืืขื ืข ืืขืจืคืึทืจืื ื, ืื ELK ืึธื ืืืืื (ElasticSearch, Logstash ืืื Kibana, ืืื ืืขื ืืึทืืื ืืขืจ ืคืึทื ElasticSearch) ืจืืงืืืืืขืจื ืคืื ืืขืจ ืจืขืกืืจืกื ืฆื ืืืืคื ืืื ื ืืืืืง ืฆื ืงืจืึธื ืืึธืืก. ElasticSearch ืืื ืึท ืืจืืืก ืืึธืืึธืจ ืืืื ืืืจ ืืึทืจืคึฟื ืืื ืคืื-ืืขืงืกื ืงืืึธืฅ ืืืื (ืืืึธืก ืืื ืืึธื ื ืื ืืจืึทืืื ืืืจ ืืึทืงืข ืืึทืจืคึฟื), ืึธืืขืจ ืืื ืืื ืืืึทื ืืขืจืื ื ืืืึธืก ืขืก ืืื ืืขืืืืจื ืื ืืข ืคืึทืงืืึธ ื ืึธืจืืึทื ืืึธืืื ื ืืึธืืึธืจ. ืืืื ืื ืืืฉืขืกื ืคืึธืจืฉืืขืืื ื ืงืึทืืืืื ื ืืื Logstash ืืื ืืื ืื ืคึผืจืึธืืืขืืก ืืคืืื ืืื ืืขืจ ืืึทื ืฅ ืืืื ืืึธืืื ืืื ืคืืจืืื ืื ืืื ืื ืฆื ืืืืื ืืขืจ ืืื ืืขืจ ืืึทืจืึทื ืืื ืืืกืง ืคึผืืึทืฅ. ืืื ืึท ืืึทืืึทืืืืก, Clickhouse ืืื ืืขืกืขืจ ืืื ElasticSearch ืคึฟืึทืจ ืื ืคืืืืขื ืืข ืกืืืืช:
- ืกืงื ืืืึทืืขืงื ืฉืืืฆื;
- ืืขืจ ืืขืกืืขืจ ืืจืึทื ืคืื ืงืึทืืคึผืจืขืฉืึทื ืคืื ืกืืึธืจื ืืึทืื;
- ืฉืืืฆื ืคึฟืึทืจ ืจืขืืขืงืก ืจืขืืืืขืจ ืืืืกืืจืืง ืึธื ืคึฟืจืขืื ืึทื ืฉืืึธื ืคืื ืคืื ืืขืงืกื ืึธื ืคึฟืจืขืื;
- ืืืคึผืจืืืื ืึธื ืคึฟืจืขื ืกืงืขืืืฉืืืื ื ืืื ืืขืืขืจ ืงืืืืขืืืืง ืคืึธืจืฉืืขืืื ื.
ืืขืจืืืืึทื, ืื ืืืืึทืกื ืคึผืจืึธืืืขื ืึทื ืขืจืืืืึทื ืืืขื ืงืึทืืคึผืขืจืื ื ClickHouse ืืื ELK ืืื ืื ืคืขืื ืคืื ืกืึทืืืฉืึทื ื ืคึฟืึทืจ ืืคึผืืึธืึทืืื ื ืืึธืืก, ืืื ืืขืืื ื ืืื ืื ืคืขืื ืคืื ืืึทืงืืืืขื ืืืืฉืึทื ืืื ืืืืึธืจืืึทืื ืืืืฃ ืืขืจ ืืขืืข. ืืขืจืฆื, ืืขืืขืจ ืืึทื ืืฆืขืจ ืงืขื ืขื ืงืึทื ืคืืืืขืจ ELK ื ืืฆื ืื ืืืืืืึทื ืืงืขืื ืืึทื ืืึทื, ืืืึธืก ืืื ืืืืขืจ ืืืืืืืง ืคึฟืึทืจ ืื ืืื ืืืคึผืืึทืืขื ืืืืฉืึทื ืคืื ืึทืืึท ืืขืงื ืึทืืึทืืืฉืื. ืขืก ืืื ืึท ืืึทืืึทืืืืก ืืึธืืึธืจ, ืึธืืขืจ ืขืก ืืื ื ืึธื ืงืืื Filebeat ืคึฟืึทืจ ืงืืืงืงืืึทืืก. ืื, ืขืก ืืื ืืึธืจื
ืคึผืจืืคืขืจืื ื ืืื ืืืึทืืืกื ืกืึทืืืฉืึทื ื, ืืื ืืขืคืจืืืืื ื ืืฆื FluentBit, ืึท ืืขืฆืืึทื ืคึฟืึทืจ ืฉืืคึผืื ื ืืึธืืก ืืื ืืืืขืจ ืงืืืื ืืึผืจืื, ืฆืืืึทืืขื ืืื ClickHouse, ืืฉืขืช ืืื ืืจืืื ื ืฆื ืืืกืืืืื ื ืืฆื Kafka. ืึธืืขืจ, ืืื ืขืจืืืขืจืืืง ืื ืงืึทืืคึผืึทืืึทืืืืึทืืื ืืึทืจืคึฟื ืฆื ืืืื ืึทืืจืขืกื, ืึทืืึท ืืื
ืืื ืึทื ืึธืืืขืจื ืึทืืืื, ืงืืืึทื ืึท ืงืขื ืขื ืืืื ืืขืืืืื ื ืืื ืึท ืงืืืงืืึธืืกืข ืืึทืงืขื ื
ืคืึทืจืืืึทื ืคืื Google Big Query ืืื Amazon RedShift (ืืืืืื ื ืคึฟืึทืจ ืืจืืืก ืงืึธืืคึผืึทื ืืขืก)
ืื ืืืขืึทื ื ืืฆื ืคืึทื ืคึฟืึทืจ BigQuery ืืื ืฆื ืืึทืกืข 1 ืื ืคืื JSON ืืึทืื ืืื ืืืืคื ืึทื ืึทืืืกืืก ืคึฟืจืืื ืืืืฃ ืขืก. Big Query ืืื ืึท ืืืกืืขืฆืืืื ื ืคึผืจืึธืืืงื ืืืขืืขื ืก ืกืงืึทืืึทืืืืืื ืงืขื ืขื ื ืื ืืืื ืึธืืืืขืจืกืืืืืื. ืืึธืก ืืื ืคืื ืืขืจ ืงืึธืืคึผืืืฆืืจื ืืืืืืืืืจื ืืื ClickHouse, ืืืึธืก ืืืืคื ืืืืฃ ืึทื ืื ืขืจืืขื ืงื ืืื, ืึธืืขืจ ืคึฟืื ืืขื ืงืืืขื ื ืก ืคืื ื ืคืื ืืืื ืื ื ืขืก ืืื ืึท ืคึผืืึทืฅ ืืื ืคึผืจืึธืกื ืืื ClickHouse. ืืืืงืืืขืจื ืงืขื ืืขืฉืืืื ื ืืืขืจื ืืืึทืขืจ ืึทืืึธื ืืืจ ืึธื ืืืื ืคึผืืืื ื ืคึผืขืจ ืกืขืืขืงื, ืึทืืื ืขืก ืืื ืึท ืืืช ืกืึทืึทืก ืืืืืื ื ืืื ืึทืืข ืืืึทื ืคึผืจืึธืก ืืื ืงืึธื ืก.
ClickHouse ืืื ืืขืจ ืืขืกืืขืจ ืืจืืจื ืืืขื ืืืจ ืืืืคื ืึท ืคึผืืึทืฅ ืคืื ืงืึทืืคึผืืืืืฉืึทื ืึทืื ืืืึทืขืจ ืคึฟืจืืื. ืื ืืขืจ ืกืขืืขืงื ืงืืืืจืื ืืืจ ืืืืคื ืืขืืขืจ ืืึธื, ืื ืืขืจ ืขืก ืืืื ืืื ืขื ืฆื ืคืึทืจืืืึทืื ืืื ืึธื ืคึฟืจืขื ืืื ืงืืืงืืึธืืกืข, ืืืืึทื ืึทืืึท ืึท ืคืึทืจืืืึทื ืงืขื ืขื ืฉืคึผืึธืจื ืืืืื ืืขืจ ืคืื ืืึธืืืึทืจืก ืืืขื ืขืก ืงืืื ืฆื ืคืืืข ืืขืจืึทืืืืขืก ืคืื ืืึทืื ืคึผืจืึทืกืขืกื. ืืึธืก ืืื ื ืืฉื ืึทืคึผืืืื ืฆื ืกืืึธืจื ืืึทืื, ืืืึธืก ืืื ืืึทื ืฅ ืืืืืง ืฆื ืคึผืจืึธืฆืขืก ืืื ืืจืืืก ืงืืืขืจื.
ืืื ืึทื ืึทืจืืืงื ืคืื ืึทืืืื ืืื ืงืึธ-ืืจืื ืืขืจ ืืืขืงืกืื ืืขืจ ืืืืฆืขืื
TimescaleDB ืคืึทืจืืืึทื
TimescaleDB ืืื ืึท PostgreSQL ืคืึทืจืืขื ืืขืจืื ื ืืืึธืก ืึธืคึผืืืืืืขืก ืืจืืขืื ืืื ืฆืืื ืกืขืจืืข ืฆืืื ืกืขืจืืข ืืื ืึท ืจืขืืืืขืจ ืืึทืืึทืืืืก (
ืืึธืืฉ ืงืืืงืืึธืืกืข ืืื ื ืืฉื ืึท ืขืจื ืกื ืงืึธื ืงืืจืขื ื ืืื ืื ื ืืฉืข ืคืื โโืฆืืื ืกืขืจืืข, ืึธืืขืจ ืงืึธืืืื ืขืจ ืกืืจืืงืืืจ ืืื ืืืขืงืืึธืจ ืึธื ืคึฟืจืขื ืืืจืืคืืจืื ื, ืขืก ืืื ืคืื ืคืึทืกืืขืจ ืืื TimescaleDB ืืื ืจืืึฟ ืงืึทืกืขืก ืคืื ืึทื ืึทืืืกืืก ืึธื ืคึฟืจืขื ืคึผืจืึทืกืขืกืื ื. ืืื ืืขืจ ืืขืืืืงืขืจ ืฆืืื, ืื ืคืึธืจืฉืืขืืื ื ืคืื ืืืงืืืขื ืคึผืขืงื ืืึทืื ืคืื ClickHouse ืืื ืืขืขืจืขื 3 ืืื ืืขืืขืจ, ืืื ืขืก ืืืื ื ืืฆื 20 ืืื ืืืืื ืืงืขืจ ืืืกืง ืคึผืืึทืฅ, ืืืึธืก ืืื ืืึทืงืข ืืืืืืืง ืคึฟืึทืจ ืคึผืจืึทืกืขืกืื ื ืืจืืืก ืืืึทืืืืื ืคืื ืืืกืืืจืืฉืข ืืึทืื: โจ
ื ืื ืขื ืืขื ClickHouse, ืืขืจ ืืืืื ืืืขื ืฆื ืจืึทืืขืืืขื ืขืืืขืืข ืืืกืง ืคึผืืึทืฅ ืืื TimescaleDB ืืื ืฆื ื ืืฆื ZFS ืึธืืขืจ ืขื ืืขื ืืขืงืข ืกืืกืืขืืขื.
ืึทืคึผืงืึทืืื ื ืืขืจืืืึทื ืืืงืื ืืขื ืฆื ClickHouse ืืืขื ืืกืชึผืื ืืึทืงืขื ืขื ืืขืืืึท ืงืึทืืคึผืจืขืฉืึทื, ืืืึธืก ืืืขื ืืึทืื ืขืก ืืคืืื ืืขืจ ืคึผืึทืกืืง ืคึฟืึทืจ ืคึผืจืึทืกืขืกืื ื ืืื ืกืืึธืจืื ื ืฆืืื ืกืขืจืืข ืืึทืื. TimescaleDB ืงืขื ืืืื ืึท ืืขืกืขืจ ืืจืืจื ืืื ื ืึทืงืขื ClickHouse ืืื ืื ืคืืืืขื ืืข ืงืึทืกืขืก:
- ืงืืืื ืื ืกืืึทืืืืฉืึทื ื ืืื ืืืืขืจ ืงืืืื ืืึทืจืึทื (<3 GB);
- ืึท ืืจืืืก ื ืืืขืจ ืคืื ืงืืืื ืื ืกืขืจืฅ ืืืึธืก ืืืจ ืืึธื ื ืืฉื ืืืขืื ืฆื ืืึทืคืขืจ ืืื ืืจืืืก ืคืจืึทืืืึทื ืฅ;
- ืืขืกืขืจ ืงืึธื ืกืืกืืขื ืกื, ืืื ืึทืคืึธืจืืึทืื ืืื ืึทืกืื ืืืืขืจืคืขื ืืฉื;
- PostGIS ืฉืืืฆื;
- ืคืึทืจืืื ืื ืืื ืืืืืกืืื ื PostgreSQL ืืืฉื, ืืื ื Timescale DB ืืื ืืืืกืืงืื PostgreSQL.
ืคืึทืจืืขืกื ืืื Hadoop ืืื MapReduce ืกืืกืืขืืขื
Hadoop ืืื ืื ืืขืจืข ืืึทืคึผืจืขืืืกืข ืคึผืจืึธืืืงืื ืงืขื ืขื ืืืจืืคืืจื ืึท ืคึผืืึทืฅ ืคืื ืงืึธืืคึผืืขืงืก ืืฉืืื ืืช, ืึธืืขืจ ืืื ืืขื ื ืฆื ืืืืคื ืืื ืจืืืืง ืืืืืึทื ืกืื. ClickHouse ืคืืงืกืื ืืขื ืคึผืจืึธืืืขื ืืืจื ืคึผืจืึทืกืขืกืื ื ืืขืจืึทืืืืขืก ืคืื ืืึทืื ืืื ืคึผืจืึทืืืกืื ื ืจืขืืืืืึทืื ืึผืืขื ืืืืงืขืฃ. ืึทืืื, ClickHouse ืืื ืคืื ืืขืจ ืขืคืขืงืืืื ืืื ืคึผืขืจืคืึธืจืืื ื ืฉื ืขื, ืื ืืขืจืึทืงืืืื ืึทื ืึทืืืกืืก ืคืึธืจืฉืื ื, ืืืึธืก ืืึธื ืืืื ืคืื ืืื ืืขืจืขืก ืฆื ืืึทืื ืกืืืึทื ืืืก.
ืคืึทืจืืขืกื ืืื ืคึผืื ืึธื ืืื ืืจืืื
ืงืืืงืืึธืืกืข ืก ืงืืึธืืกืึทืกื ืงืึธืืคึผืขืืืืึธืจืก ืืขื ืขื ืงืึธืืืื ืขืจ, ืืื ืขืึทืจืื ืกืงืึทืืึทืืืข ืึธืคึฟื ืืงืืจ ืคึผืจืึธืืืงืื ืคึผืื ืึธื ืืื ืืจืืื. ืึท ืืืกืืขืฆืืืื ื ืึทืจืืขื ืงืึทืืคึผืขืจืื ื ืื ืกืืกืืขืืขื ืืื ืืจืืืก ืืื ืืขื ืึทืจืืืงื
ืืขืจ ืึทืจืืืงื ืืึทืจืฃ ืึทืคึผืืืืืื ื - ืขืก ืืืื ืึทื ClickHouse ืฉืืืฆื ื ืืฉื ืืขืจืืืึทื ืืืงื ืืื ืืืกืืขืงื ืึทืคึผืขืจืืืฉืึทื ื, ืืืึธืก ืืื ื ืืฉื ืืขืืึทืืจืข ืืืช ืคึฟืึทืจ ืื ืืขืฆืืข ืืืขืจืกืืขืก.
ืืืจ ืืึธืื ื ืืฉื ืึท ืคึผืืึทืฅ ืคืื ืืขืจืคืึทืจืื ื ืืื ืื ืืึทืืึทืืืืกืื, ืึธืืขืจ ืืื ืืึธื ื ืื ืืึทืงืข ืืื ืื ืงืึทืืคึผืืขืงืกืืื ืคืื ืื ืื ืคืจืึทืกืืจืึทืงืืฉืขืจ ืืืึธืก ืืื ืคืืจืืื ืื ืฆื ืืืืคื Druid ืืื Pinot - ืืึธืก ืืื ืึท ืืึทื ืฅ ืืื ืื ืคืื ืืึธืืืื ื ืคึผืึทืจืฅ ืกืขืจืึทืื ืืึทื ืืืจื ืืืฉืึทืืืึท ืืืืฃ ืึทืืข ืืืืื.
Druid ืืื Pinot ืืขื ืขื ืึทืคึผืึทืืฉื ืื ืืงืืึทืืืืืขืจ ืคึผืจืึทืืืฉืขืงืก, ืื ืคึผืจืึธืืจืขืก ืคืื ืืืึธืก ืืื ืืืืขืงื ืืื ืืขืืึทื ืืืจื Apache ืืืืฃ ืืืึทื GitHub ืคึผืจืืืขืงื ืืืขืืขืจ. ืคึผืื ืึธื ืืจืืืก ืืื ืื ืื ืืงืืึทืืืืืขืจ ืืื ืืงืืืืขืจ 2018, ืืื ืืจืืื ืืื ืืขืืืืจื 8 ืืืฉืื ืคืจืืขืจ - ืืื ืคืขืืจืืืจ.
ืืขืจ ืืึทื ืื ืคืื ืืื ืคึฟืึธืจืืึทืฆืืข ืืืขืื ืืื AFS ืึทืจืืขื ืจืืืืึทื ืขืืืขืืข, ืืื ืืึธืืขืจ ื ืึทืจืืฉ, ืคึฟืจืืื ืคึฟืึทืจ ืืืจ. ืืื ืืืื ืืขืจ ืฆื ืื ืคึผืื ืึธื ืืืืจืื ืืึธืื ืืืืขืจืงื ืึทื ืื ืึทืคึผืึทืืฉื ืืืืงืืคึผืขืืืข ืืื ืืขืจ ืืื ืฆืืง ืฆื ืืจืืื, ืืื ืฆื ืื ืฉืืขืืื ื ืฆื ืื ืงืึธื ืงืืจืขื ื ืืขืคึฟืืจื ืึท ืืขืคืื ืคืื ืืขืงืึทื ืข? ืืืขื ืื ืึทื ืืืืืงืืื ื ืคืื Druid ืคึผืึทืืขืืขื ืืื ืื ืึทื ืืืืืงืืื ื ืคืื Pinot ืคืึทืจืืืืขืจื ืืืื ืื ืืึทืงืขืจื ืคืื ืื ืขืจืฉืืข ืคึผืืืฆืืื ื ืืืขืจื ืืื ืืขืจืขืกืืจื ืืื ืื ืืขื ืขืจ?
ืืืกืึทืืืืึทื ืืืืืฉืื ืคืื ืงืืืงืืึธืืกืข
ืืืฆืืึทืืืง: ืืึธื, ืืึธืก ืืื ื ืึธื ื ืืฉื ืึท ื ืืื ืข ืืขืื ืึธืืึธืืืข, ืึธืืขืจ ืืื ืงืืื ืคืึทื, ืืึธืจื ืืฉื ืืื ืืึธืก ืืื ืืขืืขื ืืื ืื ืืขืจืข ืงืึธืืืื ืขืจ ืืืืก.
ืงืืืื ืื ืกืขืจืฅ ืืึธื ื ืืฉื ืึทืจืืขืื ืืขืืื ื ืืื ืืืื ืืืืงืืึทื: ืื ืกืขืจืฅ ืืืื ืืืื ืฉืคึผืึทืืื ืืื ืืจืขืกืขืจืข ืฉืืืงืขืจ ืืืืึทื ืื ืคืึธืจืฉืืขืืื ื ืคืื ืงืืืื ืื ืกืขืจืฅ ืืืืจืืื ืืื ืคึผืจืึธืคึผืึธืจืฆืืข ืฆื ืื ื ืืืขืจ ืคืื ืฉืคืืืื ืืื ืืขืืขืจ ืจืืืขืจื. ืืึธืก ืืื ืืื ืงืืืงืืึธืืกืข ืกืืึธืจื ืืึทืื ืืืืฃ ืืืกืง - ืืขืืขืจ ืืืึทื ืจืขืคึผืจืึทืืขื ืฅ 1 ืืขืงืข ืึธืืขืจ ืืขืจ, ืึทืืื ืฆื ืึทืจืืึทื ืืืืื 1 ืจืืืขืจื ืืื 100 ืฉืคืืืื, ืืืจ ืืึทืจืคึฟื ืฆื ืขืคึฟืขื ืขื ืืื ืฉืจืืึทืื ืืื ืืื ืืกืืขืจ 100 ืืขืงืขืก. ืืึธืก ืืื ืืืึธืก ืืึทืคืขืจืื ื ืื ืกืขืจืฅ ืจืืงืืืืืขืจื ืึท ืืืืึทืืืึทื (ืกืืึทืื ืืขืจ ืงืืืขื ื ืืื ืืื ืืึทืคืขืจืื ื) - ืืืืฉืึทืืืึทืื ืงืึทืคืงืึท ืึธืืขืจ ืึท ืืื ืคืื ืจืื ืคืึทืจืืืึทืืืื ื ืกืืกืืขื. ืืืจ ืงืขื ื ืืืื ื ืืฆื ืื ืืึทืคืขืจ ืืืฉ ืืึธืืึธืจ ืฆื ื ืึธืืืึทืื ืืจืืืก ืืฉืึทื ืืงืก ืคืื ืืึทืื ืืื MergeTree ืืืฉื.
ืืืฉ ืืืฉืึธืื ืก ืืขื ืขื ืืืืืืขื ืืืจื ืื ืืึทืจืึทื ืคืื ืื ืกืขืจืืืขืจ, ืึธืืขืจ ืืื ืืื ืืกืืขืจ ืืื ืืขื ืขื ืืึธืจื! ืืืฉื, Druid ืืื Pinot ืืึธื ื ืื ืืึธืื ืึทืืึท ืงืึทื ืขืงืฉืึทื ื ืืื ืึทืืข, ืืืืึทื ืืื ืืขื ืขื ืฉืืืขืจ ืฆื ืื ืกืืจืืืขื ื ืืืืึทื ืืื ืคืื ืื ืืขืจืืขืืืืื ืกืืกืืขืืขื ืืืึธืก ืฉืืืฆื ื ืืฉื ืืึธืืืื ื ืืจืืืก ืฉืืืงืขืจ ืคืื ืืึทืื ืฆืืืืฉื ื ืึธืืื.
ืคืืื ืืื ืื
ืืืจ ืคึผืืึทื ืืจื ืฆื ืืืืืืื ื ืืฆื ClickHouse ืืื Qwintry ืืื ืื ืงืืืขื ืืืง ืืึธืจื, ืืืืึทื ืื DBMS ืืื ืึท ืืืกืืขืฆืืืื ื ืืืึธื ืคืื ืคืึธืจืฉืืขืืื ื, ื ืืืขืจืืง ืึธืืืืขืจืืขื, ืกืงืึทืืึทืืืืืื ืืื ืคึผืึทืฉืืขืก. ืืื ืืื ืฉืืื ืืืืขืจ ืึทื ืขืก ืืืขื ืึธื ืืืืื ืฆื ืคืึทืจืฉืคึผืจืืืื ืืขืฉืืืื ื ืึทืืึธื ืื ClickHouse ืงืื ืงืืื ืืื ืืขืจ ืืืขืื ืฆื ื ืืฆื ืขืก ืืื ืงืืืื ืฆื ืืืื-ืกืืืื ืื ืกืืึทืืืืฉืึทื ื.
ืขืืืขืืข ืึทืืก ๐
ืืื ืง ืืืจ ืคึฟืึทืจ ืกืืืืื ื ืืื ืืื ืื. ืฆื ืืืจ ืืื ืืื ืืืขืจ ืึทืจืืืงืืขื? ืืืืื ืฆื ืืขื ืืขืจ ืืฉืืงืึทืืืข ืืื ืืึทืื? ืฉืืืฆื ืืื ืื ืืืจื ืคึผืืืืกืื ื ืึท ืกืืจ ืึธืืขืจ ืจืขืงืึทืืขื ืืื ืฆื ืคืจืขื ืื,
Dell R730xd 2 ืืื ืืฉืืคึผืขืจ ืืื Equinix Tier IV ืืึทืื ืฆืขื ืืขืจ ืืื ืืืกืืขืจืืื? ื ืึธืจ ืืึธ
ืืงืืจ: www.habr.com