{"id":54918,"date":"2020-01-07T00:00:00","date_gmt":"2020-01-06T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/ispolzovanie-clickhouse-v-kachestve-zameny-elk-big-query-i-timescaledb"},"modified":"2020-02-18T14:02:58","modified_gmt":"2020-02-18T11:02:58","slug":"ispolzovanie-clickhouse-v-kachestve-zameny-elk-big-query-i-timescaledb","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/ispolzovanie-clickhouse-v-kachestve-zameny-elk-big-query-i-timescaledb","title":{"rendered":"Die Nutzung von Clickhouse als Alternative zu ELK, Big Query und TimescaleDB","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p><noindex><a rel=\"nofollow\" href=\"https:\/\/clickhouse.yandex\/\">Clickhouse<\/a><\/noindex> \u2014 ist ein spaltenbasiertes Datenbankmanagementsystem f\u00fcr die Online-Analyseverarbeitung (OLAP) mit offenem Quellcode, das von Yandex entwickelt wurde. Es wird von Unternehmen wie Yandex, CloudFlare, VK.com, Badoo und anderen weltweit genutzt, um wirklich gro\u00dfe Datenmengen zu speichern (einf\u00fcgen von Tausenden von Zeilen pro Sekunde oder Petabytes von Daten auf der Festplatte).<\/p>\n<p>In einer herk\u00f6mmlichen, 'zeilenbasierten' Datenbank, wie MySQL, Postgres, MS SQL Server, werden die Daten in folgender Reihenfolge gespeichert: <\/p>\n<p><img decoding=\"async\" alt=\"Die Nutzung von Clickhouse als Alternative zu ELK, Big Query und TimescaleDB\" src=\"\/wp-content\/uploads\/2020\/01\/398f260de0152baf3cc11d884fa0d52d.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nDabei befinden sich die Werte, die zu einer Zeile geh\u00f6ren, physisch nahe beieinander. In spaltenbasierten Datenbanken werden die Werte aus verschiedenen Spalten separat gespeichert, w\u00e4hrend die Daten einer Spalte zusammengefasst werden:<\/p>\n<p><img decoding=\"async\" alt=\"Die Nutzung von Clickhouse als Alternative zu ELK, Big Query und TimescaleDB\" src=\"\/wp-content\/uploads\/2020\/01\/938a2ee3d588ac866ec92bb3ea09c253.png\" style=\"display:block;margin: 0 auto;\" \/><noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<p>Beispiele f\u00fcr spaltenbasierte Datenbanken sind Vertica, Paraccel (Actian Matrix, Amazon Redshift), Sybase IQ, Exasol, Infobright, InfiniDB, MonetDB (VectorWise, Actian Vector), LucidDB, SAP HANA, Google Dremel, Google PowerDrill, Druid, kdb+.<\/p>\n<p>Unternehmen \u2013 Mailweiterleitungsdienst <noindex><a rel=\"nofollow\" href=\"https:\/\/qwintry.com\/\">Qwintry<\/a><\/noindex> Ich begann 2018 mit Clickhouse f\u00fcr Berichte und war sehr beeindruckt von seiner Einfachheit, Skalierbarkeit, SQL-Unterst\u00fctzung und Geschwindigkeit. Die Schnelligkeit dieser Datenbank grenzte an Magie.<\/p>\n<h3>Einfachheit<\/h3>\n<p>\nClickhouse l\u00e4sst sich in Ubuntu mit nur einem einzigen Befehl installieren. Wenn Sie SQL kennen, k\u00f6nnen Sie sofort beginnen, Clickhouse f\u00fcr Ihre Bed\u00fcrfnisse zu nutzen. Das bedeutet jedoch nicht, dass Sie einfach 'show create table' in MySQL ausf\u00fchren und den SQL-Code eins zu eins in Clickhouse kopieren k\u00f6nnen. <\/p>\n<p>Im Vergleich zu MySQL gibt es in dieser Datenbank wichtige Unterschiede bei den Datentypen in den Tabellenschema-Definitionen. Daher ben\u00f6tigen Sie etwas Zeit, um die Tabellenschema-Definitionen zu \u00e4ndern und sich mit den Tabelleneigenheiten vertraut zu machen.<\/p>\n<p>Clickhouse funktioniert hervorragend ohne zus\u00e4tzliche Software, aber wenn Sie Replikation nutzen m\u00f6chten, m\u00fcssen Sie ZooKeeper installieren. Die Leistungsanalyse von Abfragen zeigt hervorragende Ergebnisse \u2013 die Systemtabellen enthalten alle Informationen, und alle Daten k\u00f6nnen mit einfachem und vertrautem SQL abgerufen werden.<\/p>\n<h3>Leistung<\/h3>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/clickhouse.yandex\/benchmark.html#%5B%2522100000000%2522,%5B%2522ClickHouse%2522,%2522Vertica%2522,%2522MySQL%2522%5D,%5B%25220%2522,%25221%2522%5D%5D\">Benchmark<\/a><\/noindex> Vergleiche von Clickhouse mit Vertica und MySQL auf einer Konfiguration: zwei Intel\u00ae Xeon\u00ae CPU E5-2650 v2 @ 2,60 GHz; 128 GiB RAM; md RAID-5 mit 8 x 6TB SATA HDD, ext4.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.altinity.com\/blog\/2017\/6\/20\/clickhouse-vs-redshift\">Benchmark<\/a><\/noindex> Vergleiche von Clickhouse mit dem Cloud-Datenlager Amazon RedShift.<\/li>\n<li>Ausz\u00fcge aus dem Blog <noindex><a rel=\"nofollow\" href=\"https:\/\/blog.cloudflare.com\/how-cloudflare-analyzes-1m-dns-queries-per-second\/\">Cloudflare zur Leistung von Clickhouse<\/a><\/noindex>:<\/li>\n<\/ul>\n<p>\n<img decoding=\"async\" alt=\"Die Nutzung von Clickhouse als Alternative zu ELK, Big Query und TimescaleDB\" src=\"\/wp-content\/uploads\/2020\/01\/b6ef9fbad8e8c864a227bcffd97ec0fe.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nDie Datenbank ClickHouse hat ein sehr einfaches Design \u2013 alle Knoten im Cluster haben die gleiche Funktionalit\u00e4t und verwenden nur ZooKeeper zur Koordination. Wir haben ein kleines Cluster aus mehreren Knoten aufgebaut und Tests durchgef\u00fchrt, bei denen wir festgestellt haben, dass das System eine ziemlich beeindruckende Leistung aufweist, die den in den Benchmark-Tests f\u00fcr analytische DBMS angegebenen Vorteilen entspricht. Wir haben uns entschieden, das Konzept hinter ClickHouse genauer zu betrachten. Das erste Hindernis f\u00fcr unsere Untersuchungen war das Fehlen von Werkzeugen und die geringe Anzahl der ClickHouse-Community, weshalb wir uns eingehend mit dem Design dieser DBMS besch\u00e4ftigt haben, um zu verstehen, wie es funktioniert.<\/p>\n<p>ClickHouse unterst\u00fctzt den direkten Empfang von Daten von Kafka nicht, da es sich lediglich um eine Datenbank handelt. Daher haben wir einen eigenen Adapter-Service in Go entwickelt. Dieser las die kodierten Cap\u2019n Proto-Nachrichten von Kafka, konvertierte sie in TSV und f\u00fcgte sie \u00fcber die HTTP-Schnittstelle in ClickHouse ein. Sp\u00e4ter haben wir diesen Service umgeschrieben, um die Go-Bibliothek zusammen mit der eigenen ClickHouse-Schnittstelle zu nutzen, um die Leistung zu steigern. Bei der Bewertung der Paketempfangsleistung haben wir etwas Wichtiges festgestellt: Die Leistung von ClickHouse h\u00e4ngt stark von der Paketgr\u00f6\u00dfe ab, also von der Anzahl der gleichzeitig eingef\u00fcgten Zeilen. Um zu verstehen, warum dies der Fall ist, haben wir untersucht, wie ClickHouse Daten speichert.<\/p>\n<p>Das Hauptspeichermodul, genauer gesagt, die Familie der Speichermodule f\u00fcr Tabellen, die ClickHouse zur Speicherung von Daten verwendet, ist MergeTree. Dieses Modul \u00e4hnelt konzeptionell dem LSM-Algorithmus, der in Google BigTable oder Apache Cassandra zum Einsatz kommt, vermeidet jedoch die Erstellung einer Zwischenspeichertabelle und schreibt die Daten direkt auf die Festplatte. Dies sorgt f\u00fcr eine hervorragende Schreibgeschwindigkeit, da jedes eingehende Paket lediglich nach dem \"prim\u00e4ren Schl\u00fcssel\" oder primary key sortiert, komprimiert und auf die Festplatte geschrieben wird, um ein Segment zu bilden. <\/p>\n<p>Das Fehlen einer Speicherkarten-Tabelle oder eines Konzepts f\u00fcr die \"Frische\" von Daten bedeutet, dass diese nur hinzugef\u00fcgt werden k\u00f6nnen; eine \u00c4nderung oder L\u00f6schung unterst\u00fctzt das System nicht. Derzeit ist der einzige Weg, Daten zu l\u00f6schen, die nach Kalendermonaten zu entfernen, da Segmente niemals die Monatsgrenze \u00fcberschreiten. Das ClickHouse-Team arbeitet intensiv daran, diese Funktion anpassbar zu gestalten. Auf der anderen Seite erm\u00f6glicht dies das konfliktfreie Schreiben und Zusammenf\u00fchren von Segmenten, wodurch die Empfangsbandbreite linear mit der Anzahl paralleler Einf\u00fcgungen skalierbar ist, bis eine S\u00e4ttigung von I\/O oder Kernen eintritt. <br \/>\nDieses Umstand bedeutet jedoch auch, dass das System nicht f\u00fcr kleine Pakete geeignet ist, weshalb Kafka-Dienste und Inserter f\u00fcr das Puffern verwendet werden. Dar\u00fcber hinaus f\u00fchrt ClickHouse im Hintergrund kontinuierlich die Zusammenf\u00fchrung von Segmenten durch, sodass viele kleine Informationsteile zusammengefasst und mehrfach gespeichert werden. Dadurch wird die Schreibintensit\u00e4t erh\u00f6ht. Zu viele nicht zusammenh\u00e4ngende Teile f\u00fchren jedoch zu aggressivem Throttling der Einf\u00fcgungen, solange die Zusammenf\u00fchrung fortgesetzt wird. Wir haben festgestellt, dass der beste Kompromiss zwischen der Echtzeitdatenaufnahme und der Aufnahmeleistung darin besteht, die Tabelle mit einer begrenzten Anzahl von Einf\u00fcgungen pro Sekunde zu f\u00fcllen.<\/p>\n<p>Der Schl\u00fcssel zur Leistungsf\u00e4higkeit von Tabellenauslesungen liegt in der Indizierung und der Anordnung der Daten auf der Festplatte. Egal wie schnell die Verarbeitung ist, wenn die Engine Terabytes an Daten scannen muss und nur einen Teil davon verwendet, kostet das Zeit. ClickHouse ist ein spaltenbasiertes Datenlager, daher enth\u00e4lt jedes Segment eine Datei f\u00fcr jede Spalte mit sortierten Werten f\u00fcr jede Zeile. Auf diese Weise k\u00f6nnen ganze Spalten, die nicht in der Anfrage enthalten sind, zun\u00e4chst \u00fcbersprungen werden, und dann k\u00f6nnen mehrere Zellen dank der vektorisierte Ausf\u00fchrung parallel verarbeitet werden. Um eine vollst\u00e4ndige Durchsuchung zu vermeiden, hat jedes Segment eine kleine Indexdatei. <\/p>\n<p>Da alle Spalten nach dem \u201ePrim\u00e4rschl\u00fcssel\u201c sortiert sind, enth\u00e4lt die Indexdatei nur Markierungen (erfasste Zeilen) jeder N-ten Zeile, um sie auch f\u00fcr sehr gro\u00dfe Tabellen im Speicher halten zu k\u00f6nnen. Beispielsweise kann man die Standardeinstellung \u201ejede 8192. Zeile markieren\u201c festlegen, wodurch die \u201emagerige\u201c Indizierung einer Tabelle mit 1 Billion Zeilen, die problemlos in den Speicher passt, nur 122.070 Zeichen in Anspruch nimmt. <\/p>\n<h3>Entwicklung des Systems<\/h3>\n<p>\nDie Entwicklung und Verbesserung von Clickhouse l\u00e4sst sich auf <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/yandex\/ClickHouse\/pulse\">Github Repo<\/a><\/noindex> nachvollziehen und zeigt, dass der Prozess des \u201eWachstums\u201c in beeindruckendem Tempo voranschreitet. <\/p>\n<p><img decoding=\"async\" alt=\"Die Nutzung von Clickhouse als Alternative zu ELK, Big Query und TimescaleDB\" src=\"\/wp-content\/uploads\/2020\/01\/19211da28e42178d26dff7623689df71.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<\/p>\n<h3>Beliebtheit<\/h3>\n<p>\nEs scheint, als w\u00fcrde die Popularit\u00e4t von Clickhouse exponentiell steigen, besonders in der russischsprachigen Gemeinschaft. Die letztj\u00e4hrige Konferenz High Load 2018 (Moskau, 8.-9. November 2018) zeigte, dass Gr\u00f6\u00dfen wie vk.com und Badoo Clickhouse nutzen, um Daten (zum Beispiel Protokolle) von Zehntausenden von Servern gleichzeitig einzuspeisen. In einem 40-min\u00fctigen Video <noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/watch?v=pbbcMcrQoXw\">berichtet Jurij Nasretdinov aus dem Team von VKontakte dar\u00fcber, wie dies erreicht wird.<\/a><\/noindex>Bald werden wir das Transkript auf Habr zur besseren Nutzung der Materialien ver\u00f6ffentlichen.<\/p>\n<h3>Anwendungsbereiche<\/h3>\n<p>\nNachdem ich einige Zeit mit Recherchen verbracht habe, glaube ich, dass es Bereiche gibt, in denen ClickHouse n\u00fctzlich sein kann oder in der Lage ist, andere, traditionellere und popul\u00e4rere L\u00f6sungen wie MySQL, PostgreSQL, ELK, Google Big Query, Amazon RedShift, TimescaleDB, Hadoop, MapReduce, Pinot und Druid vollst\u00e4ndig zu ersetzen. Die Einzelheiten zur Verwendung von ClickHouse zur Modernisierung oder vollst\u00e4ndigen Ersetzung der oben genannten Datenbanken werden im Folgenden dargelegt. <\/p>\n<h3>Erweiterung der M\u00f6glichkeiten von MySQL und PostgreSQL<\/h3>\n<p>\nK\u00fcrzlich haben wir MySQL teilweise durch ClickHouse f\u00fcr unsere Newsletter-Plattform ersetzt. <noindex><a rel=\"nofollow\" href=\"https:\/\/www.mautic.org\/\">Mautic-Newsletter<\/a><\/noindex>. Das Problem war, dass MySQL aufgrund eines un\u00fcberlegten Designs jede gesendete E-Mail und jeden Link in dieser E-Mail mit einem base64-Hash registrierte, wodurch eine riesige MySQL-Tabelle (email_stats) entstand. Nach dem Versand von nur 10 Millionen E-Mails an die Abonnenten belegte diese Tabelle 150 GB Speicherplatz, und MySQL begann bei einfachen Abfragen zu \u201estocken\u201c. Um das Platzproblem zu beheben, haben wir erfolgreich die InnoDB-Tabelle komprimiert, was ihren Platz um das Vierfache reduzierte. Dennoch macht es keinen Sinn, mehr als 20-30 Millionen E-Mails in MySQL nur f\u00fcr die Geschichte zu speichern, da jede einfache Abfrage, die aus irgendeinem Grund einen vollst\u00e4ndigen Scan durchf\u00fchren muss, zu Swapping und einer hohen I\/O-Belastung f\u00fchrt, wor\u00fcber wir regelm\u00e4\u00dfig Zabbix-Warnungen erhielten.<\/p>\n<p><img decoding=\"async\" alt=\"Die Nutzung von Clickhouse als Alternative zu ELK, Big Query und TimescaleDB\" src=\"\/wp-content\/uploads\/2020\/01\/11b3ee4b1a8b7c9457bd3871bd12049f.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nClickHouse verwendet zwei Kompressionsalgorithmen, die das Datenvolumen um etwa <noindex><a rel=\"nofollow\" href=\"https:\/\/www.altinity.com\/blog\/2017\/11\/21\/compression-in-clickhouse\">3-4 Mal<\/a><\/noindex>, aber in diesem speziellen Fall waren die Daten besonders \u201ekomprimierbar\u201c. <\/p>\n<p><img decoding=\"async\" alt=\"Die Nutzung von Clickhouse als Alternative zu ELK, Big Query und TimescaleDB\" src=\"\/wp-content\/uploads\/2020\/01\/d192502073d57967620aa07da0bbfa0c.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<\/p>\n<h3>Ersetzung von ELK<\/h3>\n<p>\nBasierend auf eigener Erfahrung ben\u00f6tigt der ELK-Stack (ElasticSearch, Logstash und Kibana, in diesem speziellen Fall ElasticSearch) erheblich mehr Ressourcen zum Betrieb, als f\u00fcr die Speicherung von Protokollen erforderlich w\u00e4re. ElasticSearch ist eine hervorragende Engine, wenn Sie eine gute Volltextsuche in den Logs ben\u00f6tigen (und ich bezweifle, dass Sie das tats\u00e4chlich brauchen), aber es interessiert mich, warum es de facto der Standard f\u00fcr das Logging geworden ist. Seine Eingangsleistung in Kombination mit Logstash hat uns sogar bei relativ geringen Lasten Probleme bereitet und erforderte stetig mehr RAM und Speicherplatz. Im Vergleich zu ElasticSearch ist Clickhouse aus folgenden Gr\u00fcnden als Datenbank \u00fcberlegen:<\/p>\n<ul>\n<li>Unterst\u00fctzung des SQL-Dialekts;<\/li>\n<li>Bessere Kompressionsrate der gespeicherten Daten;<\/li>\n<li>Unterst\u00fctzung f\u00fcr regul\u00e4re Ausdr\u00fccke (Regex) anstelle von Volltextsuchen;<\/li>\n<li>Verbesserte Abfrageplanung und insgesamt h\u00f6here Leistung.<\/li>\n<\/ul>\n<p>\nAktuell ist das gr\u00f6\u00dfte Problem beim Vergleich von ClickHouse mit ELK die fehlenden L\u00f6sungen zum Versand von Logs sowie die unzureichende Dokumentation und Schulungsmaterialien zu diesem Thema. Jeder Benutzer kann jedoch ELK mithilfe des Digital Ocean Handbuchs einrichten, was f\u00fcr eine schnelle Implementierung solcher Technologien von entscheidender Bedeutung ist. Es gibt eine Datenbank-Engine, aber f\u00fcr ClickHouse ist Filebeat noch nicht verf\u00fcgbar. Ja, es ist vorhanden, <noindex><a rel=\"nofollow\" href=\"https:\/\/www.fluentd.org\/\">fluentd<\/a><\/noindex> und ein System zur Verarbeitung von Logs <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/flant\/loghouse\">loghouse<\/a><\/noindex>, es gibt ein Werkzeug <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/Altinity\/clicktail\">clicktail<\/a><\/noindex> , um Log-Dateidaten in ClickHouse einzuf\u00fcgen, aber all dies erfordert mehr Zeit. Dennoch bleibt ClickHouse aufgrund seiner Einfachheit f\u00fchrend, sodass selbst Anf\u00e4nger es unkompliziert installieren und innerhalb von nur 10 Minuten voll funktionsf\u00e4hig nutzen k\u00f6nnen. <\/p>\n<p>Ich bevorzuge minimalistische L\u00f6sungen und habe versucht, FluentBit, ein Werkzeug zum Versand von Logs mit einem sehr geringen Speicherbedarf, zusammen mit ClickHouse zu verwenden, dabei jedoch die Verwendung von Kafka zu vermeiden. Es m\u00fcssen jedoch einige kleine Inkonsistenzen behoben werden, wie etwa <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/fluent\/fluent-bit\/issues\/848\">Datumsformatprobleme<\/a><\/noindex>, bevor dies ohne eine Proxy-Schicht, die die Daten von FluentBit in ClickHouse umwandelt, durchgef\u00fchrt werden kann.<\/p>\n<p>Alternativ zu Kibana kann ClickHouse als Backend verwendet werden <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/Vertamedia\/clickhouse-grafana\">Grafana<\/a><\/noindex>. Soweit ich verstanden habe, k\u00f6nnen dabei Leistungsprobleme beim Rendern von riesigen Datenpunkten auftreten, insbesondere bei \u00e4lteren Versionen von Grafana. Bei Qwintry haben wir das bisher nicht ausprobiert, aber die Beschwerden dar\u00fcber tauchen ab und zu im Support-Kanal von ClickHouse auf Telegram auf. <\/p>\n<h3>Ersatz f\u00fcr Google Big Query und Amazon RedShift (L\u00f6sung f\u00fcr gro\u00dfe Unternehmen)<\/h3>\n<p>\nDie ideale Nutzung von BigQuery besteht darin, 1 TB JSON-Daten hochzuladen und analytische Abfragen darauf auszuf\u00fchren. BigQuery ist ein gro\u00dfartiges Produkt, dessen Skalierbarkeit schwer zu \u00fcbersch\u00e4tzen ist. Es ist deutlich komplexere Software als ClickHouse, das auf einem internen Cluster l\u00e4uft, aber aus Kundensicht hat es viele Gemeinsamkeiten mit ClickHouse. BigQuery kann schnell teuer werden, sobald Sie f\u00fcr jeden SELECT bezahlen, sodass es sich um eine echte SaaS-L\u00f6sung mit all ihren Vor- und Nachteilen handelt. <\/p>\n<p>ClickHouse ist die beste Wahl, wenn Sie viele rechenintensive Abfragen durchf\u00fchren. Je mehr SELECT-Abfragen Sie t\u00e4glich ausf\u00fchren, desto sinnvoller ist es, Big Query durch ClickHouse zu ersetzen. Diese Umstellung kann Ihnen Tausende von Dollar sparen, insbesondere wenn es um gro\u00dfe Datenmengen in Terabyte geht. Dies gilt nicht f\u00fcr gespeicherte Daten, deren Verarbeitung in Big Query relativ kosteng\u00fcnstig ist.<\/p>\n<p>Im Artikel des Mitbegr\u00fcnders von Altinity, Alexander Zaytsev <noindex><a rel=\"nofollow\" href=\"https:\/\/www.altinity.com\/blog\/2017\/10\/23\/migration-to-clickhouse\">\u201eUmstieg auf ClickHouse\u201c<\/a><\/noindex> werden die Vorteile einer solchen Migration der Datenbank erl\u00e4utert.<\/p>\n<h3>Ersetzung von TimescaleDB<\/h3>\n<p>\nTimescaleDB ist eine Erweiterung von PostgreSQL, die die Arbeit mit Zeitreihendaten in einer herk\u00f6mmlichen Datenbank optimiert.<noindex><a rel=\"nofollow\" href=\"https:\/\/docs.timescale.com\/v1.0\/introduction\">https:\/\/docs.timescale.com\/v1.0\/introduction<\/a><\/noindex>, <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/zabbix\/blog\/458530\/\">https:\/\/habr.com\/ru\/company\/zabbix\/blog\/458530\/<\/a><\/noindex>). <\/p>\n<p>Obwohl ClickHouse kein ernsthafter Konkurrent im Bereich der Zeitreihen ist, \u00fcbertrifft es in den meisten F\u00e4llen bei der Verarbeitung analytischer Abfragen aufgrund seiner Spaltenstruktur und der vektorbasierten Ausf\u00fchrung die TimescaleDB erheblich. Die Leistung f\u00fcr den Empfang von Batch-Daten in ClickHouse ist zudem etwa dreimal schneller, und es ben\u00f6tigt 20-mal weniger Speicherplatz, was f\u00fcr die Verarbeitung gro\u00dfer Mengen historischer Daten von entscheidender Bedeutung ist:<noindex><a rel=\"nofollow\" href=\"https:\/\/www.altinity.com\/blog\/ClickHouse-for-time-series\">https:\/\/www.altinity.com\/blog\/ClickHouse-for-time-series<\/a><\/noindex>.<\/p>\n<p>Im Gegensatz zu ClickHouse besteht die einzige M\u00f6glichkeit, in TimescaleDB etwas Speicherplatz zu sparen, in der Verwendung von ZFS oder \u00e4hnlichen Dateisystemen.<\/p>\n<p>Die bevorstehenden Updates von ClickHouse werden wahrscheinlich Delta-Kompression einf\u00fchren, die es noch besser f\u00fcr die Verarbeitung und Speicherung von Zeitreihendaten geeignet macht. TimescaleDB kann die bessere Wahl im Vergleich zu \"reinen\" ClickHouse in den folgenden F\u00e4llen sein:<\/p>\n<ul>\n<li>kleine Installationen mit sehr wenig RAM (&lt;3 GB);<\/li>\n<li>eine gro\u00dfe Anzahl kleiner INSERTs, die Sie nicht in gro\u00dfe Bl\u00f6cke puffern m\u00f6chten;<\/li>\n<li>bessere Konsistenz, Einheitlichkeit und ACID-Anforderungen;<\/li>\n<li>Unterst\u00fctzung f\u00fcr PostGIS;<\/li>\n<li>Integration mit bestehenden PostgreSQL-Tabellen, da Timescale DB essentially PostgreSQL ist.<\/li>\n<\/ul>\n<p><\/p>\n<h3>Wettbewerb mit Hadoop- und MapReduce-Systemen<\/h3>\n<p>\nHadoop und andere MapReduce-Produkte k\u00f6nnen viele komplexe Berechnungen durchf\u00fchren, arbeiten jedoch in der Regel mit hohen Latenzen. ClickHouse l\u00f6st dieses Problem, indem es Terabytes an Daten verarbeitet und die Ergebnisse nahezu sofort liefert. Daher ist ClickHouse viel effektiver f\u00fcr schnelles, interaktives Analytics, was f\u00fcr Datenverarbeiter von Interesse sein sollte.<\/p>\n<h3>Wettbewerb mit Pinot und Druid<\/h3>\n<p>\nDie n\u00e4chsten Konkurrenten von ClickHouse sind spaltenbasierte, linear skalierbare Open-Source-Produkte wie Pinot und Druid. Ein hervorragender Vergleich dieser Systeme wurde in dem Artikel ver\u00f6ffentlicht <noindex><a rel=\"nofollow\" href=\"https:\/\/medium.com\/@leventov\/comparison-of-the-open-source-olap-systems-for-big-data-ClickHouse-druid-and-pinot-8e042a5ed1c7\">Roman Leventov<\/a><\/noindex> vom 1. Februar 2018. <\/p>\n<p><img decoding=\"async\" alt=\"Die Nutzung von Clickhouse als Alternative zu ELK, Big Query und TimescaleDB\" src=\"\/wp-content\/uploads\/2020\/01\/fe58814aa97b287b70c2f724b72b448a.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nDieser Artikel bedarf einer Aktualisierung \u2013 er besagt, dass ClickHouse keine UPDATE- und DELETE-Operationen unterst\u00fctzt, was in Bezug auf die neuesten Versionen nicht ganz zutrifft.<\/p>\n<p>\u0423 \u043d\u0430\u0441 \u043d\u0435\u0442 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e\u0433\u043e \u043e\u043f\u044b\u0442\u0430 \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u044d\u0442\u0438\u043c\u0438 \u0421\u0423\u0411\u0414, \u043d\u043e \u043c\u043d\u0435 \u0441\u043e\u0432\u0441\u0435\u043c \u043d\u0435 \u043d\u0440\u0430\u0432\u0438\u0442\u0441\u044f \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u043e\u0439 \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u0437\u0430\u043f\u0443\u0441\u043a\u0430 Druid \u0438 Pinot \u00a0&#8212; \u044d\u0442\u043e \u0446\u0435\u043b\u0430\u044f \u043a\u0443\u0447\u0430 \u00ab\u043f\u043e\u0434\u0432\u0438\u0436\u043d\u044b\u0445 \u0447\u0430\u0441\u0442\u0435\u0439\u00bb, \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u043d\u044b\u0445 Java \u0441\u043e \u0432\u0441\u0435\u0445 \u0441\u0442\u043e\u0440\u043e\u043d.<\/p>\n<p>Druid und Pinot sind Projekte im Apache-Inkubator, deren Entwicklung detailliert auf den GitHub-Seiten ihrer Projekte von Apache dargestellt wird. Pinot trat im Oktober 2018 in den Inkubator ein, w\u00e4hrend Druid acht Monate zuvor, im Februar, gegr\u00fcndet wurde.<\/p>\n<p>Der Mangel an Informationen dar\u00fcber, wie AFS funktioniert, wirft einige vielleicht unkluge Fragen auf. Mich interessiert, ob die Autoren von Pinot bemerkt haben, dass die Apache Foundation Druid freundlicher gegen\u00fcbersteht, und ob dieses Verh\u00e4ltnis zu einem Konkurrenten Neidgef\u00fchle hervorgerufen hat. Wird sich die Entwicklung von Druid verlangsamen und die von Pinot beschleunigen, falls die Sponsoren, die ersteren unterst\u00fctzen, pl\u00f6tzlich an letzterem interessiert sind?<\/p>\n<h3>Nachteile von ClickHouse<\/h3>\n<p>\nUnerfahrenheit: Es ist offensichtlich, dass dies immer noch eine aufregende Technologie ist, aber in anderen spaltenbasierten Datenbanken l\u00e4sst sich in jedem Fall nichts Vergleichbares beobachten. <\/p>\n<p>Kleine Inserts funktionieren bei hoher Geschwindigkeit schlecht: Inserts sollten in gr\u00f6\u00dfere St\u00fccke unterteilt werden, da die Leistung kleiner Inserts proportional zur Anzahl der Spalten in jeder Zeile abnimmt. So werden die Daten in ClickHouse auf der Festplatte gespeichert \u2013 jede Spalte entspricht einer Datei oder mehr, weshalb f\u00fcr das Einf\u00fcgen einer Zeile mit 100 Spalten mindestens 100 Dateien ge\u00f6ffnet und beschrieben werden m\u00fcssen. Deshalb ben\u00f6tigt man f\u00fcr das Puffern von Inserts einen Mittler (es sei denn, der Client selbst sorgt f\u00fcr das Puffern) \u2013 gew\u00f6hnlich ist das Kafka oder ein anderes Warteschlangenverwaltungssystem. Man kann auch die Buffer-Tabellen-Engine verwenden, um sp\u00e4ter gro\u00dfe Datenmengen in MergeTree-Tabellen zu kopieren.<\/p>\n<p>Tabellenverbindungen sind durch den Arbeitsspeicher des Servers begrenzt, aber sie sind zumindest vorhanden! Zum Beispiel haben Druid und Pinot \u00fcberhaupt keine solchen Verbindungen, da es schwierig ist, diese in verteilten Systemen zu implementieren, die das Verschieben gro\u00dfer Datenmengen zwischen Knoten nicht unterst\u00fctzen. <\/p>\n<h3>Fazit<\/h3>\n<p>\nIn den kommenden Jahren planen wir, ClickHouse umfassend bei Qwintry zu integrieren, da dieses DBMS eine hervorragende Balance zwischen Leistung, geringen Overheads, Skalierbarkeit und Einfachheit bietet. Ich bin mir ziemlich sicher, dass es sich schnell verbreiten wird, sobald die ClickHouse-Community mehr Anwendungsm\u00f6glichkeiten f\u00fcr kleine und mittlere Installationen entwickelt.<\/p>\n<h3>Ein wenig Werbung \ud83d\ude42<\/h3>\n<p>\nDanke, dass Sie bei uns bleiben. Gefallen Ihnen unsere Artikel? M\u00f6chten Sie mehr interessante Inhalte sehen? Unterst\u00fctzen Sie uns, indem Sie eine Bestellung aufgeben oder uns Ihren Freunden empfehlen. <noindex><a rel=\"nofollow\" href=\"https:\/\/ua-hosting.company\/cloudvps\/nl\">Cloud-VPS f\u00fcr Entwickler ab 4,99 $<\/a><\/noindex>, <b>eine einzigartige Alternative zu Einsteiger-Servern, die wir f\u00fcr Sie entwickelt haben:<\/b> <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/company\/ua-hosting\/blog\/347386\/\">Alles \u00fcber VPS (KVM) E5-2697 v3 (6 Kerne) 10GB DDR4 480GB SSD 1Gbps ab 19 $ oder wie man einen Server richtig teilt?<\/a><\/noindex> (Verf\u00fcgbar sind Optionen mit RAID1 und RAID10, bis zu 24 Kerne und bis zu 40GB DDR4).<\/p>\n<p><b>Dell R730xd im Equinix Tier IV Rechenzentrum in Amsterdam zum halben Preis?<\/b> Nur bei uns <b><noindex><a rel=\"nofollow\" href=\"https:\/\/ua-hosting.company\/serversnl\">2 x Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 TB ab 199 $<\/a><\/noindex> in den Niederlanden! <b>Dell R420 \u2014 2x E5-2430 2.2GHz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB \u2014 ab 99 $!<\/b><\/b> Lesen Sie dar\u00fcber <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/company\/ua-hosting\/blog\/329618\/\">Wie man eine Unternehmenskosten-Infrastruktur mit Dell R730xd E5-2650 v4-Servern f\u00fcr ein paar Euro aufbaut?<\/a><\/noindex><br \/>\n<br \/>Quelle: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/ua-hosting\/blog\/483112\/\">habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>Clickhouse \u2014 \u044d\u0442\u043e \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432\u0430\u044f \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0431\u0430\u0437\u0430\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u043e\u043d\u043b\u0430\u0439\u043d \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 (OLAP) \u0441 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u043c \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u043c \u043a\u043e\u0434\u043e\u043c, \u0441\u043e\u0437\u0434\u0430\u043d\u043d\u0430\u044f \u042f\u043d\u0434\u0435\u043a\u0441\u043e\u043c. \u0415\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u042f\u043d\u0434\u0435\u043a\u0441, CloudFlare, VK.com, Badoo \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u0441\u0435\u0440\u0432\u0438\u0441\u044b \u043f\u043e \u0432\u0441\u0435\u043c\u0443 \u043c\u0438\u0440\u0443 \u0434\u043b\u044f \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043e\u0431\u044a\u0435\u043c\u043e\u0432 \u0434\u0430\u043d\u043d\u044b\u0445 (\u0432\u0441\u0442\u0430\u0432\u043a\u0430 \u0442\u044b\u0441\u044f\u0447 \u0441\u0442\u0440\u043e\u043a \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443 \u0438\u043b\u0438 \u043f\u0435\u0442\u0430\u0431\u0430\u0439\u0442\u044b \u0434\u0430\u043d\u043d\u044b\u0445, \u0445\u0440\u0430\u043d\u044f\u0449\u0438\u0445\u0441\u044f \u043d\u0430 \u0434\u0438\u0441\u043a\u0435). \u0412 \u043e\u0431\u044b\u0447\u043d\u043e\u0439, \u00ab\u0441\u0442\u0440\u043e\u043a\u043e\u0432\u043e\u0439\u00bb \u0421\u0423\u0411\u0414, \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u043c\u0438 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-54918","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 4.9.10 - aioseo.com -->\n\t<meta name=\"description\" content=\"Clickhouse \u2014 \u044d\u0442\u043e \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432\u0430\u044f \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0431\u0430\u0437\u0430\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u043e\u043d\u043b\u0430\u0439\u043d \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 (OLAP) \u0441 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u043c \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u043c \u043a\u043e\u0434\u043e\u043c, \u0441\u043e\u0437\u0434\u0430\u043d\u043d\u0430\u044f \u042f\u043d\u0434\u0435\u043a\u0441\u043e\u043c. \u0415\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u042f\u043d\u0434\u0435\u043a\u0441, CloudFlare, VK.com, Badoo \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u0441\u0435\u0440\u0432\u0438\u0441\u044b \u043f\u043e \u0432\u0441\u0435\u043c\u0443 \u043c\u0438\u0440\u0443 \u0434\u043b\u044f \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043e\u0431\u044a\u0435\u043c\u043e\u0432 \u0434\u0430\u043d\u043d\u044b\u0445 (\u0432\u0441\u0442\u0430\u0432\u043a\u0430 \u0442\u044b\u0441\u044f\u0447 \u0441\u0442\u0440\u043e\u043a \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443 \u0438\u043b\u0438 \u043f\u0435\u0442\u0430\u0431\u0430\u0439\u0442\u044b \u0434\u0430\u043d\u043d\u044b\u0445, \u0445\u0440\u0430\u043d\u044f\u0449\u0438\u0445\u0441\u044f \u043d\u0430 \u0434\u0438\u0441\u043a\u0435). \u0412 \u043e\u0431\u044b\u0447\u043d\u043e\u0439, \u00ab\u0441\u0442\u0440\u043e\u043a\u043e\u0432\u043e\u0439\u00bb \u0421\u0423\u0411\u0414, \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u043c\u0438 \u043a\u043e\u0442\u043e\u0440\u044b\u0445\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/ispolzovanie-clickhouse-v-kachestve-zameny-elk-big-query-i-timescaledb\" \/>\n\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 4.9.10\" \/>\n\t\t<meta property=\"og:locale\" content=\"de_DE\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 Clickhouse \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0437\u0430\u043c\u0435\u043d\u044b ELK, Big Query \u0438 TimescaleDB | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"Clickhouse \u2014 \u044d\u0442\u043e \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432\u0430\u044f \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0431\u0430\u0437\u0430\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u043e\u043d\u043b\u0430\u0439\u043d \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 (OLAP) \u0441 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u043c \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u043c \u043a\u043e\u0434\u043e\u043c, \u0441\u043e\u0437\u0434\u0430\u043d\u043d\u0430\u044f \u042f\u043d\u0434\u0435\u043a\u0441\u043e\u043c. \u0415\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u042f\u043d\u0434\u0435\u043a\u0441, CloudFlare, VK.com, Badoo \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u0441\u0435\u0440\u0432\u0438\u0441\u044b \u043f\u043e \u0432\u0441\u0435\u043c\u0443 \u043c\u0438\u0440\u0443 \u0434\u043b\u044f \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043e\u0431\u044a\u0435\u043c\u043e\u0432 \u0434\u0430\u043d\u043d\u044b\u0445 (\u0432\u0441\u0442\u0430\u0432\u043a\u0430 \u0442\u044b\u0441\u044f\u0447 \u0441\u0442\u0440\u043e\u043a \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443 \u0438\u043b\u0438 \u043f\u0435\u0442\u0430\u0431\u0430\u0439\u0442\u044b \u0434\u0430\u043d\u043d\u044b\u0445, \u0445\u0440\u0430\u043d\u044f\u0449\u0438\u0445\u0441\u044f \u043d\u0430 \u0434\u0438\u0441\u043a\u0435). \u0412 \u043e\u0431\u044b\u0447\u043d\u043e\u0439, \u00ab\u0441\u0442\u0440\u043e\u043a\u043e\u0432\u043e\u0439\u00bb \u0421\u0423\u0411\u0414, \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u043c\u0438 \u043a\u043e\u0442\u043e\u0440\u044b\u0445\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/ispolzovanie-clickhouse-v-kachestve-zameny-elk-big-query-i-timescaledb\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2020-01-06T21:00:00+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-02-18T11:02:58+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47 Verwendung von Clickhouse als Ersatz f\u00fcr ELK, Big Query und TimescaleDB | ProHoster","description":"Clickhouse ist ein spaltenorientiertes Open-Source-Datenbankmanagementsystem f\u00fcr die Online-Verarbeitung analytischer Abfragen (OLAP), das von Yandex entwickelt wurde. Es wird weltweit von Unternehmen wie Yandex, CloudFlare, VK.com, Badoo und anderen zur Speicherung wirklich gro\u00dfer Datenmengen verwendet (z. B. das Einf\u00fcgen von Tausenden von Zeilen pro Sekunde oder das Speichern von Petabytes an Daten auf der Festplatte). In einer herk\u00f6mmlichen, \"zeilenbasierten\" DB, zu deren Beispielen geh\u00f6ren,","canonical_url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/ispolzovanie-clickhouse-v-kachestve-zameny-elk-big-query-i-timescaledb","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"de_DE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 Clickhouse \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0437\u0430\u043c\u0435\u043d\u044b ELK, Big Query \u0438 TimescaleDB | ProHoster","og:description":"Clickhouse \u2014 \u044d\u0442\u043e \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432\u0430\u044f \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0431\u0430\u0437\u0430\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u043e\u043d\u043b\u0430\u0439\u043d \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 (OLAP) \u0441 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u043c \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u043c \u043a\u043e\u0434\u043e\u043c, \u0441\u043e\u0437\u0434\u0430\u043d\u043d\u0430\u044f \u042f\u043d\u0434\u0435\u043a\u0441\u043e\u043c. \u0415\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u042f\u043d\u0434\u0435\u043a\u0441, CloudFlare, VK.com, Badoo \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u0441\u0435\u0440\u0432\u0438\u0441\u044b \u043f\u043e \u0432\u0441\u0435\u043c\u0443 \u043c\u0438\u0440\u0443 \u0434\u043b\u044f \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043e\u0431\u044a\u0435\u043c\u043e\u0432 \u0434\u0430\u043d\u043d\u044b\u0445 (\u0432\u0441\u0442\u0430\u0432\u043a\u0430 \u0442\u044b\u0441\u044f\u0447 \u0441\u0442\u0440\u043e\u043a \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443 \u0438\u043b\u0438 \u043f\u0435\u0442\u0430\u0431\u0430\u0439\u0442\u044b \u0434\u0430\u043d\u043d\u044b\u0445, \u0445\u0440\u0430\u043d\u044f\u0449\u0438\u0445\u0441\u044f \u043d\u0430 \u0434\u0438\u0441\u043a\u0435). \u0412 \u043e\u0431\u044b\u0447\u043d\u043e\u0439, \u00ab\u0441\u0442\u0440\u043e\u043a\u043e\u0432\u043e\u0439\u00bb \u0421\u0423\u0411\u0414, \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u043c\u0438 \u043a\u043e\u0442\u043e\u0440\u044b\u0445","og:url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/ispolzovanie-clickhouse-v-kachestve-zameny-elk-big-query-i-timescaledb","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-01-06T21:00:00+00:00","article:modified_time":"2020-02-18T11:02:58+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"54918","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-24 13:09:54","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 19:55:36","updated":"2026-01-24 13:09:54"},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/54918","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/comments?post=54918"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/54918\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media?parent=54918"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/categories?post=54918"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/tags?post=54918"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}