Ich schlage vor, dass Sie sich mit dem Transkript des Berichts 2017 von Igor Strykhar „ClickHouse – Visuell schnelle und visuelle Datenanalyse in Tabix“ vertraut machen.
Weboberfläche für ClickHouse im Tabix-Projekt.
Key Features:
- Funktioniert mit ClickHouse direkt über den Browser, ohne dass zusätzliche Software installiert werden muss;
- Abfrageeditor mit Syntaxhervorhebung;
- Befehlsvervollständigung;
- Tools zur grafischen Analyse der Abfrageausführung;
- Farbschemata zur Auswahl.
Ich bin der technische Leiter von media2. Wir sind ein Nachrichtenaggregator für den Nachrichtenaustausch. Wir speichern viele Daten, die wir von unseren Partnern erhalten, und registrieren sie in ClickHouse – etwa 30 Anfragen pro Sekunde.
Dabei handelt es sich um Daten wie:
- Nachrichtenklicks.
- Nachrichten im Aggregator anzeigen.
- Anzeige von Bannern in unserem Netzwerk.
- Und wir registrieren Ereignisse von unserem eigenen Zähler, der Yandex.Metrics ähnelt. Das ist unsere eigene Mikroanalytik.
Vor ClickHouse hatten wir ein sehr hektisches Leben. Wir haben sehr gelitten, als wir versucht haben, diese Daten irgendwo zu speichern und sie irgendwie zu analysieren.
Leben vor ClickHouse – infiniDB
Das erste, was wir hatten, war infiniDB. Sie lebte 4 Jahre bei uns. Wir haben es mit Mühe gestartet.
- Clustering oder Sharding werden nicht unterstützt. Sie hat solche intelligenten Dinge nicht standardmäßig gestartet.
- Sie hat Probleme beim Laden von Daten. Nur ein spezielles Konsolen-Utility, das nur CSV-Dateien laden konnte und irgendwie sehr unverständlich war.
- Die Datenbank ist Single-Threaded. Sie könnten entweder schreiben oder lesen. Aber es ermöglichte die Verarbeitung einer großen Datenmenge.
- Und sie hatte auch eine interessante Krücke. Jede Nacht musste der Server neu gestartet werden, sonst würde es nicht funktionieren.
Sie arbeitete bis Ende 2016 mit uns zusammen, als wir komplett auf ClickHouse umstiegen.
Leben vor ClickHouse – Cassandra
Da infiniDB Single-Threaded war, entschieden wir, dass wir eine Art Multithread-Datenbank brauchten, in der wir viele Threads gleichzeitig schreiben konnten.
Wir haben viele interessante Dinge ausprobiert. Dann beschlossen wir, Cassandra auszuprobieren. Bei Cassandra war alles super. 10 Anfragen pro Sekunde und Wette. 000 Anfragen irgendwo zum Lesen.
Aber sie hatte auch ihre eigenen Interessen. Einmal im Monat oder alle zwei Monate war eine Datenbank nicht mehr synchron. Und ich musste aufwachen und rennen, um Cassandra zu reparieren. Die Server wurden einzeln neu gestartet. Und alles wurde glatt und schön.
Leben vor ClickHouse – Druide
Dann wurde uns klar, dass wir noch mehr Daten schreiben müssen. Im Jahr 2016 begannen wir, Druid zu schauen.
Druid ist eine offene Basis, die in Java geschrieben ist. Sehr spezifisch. Und es eignet sich für Clickstream, wenn wir einen Ereignisstrom speichern und ihn dann aggregieren oder analytische Berichte erstellen müssen.
Druid hatte Version 0.9.X.
Die Datenbank selbst ist sehr schwer bereitzustellen. Darin liegt die Komplexität der Infrastruktur. Um es einzusetzen, musste viel Eisen eingesetzt werden. Und jedes Eisen war für seine eigene Rolle verantwortlich.
Um Daten hineinzuladen, war es notwendig, eine Art Schamanismus anzuwenden. Es gibt ein OpenSource-Projekt – Tranquility, das im Stream Daten von uns verloren hat. Als wir Daten hineinluden, gingen diese verloren.
Aber irgendwie haben wir angefangen, es umzusetzen. Wir, wie Igel, die sich selbst eine Spritze gaben, aber weiterhin den Kaktus fraßen, begannen, ihn einzuführen. Wir haben etwa einen Monat gebraucht, um die gesamte Infrastruktur dafür vorzubereiten. Das heißt, Sie bestellen Server, richten Rollen ein und automatisieren die Bereitstellung vollständig. Das heißt, im Falle eines Clusterausfalls wird automatisch der zweite Cluster bereitgestellt.
Doch dann geschah ein Wunder. Ich war im Urlaub und meine Kollegen haben mir einen Link geschickt , was besagt, dass Yandex beschlossen hat, ClickHouse zu eröffnen. Ich sage, lass es uns versuchen.
Und buchstäblich innerhalb von zwei Tagen haben wir einen ClickHouse-Testcluster bereitgestellt. Wir haben begonnen, Daten hineinzuladen. Im Vergleich zu infiniDB ist dies elementar; im Vergleich zu Druid ist dies elementar. Im Vergleich zu Cassandra ist es auch elementar. Denn wenn Sie Daten von PHP in Cassandra laden, ist dies nicht elementar.
Was haben wir bekommen? Leistung in Geschwindigkeit. Leistung bei der Datenspeicherung. Das heißt, es wird viel weniger Speicherplatz verwendet. ClickHouse ist schnell, im Vergleich zu anderen Produkten sehr schnell.
Zum Zeitpunkt der Veröffentlichung, als Yandex ClickHouse in OpenSource veröffentlichte, gab es nur einen Konsolen-Client. Wir in unserem Unternehmen SMI2 haben beschlossen, einen nativen Client für das Web zu entwickeln, damit Sie eine Seite über einen Browser öffnen, eine Anfrage schreiben und das Ergebnis erhalten können, da wir begonnen haben, viele Anfragen zu schreiben. Das Schreiben auf die Konsole ist schwierig. Und wir haben unsere erste Version gemacht.
Und irgendwann im Winter letzten Jahres tauchten Tools von Drittanbietern für die Arbeit mit ClickHouse auf. Dies sind Tools wie:
- .
- .
- . (Jetzt )
- .
- .
Ich werde einige dieser Tools überprüfen, d. h. diejenigen, mit denen ich gearbeitet habe.
Gutes Werkzeug, aber für Druiden. Als Druid vorgestellt wurde, fühlte ich mich SuperSet. Ich mochte ihn. Für einen Druiden funktioniert es sehr schnell.
Es ist nicht für ClickHouse geeignet. Das heißt, es passt, es startet, ist aber bereit, nur elementare Abfragen des Typs: SELECT-Ereignis, GROUP BY-Ereignis zu verarbeiten. Die komplexere ClickHouse-Syntax wird nicht unterstützt.
Das nächste Tool ist Apache Zeppelin. Das ist eine gute und interessante Sache. Funktioniert. Es unterstützt Notebooks, Dashboards und Variablen. Ich weiß, dass jemand aus der ClickHouse-Community es verwendet.
Es gibt jedoch keine Unterstützung für die ClickHouse-Syntax, d. h. Sie müssen Abfragen entweder in der Konsole oder anderswo schreiben. Überprüfen Sie als Nächstes, ob alles funktioniert. Es ist einfach unbequem. Aber er hat eine gute Unterstützung für das Dashboarding.
Das nächste Tool ist Redash.IO. Redash wird im Internet gehostet. Das heißt, im Gegensatz zu früheren Tools muss es nicht installiert werden. Und das ist so ein Dashboard mit der Möglichkeit, Daten aus verschiedenen DataSources zu konsolidieren. Das heißt, Sie können von ClickHouse, von MySQL, von PostgreSQL und von anderen Datenbanken hochladen.
Erst vor einem Monat (im März 2017) erschien Unterstützung in Grafana. Wenn Sie in Grafana Berichte erstellen, beispielsweise entsprechend dem Zustand Ihrer Hardware oder anhand einiger Metriken, können Sie jetzt dasselbe Diagramm oder eine Art Panel direkt aus Daten von ClickHouse erstellen. Es ist sehr praktisch und wir verwenden es zu Hause. Dadurch können Sie Anomalien finden. Das heißt, wenn etwas passiert und Hardware ausfällt oder überlastet wird, können Sie den Grund erkennen, wenn diese Daten in ClickHouse gelangt sind.
Es war für mich sehr unangenehm, in diesen Tools oder in der Konsole zu schreiben. Und ich beschloss, unsere erste Schnittstelle fertigzustellen. Und ich habe die Idee von EventSQL, SeperSet, Zeppelin entdeckt.
Was wolltest du? Ich wollte Grafiken, einen verbesserten Editor und Unterstützung für Hinweiswörterbücher implementieren. Weil ClickHouse eine großartige Funktion hat – Wörterbücher. Aber es ist schwierig, mit Wörterbüchern zu arbeiten, weil man sich das Format der gespeicherten Werte merken muss, d. h. ob es sich um eine Zahl oder eine Zeichenfolge usw. handelt. Und da wir häufig Wörterbücher in ihren verschiedenen Variationen verwenden, war es ziemlich schwierig, Abfragen zu schreiben.
Seit der Veröffentlichung unserer ersten Version sind 3 Monate vergangen. Ich habe ungefähr 330 Commits für einen geschlossenen Zweig durchgeführt und Tabix erhalten.
Im Gegensatz zur Vorgängerversion, die ClickHouse-Frontend hieß, habe ich mich entschieden, sie in einen einfachen Namen umzubenennen. Und es stellte sich heraus, Tabix.
Was ist erschienen?
Zeichnet Grafiken. Unterstützt die ClickHouse-SQL-Syntax. Erzählt von Funktionen und weiß, wie man viele interessante Dinge macht.
So sieht das allgemeine Layout von Tabix aus. Links ist ein Baum. In der Mitte befindet sich der Abfrageeditor. Und unten ist das Ergebnis dieser Abfrage.
Als nächstes zeige ich, wie der Abfrageeditor funktioniert.
Hier funktionierte die automatische Vervollständigung automatisch für die Tabelle bzw. die Eingabeaufforderungen für die automatische Vervollständigung nach Feldern. Und Funktionshinweise. Wenn Sie die Strg-Eingabetaste drücken, wird die Anfrage ausgeführt oder schlägt mit einem Fehler fehl. Die einfachste Anfrage wird an Tabix gesendet und das Ergebnis erhalten, d. h. Sie können schnell mit ClickHouse arbeiten.
Wörterbücher sind, wie gesagt, eine sehr interessante Sache, mit der wir viel arbeiten. Und wodurch vieles möglich war. Angenommen, wir speichern alle Städte in Wörterbüchern. Wir speichern die Stadtkennung und den Stadtnamen sowie deren Breiten- und Längengrad. Und in der Datenbank speichern wir nur die Kennung der Stadt. Dementsprechend komprimieren wir die Daten sehr stark.
Das scheint eine einfache Sache zu sein, aber in ClickHouse hilft es auf sehr interessante Weise. Aufgrund der Tatsache, dass ClickHouse nur verschachtelte Verknüpfungen unterstützt, wächst die Abfrage nach unten und ist ausreichend breit. Und wenn die Klammer geöffnet wird und ein langer Ausdruck erscheint, erleichtert eine so einfache Sache wie das Falten der Abfrage die Arbeit mit der Abfrage selbst. Denn wenn eine Anfrage 200 bis 300 Zeilen breit und sehr umfangreich ist, spart man viel, indem man die Anfrage zusammenfaltet und sie dann irgendwo findet oder irgendwie lokalisiert.
Objektbaum, Multiabfragen und Tabs (Video 13:46 )
Als nächstes zeige ich Ihnen den Baum und die Registerkarten. Auf der linken Seite befindet sich ein Baum, oben können Sie mehrere Registerkarten erstellen. Registerkarten sind wie ein Arbeitsbereich. Sie können mehrere Registerkarten erstellen und jede anders benennen. Es ist wie ein Minisystem zum Erstellen eines Berichts.
Tabs werden automatisch gespeichert. Wenn Sie Ihren Browser neu starten oder Tabix schließen oder öffnen, wird alles gespeichert.
Hotkey ist praktisch (Video 14:39). )
Es gibt Hotkeys und es gibt viele davon. Einige davon habe ich hier beispielhaft aufgeführt. Dies ist ein Tab-Wechsel, eine Anforderung ausführen oder mehrere Anforderungen ausführen.
Ich zeige Ihnen, wie Sie mit dem Ergebnis arbeiten. Wir senden eine Anfrage. Hier zeichne ich sin, cos und tg. Sie können das Ergebnis hervorheben, d. h. eine typische Karte für eine Spalte zeichnen. Sie können positive oder negative Werte hervorheben. Oder färben Sie einfach ein bestimmtes Element der Tabelle ein. Dies ist praktisch, wenn der Tisch riesig ist und Sie mit Ihren Augen eine Anomalie finden müssen. Als ich nach Anomalien suchte, habe ich einige Linien, einige Elemente grün oder rot hervorgehoben.
Da gibt es viele interessante Dinge. Zum Beispiel, wie man in Redmine Markdown kopiert. Wenn Sie das Ergebnis irgendwohin kopieren müssen, ist das sehr praktisch. Sie können einfach einen Bereich auswählen, „Nach Redmine kopieren“ sagen und er wird nach Redmine Markdown kopiert oder eine Wo-Abfrage erstellt.
Als nächstes folgt die Abfrageoptimierung. Ich habe einmal vergessen, das Feld „Datum“ anzugeben. Und meine Anfrage in ClickHouse wurde nicht sehr, sehr schnell bearbeitet, aber schnell, also in weniger als einer Sekunde. Als ich sah, wie viele Zeilen er durchging, bekam ich Angst. Wir schreiben an einem Tag nicht so viele Zeilen in diese Tabelle. Ich begann, die Anfrage zu analysieren und stellte fest, dass ich an einer Stelle ein Datum verpasst hatte. Das heißt, ich habe vergessen anzugeben, dass ich nicht Daten für die gesamte Tabelle, sondern für einen bestimmten Zeitraum benötige.
Tabix verfügt über einen „Statistik“-Tab, der den gesamten Verlauf der gesendeten Anfragen speichert, d. h. dort kann man sehen, wie viele Zeilen von dieser Anfrage gelesen wurden und wie lange die Ausführung gedauert hat. Dies ermöglicht eine Optimierung.
Sie können eine Pivot-Tabelle über das Abfrageergebnis erstellen. Sie haben eine Anfrage an ClickHouse gesendet und einige Daten erhalten. Und dann können diese Daten mit der Maus abgerufen und eine Art Pivot-Tabelle erstellt werden.
Die nächste interessante Sache ist die grafische Darstellung. Nehmen wir an, wir haben die folgende Anfrage: für sin, cos von 0 bis 299. Und um es zu zeichnen, müssen Sie die Registerkarte „Zeichnen“ auswählen und Sie erhalten ein Diagramm mit Ihren sin und cos.
Sie können es in verschiedene Achsen aufteilen, d. h. Sie können zwei Diagramme gleichzeitig nebeneinander zeichnen. Schreiben Sie einen Befehl und den zweiten Befehl.
Sie können Histogramme zeichnen.
Sie können es in eine Matrix von Diagrammen aufteilen.
Sie können eine Heatmap erstellen.
Sie können einen Thermokalender erstellen. Übrigens eine sehr praktische Sache, wenn Sie ein Jahr lang Anomalien analysieren müssen, also entweder Ausbrüche oder Ausfälle finden müssen. Diese Datenvisualisierung hat mir dabei geholfen.
Das nächste ist Treemap.
Sankeys ist ein interessantes Diagramm. Er ist entweder Streamgrahps oder River. Aber ich nenne es River. Es ermöglicht Ihnen auch, nach Anomalien zu suchen. Es ist sehr komfortabel. Ich empfehle, es für die Suche zu verwenden.
Die nächste interessante Sache ist die Darstellung der dynamischen Karte. Wenn Sie Breiten- und Längengrade in Ihrer Datenbank gespeichert haben und beispielsweise ein Termin gespeichert ist, wenn Sie beispielsweise LKW-Transporte oder Flugzeuge fliegen, dann können Sie Zielpfade zeichnen. Dort können Sie auch die Geschwindigkeit und die Größe dieser Objekte, in denen sie ankommen, einstellen.
Das Problem bei dieser Karte ist jedoch, dass sie nur eine Weltkarte darstellt und keine Details enthält.
Später habe ich eine Google-Karte hinzugefügt. Wenn Sie Breiten- und Längengrade speichern, können Sie das Ergebnis auf einer Google-Karte anzeigen, jedoch ohne Flugzeugunterstützung.
Wir haben die Hauptfunktionen der Arbeit mit dem Ergebnis anhand einer Abfrage in Tabix besprochen.
Als nächstes folgt die Analyse Ihres ClickHouse-Servers. Es gibt eine separate Registerkarte „Metriken“, auf der Sie die Größe der gespeicherten Daten für jede Spalte sehen können. Der Screenshot zeigt, dass dieses „Referrer“-Feld etwa 730 GB belegt. Wenn wir dieses Feld ablehnen, sparen wir drei 700-GB-Shards, also etwa 2 TB, die wir nicht benötigen.
Wir haben auch ein „request_id“-Feld, das wir in einem String speichern. Aber wenn wir anfangen, es in numerischer Form zu speichern, wird dieses Feld enorm komprimiert.
Außerdem werden die Serverkonfiguration und die Liste der Knoten in Ihrem Cluster angezeigt.
Die nächste Registerkarte enthält Metriken. Sie werden von ClickHouse in Echtzeit übertragen und ermöglichen es Ihnen einfach, den Status des Servers zu analysieren und zu verstehen, was mit ihm passiert. Dies ist kein Ersatz für das vollwertige Grafana. Dies ist für eine schnelle Analyse notwendig.
Die nächste Registerkarte sind Prozesse. Von ihnen können Sie verstehen, was auf dem Server passiert. Verstehen Sie, was dort vor sich geht. Ich hatte eine Abfrage, deren Lesen jedes Mal 200 GB in Anspruch nahm. Ich habe es dank dieser Schnittstelle gesehen. Habe es verstanden und korrigiert. Und es stellte sich heraus, dass es ungefähr 30 GB waren, d. H. Zeitweise Leistung.
Danke! Und es ist in OpenSource
Ich bin fertig. Und übrigens, es ist in OpenSource, es ist kostenlos und Sie müssen es nicht einmal herunterladen. Öffnen Sie es in einem Browser und alles wird funktionieren.
Fragen
Igor, was kommt als nächstes? Wo werden Sie dieses Tool entwickeln?
Als nächstes erscheint das Dashboarding, d. h. vielleicht erscheint das Dashboarding. Integration mit anderen Datenbanken. Dies habe ich getan, aber noch nicht auf OpenSource veröffentlicht. Es ist MySQL und möglicherweise PostgreSQL. Das heißt, es wird möglich sein, Anfragen von Tabix nicht nur an ClickHouse, sondern auch an andere Tools zu senden.
Es ist klar, dass eine Menge Arbeit geleistet wurde. Es stellte sich heraus, dass es eine ziemlich vollständige Idee war. Im Browser wurde dies offenbar getan, um Krücken an irgendwelchen Äxten auszuschließen und das Ganze schnell zu werfen. Ich habe gehört, dass du es bist php funktioniert, daher ist es am einfachsten, den Browser einzuschalten, dann funktioniert es überall. Hierzu gibt es keine Fragen. Die Frage ist. Da hat sich tatsächlich einiges getan. Wie viele Leute haben daran gearbeitet? Und wie lange hat das alles gedauert? Denn Tools an sich verfügen meist nicht über eine so große Funktionalität.
Eine Person aus unserem Team arbeitete von Sommer bis Herbst. Dies war die erste Version. Dann habe ich alleine 330 Commits gemacht. Was Sie sehen, mein Kollege und ich haben es in zwei Hälften geschafft. Drei Monate lang, von der allerersten bis zur letzten Version, habe ich es größtenteils alleine gemacht. Aber ich kenne Javascript nicht sehr gut. Dies war mein einziges und hoffentlich letztes Javascript-Projekt, an dem ich gearbeitet habe. Ich habe es verstanden, ich sah aus – oh, Horror. Aber ich wollte das Produkt unbedingt fertigstellen und genau das ist passiert.
Vielen Dank für den Bericht! Das ist ein großartiges Werkzeug. MIT Tableau verglichen?
Danke. Deshalb hat Tabix es benannt, weil die Anfangsbuchstaben gleich sind.
Weil Sie konkurrieren?
Es wird viel investiert, wir werden konkurrieren.
Wie bietet man internen Analysten an, zu verkaufen, was dieses Tool vollständig ersetzen wird? *Tableau*? Was werden die Argumente sein?
Funktioniert nativ mit ClickHouse. Ich habe Tableau ausprobiert, aber Sie können dort keine Unterstützung für Wörterbücher und dergleichen schreiben. Ich weiß, wie Menschen mit Tabix arbeiten. Sie schreiben eine Anfrage, laden sie in CSV hoch und laden sie in BI hoch. Und sie tun bereits etwas. Aber ich kann mir kaum vorstellen, wie sie das machen, weil es ein grafisches Werkzeug ist. Es können 5 Zeilen hochgeladen werden, maximal 000 Zeilen, aber nicht mehr, sonst überlebt der Browser nicht.
Das heißt, es gibt einige ernsthafte Einschränkungen hinsichtlich der Datenmenge, oder?
Ja. Ich kann mir nicht vorstellen, dass Sie 10 Zeilen auf dem Browserbildschirm in Ihre Tabelle hochladen möchten. Wofür?
Soll es eine Schnittstelle für einen schnellen Blick auf die Daten sein? Ein wenig drehen, drehen?
Ja, schauen Sie sich schnell an, wie es funktioniert, und erstellen Sie einfach ein Übersichtsdiagramm. Und dann irgendwo geben. Wir verfügen über ein eigenes Meldesystem, dem ich diese Anfrage einfach entnehme. Ich zeichne Tabix ein und sende es an unsere Berichterstattung.
Und eine andere Frage. Kohortenanalyse?
Wenn es Anfragen gibt, werden wir ergänzen.
Als Sie zum ersten Mal mit der Verwendung begonnen haben ClickHouse, wie lange hat die Implementierung gedauert? Clickhouse und bringen zu Produktionszustände?
Wie gesagt, wir haben in kürzester Zeit einen Testcluster implementiert. Wir haben es in zwei Tagen ausgepackt. Und wir haben es noch ein paar Wochen lang getestet. Und wir erreichten die Produktion in 3 Monaten. Aber wir hatten unser eigenes ETL, also ein Tool zum Aufzeichnen von Daten. Und er hat uns in allem geschrieben, was möglich ist. Er kann in MongoDB, Cassandra, MySQL schreiben. Es war einfach, ihm das Schreiben in ClickHouse beizubringen. Wir hatten eine vorgefertigte Infrastruktur für eine schnelle Implementierung. Drei Monate lang begannen wir, die erste Komponente wegzuwerfen. Sechs Monate lang haben wir alles andere komplett aufgegeben. Wir haben noch ein ClickHouse übrig.
Igor, vielen Dank für den Bericht. Die Funktionalität zum Erstellen von Pfaden auf Karten hat mir sehr gut gefallen. Planen Sie die Integration mit Yandex.Maps und insbesondere mit benutzerdefinierten Yandex.Maps?
Ich habe versucht, anstelle von Google Maps zu integrieren, aber ich habe auf Yandex.Maps kein dunkles Thema gefunden. Ich habe ein Stück weggelassen. Ich spule zurück, um etwas hinzuzufügen.
Folie – Google-Karte. Hier gibt es einen Befehl „DRAW_GMAPS“, der eine Karte zeichnet. Es gibt einen „DRAW_YMAPS“-Befehl, d. h. er kann eine Yandex.Map zeichnen. Tatsächlich handelt es sich bei diesem Befehl jedoch um Javascript, d. h. die Daten, die Sie von ClickHouse erhalten, können in Javascript übertragen werden, das Sie hier schreiben. Und Sie haben einen Ausgabebereich, in dem es gezeichnet werden soll. Sie können jedes Diagramm zeichnen, d. h. jedes Diagramm, jede Karte, Sie können Ihre eigene Komponente zeichnen. Davor hatte ich eine andere Bibliothek zum Zeichnen der Diagramme selbst.
Das heißt, gibt es ein Tool zum Anpassen der Anzeigefunktionalität?
Beliebig. Sie können diese Punkte nehmen und neu einfärben, sodass sie nicht rot, sondern blau und grün werden.
Danke für den Bericht! Sie hatten eine Folie mit alternativen Abfragetools Clickhouse zum Erstellen von Dashboards und Analyseberichten. Ich verstehe das in dem Moment, als Sie angefangen haben, mit zu arbeiten ClickHouse, für diese Tools wurden keine Adapter geschrieben. Und ich frage mich, warum Sie sich entschieden haben, Ihr eigenes Werkzeug herzustellen, anstatt einen Adapter für ein fertiges Werkzeug zu schreiben? Ich denke, dass die Optimierung des Testeditors schnell geht. Warum haben Sie sich entschieden, so viel zu arbeiten?
Es gibt einen interessanten Moment: Tatsache ist, dass ich technischer Direktor und kein Datenwissenschaftler bin. Als wir mit der Implementierung von Druid begannen, hatte ich etwa 50 % der Aufgaben in der Roadmap – lasst uns das berechnen, oder lasst uns das berechnen, oder das analysieren. Und es stellte sich heraus, dass wir ClickHouse implementiert haben. Und er begann schnell, alles aufzubauen, zählte, schloss schnell seine Roadmap ab. Und zu diesem Zeitpunkt wurde mir klar, dass mir Kenntnisse in Data Science und Datenvisualisierung fehlten. Tabix ist sozusagen meine Hausaufgabe zum Erlernen der Datenvisualisierung. Ich überlegte, wie ich Zeppelin ergänzen könnte. Ich habe eine leichte Abneigung gegen seine Programmierung. Ich habe mir angeschaut, wie man Redash hinzufügt, aber ein normaler Editor hat mir gereicht. Und SuperSet ist auch in einer Sprache geschrieben, die mir nicht wirklich gefällt. Und so beschloss ich, Fahrrad zu fahren, und genau das geschah.
Igor, akzeptierst du Pull-Requests?
Ja.
Vielen Dank für den Bericht! Und zwei Fragen. Erstens sind Sie nicht sehr schmeichelhaft Javascript. Hast du in reinem Javascript geschrieben oder handelt es sich um eine Art Framework?*
Besser mit reinem Javascript.
Welcher Rahmen also?
Eckig.
Es ist klar. Und die zweite Frage. Haben Sie darüber nachgedacht R и *Glänzend**?*
Berücksichtigt. Gespielt.
Sie könnten auch einfach einen Adapter schreiben.
Er ist. Es scheint, dass die Community es geschafft hat, aber als ich die vorherige Frage beantwortete, wollte ich es selbst spüren.
* Nein, was die Visualisierung angeht, das gibt es.
Sie sagen, dass es so etwas gibt, und es wird ein Diagramm für Sie zeichnen. Ich habe ein Datenvisualisierungsbuch geöffnet. Und ich dachte: „Versuchen wir, diese Daten zu visualisieren.“ Ich werde es selbst schreiben, damit er die Daten neu aufbauen kann.“ Und ich begann, die Technologie des Datenfeeds besser zu verstehen. Und wenn ich eine vorgefertigte Komponente genommen hätte, hätte ich persönlich gelernt, wie man sie schlechter nutzt, nämlich die Visualisierung. Aber so – ja, ich mochte R, aber ich habe das Buch „R für Dummies“ noch nicht gelesen.
Vielen Dank!
Einfache Frage. Gibt es Möglichkeiten, eine Platte oder ein Diagramm schnell zu entladen?
Kann als CSV oder Excel hochgeladen werden.
Keine Daten, sondern eine vorgefertigte Tabelle, ein vorgefertigtes Diagramm? Zum Beispiel, um es den Behörden zu zeigen.
Es gibt eine Schaltfläche „Hochladen“ und eine Schaltfläche „Diagramm in PNG, in JPG hochladen“.
Vielen Dank!
Installationsanleitung für PS Mini Tabix
- Herunterladen
- Auspacken, Verzeichnis kopieren
buildim Nginx-Root_Pfad - Nginx einrichten
Source: habr.com