ClickHouse هو تحليل بيانات سريع ومرئي بصري في Tabix. إيغور ستريهار

أقترح أن تتعرف على نص تقرير 2017 الذي أعده إيغور ستريكار "ClickHouse - تحليل البيانات المرئية والسريع بصريًا في Tabix".

واجهة الويب لـ ClickHouse في مشروع Tabix.
الميزات الرئيسية:

  • يعمل مع ClickHouse مباشرة من المتصفح ، دون الحاجة إلى تثبيت برامج إضافية ؛
  • محرر الاستعلام مع تمييز بناء الجملة ؛
  • إكمال القيادة
  • أدوات للتحليل الرسومي لتنفيذ الاستعلام ؛
  • مخططات الألوان للاختيار من بينها.
    ClickHouse هو تحليل بيانات سريع ومرئي بصري في Tabix. إيغور ستريهار


ClickHouse هو تحليل بيانات سريع ومرئي بصري في Tabix. إيغور ستريهار

أنا المدير الفني لوسائل الإعلام 2. نحن مجمع أخبار تبادل الأخبار. نقوم بتخزين الكثير من البيانات التي نتلقاها من شركائنا ونسجلها في ClickHouse - حوالي 30 طلب في الثانية.

هذه بيانات مثل:

  • نقرات الأخبار.
  • إظهار الأخبار في المجمع.
  • عرض اللافتات في شبكتنا.
  • ونقوم بتسجيل الأحداث من العداد الخاص بنا ، والذي يشبه Yandex.Metrics. هذه هي التحليلات الدقيقة الخاصة بنا.

ClickHouse هو تحليل بيانات سريع ومرئي بصري في Tabix. إيغور ستريهار

كانت لدينا حياة محمومة للغاية قبل ClickHouse. لقد عانينا كثيرًا ، نحاول تخزين هذه البيانات في مكان ما وتحليلها بطريقة ما.

الحياة قبل ClickHouse - infiniDB

أول شيء كان لدينا هو infiniDB. عاشت معنا لمدة 4 سنوات. أطلقناها بصعوبة.

  • لا يدعم التجميع أو التجزئة. لم تبدأ أي أشياء ذكية من هذا القبيل بشكل افتراضي.
  • تواجه مشكلة في تحميل البيانات. فقط أداة مساعدة محددة لوحدة التحكم يمكنها فقط تحميل ملفات CSV وكانت بطريقة ما غير مفهومة للغاية.
  • قاعدة البيانات مترابطة واحدة. يمكنك إما الكتابة أو القراءة. لكنها سمحت بمعالجة كمية كبيرة من البيانات.
  • ولديها أيضًا عكاز مثير للاهتمام. كل ليلة كان من الضروري إعادة تشغيل الخادم ، وإلا فلن يعمل.

عملت معنا حتى نهاية عام 2016 ، عندما تحولنا تمامًا إلى ClickHouse.

الحياة قبل ClickHouse - كاساندرا

نظرًا لأن infiniDB كان ذو خيوط واحدة ، فقد قررنا أننا بحاجة إلى نوع من قاعدة البيانات متعددة الخيوط التي يمكننا من خلالها كتابة الكثير من سلاسل الرسائل في نفس الوقت.

لقد جربنا أشياء كثيرة مثيرة للاهتمام. ثم قررنا تجربة كاساندرا. كل شيء كان رائعا مع كاساندرا. 10 طلب في الثانية لكل رهان. 000 طلب في مكان ما للقراءة.

لكن كان لديها أيضًا اهتماماتها الخاصة. مرة في الشهر أو كل شهرين ، كانت قاعدة بياناتها غير متزامنة. وكان علي أن أستيقظ وأركض لإصلاح كاساندرا. أعد تشغيل الخوادم واحدة تلو الأخرى. وأصبح كل شيء سلسًا وجميلًا.

الحياة قبل ClickHouse - الكاهن

ثم أدركنا أننا بحاجة إلى كتابة المزيد من البيانات. في عام 2016 بدأنا بمشاهدة الكاهن.

Druid هو قاعدة مفتوحة مكتوبة بلغة جافا. خاص جدا. وكان مناسبًا لتيار النقر عندما نحتاج إلى تخزين نوع من تدفق الأحداث ثم تجميعها أو إعداد تقارير تحليلية.

كان الكاهن الإصدار 0.9.X.

من الصعب جدًا نشر قاعدة البيانات نفسها. هذا هو مدى تعقيد البنية التحتية. لنشره ، كان من الضروري وضع الكثير من الحديد. وكان كل حديد مسؤولاً عن دوره المنفصل.

لتحميل البيانات فيه ، كان من الضروري تطبيق نوع من الشامانية. هناك مشروع مفتوح المصدر - Tranquility ، فقد بيانات منا في الدفق. عندما قمنا بتحميل البيانات فيه ، فقدها.

لكن بطريقة ما بدأنا في تنفيذه. نحن ، مثل القنافذ التي تحقن نفسها ، لكنها استمرت في أكل الصبار ، بدأنا في تقديمها. استغرق الأمر منا حوالي شهر لإعداد البنية التحتية بالكامل لها. وهذا يعني ، طلب الخوادم ، وإعداد الأدوار ، وأتمتة النشر بالكامل. أي في حالة سقوط الكتلة ، بحيث يتم نشر الكتلة الثانية تلقائيًا.

ClickHouse هو تحليل بيانات سريع ومرئي بصري في Tabix. إيغور ستريهار

ولكن بعد ذلك حدثت معجزة. كنت في إجازة وأرسل لي زملائي رابطًا إلى هابر، والذي يشير إلى أن Yandex قررت فتح ClickHouse. أقول لنحاول.

وفي غضون يومين حرفيًا ، قمنا بنشر مجموعة اختبار ClickHouse. بدأنا في تحميل البيانات فيه. مقارنةً بـ infiniDB ، هذا أساسي ؛ مقارنةً بـ Druid ، هذا أساسي. بالمقارنة مع كاساندرا ، فهي أيضًا أولية. لأنه إذا قمت بتحميل البيانات من php إلى Cassandra ، فهذا ليس أوليًا.

ClickHouse هو تحليل بيانات سريع ومرئي بصري في Tabix. إيغور ستريهار

ماذا حصلنا؟ أداء في السرعة. الأداء في تخزين البيانات. وهذا يعني أنه يتم استخدام مساحة أقل بكثير على القرص. ClickHouse سريع ، إنه سريع جدًا مقارنة بالمنتجات الأخرى.

ClickHouse هو تحليل بيانات سريع ومرئي بصري في Tabix. إيغور ستريهار

في وقت الإطلاق ، عندما نشر Yandex ClickHouse في OpenSource ، لم يكن هناك سوى عميل وحدة تحكم. قررنا في شركتنا SMI2 محاولة إنشاء عميل أصلي للويب ، بحيث يمكنك فتح صفحة من متصفح ، وكتابة طلب والحصول على النتيجة ، لأننا بدأنا في كتابة الكثير من الطلبات. الكتابة إلى وحدة التحكم صعبة. وقمنا بعمل نسختنا الأولى.

ClickHouse هو تحليل بيانات سريع ومرئي بصري في Tabix. إيغور ستريهار

وفي مكان ما أقرب إلى شتاء العام الماضي ، بدأت تظهر أدوات الجهات الخارجية للعمل مع ClickHouse. هذه أدوات مثل:

سأراجع بعض هذه الأدوات ، أي تلك التي عملت معها.

ClickHouse هو تحليل بيانات سريع ومرئي بصري في Tabix. إيغور ستريهار

أداة جيدة ، ولكن للكاهن. عندما تم تقديم Druid ، شعرت SuperSet. أنا معجب به. بالنسبة إلى الكاهن ، فهو يعمل بسرعة كبيرة.

إنه غير مناسب لـ ClickHouse. أي أنه مناسب ، يبدأ ، لكنه جاهز لمعالجة الاستعلامات الأولية فقط من النوع: SELECT event، GROUP BY event. لا يدعم بناء جملة ClickHouse الأكثر تعقيدًا.

ClickHouse هو تحليل بيانات سريع ومرئي بصري في Tabix. إيغور ستريهار

الأداة التالية هي Apache Zeppelin. هذا شيء جيد ومثير للاهتمام. يعمل. وهو يدعم أجهزة الكمبيوتر المحمولة ولوحات المعلومات ويدعم المتغيرات. أعرف أن شخصًا ما من مجتمع ClickHouse يستخدمه.

ولكن لا يوجد دعم لبناء جملة ClickHouse ، أي أنه سيتعين عليك كتابة استفسارات إما في وحدة التحكم أو في أي مكان آخر. بعد ذلك ، تحقق من أن كل شيء يعمل. إنه أمر غير مريح. لكنه يتمتع بدعم جيد للوحة القيادة.

ClickHouse هو تحليل بيانات سريع ومرئي بصري في Tabix. إيغور ستريهار

الأداة التالية هي Redash.IO. Redash مستضاف على الإنترنت. أي ، على عكس الأدوات السابقة ، لا تحتاج إلى التثبيت. وهذه لوحة معلومات لها القدرة على دمج البيانات من مصادر بيانات مختلفة. أي أنه يمكنك التحميل من ClickHouse و MySQL و PostgreSQL ومن قواعد البيانات الأخرى.

ClickHouse هو تحليل بيانات سريع ومرئي بصري في Tabix. إيغور ستريهار

قبل شهر واحد فقط (في مارس 2017) ظهر الدعم في غرافانا. عند إنشاء تقارير في Grafana ، على سبيل المثال ، وفقًا لحالة أجهزتك أو وفقًا لبعض المقاييس ، يمكنك الآن إنشاء نفس الرسم البياني أو نوع من اللوحات من البيانات من ClickHouse مباشرةً. إنه مريح للغاية ، ونستخدمه في المنزل. هذا يسمح لك بالعثور على الحالات الشاذة. بمعنى ، إذا حدث شيء ما وسقطت بعض الأجهزة أو تعرضت للإجهاد ، فيمكنك معرفة السبب إذا كانت هذه البيانات قد تمكنت من الوصول إلى ClickHouse.

ClickHouse هو تحليل بيانات سريع ومرئي بصري في Tabix. إيغور ستريهار

كان من غير المريح بالنسبة لي أن أكتب في هذه الأدوات أو في وحدة التحكم. وقررت إنهاء واجهتنا الأولى. وقد تجسست الفكرة من EventSQL و SeperSet و Zeppelin.

ClickHouse هو تحليل بيانات سريع ومرئي بصري في Tabix. إيغور ستريهار

ماذا أردت؟ كنت أرغب في الحصول على رسومات ومحرر محسّن وتنفيذ دعم لقواميس التلميح. لأن ClickHouse لديها ميزة رائعة - إنها قواميس. لكن من الصعب العمل مع القواميس ، لأنك تحتاج إلى تذكر تنسيق القيم المخزنة ، أي هل هو رقم أم سلسلة ، وما إلى ذلك. وبما أننا نستخدم القواميس في أشكالها المختلفة في كثير من الأحيان ، فقد كان من الصعب جدًا كتابة استعلامات.

ClickHouse هو تحليل بيانات سريع ومرئي بصري في Tabix. إيغور ستريهار

لقد مرت 3 أشهر منذ إطلاق نسختنا الأولى. لقد قدمت حوالي 330 التزاما لفرع مغلق وحصلت على Tabix.

على عكس الإصدار السابق ، والذي كان يسمى ClickHouse-Frontend ، قررت إعادة تسميته باسم بسيط. واتضح أن Tabix.

ماذا ظهر؟

يرسم الرسومات. يدعم بناء جملة SQL ClickHouse. يتحدث عن الوظائف ويعرف كيف يفعل الكثير من الأشياء الشيقة.

ClickHouse هو تحليل بيانات سريع ومرئي بصري في Tabix. إيغور ستريهار

هكذا يبدو التخطيط العام لـ Tabix. على اليسار شجرة. في المركز محرر الاستعلام. وأدناه نتيجة هذا الاستعلام.

ClickHouse هو تحليل بيانات سريع ومرئي بصري في Tabix. إيغور ستريهار

بعد ذلك ، سأوضح كيف يعمل محرر الاستعلام.

ClickHouse هو تحليل بيانات سريع ومرئي بصري في Tabix. إيغور ستريهار

هنا ، يعمل الإكمال التلقائي تلقائيًا على الجدول ويطالب ، على التوالي ، بالإكمال التلقائي حسب الحقول. وميزة تلميحات. إذا قمت بالضغط على ctrl enter ، فسيتم تنفيذ الطلب أو سيفشل مع وجود خطأ. يتم إرسال أبسط طلب إلى Tabix ويتم الحصول على النتيجة ، أي يمكنك العمل بسرعة مع ClickHouse.

ClickHouse هو تحليل بيانات سريع ومرئي بصري في Tabix. إيغور ستريهار

القواميس ، كما قلت ، شيء مثير للاهتمام للغاية نعمل معه كثيرًا. مما سمح بعمل أشياء كثيرة. لنفترض أننا نقوم بتخزين كل المدن في قواميس. نقوم بتخزين معرف المدينة واسم المدينة وخط العرض وخط الطول. وفي قاعدة البيانات نقوم بتخزين معرف المدينة فقط. وفقًا لذلك ، نقوم بضغط البيانات بقوة شديدة.

ClickHouse هو تحليل بيانات سريع ومرئي بصري في Tabix. إيغور ستريهار

يبدو هذا شيئًا بسيطًا ، لكنه في ClickHouse يساعد بطريقة ممتعة للغاية. نظرًا لحقيقة أن ClickHouse يدعم فقط الصلات المتداخلة ، فإن الاستعلام ينمو ويصبح عريضًا بدرجة كافية. وعندما يفتح الأقواس ويذهب بعض التعبيرات الطويلة ، فإن شيئًا بسيطًا إلى حد ما مثل طي الاستعلام يجعل من السهل التعامل مع الاستعلام نفسه. لأنه عندما يكون الطلب بعرض 200-300 سطر ويكون ضخمًا جدًا ، فإنه يوفر الكثير عن طريق طي الطلب ثم إيجاد مكان ما أو تعريبه بطريقة ما.

شجرة الكائنات وعلامات التبويب المتعددة وعلامات التبويب (فيديو ١٣:٤٦ https://youtu.be/w1-XsL3nbRg?t=826)

ClickHouse هو تحليل بيانات سريع ومرئي بصري في Tabix. إيغور ستريهار

بعد ذلك سأريك عن الشجرة ، علامات التبويب. على اليسار شجرة ، يمكنك في الأعلى إنشاء عدة علامات تبويب. علامات التبويب مثل مساحة العمل. يمكنك إنشاء عدة علامات تبويب وتسمية كل علامة بشكل مختلف. إنه مثل نظام مصغر لبناء تقرير.

يتم حفظ علامات التبويب تلقائيًا. إذا أعدت تشغيل المتصفح ، أو أغلقت Tabix أو فتحته ، فسيتم حفظه جميعًا.

مفتاح التشغيل السريع مناسب (فيديو 14:39 https://youtu.be/w1-XsL3nbRg?t=879)

هناك مفاتيح اختصار وهناك الكثير منها. لقد قمت بتضمين بعضها هنا كمثال. هذا هو مفتاح تبويب أو تنفيذ طلب أو تنفيذ طلبات متعددة.

ClickHouse هو تحليل بيانات سريع ومرئي بصري في Tabix. إيغور ستريهار

سأوضح لك كيفية التعامل مع النتيجة. نرسل طلب. هنا أرسم الخطيئة وجيب التمام و tg. يمكنك تمييز النتيجة ، أي رسم خريطة نموذجية للعمود. يمكنك تمييز القيم الموجبة أو السلبية. أو قم فقط بتلوين بعض العناصر المحددة في الجدول. يكون هذا مناسبًا عندما تكون الطاولة ضخمة وتحتاج إلى العثور على نوع من الشذوذ بعينيك. عندما كنت أبحث عن شذوذ ، سلطت الضوء على بعض الخطوط ، وبعض العناصر باللون الأخضر أو ​​الأحمر.

ClickHouse هو تحليل بيانات سريع ومرئي بصري في Tabix. إيغور ستريهار

هناك أشياء كثيرة مثيرة للاهتمام. على سبيل المثال ، كيفية النسخ في Redmine Markdown. إذا كنت بحاجة إلى نسخ النتيجة في مكان ما ، فهي مريحة للغاية. يمكنك فقط تحديد منطقة ، قل "نسخ إلى Redmine" وسيتم نسخها إلى Redmine Markdown أو إنشاء استعلام Where.

ClickHouse هو تحليل بيانات سريع ومرئي بصري في Tabix. إيغور ستريهار

التالي هو الاستعلام الأمثل. لقد نسيت ذات مرة تحديد حقل "التاريخ". ولم تتم معالجة طلبي في ClickHouse بسرعة كبيرة جدًا ، ولكن بسرعة ، أي أقل من ثانية. عندما رأيت عدد الخطوط التي مر بها ، شعرت بالخوف. لا نكتب الكثير من الصفوف في هذا الجدول في اليوم. بدأت في تحليل الطلب ورأيت أنه فاتني موعد في مكان واحد. أي أنني نسيت أن أشير إلى أنني لست بحاجة إلى بيانات للجدول بأكمله ، ولكن لفترة محددة.

يحتوي Tabix على علامة تبويب "الإحصائيات" ، والتي تخزن السجل الكامل للطلبات المرسلة ، أي يمكنك مشاهدة عدد الصفوف التي تمت قراءتها بواسطة هذا الطلب والمدة التي استغرقتها للتشغيل. هذا يسمح بالتحسين.

يمكنك بناء جدول محوري فوق نتيجة الاستعلام. لقد أرسلت طلبًا إلى ClickHouse وتلقيت بعض البيانات. وبعد ذلك يمكن سحب هذه البيانات بالماوس وبناء نوع من الجدول المحوري.

ClickHouse هو تحليل بيانات سريع ومرئي بصري في Tabix. إيغور ستريهار

الشيء التالي المثير للاهتمام هو الرسم البياني. لنفترض أن لدينا الطلب التالي: للخطيئة ، جيب التمام من 0 إلى 299. ولرسمه ، تحتاج إلى تحديد علامة التبويب "رسم" وستحصل على رسم بياني بالخطيئة وجيب التمام.

ClickHouse هو تحليل بيانات سريع ومرئي بصري في Tabix. إيغور ستريهار

يمكنك تقسيمها إلى محاور مختلفة ، أي يمكنك رسم رسمين بيانيين في وقت واحد جنبًا إلى جنب. اكتب أمرًا واحدًا وأمرًا ثانيًا.

ClickHouse هو تحليل بيانات سريع ومرئي بصري في Tabix. إيغور ستريهار

يمكنك رسم الرسوم البيانية.

ClickHouse هو تحليل بيانات سريع ومرئي بصري في Tabix. إيغور ستريهار

يمكنك تقسيمها إلى مصفوفة من الرسوم البيانية.

ClickHouse هو تحليل بيانات سريع ومرئي بصري في Tabix. إيغور ستريهار

يمكنك بناء خريطة حرارية.

ClickHouse هو تحليل بيانات سريع ومرئي بصري في Tabix. إيغور ستريهار

يمكنك بناء تقويم حراري. بالمناسبة ، شيء مفيد للغاية عندما تحتاج إلى تحليل الحالات الشاذة لمدة عام ، أي العثور على رشقات نارية أو قطرات. ساعدني تصور البيانات هذا في هذا.

ClickHouse هو تحليل بيانات سريع ومرئي بصري في Tabix. إيغور ستريهار

التالي هو Treemap.

ClickHouse هو تحليل بيانات سريع ومرئي بصري في Tabix. إيغور ستريهار

ClickHouse هو تحليل بيانات سريع ومرئي بصري في Tabix. إيغور ستريهار

Sankeys هو مخطط مثير للاهتمام. هو إما Streamgrahps أو River. لكنني أسميها نهر. كما يسمح لك بالبحث عن أي حالات شاذة. إنه مريح للغاية. أوصي باستخدامه للبحث.

ClickHouse هو تحليل بيانات سريع ومرئي بصري في Tabix. إيغور ستريهار

الشيء التالي المثير للاهتمام هو عرض الخريطة الديناميكية. إذا كان لديك خطوط الطول والعرض مخزنة في قاعدة البيانات الخاصة بك ، وعلى سبيل المثال ، يتم تخزين موعد ، إذا كان لديك ، على سبيل المثال ، النقل بالشاحنات أو الطائرات ، فيمكنك رسم مسارات الوجهة. هناك أيضًا يمكنك ضبط السرعة وحجم هذه الأشياء التي تصل إليها.

لكن مشكلة هذه الخريطة هي أنها ترسم فقط خريطة للعالم ، ولا يوجد بها تفاصيل.

ClickHouse هو تحليل بيانات سريع ومرئي بصري في Tabix. إيغور ستريهار

في وقت لاحق أضفت خريطة جوجل. إذا قمت بتخزين خطوط الطول والعرض ، فيمكنك رسم النتيجة على خريطة Google ، ولكن بدون دعم الطائرة.

ناقشنا الوظائف الرئيسية للعمل مع النتيجة ، مع استعلام في Tabix.

ClickHouse هو تحليل بيانات سريع ومرئي بصري في Tabix. إيغور ستريهار

التالي هو تحليل خادم ClickHouse الخاص بك. هناك علامة تبويب "مقاييس" منفصلة حيث يمكنك رؤية حجم البيانات المخزنة لكل عمود. تُظهر لقطة الشاشة أن حقل "المُحيل" هذا يحتل شيئًا في حدود 730 جيجا بايت. إذا رفضنا هذا الحقل ، فسنوفر ثلاث قطع بحجم 700 جيجابايت ، أي حوالي 2 تيرابايت ، وهو ما لا نحتاجه.

لدينا أيضًا حقل "request_id" نقوم بتخزينه في سلسلة. ولكن إذا بدأنا في تخزينه في شكل رقمي ، فسيتم ضغط هذا الحقل بشكل هائل.

كما يعرض أيضًا تكوين الخادم وقائمة العقد في المجموعة الخاصة بك.

ClickHouse هو تحليل بيانات سريع ومرئي بصري في Tabix. إيغور ستريهار

علامة التبويب التالية هي المقاييس. إنهم يدخلون في الوقت الفعلي من ClickHouse ويسمحون لك ببساطة بتحليل حالة الخادم وفهم ما يحدث له. هذا ليس بديلاً عن Grafana الكامل. هذا ضروري من أجل التحليل السريع.

ClickHouse هو تحليل بيانات سريع ومرئي بصري في Tabix. إيغور ستريهار

علامة التبويب التالية هي العمليات. من بينها يمكنك فهم ما يحدث على الخادم. افهم ما يحدث هناك. كان لدي استعلام يستغرق 200 غيغابايت لقراءته في كل مرة. رأيته بفضل هذه الواجهة. قبضت عليه وصححه. واتضح حوالي 30 جيجا بايت ، أي الأداء في بعض الأحيان.

ClickHouse هو تحليل بيانات سريع ومرئي بصري في Tabix. إيغور ستريهار

شكرًا لك! وهو في OpenSource

انا انتهيت. وبالمناسبة ، فهو في OpenSource ، إنه مجاني ولا يتعين عليك حتى تنزيله. افتح في متصفح وسيعمل كل شيء.

الأسئلة

ايغور ، ماذا بعد؟ أين ستطور هذه الأداة؟

ستظهر لوحة القيادة بعد ذلك ، أي ربما ستظهر لوحة القيادة. التكامل مع قواعد البيانات الأخرى. لقد قمت بهذا ، لكن لم أنشره بعد إلى OpenSource. إنها MySQL وربما PostgreSQL. وهذا يعني أنه سيكون من الممكن إرسال الطلبات من Tabix ليس فقط إلى ClickHouse ، ولكن أيضًا إلى أدوات أخرى.

من الواضح أنه تم إنجاز قدر هائل من العمل. اتضح أنها فكرة كاملة. في المتصفح ، تم ذلك ، على ما يبدو ، من أجل استبعاد العكازات على أي محاور ورمي كل شيء بسرعة. سمعت أنك كذلك فب العمل ، لذا فإن أسهل طريقة هي استخدام المتصفح وسيعمل في كل مكان. لا توجد أسئلة لهذا. السؤال هو. لقد تم فعل الكثير هناك بالفعل. كم عدد الأشخاص الذين عملوا عليها؟ وكم من الوقت استغرق كل هذا؟ لأن الأدوات الخاصة بهم عادة لا تحتوي على مثل هذه الوظائف الرائعة.

عمل شخص واحد من فريقنا من الصيف إلى الخريف. كانت هذه هي النسخة الأولى. ثم فعلت 330 التزامًا بمفردي. ما تراه أنا وزميلي فعلناه في النصف. لمدة 3 أشهر من الإصدار الأول إلى الإصدار الأخير ، قمت بذلك بمفردي في معظم الأحيان. لكني لا أعرف جافا سكريبت جيدًا. كان هذا مشروعي الوحيد والجافا سكريبت الأخير الذي عملت فيه على أمل. فهمت ، نظرت - أوه ، رعب. لكنني أردت حقًا إنهاء المنتج وهذا ما حدث.

شكرا جزيلا للتقرير! هذه أداة عظيمة. مع التابلوه لوحة حية مقارنة؟

شكرًا لك. لهذا أطلق عليها Tabix ، لأن الأحرف الأولى هي نفسها.

لأنك تنافس؟

سيكون هناك الكثير من الاستثمار ، وسوف نتنافس.

كيف تعرض للبيع للمحللين الداخليين ما ستحل محله هذه الأداة بالكامل * تابلوه *؟ ماذا ستكون الحجج؟

يعمل أصلاً مع ClickHouse. لقد جربت Tableau ، لكن لا يمكنك كتابة دعم للقواميس وما شابه ذلك هناك. أعرف كيف يعمل الناس مع Tabix. يكتبون طلبًا ، ويحملونه إلى CSV ويحملونه إلى BI. وهم يفعلون شيئًا بالفعل. لكني بالكاد أستطيع أن أتخيل كيف يفعلون ذلك ، لأنها أداة رسومية. يمكنه تحميل 5 سطر ، 000 سطر كحد أقصى ، ولكن ليس أكثر ، وإلا فلن يستمر المتصفح.

أي أن هناك بعض القيود الجدية على كمية البيانات ، أليس كذلك؟

نعم. لا أستطيع أن أتخيل أنك تريد تحميل 10 صف إلى الجدول الخاص بك على شاشة المتصفح. لماذا؟

هل من المفترض أن تكون واجهة لعرض سريع للبيانات؟ برم قليلا ، تويست؟

نعم ، انظر بسرعة إلى كيفية عملها وقم فقط ببناء مخطط ملخص. ثم تعطي في مكان ما. لدينا نظام الإبلاغ الخاص بنا ، حيث أتلقى هذا الطلب للتو. أرسم في Tabix وأرسله إلى تقاريرنا.

وسؤال آخر. تحليل الجماعة؟

إذا كانت هناك طلبات ، فسنضيف.

عندما بدأت في استخدام ClickHouse ، كم من الوقت استغرق تنفيذه كليكهاوس وجلبه إلى دول الإنتاج؟

كما قلت ، قمنا بتنفيذ مجموعة اختبار في وقت قصير جدًا. فكناها في يومين. واختبرناها لبضعة أسابيع أخرى. ووصلنا إلى الإنتاج في 3 أشهر ، لكن كان لدينا ETL الخاص بنا ، أي أداة لتسجيل البيانات. وكتب لنا في كل ما هو ممكن. يمكنه الكتابة بلغات MongoDB و Cassandra و MySQL. كان من السهل تعليمه كيفية الكتابة في ClickHouse. كان لدينا بنية تحتية جاهزة للتنفيذ السريع. لمدة 3 أشهر بدأنا في التخلص من المكون الأول. لمدة 6 أشهر ، تخلينا تمامًا عن كل شيء آخر. لدينا ClickHouse واحد متبقي.

إيغور ، شكراً جزيلاً لك على التقرير. لقد أحببت حقًا وظيفة بناء المسارات على الخرائط. هل تخطط للتكامل مع Yandex.Maps ، وعلى وجه الخصوص ، مع خرائط Yandex.Maps المخصصة؟

حاولت الدمج بدلاً من خريطة Google ، لكنني لم أجد سمة داكنة على Yandex.Maps. تركت قطعة واحدة. سأعيد الترجيع للإضافة.

Slide - خريطة جوجل. هنا يوجد أمر "DRAW_GMAPS" يرسم خريطة. هناك أمر "DRAW_YMAPS" ، أي يمكنه رسم خريطة Yandex.Map. ولكن في الواقع ، تحت هذا الأمر ، يوجد Javascript ، أي أن البيانات التي تحصل عليها من ClickHouse يمكن نقلها إلى Javascript ، والتي تكتبها هنا. ولديك منطقة إخراج حيث يجب رسمها. يمكنك رسم أي مخطط ، أي مخطط ، خريطة ، يمكنك رسم المكون الخاص بك. قبل ذلك ، كان لدي مكتبة أخرى لرسم الرسوم البيانية بأنفسهم.

أي ، هل هناك أداة لتخصيص وظيفة العرض؟

أي. يمكنك أخذ وإعادة تلوين هذه النقاط ، مما يجعلها ليست حمراء ، بل زرقاء وخضراء.

شكرا على التقرير! كان لديك شريحة تعرض أدوات الاستعلام البديلة كليكهاوس لبناء لوحات المعلومات والتقارير التحليلية. أتفهم ذلك في اللحظة التي بدأت فيها العمل مع ClickHouse ، لم تتم كتابة أي محولات لهذه الأدوات. وأتساءل لماذا قررت صنع أداتك الخاصة ، بدلاً من كتابة محول لبعض الأدوات الجاهزة؟ أعتقد أن التغيير والتبديل في محرر الاختبار سريع. لماذا اخترت القيام بالكثير من العمل؟

هناك لحظة مثيرة للاهتمام - الحقيقة أنني مدير تقني ولست عالم بيانات. بحلول الوقت الذي بدأنا فيه تطبيق Druid ، كان لدي حوالي 50٪ من المهام في خريطة الطريق - دعنا نحسب هذا ، أو لنحسب هذا ، أو نحلل ذلك. واتضح أننا قمنا بتنفيذ ClickHouse. وبدأ في بناء كل شيء بسرعة ، عد ، وسرعان ما أغلق خريطة الطريق الخاصة به. وبحلول ذلك الوقت ، أدركت أنني أفتقر إلى المعرفة بعلوم البيانات ، وتصور البيانات. Tabix هو نوع من واجبي المنزلي لتعلم تصور البيانات. كنت أبحث في كيفية استكمال زيبلين. لدي كراهية طفيفة لبرمجته. نظرت في كيفية إضافة Redash ، لكن المحرر العادي كان كافياً بالنسبة لي. و SuperSet مكتوب أيضًا بلغة لا أحبها حقًا. ولذا قررت أن أركب الدراجة ، وهذا ما حدث.

إيغور ، هل تقبل طلبات السحب؟

نعم.

شكرا جزيلا للتقرير! وسؤالين. أولاً ، أنت لا تشعر بالإطراء الشديد حيال ذلك جافا سكريبت. هل كتبت بجافا سكريبت خالص أم أنها نوع من الإطار؟ *

أفضل على جافا سكريبت.

إذن ما هو الإطار؟

الزاوي.

انها واضحة. والسؤال الثاني. هل فكرت R и *لامع**?*

يعتبر. لعب.

يمكنك أيضًا كتابة محول.

هو. يبدو أن المجتمع نجح في ذلك ، لكن عندما أجبت على السؤال السابق ، أردت أن أشعر به بنفسي.

* لا ، بخصوص التصور ، هناك.

أنت تقول أن هناك شيئًا من هذا القبيل وسوف يرسم لك رسمًا بيانيًا. فتحت كتاب تصور البيانات. وفكرت: "دعونا نحاول تصور هذه البيانات. سأكتبها بنفسي حتى يتمكن من إعادة بناء البيانات ". وبدأت أفهم بشكل أفضل تقنية تغذية البيانات. وإذا أخذت مكونًا جاهزًا ، فقد تعلمت شخصيًا كيفية استخدامه بشكل أسوأ ، أي التخيل. لكن ذلك - نعم ، لقد أحببت R ، لكني لم أقرأ كتاب "R for Dummies" بعد.

شكرا لك!

سؤال بسيط. هل هناك أي طرق لتفريغ لوحة أو رسم بياني بسرعة؟

يمكن تحميلها إلى CSV ، إلى Excel.

ليست بيانات ، بل جدول جاهز ، رسم بياني جاهز؟ على سبيل المثال ، لإظهار السلطات.

يوجد زر "تحميل" ويوجد زر "تحميل الرسم البياني بتنسيق png و jpg".

شكرا لك!

تعليمات تثبيت PS Mini tabix

  • تحميل أحدث إصدار
  • فك ونسخ الدليل build في nginx root_path
  • قم بإعداد nginx

المصدر: www.habr.com

إضافة تعليق