ClickHouse - Tabix এ দৃশ্যত দ্রুত এবং স্বজ্ঞাত ডেটা বিশ্লেষণ। ইগর স্ট্রিহার

আমি আপনাকে ইগর স্ট্রাইহার "ক্লিকহাউস - ট্যাবিক্সে দৃশ্যত দ্রুত এবং পরিষ্কার ডেটা বিশ্লেষণ" এর 2017 সালের প্রতিবেদনের প্রতিলিপি পড়ার পরামর্শ দিচ্ছি।

ট্যাবিক্স প্রকল্পে ক্লিকহাউসের জন্য ওয়েব ইন্টারফেস।
মূল বৈশিষ্ট্য:

• অতিরিক্ত সফ্টওয়্যার ইনস্টল করার প্রয়োজন ছাড়াই সরাসরি ব্রাউজার থেকে ClickHouse এর সাথে কাজ করে;
• সিনট্যাক্স হাইলাইটিং সহ ক্যোয়ারী সম্পাদক;
• কমান্ডের স্বয়ংসম্পূর্ণতা;
• ক্যোয়ারী সম্পাদনের গ্রাফিকাল বিশ্লেষণের জন্য সরঞ্জাম;
• রং স্কিম থেকে চয়ন করুন.
  

আমি SMI2 এর প্রযুক্তিগত পরিচালক। আমরা একটি নিউজ এক্সচেঞ্জ নিউজ এগ্রিগেটর। আমরা আমাদের অংশীদারদের কাছ থেকে প্রাপ্ত প্রচুর ডেটা সঞ্চয় করি এবং ক্লিকহাউসে নিবন্ধন করি - প্রতি সেকেন্ডে প্রায় 30 অনুরোধ৷

এটি যেমন ডেটা:

• খবরে ক্লিক করে।
• এগ্রিগেটরে সংবাদ প্রদর্শন করে।
• ব্যানার আমাদের নেটওয়ার্কে প্রদর্শন করে।
• এবং আমরা আমাদের নিজস্ব কাউন্টার থেকে ইভেন্টগুলি নিবন্ধন করি, যা Yandex.Metrica এর অনুরূপ। এটি আমাদের নিজস্ব মাইক্রো-বিশ্লেষণ।

ক্লিকহাউসের আগে আমাদের খুব ব্যস্ত জীবন ছিল। আমরা অনেক কষ্ট পেয়েছি, এই ডেটা কোথাও সংরক্ষণ করার চেষ্টা করছি এবং কোনো না কোনোভাবে এটি বিশ্লেষণ করছি।

ক্লিকহাউসের আগে জীবন – infiniDB

আমাদের কাছে প্রথম জিনিসটি ছিল infiniDB। তিনি 4 বছর ধরে আমাদের সাথে বসবাস করেছিলেন। আমরা কষ্ট করে এটি চালু করেছি।

• এটি ক্লাস্টারিং বা শার্ডিং সমর্থন করে না। ডিফল্টরূপে বাক্সের বাইরে এমন কোনও স্মার্ট জিনিস আসেনি।
• তার ডেটা লোড করতে অসুবিধা হয়৷ শুধুমাত্র একটি নির্দিষ্ট কনসোল ইউটিলিটি যা শুধুমাত্র CSV ফাইল লোড করতে পারে এবং শুধুমাত্র কিছু খুব অস্পষ্ট উপায়ে।
• ডাটাবেস একক-থ্রেডেড। আপনি লিখতে বা পড়তে পারেন। কিন্তু এটি বিপুল পরিমাণ ডেটা প্রক্রিয়া করা সম্ভব করেছে।
• এবং তিনি একটি আকর্ষণীয় ক্রাচ ছিল. প্রতি রাতে সার্ভারটি রিবুট করতে হয়েছিল, অন্যথায় এটি কাজ করবে না।

তিনি 2016 এর শেষ অবধি আমাদের জন্য কাজ করেছিলেন, যখন আমরা সম্পূর্ণরূপে ক্লিকহাউসে স্যুইচ করেছি।

ক্লিকহাউসের আগে জীবন - ক্যাসান্দ্রা

যেহেতু infiniDB একক-থ্রেডেড ছিল, তাই আমরা সিদ্ধান্ত নিয়েছি যে আমাদের এমন কিছু মাল্টি-থ্রেডেড ডাটাবেস দরকার যেখানে আমরা একই সময়ে অনেকগুলি থ্রেড লিখতে পারি।

আমরা অনেক আকর্ষণীয় জিনিস চেষ্টা করেছি। তারপরে আমরা ক্যাসান্দ্রা চেষ্টা করার সিদ্ধান্ত নিয়েছি। ক্যাসান্দ্রার সাথে সবকিছু দুর্দান্ত ছিল। প্রতি বিড প্রতি সেকেন্ডে 10 অনুরোধ। পড়ার জন্য কোথাও 000 অনুরোধ।

কিন্তু তারও নিজের স্বার্থ ছিল। মাসে একবার বা প্রতি দুই মাসে একবার তিনি একটি ডাটাবেস ডিসিঙ্ক্রোনাইজেশনের অভিজ্ঞতা লাভ করেন। এবং আমাকে জেগে উঠতে হয়েছিল এবং ক্যাসান্দ্রাকে ঠিক করতে দৌড়াতে হয়েছিল। সার্ভারগুলি একে একে পুনরায় চালু করা হয়েছিল। এবং সবকিছু মসৃণ এবং সুন্দর হয়ে ওঠে।

ক্লিকহাউসের আগে জীবন - ড্রুড

তারপর আমরা বুঝতে পেরেছিলাম যে আমাদের আরও বেশি ডেটা লিখতে হবে। 2016 সালে আমরা ড্রুড দেখা শুরু করি।

Druid হল জাভাতে লেখা একটি ওপেন সোর্স সফটওয়্যার। খুব নির্দিষ্ট. এবং এটি ক্লিকস্ট্রিমের জন্য উপযুক্ত ছিল, যখন আমাদের কিছু ধরণের ইভেন্টের স্ট্রিম সংরক্ষণ করতে হবে এবং তারপরে সেগুলিকে একত্রিত করতে হবে বা বিশ্লেষণাত্মক প্রতিবেদন তৈরি করতে হবে।

ড্রুইডের 0.9.X সংস্করণ ছিল।

ডাটাবেস নিজেই স্থাপন করা খুব কঠিন। এটি পরিকাঠামোর জটিলতা। এটি স্থাপন করার জন্য, এটি অনেক, অনেক লোহা ইনস্টল করা প্রয়োজন ছিল। এবং হার্ডওয়্যারের প্রতিটি টুকরো তার নিজস্ব আলাদা ভূমিকার জন্য দায়ী ছিল।

এটিতে ডেটা লোড করার জন্য, কিছু ধরণের শামানিজম ব্যবহার করা প্রয়োজন ছিল। একটি ওপেনসোর্স প্রকল্প আছে - শান্তি, যা একটি প্রবাহে আমাদের থেকে ডেটা হারাচ্ছিল৷ যখন আমরা এতে ডেটা লোড করি, তখন এটি হারিয়ে যায়।

কিন্তু একরকম আমরা তা বাস্তবায়ন শুরু করেছি। আমরা, হেজহগদের মতো যারা মাদক গ্রহণ করে কিন্তু ক্যাকটাস খেতে থাকে, এটি চালু করতে শুরু করি। এর জন্য সমস্ত পরিকাঠামো প্রস্তুত করতে আমাদের প্রায় এক মাস সময় লেগেছে। অর্থাৎ, সার্ভার অর্ডার করুন, ভূমিকা কনফিগার করুন এবং সম্পূর্ণরূপে স্বয়ংক্রিয় স্থাপনা। অর্থাৎ, একটি ক্লাস্টার ব্যর্থতার ক্ষেত্রে, দ্বিতীয় ক্লাস্টারটি স্বয়ংক্রিয়ভাবে স্থাপন করা হবে।

কিন্তু তারপর একটি অলৌকিক ঘটনা ঘটল। আমি ছুটিতে ছিলাম এবং আমার সহকর্মীরা আমাকে একটি লিঙ্ক পাঠিয়েছিল হাবর, যা বলে যে ইয়ানডেক্স ক্লিক হাউস খোলার সিদ্ধান্ত নিয়েছে। আমি বলি এর চেষ্টা করা যাক।

এবং আক্ষরিক অর্থে 2 দিনের মধ্যে আমরা একটি ক্লিকহাউস পরীক্ষা ক্লাস্টার স্থাপন করেছি। আমরা এটিতে ডেটা লোড করা শুরু করেছি। infiniDB-এর তুলনায়, এটি প্রাথমিক; ড্রুডের তুলনায়, এটি প্রাথমিক। ক্যাসান্দ্রার তুলনায়, এটি প্রাথমিকও। কারণ আপনি যদি পিএইচপি থেকে ক্যাসান্দ্রায় ডেটা লোড করেন তবে এটি প্রাথমিক নয়।

আমরা কি পেলাম? গতিতে কর্মক্ষমতা। ডেটা স্টোরেজ কর্মক্ষমতা. অর্থাৎ অনেক কম ডিস্ক স্পেস ব্যবহার করা হয়। ক্লিকহাউস দ্রুত, অন্যান্য পণ্যের তুলনায় এটি খুব দ্রুত।

লঞ্চের সময়, যখন Yandex OpenSource-এ ClickHouse প্রকাশ করেছিল, সেখানে শুধুমাত্র একটি কনসোল ক্লায়েন্ট ছিল। আমরা আমাদের কোম্পানি SMI2 এ ওয়েবের জন্য একটি নেটিভ ক্লায়েন্ট তৈরি করার চেষ্টা করার সিদ্ধান্ত নিয়েছি, যাতে আমরা একটি ব্রাউজার থেকে একটি পৃষ্ঠা খুলতে পারি, একটি অনুরোধ লিখতে পারি এবং ফলাফল পেতে পারি, কারণ আমরা প্রচুর অনুরোধ লিখতে শুরু করেছি। কনসোলে লেখা কঠিন। এবং আমরা আমাদের প্রথম সংস্করণ তৈরি করেছি।

এবং গত বছরের শীতের কাছাকাছি কোথাও, ক্লিকহাউসের সাথে কাজ করার জন্য তৃতীয় পক্ষের সরঞ্জামগুলি উপস্থিত হতে শুরু করে। এই যেমন টুলস:

• Redash.IO.
• অ্যাপাচি জেপেলিন.
• সুপারসেট এয়ারবিএনবি. (এখন https://github.com/apache/incubator-superset)
• জেটব্রেইন আইডিই.
• Vertamedia/clickhouse-grafana.

আমি এই সরঞ্জামগুলির কিছু দেখব, যেগুলি আমি নিয়ে কাজ করেছি।

একটি ভাল টুল, কিন্তু Druid জন্য. যখন ড্রুড প্রয়োগ করা হচ্ছিল, আমি সুপারসেট পরীক্ষা করছিলাম। আমি তাকে পছন্দ করেছিলাম. Druid জন্য এটা খুব দ্রুত.

এটা ClickHouse জন্য উপযুক্ত নয়. অর্থাৎ, এটি মানানসই, এটি শুরু হয়, কিন্তু শুধুমাত্র প্রাথমিক প্রশ্ন যেমন: SELECT ইভেন্ট, GROUP BY ইভেন্ট প্রক্রিয়া করার জন্য প্রস্তুত। এটি আরও জটিল ক্লিকহাউস সিনট্যাক্স সমর্থন করে না।

পরবর্তী টুল Apache Zeppelin. এটি একটি ভাল এবং আকর্ষণীয় জিনিস. কাজ করে। এটি নোটবুক, ড্যাশবোর্ড সমর্থন করে এবং ভেরিয়েবল সমর্থন করে। আমি জানি ClickHouse সম্প্রদায়ের কেউ এটি ব্যবহার করে।

কিন্তু ক্লিকহাউস সিনট্যাক্সের জন্য কোন সমর্থন নেই, অর্থাৎ আপনাকে কনসোলে বা অন্য কোথাও প্রশ্ন লিখতে হবে। এর পরে, এটি সব কাজ করে তা পরীক্ষা করুন। এটা শুধু অসুবিধাজনক. তবে এটিতে ভাল ড্যাশবোর্ড সমর্থন রয়েছে।

পরবর্তী টুল হল Redash.IO। Redash ইন্টারনেটে হোস্ট করা হয়। অর্থাৎ, পূর্ববর্তী সরঞ্জামগুলির বিপরীতে, এটি ইনস্টল করার প্রয়োজন নেই। এবং এটি একটি ড্যাশবোর্ড যা বিভিন্ন ডেটা সোর্স থেকে ডেটা একত্রিত করার ক্ষমতা রাখে। অর্থাৎ, আপনি ClickHouse থেকে, MySQL থেকে, PostgreSQL থেকে এবং অন্যান্য ডেটাবেস থেকে ডাউনলোড করতে পারেন।

মাত্র এক মাস আগে (মার্চ 2017), গ্রাফনাতে সমর্থন উপস্থিত হয়েছিল। আপনি যখন Grafana-এ রিপোর্ট তৈরি করেন, উদাহরণস্বরূপ, আপনার হার্ডওয়্যারের অবস্থা বা কিছু মেট্রিক্সের উপর, এখন আপনি সরাসরি ClickHouse থেকে ডেটা থেকে একই গ্রাফ বা কোনো ধরনের প্যানেল তৈরি করতে পারেন। এটি খুব সুবিধাজনক, এবং আমরা নিজেরাই এটি ব্যবহার করি। এটি আপনাকে অসঙ্গতিগুলি খুঁজে পেতে দেয়। অর্থাৎ, যদি কিছু ঘটে এবং কিছু হার্ডওয়্যার পড়ে যায় বা স্ট্রেন হয়ে যায়, তাহলে আপনি কারণটি দেখতে পারেন যদি এই ডেটা ক্লিকহাউসে প্রবেশ করতে পারে।

আমি এই সরঞ্জামগুলিতে বা কনসোলে লিখতে খুব বিশ্রী খুঁজে পেয়েছি। এবং আমি আমাদের প্রথম ইন্টারফেস উন্নত করার সিদ্ধান্ত নিয়েছে। এবং আমি EventSQL, SeperSet, Zeppelin থেকে ধারণা পেয়েছি।

তুমি কি চাও? আমি গ্রাফিক্স পেতে, একটি উন্নত সম্পাদক এবং ইঙ্গিত অভিধানের জন্য সমর্থন বাস্তবায়ন করতে চেয়েছিলাম। কারণ ক্লিকহাউসের একটি দুর্দান্ত বৈশিষ্ট্য রয়েছে - অভিধান। কিন্তু অভিধানের সাথে কাজ করা কঠিন, কারণ আপনাকে সংরক্ষিত মানগুলির বিন্যাসটি মনে রাখতে হবে, যেমন এটি একটি সংখ্যা বা একটি স্ট্রিং ইত্যাদি।

আমাদের প্রথম সংস্করণ প্রকাশের পর 3 মাস কেটে গেছে। আমি একটি প্রাইভেট শাখায় প্রায় 330টি কমিট করেছি এবং এটি ট্যাবিক্সে পরিণত হয়েছে।

পূর্ববর্তী সংস্করণের বিপরীতে, যাকে ClickHouse-Frontend বলা হত, আমি এটির নাম পরিবর্তন করে একটি সাধারণ নামে রাখার সিদ্ধান্ত নিয়েছি। এবং এটি Tabix পরিণত.

কি হাজির?

গ্রাফ আঁকে। ক্লিকহাউস এসকিউএল সিনট্যাক্স সমর্থন করে। ফাংশন সম্পর্কে পরামর্শ দেয় এবং অনেক আকর্ষণীয় জিনিস করতে পারে।

এই সাধারণ Tabix স্কিম মত দেখায় কি. বাঁদিকে একটা গাছ। কেন্দ্রে প্রশ্ন সম্পাদক। এবং নীচে এই অনুরোধের ফলাফল।

পরবর্তীতে আমি আপনাকে দেখাব কিভাবে ক্যোয়ারী এডিটর কাজ করে।

এখানে স্বয়ংসম্পূর্ণ স্বয়ংক্রিয়ভাবে টেবিলে কাজ করে এবং প্রম্পট করে, সেই অনুযায়ী, ক্ষেত্রগুলির জন্য স্বয়ংসম্পূর্ণ। এবং ফাংশন উপর ইঙ্গিত. আপনি ctrl এন্টার চাপলে, অনুরোধটি কার্যকর হবে বা একটি ত্রুটি সহ ব্যর্থ হবে। সবচেয়ে সহজ অনুরোধটি Tabix-এ পাঠানো হয় এবং ফলাফল পাওয়া যায়, অর্থাৎ আপনি ক্লিকহাউসের সাথে দ্রুত কাজ করতে পারেন।

অভিধান, যেমন আমি ইতিমধ্যে বলেছি, একটি খুব আকর্ষণীয় জিনিস যার সাথে আমরা অনেক কাজ করি। এবং যা আমাদের অনেক কিছু করতে দেয়। ধরা যাক আমরা অভিধানে সমস্ত শহর সংরক্ষণ করি। আমরা শহরের শনাক্তকারী এবং শহরের নাম, এর অক্ষাংশ এবং দ্রাঘিমাংশ সংরক্ষণ করি। এবং ডাটাবেসে আমরা শুধুমাত্র শহর শনাক্তকারী সংরক্ষণ করি। তদনুসারে, আমরা খুব জোরালোভাবে ডেটা সংকুচিত করি।

এটি একটি সহজ জিনিস বলে মনে হচ্ছে, কিন্তু এটি একটি খুব আকর্ষণীয় উপায়ে ক্লিকহাউসে সাহায্য করে। এই কারণে যে ClickHouse শুধুমাত্র নেস্টেড যোগদান সমর্থন করে, প্রশ্নটি নিম্নগামী এবং যথেষ্ট প্রশস্ত হয়। এবং যখন বন্ধনীটি খোলে এবং কিছু দীর্ঘ অভিব্যক্তি আসে, তখন কোয়েরিটি ভেঙে ফেলার মতো সহজ কিছু কোয়েরির সাথে কাজ করা সহজ করে তোলে। কারণ যখন ক্যোয়ারীটি 200-300 লাইন দীর্ঘ এবং প্রস্থে খুব বড় হয়, তখন ক্যোয়ারীটি ভেঙে ফেলা এবং তারপর কিছু জায়গা খুঁজে পাওয়া বা কোনোভাবে স্থানীয়করণ করা খুবই সহায়ক।

অবজেক্ট ট্রি, মাল্টিকোয়ারি এবং ট্যাব (ভিডিও 13:46 https://youtu.be/w1-XsL3nbRg?t=826)

পরবর্তীতে আমি আপনাকে গাছ এবং ট্যাব সম্পর্কে দেখাব। বামদিকে একটি গাছ; উপরে আপনি বেশ কয়েকটি ট্যাব তৈরি করতে পারেন। ট্যাবগুলি কর্মক্ষেত্রের মতো। আপনি বেশ কয়েকটি ট্যাব তৈরি করতে পারেন এবং প্রতিটির নাম আলাদাভাবে রাখতে পারেন। এটি একটি প্রতিবেদন তৈরির জন্য একটি মিনি-সিস্টেমের মতো।

ট্যাবগুলি স্বয়ংক্রিয়ভাবে সংরক্ষিত হয়। আপনি যদি আপনার ব্রাউজারটি পুনরায় চালু করেন বা Tabix বন্ধ বা খুলুন, এই সব সংরক্ষণ করা হবে।

হটকি - সুবিধাজনক (ভিডিও 14:39 https://youtu.be/w1-XsL3nbRg?t=879)

হটকি আছে এবং তাদের মধ্যে বেশ অনেক আছে. আমি উদাহরণ হিসাবে তাদের কয়েকটি এখানে তুলে ধরেছি। এটি ট্যাব স্যুইচ করা, একটি অনুরোধ চালানো বা বেশ কয়েকটি অনুরোধ কার্যকর করা।

আমি আপনাকে দেখাবো কিভাবে ফলাফল নিয়ে কাজ করতে হয়। আমরা একটি অনুরোধ পাঠান. এখানে আমি sin, cos এবং tg আঁকছি। আপনি ফলাফলটি হাইলাইট করতে পারেন, যেমন একটি কলামের জন্য একটি সাধারণ মানচিত্র আঁকুন। আপনি ইতিবাচক বা নেতিবাচক মান হাইলাইট করতে পারেন। অথবা কেবল একটি নির্দিষ্ট টেবিল উপাদান রঙ করুন। টেবিলটি বিশাল হলে এটি সুবিধাজনক এবং আপনাকে আপনার চোখ দিয়ে কিছু অসঙ্গতি খুঁজে বের করতে হবে। যখন আমি অসঙ্গতিগুলি খুঁজছিলাম, আমি কিছু লাইন হাইলাইট করেছি, কিছু উপাদান সবুজ বা লাল।

সেখানে অনেক আকর্ষণীয় জিনিস আছে. উদাহরণস্বরূপ, কীভাবে রেডমাইন মার্কডাউনে অনুলিপি করবেন। আপনি যদি কোথাও ফলাফল অনুলিপি করতে চান, এটি খুব সুবিধাজনক। আপনি কেবল একটি এলাকা নির্বাচন করতে পারেন, বলুন "কপি টু রেডমাইন" এবং এটি রেডমাইন মার্কডাউনে অনুলিপি করবে বা যেখানে একটি কোয়েরি তৈরি করবে৷

পরবর্তী প্রশ্ন অপ্টিমাইজেশান হয়. আমি একবার "তারিখ" ক্ষেত্র নির্দিষ্ট করতে ভুলে গিয়েছিলাম। এবং ক্লিকহাউসে আমার অনুরোধটি খুব, খুব দ্রুত, কিন্তু দ্রুত, অর্থাৎ এক সেকেন্ডেরও কম সময়ে প্রক্রিয়া করা হয়নি। আমি যখন দেখলাম সে কত লাইন দিয়ে দৌড়েছে, আমি ভয় পেয়ে গেলাম। আমরা একদিনে এই টেবিলে এত সারি লিখি না। আমি অনুরোধটি বিশ্লেষণ করতে শুরু করলাম এবং দেখলাম যে আমি এক জায়গায় একটি তারিখ মিস করেছি। অর্থাৎ, আমি ইঙ্গিত করতে ভুলে গেছি যে আমার পুরো টেবিলের জন্য ডেটা দরকার নেই, তবে একটি নির্দিষ্ট সময়ের জন্য।

Tabix-এর একটি "পরিসংখ্যান" ট্যাব রয়েছে, যা প্রেরিত অনুরোধের সম্পূর্ণ ইতিহাস সংরক্ষণ করে, অর্থাৎ সেখানে আপনি দেখতে পারেন যে এই অনুরোধটি কতগুলি লাইন পড়েছিল এবং এটি কার্যকর করতে কত সময় লেগেছিল। এটি অপ্টিমাইজেশনের অনুমতি দেয়।

আপনি ক্যোয়ারী ফলাফলের উপর একটি পিভট টেবিল তৈরি করতে পারেন। আপনি ক্লিকহাউসে একটি অনুরোধ পাঠিয়েছেন এবং কিছু ডেটা পেয়েছেন। এবং তারপর আপনি আপনার মাউস দিয়ে এই ডেটা সরাতে পারেন এবং কিছু ধরণের পিভট টেবিল তৈরি করতে পারেন।

এর পরের মজার বিষয় হল প্লট করা। ধরা যাক আমাদের নিম্নলিখিত অনুরোধ রয়েছে: 0 থেকে 299 পর্যন্ত sin এর জন্য। এবং এটি আঁকতে, আপনাকে "ড্র" ট্যাবটি নির্বাচন করতে হবে এবং আপনি আপনার sin এবং cos সহ একটি গ্রাফ পাবেন।

আপনি এটিকে বিভিন্ন অক্ষে বিভক্ত করতে পারেন, অর্থাৎ আপনি একসাথে দুটি গ্রাফ পাশাপাশি আঁকতে পারেন। একটি কমান্ড এবং একটি দ্বিতীয় কমান্ড লিখুন।

আপনি হিস্টোগ্রাম আঁকতে পারেন।

আপনি এটিকে গ্রাফের ম্যাট্রিক্সে ভেঙে দিতে পারেন।

আপনি একটি তাপ মানচিত্র তৈরি করতে পারেন।

আপনি একটি তাপীয় ক্যালেন্ডার তৈরি করতে পারেন। যাইহোক, এটি একটি খুব সুবিধাজনক জিনিস যখন আপনাকে এক বছরের মধ্যে অসঙ্গতিগুলি বিশ্লেষণ করতে হবে, অর্থাৎ, স্পাইক বা ড্রপগুলি খুঁজে বের করুন। এই ডেটা ভিজ্যুয়ালাইজেশন আমাকে এতে সাহায্য করেছে।

এর পরেই রয়েছে ট্রিম্যাপ।

Sankeys একটি আকর্ষণীয় চার্ট. সে হয় স্ট্রিমগ্রাপস বা নদী। কিন্তু আমি একে নদী বলি। এটি আপনাকে কোনও অসঙ্গতি সন্ধান করার অনুমতি দেয়। এটা খুবই আরামদায়ক। আমি অনুসন্ধানের জন্য এটি ব্যবহার করার পরামর্শ দিই।

পরবর্তী আকর্ষণীয় বিষয় হল একটি গতিশীল মানচিত্র আঁকা। আপনি যদি আপনার ডাটাবেসে অক্ষাংশ, দ্রাঘিমাংশ সঞ্চয় করেন এবং বলুন, একটি গন্তব্য সঞ্চয় করেন, যদি আপনি, উদাহরণস্বরূপ, ট্রাকিং বা এরোপ্লেন উড়তে থাকেন, তাহলে আপনি গন্তব্যের পথ আঁকতে পারেন। এছাড়াও সেখানে আপনি এই বস্তুর গতি এবং আকার সেট করতে পারেন যেখানে তারা উড়ে যায়।

কিন্তু এই মানচিত্রের সমস্যা হল এটি শুধুমাত্র পৃথিবীর মানচিত্র আঁকে, কোন বিস্তারিত নেই।

পরে গুগল ম্যাপ যোগ করলাম। আপনি যদি অক্ষাংশ, দ্রাঘিমাংশ সঞ্চয় করেন, তাহলে আপনি Google মানচিত্রে ফলাফলটি আঁকতে পারেন, তবে বিমান সমর্থন ছাড়াই।

আমরা Tabix-এ ফলাফল এবং প্রশ্নের সাথে কাজ করার প্রধান ফাংশন নিয়ে আলোচনা করেছি।

পরেরটি হল আপনার ClickHouse সার্ভারের একটি বিশ্লেষণ। একটি পৃথক "মেট্রিক্স" ট্যাব রয়েছে, যেখানে আপনি প্রতিটি কলামের জন্য সঞ্চিত ডেটার আকার দেখতে পারেন। স্ক্রিনশট দেখায় যে এই "রেফারার" ক্ষেত্রটি প্রায় 730 Gb নেয়। যদি আমরা এই ক্ষেত্রটি পরিত্যাগ করি, আমরা প্রতিটি 700 GB এর তিনটি শার্ড সংরক্ষণ করব, অর্থাৎ প্রায় 2 টিবি যা আমাদের প্রয়োজন নেই৷

আমাদের কাছে একটি "request_id" ক্ষেত্রও রয়েছে যা আমরা একটি স্ট্রিংয়ে সংরক্ষণ করি। কিন্তু যদি আমরা এটিকে সংখ্যাসূচক আকারে সংরক্ষণ করা শুরু করি, তাহলে এই ক্ষেত্রটি ব্যাপকভাবে সঙ্কুচিত হবে।

এটি আপনার ক্লাস্টারে সার্ভার কনফিগারেশন এবং নোডগুলির একটি তালিকাও দেখায়।

পরবর্তী ট্যাবটি মেট্রিক্স। তারা ClickHouse এর সাথে রিয়েলটাইমে প্রবেশ করে এবং আপনাকে সার্ভারের অবস্থা বিশ্লেষণ করতে এবং এটিতে কী ঘটছে তা বোঝার অনুমতি দেয়। এটি সম্পূর্ণ Grafana এর প্রতিস্থাপন নয়। এটি দ্রুত বিশ্লেষণের জন্য প্রয়োজনীয়।

পরবর্তী ট্যাব হল প্রসেস। তাদের থেকে আপনি বুঝতে পারেন সার্ভারে কি ঘটছে। সেখানে কি ঘটছে বুঝতে. আমার একটি অনুরোধ ছিল যা প্রতিবার পড়ার 200 গিগাবাইট খরচ করে। আমি এই ইন্টারফেস এই ধন্যবাদ দেখেছি. আমি তাকে ধরেছিলাম এবং তাকে সংশোধন করেছিলাম। এবং এটি প্রায় 30 গিগাবাইট হতে দেখা গেছে, অর্থাৎ মাঝে মাঝে একটি পারফরম্যান্স।

ধন্যবাদ! এবং এটা ওপেনসোর্সে আছে

আমি শেষ করেছি. এবং যাইহোক, এটি ওপেনসোর্স, এটি বিনামূল্যে এবং আপনাকে এটি ডাউনলোড করারও প্রয়োজন নেই। এটি একটি ব্রাউজারে খুলুন এবং সবকিছু কাজ করবে।

প্রশ্ন

ইগর, এরপর কি? আপনি এই টুল কোথায় বিকাশ করবেন?

এর পরে, ড্যাশবোর্ডগুলি উপস্থিত হবে, অর্থাৎ, সম্ভবত ড্যাশবোর্ডগুলি উপস্থিত হবে। অন্যান্য ডাটাবেসের সাথে ইন্টিগ্রেশন। আমি এটি করেছি, কিন্তু এখনও ওপেনসোর্সে এটি প্রকাশ করিনি। এটি MySQL এবং সম্ভবত PostgreSQL। অর্থাৎ, ট্যাবিক্স থেকে কেবল ক্লিকহাউসেই নয়, অন্যান্য সরঞ্জামগুলিতেও অনুরোধ পাঠানো সম্ভব হবে।

এটা স্পষ্ট যে বিপুল পরিমাণ কাজ করা হয়েছে। এটি একটি মোটামুটি সম্পূর্ণ ধারণা হতে পরিণত. ব্রাউজারে এটি করা হয়েছিল, দৃশ্যত, সমস্ত ধরণের অক্ষের ক্রাচগুলি দূর করার জন্য এবং দ্রুত পুরো জিনিসটি একসাথে ফেলে দেওয়ার জন্য। আমি শুনেছি আপনি চালু আছে পিএইচপি কাজ, তাই সবচেয়ে সহজ উপায় হল এটি ব্রাউজারে টাইপ করা এবং এটি সর্বত্র কাজ করবে। এই বিষয়ে কোন প্রশ্ন নেই. প্রশ্ন হল এই। সেখানে সত্যিই অনেক কিছু করা হয়েছে। কত মানুষ এই কাজ? এবং এটা সব কত সময় লাগলো? কারণ কাস্টম সরঞ্জামগুলিতে সাধারণত তেমন কার্যকারিতা থাকে না।

আমাদের দলের একজন ব্যক্তি গ্রীষ্ম থেকে শরৎ পর্যন্ত কাজ করেছেন। এই প্রথম সংস্করণ ছিল. তারপর আমি একাই 330টি কমিট করেছি। আপনি কি দেখতে, আমার সহকর্মী এবং আমি অর্ধেক এটা করেছি. 3 মাসে, প্রথম সংস্করণ থেকে শেষ পর্যন্ত, আমি বেশিরভাগই একা করেছি। কিন্তু আমি জাভাস্ক্রিপ্ট খুব ভাল জানি না. এটি ছিল আমার একমাত্র এবং, আমি আশা করি, আমার শেষ জাভাস্ক্রিপ্ট প্রকল্প যার সাথে আমি কাজ করেছি। আমি এটা পেয়েছি, আমি তাকালাম - ওহ, ভয়াবহ. কিন্তু আমি সত্যিই পণ্য শেষ করতে চেয়েছিলাম এবং এটি ঘটেছে.

প্রতিবেদনের জন্য আপনাকে অনেক ধন্যবাদ! এটা খুব ভালো একটা যন্ত্র। সঙ্গে মনের উপরে স্পষ্ট ছবির ন্যায় ছাপ আপনি তুলনা করেছেন?

ধন্যবাদ. সেজন্য আমি এর নাম দিয়েছি Tabix, কারণ প্রথম অক্ষরগুলো একই।

কারণ আপনি প্রতিযোগিতা করেন?

অনেক বিনিয়োগ হবে, আমরা প্রতিযোগিতা করব।

আপনি কীভাবে অভ্যন্তরীণ বিশ্লেষকদের কাছে বিক্রি করার প্রস্তাব দিতে পারেন যে এই সরঞ্জামটি সম্পূর্ণরূপে প্রতিস্থাপন করবে *মূকনাট্য*? যুক্তিগুলো কী হবে?

ক্লিকহাউসের সাথে স্থানীয়ভাবে কাজ করে। আমি মূকনাট্য চেষ্টা করেছি, কিন্তু আপনি সেখানে অভিধান এবং এর মতো সমর্থন লিখতে পারবেন না। আমি জানি Tabix এর সাথে মানুষ কিভাবে কাজ করে। তারা একটি ক্যোয়ারী লেখে, CSV তে আপলোড করে এবং BI তে আপলোড করে। এবং তারা ইতিমধ্যে সেখানে কিছু করছে। কিন্তু তারা কীভাবে এটি করে তা কল্পনা করতে আমার কঠিন সময় আছে, কারণ এটি একটি গ্রাফিকাল টুল। এটি 5 সারি, সর্বোচ্চ 000 সারি আনলোড করতে পারে, তবে আর নয়, অন্যথায় ব্রাউজারটি মোকাবেলা করবে না।

যে, তথ্য পরিমাণ কিছু গুরুতর সীমাবদ্ধতা আছে, তাই না?

হ্যাঁ. আমি কল্পনা করতে পারি না যে আপনি আপনার টেবিলে আপনার ব্রাউজার স্ক্রিনে 10 সারি আপলোড করতে চান। কি জন্য?

এর মানে কি এটি দ্রুত ডেটা দেখার জন্য একটি ইন্টারফেস? একটু মোচড়ান, মোচড় দেন?

হ্যাঁ, দ্রুত দেখুন কিভাবে এটি কাজ করে এবং শুধু একটি সারাংশ গ্রাফ তৈরি করুন। এবং তারপর এটি কোথাও দিন। আমাদের নিজস্ব রিপোর্টিং সিস্টেম আছে, যেখান থেকে আমি এই অনুরোধটি গ্রহণ করি। আমি ট্যাবিক্সে আঁকছি এবং আমাদের প্রতিবেদনে পাঠাচ্ছি।

এবং আরেকটি প্রশ্ন। সমগোত্রীয় বিশ্লেষণ?

যদি কোন অনুরোধ থাকে, আমরা এটি যোগ করব।

আপনি কখন এটি ব্যবহার শুরু করেছেন? ক্লিক হাউস, বাস্তবায়নে কত সময় লেগেছে? ক্লিকহাউস এবং আনা উৎপাদন রাষ্ট্র?

আমি যেমন বলেছি, আমরা খুব অল্প সময়ের মধ্যে একটি পরীক্ষা ক্লাস্টার বাস্তবায়ন করেছি। আমরা দুই দিনের মধ্যে এটি স্থাপন করেছি। এবং আমরা এটি আরও কয়েক সপ্তাহের জন্য পরীক্ষা করেছি। এবং আমরা 3 মাসের মধ্যে উৎপাদনে পৌঁছেছি। কিন্তু আমাদের নিজস্ব ETL ছিল, অর্থাৎ ডেটা রেকর্ড করার একটি টুল। এবং তিনি যা কিছু করতে পেরেছিলেন তা লিখেছিলেন। তিনি MongoDB, Cassandra, MySQL এ লিখতে পারেন। ক্লিকহাউসে কীভাবে লিখতে হয় তা শেখানো সহজ ছিল। দ্রুত বাস্তবায়নের জন্য আমাদের একটি প্রস্তুত পরিকাঠামো ছিল। 3 মাসের মধ্যে আমরা প্রথম উপাদানটি নিক্ষেপ শুরু করি। 6 মাসে আমরা সম্পূর্ণরূপে অন্য সবকিছু পরিত্যাগ করেছি। আমাদের শুধুমাত্র একটি ক্লিক হাউস বাকি আছে।

ইগর, রিপোর্টের জন্য আপনাকে অনেক ধন্যবাদ। আমি সত্যিই মানচিত্র ব্যবহার করে পাথ নির্মাণের কার্যকারিতা পছন্দ করেছি। Yandex.Maps এবং বিশেষ করে কাস্টম Yandex.Maps-এর সাথে একীকরণের কোন পরিকল্পনা আছে কি?

আমি Google মানচিত্রের পরিবর্তে সংহত করার চেষ্টা করেছি, কিন্তু আমি Yandex.Maps-এ একটি অন্ধকার থিম খুঁজে পাইনি। আমি তোমাকে এক টুকরো বলিনি। আমি যোগ করতে রিওয়াইন্ড করব.

স্লাইড – গুগল ম্যাপ। সেখানে একটি কমান্ড আছে "DRAW_GMAPS", যা একটি মানচিত্র আঁকে। একটি কমান্ড আছে "DRAW_YMAPS", অর্থাৎ এটি একটি Yandex.Map আঁকতে পারে। কিন্তু প্রকৃতপক্ষে, এই কমান্ডের অধীনে জাভাস্ক্রিপ্ট রয়েছে, অর্থাৎ আপনি ক্লিকহাউস থেকে যে ডেটা পাবেন তা জাভাস্ক্রিপ্টে স্থানান্তর করা যেতে পারে, যা আপনি এখানে লিখছেন। এবং আপনার একটি আউটপুট এলাকা আছে যেখানে এটি আঁকা উচিত। আপনি যেকোন গ্রাফ আঁকতে পারেন, যেমন যেকোন গ্রাফ, মানচিত্র, আপনি নিজের উপাদান আঁকতে পারেন। এর আগে, আমার নিজের গ্রাফ আঁকার জন্য আরেকটি লাইব্রেরি ছিল।

যে, প্রদর্শন কার্যকারিতা কাস্টমাইজ করার জন্য একটি টুল আছে?

যে কোন আপনি এই বিন্দুগুলিকে লাল নয়, নীল, সবুজ করে তুলতে এবং পুনরায় রঙ করতে পারেন।

প্রতিবেদনের জন্য ধন্যবাদ! আপনার কাছে একটি স্লাইড ছিল যা বিকল্প ক্যোয়ারী টুল উপস্থাপন করে ক্লিকহাউস ড্যাশবোর্ড এবং বিশ্লেষণাত্মক প্রতিবেদন তৈরির জন্য। আমি বুঝতে পেরেছি যে মুহূর্তে আপনি কাজ শুরু করেছেন ClickHouse, এই সরঞ্জামগুলির জন্য কোন অ্যাডাপ্টার লেখা হয়নি। এবং আমি ভাবছি কেন আপনি কিছু রেডিমেড টুলের জন্য অ্যাডাপ্টার লেখার পরিবর্তে আপনার নিজের টুল তৈরি করার সিদ্ধান্ত নিয়েছেন? আমি মনে করি যে পরীক্ষা সম্পাদককে টুইক করা দ্রুত। কেন এত কাজ করার সিদ্ধান্ত নিলেন?

এখানে একটি মজার বিষয় আছে - আসলে আমি একজন টেকনিক্যাল ডিরেক্টর, ডাটা সায়েন্টিস্ট নই। যখন আমরা ড্রুড বাস্তবায়ন শুরু করেছি, তখন আমার রোডম্যাপে প্রায় 50% কাজ ছিল - আসুন এটি গণনা করা যাক, বা আসুন এটি গণনা করি, বা এটি বিশ্লেষণ করি। এবং এটা পরিণত যে আমরা ক্লিক হাউস বাস্তবায়ন. এবং তিনি দ্রুত সবকিছু তৈরি করতে শুরু করেন, গণনা করেন এবং দ্রুত তার রোডম্যাপটি বন্ধ করে দেন। এবং ততক্ষণে আমি বুঝতে পেরেছিলাম যে ডেটা সায়েন্স এবং ডেটা ভিজ্যুয়ালাইজেশনে আমার জ্ঞানের অভাব ছিল। ডাটা ভিজ্যুয়ালাইজেশন শেখার জন্য ট্যাবিক্স হল আমার বাড়ির কাজ। আমি কিভাবে Zeppelin পরিপূরক খুঁজছেন ছিল. তার প্রোগ্রামিং এর প্রতি আমার একটু অপছন্দ আছে। Redash আমি কিভাবে এটি যোগ করতে তাকান, কিন্তু একটি সাধারণ সম্পাদক আমার জন্য যথেষ্ট ছিল. এবং সুপারসেট এমন একটি ভাষায় লেখা যা আমি সত্যিই পছন্দ করি না। এবং তাই আমি সাইকেল করার সিদ্ধান্ত নিয়েছি, এবং এটিই হয়েছিল।

ইগর, আপনি কি পুল অনুরোধ গ্রহণ করেন?

হ্যাঁ।

প্রতিবেদনের জন্য আপনাকে অনেক ধন্যবাদ! এবং দুটি প্রশ্ন। প্রথমত, আপনি খুব তোষামোদ করে কথা বলবেন না জাভাস্ক্রিপ্ট। আপনি কি খালি জাভাস্ক্রিপ্টে লিখেছিলেন নাকি এটি কোন ধরণের কাঠামো?*

বেয়ার জাভাস্ক্রিপ্টে ভাল।

তাই কি কাঠামো?

কৌণিক।

এটা পরিস্কার. এবং দ্বিতীয় প্রশ্ন। আপনি কি বিবেচনা করেছেন R и *চকচকে**?*

বিবেচনা করেছেন। খেলেছে।

আপনি শুধু একটি অ্যাডাপ্টার লিখতে পারেন.

সে. মনে হচ্ছে সম্প্রদায় এটি তৈরি করেছে, কিন্তু, যেমন আমি পূর্ববর্তী প্রশ্নের উত্তর দিয়েছি, আমি নিজে এটি চেষ্টা করতে চেয়েছিলাম।

*না, ভিজ্যুয়ালাইজেশন সম্পর্কে, এটাও আছে।

আপনি বলছেন যে এমন একটি জিনিস আছে এবং এটি আপনাকে একটি গ্রাফ আঁকবে। আমি ডেটা ভিজ্যুয়ালাইজেশনের উপর একটি বই খুললাম। এবং আমি ভেবেছিলাম: "আমাকে এই ডেটাটি কল্পনা করার চেষ্টা করতে দিন। আমি তাকে লিখব যাতে তিনি ডেটা পুনর্নির্মাণ করতে পারেন।" এবং আমি ডেটা সরবরাহ প্রযুক্তি আরও ভালভাবে বুঝতে শুরু করেছি। এবং যদি আমি একটি রেডিমেড উপাদান নিতাম, আমি ব্যক্তিগতভাবে এটি কীভাবে ব্যবহার করতে হয় তা আরও খারাপ শিখতে পারতাম, অর্থাৎ ভিজ্যুয়ালাইজেশন। তবে হ্যাঁ, আমি আর পছন্দ করেছি, কিন্তু আমি এখনও "R for Dummies" বইটি পড়িনি।

ধন্যবাদ!

সহজ প্রশ্ন. দ্রুত একটি সাইন বা সময়সূচী আপলোড করার কোন উপায় আছে কি?

CSV বা Excel এ আপলোড করা যেতে পারে।

ডেটা নয়, তবে একটি রেডিমেড প্লেট, একটি রেডিমেড গ্রাফ? যেমন বসকে দেখানোর জন্য।

একটি বোতাম আছে "আপলোড" এবং একটি বোতাম আছে "আপলোড গ্রাফ in png, in jpg"।

ধন্যবাদ!

PS মিনি- ট্যাবিক্স ইনস্টল করার জন্য নির্দেশাবলী

• ডাউনলোড সর্বশেষ রিলিজ
• আনপ্যাক, কপি ডিরেক্টরি build nginx root_path এ
• nginx কনফিগার করুন

উত্স: www.habr.com