ELK, Big Query এবং TimescaleDB-এর প্রতিস্থাপন হিসাবে Clickhouse ব্যবহার করা

ক্লিক হাউস ইয়ানডেক্স দ্বারা তৈরি অনলাইন অ্যানালিটিক্যাল কোয়েরি প্রসেসিং (OLAP) এর জন্য একটি ওপেন সোর্স কলামার ডাটাবেস ম্যানেজমেন্ট সিস্টেম। এটি ইয়ানডেক্স, ক্লাউডফ্লেয়ার, VK.com, Badoo এবং বিশ্বের অন্যান্য পরিষেবাগুলি দ্বারা সত্যিই প্রচুর পরিমাণে ডেটা (প্রতি সেকেন্ডে হাজার হাজার সারি সন্নিবেশ বা ডিস্কে সংরক্ষিত ডেটার পেটাবাইট) সংরক্ষণ করতে ব্যবহৃত হয়।

একটি সাধারণ, "স্ট্রিং" ডিবিএমএসে, যার উদাহরণ হল MySQL, Postgres, MS SQL সার্ভার, ডেটা এই ক্রমে সংরক্ষণ করা হয়:

এই ক্ষেত্রে, একটি সারির সাথে সম্পর্কিত মানগুলি শারীরিকভাবে পাশাপাশি সংরক্ষিত হয়। কলামার ডিবিএমএসে, বিভিন্ন কলামের মানগুলি আলাদাভাবে সংরক্ষণ করা হয় এবং একটি কলামের ডেটা একসাথে সংরক্ষণ করা হয়:

কলামার DBMS-এর উদাহরণ হল Vertica, Paraccel (Actian Matrix, Amazon Redshift), Sybase IQ, Exasol, Infobright, InfiniDB, MonetDB (VectorWise, Actian Vector), LucidDB, SAP HANA, Google Dremel, Google PowerDrill, kb+ Druid,

কোম্পানি একটি মেইল ​​ফরওয়ার্ডার কুইন্ট্রি আমি রিপোর্ট করার জন্য 2018 সালে ক্লিকহাউস ব্যবহার শুরু করেছি এবং এর সরলতা, মাপযোগ্যতা, SQL সমর্থন এবং গতিতে খুব মুগ্ধ হয়েছি। এই DBMS এর গতি যাদুতে সীমাবদ্ধ।

আরাম

ক্লিকহাউস একটি একক কমান্ডের মাধ্যমে উবুন্টুতে ইনস্টল করে। আপনি যদি SQL জানেন, আপনি অবিলম্বে আপনার প্রয়োজনের জন্য Clickhouse ব্যবহার শুরু করতে পারেন। যাইহোক, এর মানে এই নয় যে আপনি MySQL-এ "তৈরি টেবিল দেখাতে" এবং Clickhouse-এ SQL কপি-পেস্ট করতে পারেন।

MySQL-এর তুলনায়, এই DBMS-এ টেবিল স্কিমার সংজ্ঞাগুলিতে গুরুত্বপূর্ণ ডেটা টাইপ পার্থক্য রয়েছে, তাই আপনাকে এখনও টেবিল স্কিমার সংজ্ঞা পরিবর্তন করতে এবং আরামদায়ক পেতে টেবিল ইঞ্জিনগুলি শিখতে কিছু সময় প্রয়োজন৷

ক্লিকহাউস কোনো অতিরিক্ত সফ্টওয়্যার ছাড়াই দুর্দান্ত কাজ করে, তবে আপনি যদি প্রতিলিপি ব্যবহার করতে চান তবে আপনাকে ZooKeeper ইনস্টল করতে হবে। কোয়েরি কর্মক্ষমতা বিশ্লেষণ চমৎকার ফলাফল দেখায় - সিস্টেম টেবিলে সমস্ত তথ্য রয়েছে এবং পুরানো এবং বিরক্তিকর SQL ব্যবহার করে সমস্ত ডেটা প্রাপ্ত করা যেতে পারে।

উৎপাদনশীলতা

• মাপকাঠি কনফিগারেশন সার্ভারে ক্লিকহাউস বনাম ভার্টিকা এবং মাইএসকিউএল তুলনা: দুটি সকেট Intel® Xeon® CPU E5-2650 v2 @ 2.60GHz; 128 GiB RAM; md RAID-5 অন 8 6TB SATA HDD, ext4.
• মাপকাঠি Amazon RedShift ক্লাউড স্টোরেজের সাথে Clickhouse এর তুলনা।
• ব্লগ উদ্ধৃতি Clickhouse কর্মক্ষমতা সম্পর্কে Cloudflare:

ClickHouse ডাটাবেসের একটি খুব সাধারণ নকশা রয়েছে - ক্লাস্টারের সমস্ত নোডের কার্যকারিতা একই এবং সমন্বয়ের জন্য শুধুমাত্র ZooKeeper ব্যবহার করে। আমরা বেশ কয়েকটি নোডের একটি ছোট ক্লাস্টার তৈরি করেছি এবং পরীক্ষা চালিয়েছি, যার সময় আমরা দেখতে পেয়েছি যে সিস্টেমের বেশ চিত্তাকর্ষক কর্মক্ষমতা রয়েছে, যা বিশ্লেষণাত্মক DBMS বেঞ্চমার্কে দাবি করা সুবিধার সাথে মিলে যায়। আমরা ClickHouse এর পিছনে ধারণাটি ঘনিষ্ঠভাবে দেখার সিদ্ধান্ত নিয়েছি। গবেষণার প্রথম বাধা ছিল টুলের অভাব এবং ClickHouse এর ছোট সম্প্রদায়, তাই আমরা এই DBMS এর ডিজাইনটি কিভাবে কাজ করে তা বুঝতে পেরেছি।

ClickHouse কাফকা থেকে সরাসরি ডেটা গ্রহণ সমর্থন করে না, কারণ এটি শুধুমাত্র একটি ডাটাবেস, তাই আমরা Go-তে আমাদের নিজস্ব অ্যাডাপ্টার পরিষেবা লিখেছি। এটি কাফকার থেকে ক্যাপ'ন প্রোটো এনকোড করা বার্তাগুলি পড়ে, সেগুলিকে TSV-তে রূপান্তরিত করে এবং HTTP ইন্টারফেসের মাধ্যমে ব্যাচগুলিতে ক্লিকহাউসে সন্নিবেশিত করে। আমরা পরে কর্মক্ষমতা উন্নত করতে আমাদের নিজস্ব ClickHouse ইন্টারফেসের সাথে Go লাইব্রেরি ব্যবহার করার জন্য এই পরিষেবাটি পুনরায় লিখেছিলাম। প্যাকেট গ্রহণের কার্যকারিতা মূল্যায়ন করার সময়, আমরা একটি গুরুত্বপূর্ণ জিনিস আবিষ্কার করেছি - এটি প্রমাণিত হয়েছে যে ক্লিকহাউসের জন্য এই কার্যকারিতাটি প্যাকেটের আকারের উপর নির্ভর করে, অর্থাৎ, একই সময়ে সন্নিবেশিত সারিগুলির সংখ্যা। কেন এটি ঘটে তা বোঝার জন্য, ক্লিকহাউস কীভাবে ডেটা সঞ্চয় করে তা আমরা অধ্যয়ন করেছি।

মূল ইঞ্জিন, বা বরং, ডেটা সঞ্চয় করার জন্য ক্লিকহাউস দ্বারা ব্যবহৃত টেবিল ইঞ্জিনের একটি পরিবার হল MergeTree। এই ইঞ্জিনটি ধারণাগতভাবে Google BigTable বা Apache Cassandra-এ ব্যবহৃত LSM অ্যালগরিদমের মতো, কিন্তু একটি মধ্যবর্তী মেমরি টেবিল তৈরি করা এড়িয়ে যায় এবং সরাসরি ডিস্কে ডেটা লেখে। এটি এটিকে চমৎকার লেখার থ্রুপুট দেয়, কারণ প্রতিটি সন্নিবেশিত প্যাকেট শুধুমাত্র "প্রাথমিক কী" প্রাথমিক কী দ্বারা সাজানো হয়, সংকুচিত হয় এবং একটি সেগমেন্ট তৈরি করতে ডিস্কে লেখা হয়।

একটি মেমরি টেবিলের অনুপস্থিতি বা ডেটার "সতেজতা" এর কোনো ধারণার মানে হল যে সেগুলি শুধুমাত্র যোগ করা যেতে পারে, সিস্টেম পরিবর্তন বা মুছে ফেলা সমর্থন করে না। আজকের হিসাবে, ডেটা মুছে ফেলার একমাত্র উপায় হল ক্যালেন্ডার মাসের দ্বারা এটি মুছে ফেলা, কারণ বিভাগগুলি কখনই মাসের সীমা অতিক্রম করে না। ClickHouse টিম এই বৈশিষ্ট্যটিকে কাস্টমাইজ করার জন্য সক্রিয়ভাবে কাজ করছে৷ অন্যদিকে, এটি লেখা এবং একত্রিত করা অংশগুলিকে বিতর্কমুক্ত করে তোলে, তাই I/O বা কোরগুলি পরিপূর্ণ না হওয়া পর্যন্ত সমান্তরাল সন্নিবেশের সংখ্যা সহ থ্রুপুট স্কেলগুলি রৈখিকভাবে গ্রহণ করুন।
যাইহোক, এই পরিস্থিতির মানে হল যে সিস্টেমটি ছোট প্যাকেটের জন্য উপযুক্ত নয়, তাই কাফকা পরিষেবা এবং সন্নিবেশকারীগুলি বাফারিংয়ের জন্য ব্যবহার করা হয়। আরও, পটভূমিতে ক্লিকহাউস ক্রমাগতভাবে অংশগুলিকে একত্রিত করতে থাকে, যাতে অনেক ছোট তথ্য একত্রিত হবে এবং আরও বার রেকর্ড করা হবে, এইভাবে রেকর্ডিংয়ের তীব্রতা বৃদ্ধি পাবে। যাইহোক, যতক্ষণ পর্যন্ত একত্রীকরণ অব্যাহত থাকবে ততক্ষণ পর্যন্ত অনেকগুলি সম্পর্কহীন অংশ সন্নিবেশগুলির আক্রমনাত্মক থ্রটলিং ঘটাবে৷ আমরা খুঁজে পেয়েছি যে রিয়েল-টাইম ডেটা ইনজেশন এবং ইনজেশন পারফরম্যান্সের মধ্যে সেরা সমঝোতা হল টেবিলে প্রতি সেকেন্ডে সীমিত সংখ্যক সন্নিবেশ গ্রহণ করা।

টেবিল রিড পারফরম্যান্সের চাবিকাঠি হল ডিস্কে ডেটার ইন্ডেক্সিং এবং অবস্থান। প্রক্রিয়াকরণ যতই দ্রুত হোক না কেন, যখন ইঞ্জিনকে ডিস্ক থেকে টেরাবাইট ডেটা স্ক্যান করতে হবে এবং এটির একটি ভগ্নাংশ ব্যবহার করতে হবে, তখন সময় লাগবে। ClickHouse হল একটি কলাম স্টোর, তাই প্রতিটি সেগমেন্টে প্রতিটি সারির জন্য সাজানো মান সহ প্রতিটি কলামের (কলাম) জন্য একটি ফাইল রয়েছে। এইভাবে, ক্যোয়ারীতে উপস্থিত না থাকা সম্পূর্ণ কলামগুলি প্রথমে বাদ দেওয়া যেতে পারে, এবং তারপরে একাধিক সেল সমান্তরালভাবে ভেক্টরাইজড এক্সিকিউশনের সাথে প্রক্রিয়া করা যেতে পারে। একটি সম্পূর্ণ স্ক্যান এড়াতে, প্রতিটি বিভাগে একটি ছোট সূচক ফাইল আছে।

প্রদত্ত যে সমস্ত কলামগুলি "প্রাথমিক কী" দ্বারা বাছাই করা হয়েছে, সূচী ফাইলে শুধুমাত্র প্রতিটি Nth সারির লেবেলগুলি (ক্যাপচার করা সারি) থাকে, যাতে খুব বড় টেবিলের জন্যও তাদের মেমরিতে রাখতে সক্ষম হয়৷ উদাহরণস্বরূপ, আপনি ডিফল্ট সেটিংস সেট করতে পারেন "প্রতি 8192 তম সারি চিহ্নিত করুন", তারপর 1 ট্রিলিয়ন সহ একটি টেবিলের "অপ্রতুল" ইন্ডেক্সিং। যে লাইনগুলি সহজেই মেমরিতে ফিট করে সেগুলি শুধুমাত্র 122 অক্ষর নিতে পারে।

সিস্টেম উন্নয়ন

ক্লিকহাউসের উন্নয়ন ও উন্নতি লক্ষ্য করা যায় Github রেপো এবং নিশ্চিত করুন যে "বড় হওয়ার" প্রক্রিয়াটি একটি চিত্তাকর্ষক গতিতে ঘটছে।

জনপ্রিয়তা

দেখে মনে হচ্ছে ক্লিকহাউসের জনপ্রিয়তা দ্রুতগতিতে বাড়ছে, বিশেষ করে রাশিয়ান-ভাষী সম্প্রদায়ের মধ্যে। গত বছরের উচ্চ লোড 2018 সম্মেলন (মস্কো, নভেম্বর 8-9, 2018) দেখিয়েছে যে vk.com এবং Badoo-এর মতো দানবরা Clickhouse ব্যবহার করে, যা একযোগে কয়েক হাজার সার্ভার থেকে ডেটা (উদাহরণস্বরূপ, লগ) সন্নিবেশ করে। 40 মিনিটের একটি ভিডিওতে VKontakte দলের ইউরি Nasretdinov কিভাবে এটি করা হয়েছে সম্পর্কে কথা বলেন. শীঘ্রই আমরা উপাদান নিয়ে কাজ করার সুবিধার জন্য হাবরে প্রতিলিপি পোস্ট করব।

অ্যাপ্লিকেশন

কিছু সময় গবেষণা করার পরে, আমি মনে করি এমন কিছু ক্ষেত্র রয়েছে যেখানে ক্লিকহাউস উপযোগী হতে পারে বা সম্পূর্ণরূপে অন্যান্য ঐতিহ্যগত এবং জনপ্রিয় সমাধানগুলিকে প্রতিস্থাপন করতে সক্ষম হতে পারে যেমন MySQL, PostgreSQL, ELK, Google Big Query, Amazon RedShift, TimescaleDB, Hadoop, MapReduce, Pinot এবং ড্রুইড। উপরের DBMS আপগ্রেড বা সম্পূর্ণভাবে প্রতিস্থাপন করতে ক্লিকহাউস ব্যবহার করার বিশদ নিচে দেওয়া হল।

MySQL এবং PostgreSQL প্রসারিত করা হচ্ছে

অতি সম্প্রতি, আমরা নিউজলেটার প্ল্যাটফর্মের জন্য MySQL কে ClickHouse দিয়ে আংশিকভাবে প্রতিস্থাপন করেছি মৌটিক নিউজলেটার. সমস্যাটি ছিল যে মাইএসকিউএল অপ্রত্যাশিত ডিজাইনের কারণে প্রেরিত প্রতিটি ইমেল এবং সেই ইমেলের প্রতিটি লিঙ্ক একটি বেস64 হ্যাশ দিয়ে লগ করে, একটি বিশাল মাইএসকিউএল টেবিল (email_stats) তৈরি করে। পরিষেবার গ্রাহকদের শুধুমাত্র 10 মিলিয়ন ইমেল পাঠানোর পরে, এই টেবিলটি 150 গিগাবাইট ফাইল স্থান দখল করে, এবং MySQL সাধারণ প্রশ্নগুলিতে "মূর্খ" হতে শুরু করে। ফাইল স্পেসের সমস্যা সমাধানের জন্য, আমরা সফলভাবে InnoDB টেবিল কম্প্রেশন ব্যবহার করেছি, যা এটিকে 4 এর ফ্যাক্টর দ্বারা হ্রাস করেছে। যাইহোক, শুধুমাত্র ইতিহাস পড়ার খাতিরে MySQL-এ 20-30 মিলিয়নের বেশি ইমেল সংরক্ষণ করার এখনও কোনও মানে হয় না, যেহেতু যেকোন সাধারণ প্রশ্ন যা কিছু কারণে সম্পূর্ণ স্ক্যান করতে হয় তার ফলাফল অদলবদল এবং ভারী I/O-তে পরিণত হয়। লোড, কারণ যার সম্পর্কে আমরা নিয়মিত Zabbix সতর্কতা পেয়েছি।

ক্লিকহাউস দুটি কম্প্রেশন অ্যালগরিদম ব্যবহার করে যা ডেটার পরিমাণ প্রায় কম করে ২-৩ বার, কিন্তু এই বিশেষ ক্ষেত্রে, ডেটা বিশেষত "সংকোচনযোগ্য" ছিল।

ELK প্রতিস্থাপন

আমার নিজের অভিজ্ঞতার উপর ভিত্তি করে, ELK স্ট্যাকের (ElasticSearch, Logstash এবং Kibana, এই বিশেষ ক্ষেত্রে ElasticSearch) লগ সঞ্চয় করার জন্য প্রয়োজনের চেয়ে অনেক বেশি সম্পদের প্রয়োজন হয়। ইলাস্টিক সার্চ একটি দুর্দান্ত ইঞ্জিন যদি আপনি ভাল ফুল-টেক্সট লগ সার্চ চান (যা আপনার সত্যিই প্রয়োজন বলে মনে হয় না), কিন্তু আমি ভাবছি কেন এটি ডি ফ্যাক্টো স্ট্যান্ডার্ড লগিং ইঞ্জিন হয়ে উঠেছে। Logstash-এর সাথে মিলিত এর ইনজেশন পারফরম্যান্স, মোটামুটি হালকা কাজের চাপেও আমাদের সমস্যা তৈরি করে এবং আরও বেশি বেশি RAM এবং ডিস্ক স্পেস যোগ করার প্রয়োজন হয়। একটি ডাটাবেস হিসাবে, ক্লিকহাউস নিম্নলিখিত কারণে ইলাস্টিক সার্চের চেয়ে ভাল:

• এসকিউএল উপভাষা সমর্থন;
• সঞ্চিত ডেটার কম্প্রেশনের সর্বোত্তম ডিগ্রী;
• সম্পূর্ণ পাঠ্য অনুসন্ধানের পরিবর্তে রেজেক্স অনুসন্ধানের জন্য সমর্থন;
• উন্নত ক্যোয়ারী সময়সূচী এবং ভাল সামগ্রিক কর্মক্ষমতা.

বর্তমানে, ELK-এর সাথে ClickHouse-এর তুলনা করার সময় সবচেয়ে বড় যে সমস্যাটি দেখা দেয় তা হল লগ আপলোড করার জন্য সমাধানের অভাব, সেইসাথে এই বিষয়ে ডকুমেন্টেশন এবং টিউটোরিয়ালের অভাব। একই সময়ে, প্রতিটি ব্যবহারকারী ডিজিটাল মহাসাগর ম্যানুয়াল ব্যবহার করে ELK সেট আপ করতে পারে, যা এই ধরনের প্রযুক্তির দ্রুত বাস্তবায়নের জন্য খুবই গুরুত্বপূর্ণ। এখানে একটি ডাটাবেস ইঞ্জিন আছে, কিন্তু ClickHouse এর জন্য এখনো কোন Filebeat নেই। হ্যা এখানে সাবলীল এবং লগগুলির সাথে কাজ করার জন্য একটি সিস্টেম লগ ঘর, একটি টুল আছে লেজ ক্লিক করুন ক্লিকহাউসে লগ ফাইলের ডেটা প্রবেশ করাতে, কিন্তু এই সবগুলি আরও সময় নেয়। যাইহোক, ClickHouse এখনও তার সরলতার কারণে পথ দেখায়, তাই এমনকি নতুনরাও সহজেই এটি ইনস্টল করতে পারে এবং মাত্র 10 মিনিটের মধ্যে সম্পূর্ণ কার্যকরী ব্যবহার শুরু করতে পারে।

ন্যূনতম সমাধানগুলি পছন্দ করে, আমি কাফকা ব্যবহার এড়াতে চেষ্টা করার সময় ক্লিকহাউসের সাথে ফ্লুয়েন্টবিট, একটি খুব কম মেমরির লগ আপলোড টুল ব্যবহার করার চেষ্টা করেছি। যাইহোক, ছোটখাটো অসঙ্গতিগুলি যেমন সুরাহা করা প্রয়োজন তারিখ বিন্যাস সমস্যাফ্লুয়েন্টবিট থেকে ক্লিকহাউসে ডেটা রূপান্তরকারী প্রক্সি স্তর ছাড়াই এটি করা যেতে পারে।

কিবানার বিকল্প হিসেবে, আপনি ক্লিকহাউসকে ব্যাকএন্ড হিসেবে ব্যবহার করতে পারেন গ্রাফানা. যতদূর আমি বুঝি, এটি বিপুল সংখ্যক ডেটা পয়েন্ট রেন্ডার করার সময় পারফরম্যান্সের সমস্যা সৃষ্টি করতে পারে, বিশেষ করে গ্রাফনার পুরানো সংস্করণগুলির সাথে। কুইন্ট্রিতে, আমরা এখনও এটি চেষ্টা করিনি, তবে টেলিগ্রামের ক্লিকহাউস সমর্থন চ্যানেলে সময়ে সময়ে এই সম্পর্কে অভিযোগগুলি উপস্থিত হয়।

Google Big Query এবং Amazon RedShift এর প্রতিস্থাপন (বড় কোম্পানিগুলির জন্য সমাধান)

BigQuery-এর জন্য আদর্শ ব্যবহারের ক্ষেত্রে JSON ডেটার 1TB লোড করা এবং এতে বিশ্লেষণাত্মক ক্যোয়ারী চালানো। বিগ কোয়েরি একটি দুর্দান্ত পণ্য যার মাপযোগ্যতা অত্যধিক মূল্যায়ন করা কঠিন। এটি একটি অভ্যন্তরীণ ক্লাস্টারে চলমান ClickHouse-এর চেয়ে অনেক জটিল সফ্টওয়্যার, কিন্তু ক্লায়েন্টের দৃষ্টিকোণ থেকে, ClickHouse-এর সাথে এর অনেক মিল রয়েছে৷ আপনি একবার প্রতিটি SELECT এর জন্য অর্থপ্রদান শুরু করলে BigQuery দ্রুত "দাম বাড়াতে" পারে, তাই এটি এর সমস্ত সুবিধা এবং অসুবিধা সহ একটি বাস্তব SaaS সমাধান৷

আপনি যখন গণনাগতভাবে অনেক ব্যয়বহুল প্রশ্ন চালান তখন ক্লিকহাউস হল সেরা পছন্দ। আপনি প্রতিদিন যত বেশি SELECT কোয়েরি চালান, Big Query কে ClickHouse-এর সাথে প্রতিস্থাপন করার জন্য এটি তত বেশি পয়েন্ট করে, কারণ এই ধরনের প্রতিস্থাপন আপনার হাজার হাজার ডলার সাশ্রয় করবে যখন অনেক টেরাবাইট ডেটা প্রসেস করা হয়। এটি সঞ্চিত ডেটার ক্ষেত্রে প্রযোজ্য নয়, যা বিগ কোয়েরিতে প্রক্রিয়া করা বেশ সস্তা।

আলটিনিটির সহ-প্রতিষ্ঠাতা আলেকজান্ডার জাইতসেভের একটি নিবন্ধে "ক্লিকহাউসে চলে যাওয়া" এই ধরনের DBMS মাইগ্রেশনের সুবিধা বর্ণনা করে।

টাইমস্কেলডিবি প্রতিস্থাপন

TimescaleDB হল একটি PostgreSQL এক্সটেনশন যা একটি নিয়মিত ডাটাবেসে টাইমসিরিজের সাথে কাজ করা অপ্টিমাইজ করে (https://docs.timescale.com/v1.0/introduction, https://habr.com/ru/company/zabbix/blog/458530/).

যদিও ClickHouse সময় সিরিজের কুলুঙ্গিতে একটি গুরুতর প্রতিদ্বন্দ্বী নয়, কিন্তু কলামার কাঠামো এবং ভেক্টর ক্যোয়ারী সম্পাদনের ক্ষেত্রে, এটি বিশ্লেষণাত্মক প্রশ্নগুলি প্রক্রিয়াকরণের বেশিরভাগ ক্ষেত্রে TimescaleDB এর চেয়ে অনেক দ্রুত। একই সময়ে, ক্লিকহাউস প্যাকেট ডেটা প্রাপ্তির কার্যকারিতা প্রায় 3 গুণ বেশি, উপরন্তু, এটি 20 গুণ কম ডিস্ক স্পেস ব্যবহার করে, যা ঐতিহাসিক ডেটার বড় ভলিউম প্রক্রিয়াকরণের জন্য সত্যিই গুরুত্বপূর্ণ: 
https://www.altinity.com/blog/ClickHouse-for-time-series.

ClickHouse এর বিপরীতে, TimescaleDB-তে কিছু ডিস্ক স্পেস সংরক্ষণ করার একমাত্র উপায় হল ZFS বা অনুরূপ ফাইল সিস্টেম ব্যবহার করা।

ক্লিকহাউসে আসন্ন আপডেটগুলি সম্ভবত ডেল্টা কম্প্রেশন প্রবর্তন করবে, যা এটিকে টাইম সিরিজ ডেটা প্রক্রিয়াকরণ এবং সংরক্ষণের জন্য আরও উপযুক্ত করে তুলবে। নিম্নলিখিত ক্ষেত্রে টাইমস্কেলডিবি বেয়ার ক্লিকহাউসের চেয়ে ভাল পছন্দ হতে পারে:

• খুব কম RAM সহ ছোট ইনস্টলেশন (<3 GB);
• একটি বড় সংখ্যক ছোট INSERT যা আপনি বড় অংশে বাফার করতে চান না;
• ভাল সামঞ্জস্য, অভিন্নতা এবং ACID প্রয়োজনীয়তা;
• পোস্টজিআইএস সমর্থন;
• বিদ্যমান PostgreSQL টেবিলের সাথে মার্জ করুন, যেহেতু Timescale DB মূলত PostgreSQL।

Hadoop এবং MapReduce সিস্টেমের সাথে প্রতিযোগিতা

Hadoop এবং অন্যান্য MapReduce পণ্যগুলি অনেক জটিল গণনা সম্পাদন করতে পারে, কিন্তু তারা বিশাল লেটেন্সিতে চলে৷ ClickHouse টেরাবাইট ডেটা প্রক্রিয়াকরণ করে এবং প্রায় সঙ্গে সঙ্গে ফলাফল তৈরি করে এই সমস্যার সমাধান করে৷ এইভাবে, ক্লিক হাউস দ্রুত, ইন্টারেক্টিভ বিশ্লেষণাত্মক গবেষণা সম্পাদনের জন্য অনেক বেশি দক্ষ, যা ডেটা বিজ্ঞানীদের আগ্রহের হওয়া উচিত।

পিনোট এবং ড্রুডের সাথে প্রতিযোগিতা

ক্লিকহাউসের নিকটতম প্রতিযোগীরা হল কলামার, রৈখিকভাবে মাপযোগ্য ওপেন সোর্স পণ্য পিনোট এবং ড্রুড। এই সিস্টেমের তুলনা একটি চমৎকার কাজ নিবন্ধে প্রকাশিত হয় রোমানা লেভেনটোভা 1 ফেব্রুয়ারি, 2018

এই নিবন্ধটি আপডেট করা দরকার - এটি বলে যে ClickHouse আপডেট এবং ডিলিট অপারেশন সমর্থন করে না, যা সর্বশেষ সংস্করণগুলির সাথে সম্পূর্ণভাবে সত্য নয়৷

এই ডিবিএমএসগুলির সাথে আমাদের খুব বেশি অভিজ্ঞতা নেই, তবে ড্রুইড এবং পিনোট চালানোর জন্য প্রয়োজনীয় অন্তর্নিহিত অবকাঠামোর জটিলতা আমি পছন্দ করি না - এটি সমস্ত দিক থেকে জাভা দ্বারা বেষ্টিত "চলন্ত অংশ" এর পুরো গুচ্ছ।

ড্রুইড এবং পিনোট হল অ্যাপাচি ইনকিউবেটর প্রজেক্ট, যেগুলো অ্যাপাচি তাদের গিটহাব প্রোজেক্ট পেজে বিস্তারিতভাবে কভার করেছে। পিনোট 2018 সালের অক্টোবরে ইনকিউবেটরে উপস্থিত হয়েছিল এবং ড্রুইডের জন্ম হয়েছিল 8 মাস আগে - ফেব্রুয়ারিতে।

AFS কীভাবে কাজ করে সে সম্পর্কে তথ্যের অভাব আমার জন্য কিছু, এবং সম্ভবত বোকা, প্রশ্ন উত্থাপন করে। আমি ভাবছি যে পিনোটের লেখকরা লক্ষ্য করেছেন যে অ্যাপাচি ফাউন্ডেশন ড্রুইডের প্রতি আরও বেশি নিষ্পত্তি করে এবং প্রতিযোগীর প্রতি এই ধরনের মনোভাব কি ঈর্ষার অনুভূতি সৃষ্টি করে? ড্রুইডের বিকাশ কি ধীর হয়ে যাবে এবং পিনোটের বিকাশ ত্বরান্বিত হবে যদি প্রাক্তনকে সমর্থনকারী স্পনসররা হঠাৎ করে পরবর্তীতে আগ্রহী হয়ে ওঠে?

ক্লিক হাউসের অসুবিধা

অপরিপক্কতা: স্পষ্টতই, এটি এখনও একটি বিরক্তিকর প্রযুক্তি, তবে যে কোনও ক্ষেত্রে, অন্যান্য কলামার ডিবিএমএসে এরকম কিছুই দেখা যায় না।

ছোট সন্নিবেশগুলি উচ্চ গতিতে ভাল কাজ করে না: সন্নিবেশগুলিকে অবশ্যই বড় অংশে বিভক্ত করতে হবে কারণ প্রতিটি সারিতে কলামের সংখ্যার অনুপাতে ছোট সন্নিবেশগুলির কার্যক্ষমতা হ্রাস পায়৷ এইভাবে ক্লিকহাউস ডিস্কে ডেটা সঞ্চয় করে - প্রতিটি কলাম মানে 1টি ফাইল বা তার বেশি, তাই 1টি কলাম সহ 100টি সারি সন্নিবেশ করতে, আপনাকে কমপক্ষে 100টি ফাইল খুলতে এবং লিখতে হবে। এই কারণেই বাফারিং সন্নিবেশ করার জন্য একজন মধ্যস্থতাকারীর প্রয়োজন হয় (যদি না ক্লায়েন্ট নিজেই বাফারিং প্রদান করে) - সাধারণত কাফকা বা কোনো ধরনের সারিবদ্ধ সিস্টেম। আপনি পরবর্তীতে MergeTree টেবিলে ডেটার বড় অংশ কপি করতে বাফার টেবিল ইঞ্জিন ব্যবহার করতে পারেন।

টেবিল যোগদান সার্ভার RAM দ্বারা সীমাবদ্ধ, কিন্তু অন্তত তারা সেখানে আছে! উদাহরণস্বরূপ, Druid এবং Pinot-এর মধ্যে এই ধরনের সংযোগ নেই, যেহেতু তারা সরাসরি বিতরণ করা সিস্টেমে প্রয়োগ করা কঠিন যা নোডের মধ্যে ডেটার বড় অংশ সরানো সমর্থন করে না।

তথ্যও

আগামী বছরগুলিতে, আমরা Qwintry-এ ClickHouse-এর ব্যাপক ব্যবহার করার পরিকল্পনা করছি, কারণ এই DBMS পারফরম্যান্স, কম ওভারহেড, স্কেলেবিলিটি এবং সরলতার একটি চমৎকার ভারসাম্য প্রদান করে। আমি নিশ্চিত যে ক্লিকহাউস সম্প্রদায় এটিকে ছোট এবং মাঝারি ইনস্টলেশনে ব্যবহার করার আরও উপায় নিয়ে আসার পরে এটি দ্রুত ছড়িয়ে পড়বে।

কিছু বিজ্ঞাপন 🙂

আমাদের সাথে থাকার জন্য আপনাকে ধন্যবাদ. আপনি আমাদের নিবন্ধ পছন্দ করেন? আরো আকর্ষণীয় বিষয়বস্তু দেখতে চান? অর্ডার দিয়ে বা বন্ধুদের সুপারিশ করে আমাদের সমর্থন করুন, $4.99 থেকে বিকাশকারীদের জন্য ক্লাউড ভিপিএস, এন্ট্রি-লেভেল সার্ভারগুলির একটি অনন্য অ্যানালগ, যা আমাদের দ্বারা আপনার জন্য উদ্ভাবিত হয়েছে: VPS (KVM) E5-2697 v3 (6 কোর) 10GB DDR4 480GB SSD 1Gbps থেকে $19 বা কিভাবে একটি সার্ভার শেয়ার করবেন সম্পর্কে সম্পূর্ণ সত্য? (RAID1 এবং RAID10 এর সাথে উপলব্ধ, 24 কোর পর্যন্ত এবং 40GB DDR4 পর্যন্ত)।

আমস্টারডামের ইকুইনিক্স টায়ার IV ডেটা সেন্টারে ডেল R730xd 2x সস্তা? শুধু এখানে 2 x Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 টিভি $199 থেকে নেদারল্যান্ডে! Dell R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - $99 থেকে! সম্পর্কে পড়ুন কিভাবে ইনফ্রাস্ট্রাকচার কর্পোরেশন তৈরি করা যায়। এক পয়সার জন্য 730 ইউরো মূল্যের Dell R5xd E2650-4 v9000 সার্ভার ব্যবহার করে ক্লাস?

উত্স: www.habr.com