ক্লিকহাউসে চলে যাওয়া: 3 বছর পরে

তিন বছর আগে মঞ্চে ইয়ানডেক্স থেকে ভিক্টর টারনাভস্কি এবং আলেক্সি মিলোভিডভ হাইলোড++ বলা, ক্লিকহাউস কতটা ভালো, এবং কীভাবে এটি ধীর হয় না। এবং পরবর্তী পর্যায়ে ছিল আলেকজান্ডার জাইতসেভ с রিপোর্ট যাওয়ার বিষয়ে ক্লিকহাউস অন্য একটি বিশ্লেষণাত্মক ডিবিএমএস থেকে এবং উপসংহারে যে ক্লিকহাউস, অবশ্যই, ভাল, কিন্তু খুব সুবিধাজনক নয়। যখন 2016 সালে কোম্পানি LifeStreet, যেখানে আলেকজান্ডার তখন কাজ করেছিলেন, সেখানে একটি মাল্টি-পেটাবাইট বিশ্লেষণাত্মক সিস্টেমকে রূপান্তর করছিলেন ক্লিকহাউস, এটি ছিল একটি আকর্ষণীয় "হলুদ ইটের রাস্তা" অজানা বিপদে পূর্ণ - ক্লিকহাউস তখন এটি একটি মাইনফিল্ডের মতো লাগছিল।

তিন বছর পরে ক্লিকহাউস অনেক ভাল হয়ে ওঠে - এই সময়ে আলেকজান্ডার কোম্পানি Altinity প্রতিষ্ঠা করেন, যা শুধুমাত্র মানুষকে যেতে সাহায্য করে না ক্লিকহাউস কয়েক ডজন প্রকল্প, তবে ইয়ানডেক্সের সহকর্মীদের সাথে পণ্যটিকেও উন্নত করে। এখন ক্লিকহাউস এখনও একটি উদ্বেগহীন পায়চারি না, কিন্তু আর একটি মাইনফিল্ড.

আলেকজান্ডার 2003 সাল থেকে ডিস্ট্রিবিউটেড সিস্টেমের সাথে কাজ করছেন, বড় প্রকল্পের উন্নয়ন করছেন মাইএসকিউএল, ওরাকল и ভার্টিকা. শেষের দিকে হাইলোড++ 2019 আলেকজান্ডার, ব্যবহারের অগ্রদূতদের একজন ক্লিকহাউস, এই DBMS এখন কি বলেন. আমরা প্রধান বৈশিষ্ট্য সম্পর্কে জানব ক্লিকহাউস: এটি কীভাবে অন্যান্য সিস্টেম থেকে আলাদা এবং কোন ক্ষেত্রে এটি ব্যবহার করা আরও কার্যকর। উদাহরণ ব্যবহার করে, আমরা এর উপর ভিত্তি করে সিস্টেম নির্মাণের জন্য সাম্প্রতিক এবং প্রকল্প-পরীক্ষিত অনুশীলনগুলি দেখব ক্লিকহাউস.

পূর্ববর্তী: 3 বছর আগে যা ঘটেছিল

তিন বছর আগে আমরা কোম্পানিটি হস্তান্তর করেছি LifeStreet উপর ক্লিকহাউস অন্য একটি বিশ্লেষণাত্মক ডাটাবেস থেকে, এবং বিজ্ঞাপন নেটওয়ার্ক অ্যানালিটিক্স মাইগ্রেশন দেখতে এইরকম:

• জুন 2016. ইন মুক্ত উত্স হাজির ক্লিকহাউস এবং আমাদের প্রকল্প শুরু হয়েছে;
• আগস্ট। ধারণার প্রমাণ: বড় বিজ্ঞাপন নেটওয়ার্ক, অবকাঠামো এবং 200-300 টেরাবাইট ডেটা;
• অক্টোবর. প্রথম উত্পাদন তথ্য;
• ডিসেম্বর। সম্পূর্ণ পণ্যের লোড হল প্রতিদিন 10-50 বিলিয়ন ইভেন্ট।
• জুন 2017. ব্যবহারকারীদের সফল স্থানান্তর ক্লিকহাউস, 2,5 সার্ভারের একটি ক্লাস্টারে 60 পেটাবাইট ডেটা।

মাইগ্রেশন প্রক্রিয়া চলাকালীন, একটি ক্রমবর্ধমান বোঝার ছিল যে ক্লিকহাউস এটি একটি ভাল সিস্টেম যার সাথে কাজ করা আনন্দদায়ক, তবে এটি ইয়ানডেক্সের একটি অভ্যন্তরীণ প্রকল্প। অতএব, সূক্ষ্মতা রয়েছে: ইয়ানডেক্স প্রথমে তার নিজস্ব অভ্যন্তরীণ গ্রাহকদের সাথে এবং শুধুমাত্র তারপর সম্প্রদায় এবং বহিরাগত ব্যবহারকারীদের চাহিদার সাথে মোকাবিলা করবে এবং ক্লিকহাউস তখন অনেক কার্যকরী এলাকায় এন্টারপ্রাইজ স্তরে পৌঁছায়নি। সেজন্য আমরা 2017 সালের মার্চ মাসে Altinity প্রতিষ্ঠা করেছি ক্লিকহাউস এমনকি দ্রুত এবং আরও সুবিধাজনক শুধুমাত্র ইয়ানডেক্সের জন্য নয়, অন্যান্য ব্যবহারকারীদের জন্যও। এবং এখন আমরা:

• আমরা প্রশিক্ষণ এবং এর ভিত্তিতে সমাধান তৈরি করতে সহায়তা করি ক্লিকহাউস যাতে গ্রাহকরা সমস্যায় না পড়ে এবং সমাধানটি শেষ পর্যন্ত কাজ করে;
• আমরা 24/7 সমর্থন প্রদান করি ক্লিকহাউস- ইনস্টলেশন;
• আমরা আমাদের নিজস্ব ইকোসিস্টেম প্রকল্পগুলি বিকাশ করি;
• আমরা সক্রিয়ভাবে নিজেদের প্রতিশ্রুতিবদ্ধ ক্লিকহাউস, নির্দিষ্ট বৈশিষ্ট্যগুলি দেখতে চান এমন ব্যবহারকারীদের অনুরোধে সাড়া দেওয়া।

এবং অবশ্যই, আমরা যেতে সাহায্য করি ক্লিকহাউস с মাইএসকিউএল, ভার্টিকা, আকাশবাণী, গ্রীনপ্লাম, লোহিত সরণ এবং অন্যান্য সিস্টেম। আমরা বিভিন্ন পদক্ষেপের সাথে জড়িত ছিলাম, এবং তারা সব সফল হয়েছে।

কেন সরানো ক্লিকহাউস

মন্থর হয় না! এটাই প্রধান কারণ। ক্লিকহাউস - বিভিন্ন পরিস্থিতিতে জন্য খুব দ্রুত ডাটাবেস:

যারা দীর্ঘদিন ধরে মানুষের সাথে কাজ করছেন তাদের কাছ থেকে এলোমেলো উদ্ধৃতি ক্লিকহাউস.

মাপযোগ্যতা। অন্য কিছু ডাটাবেসে আপনি হার্ডওয়্যারের এক টুকরোতে ভাল পারফরম্যান্স অর্জন করতে পারেন, কিন্তু ক্লিকহাউস আপনি শুধুমাত্র সার্ভার যোগ করে উল্লম্বভাবে নয়, অনুভূমিকভাবেও স্কেল করতে পারেন। সবকিছু আমাদের পছন্দ মতো মসৃণভাবে কাজ করে না, তবে এটি কাজ করে। আপনার ব্যবসা বাড়ার সাথে সাথে আপনি সিস্টেমটি প্রসারিত করতে পারেন। এটা গুরুত্বপূর্ণ যে আমরা এখন সমাধানের মধ্যে সীমাবদ্ধ নই এবং সবসময় উন্নয়নের সম্ভাবনা থাকে।

বহনযোগ্যতা. একটি জিনিসের সাথে কোন সংযুক্তি নেই। উদাহরণস্বরূপ, সঙ্গে আমাজন রেডশিফ্ট কোথাও সরানো কঠিন। ক ক্লিকহাউস আপনি এটি আপনার ল্যাপটপ, সার্ভারে ইনস্টল করতে পারেন, এটি ক্লাউডে স্থাপন করতে পারেন, যান Kubernetes - অবকাঠামো পরিচালনার উপর কোন সীমাবদ্ধতা নেই। এটি প্রত্যেকের জন্য সুবিধাজনক, এবং এটি একটি বড় সুবিধা যা অন্যান্য অনেক অনুরূপ ডেটাবেস গর্ব করতে পারে না।

নমনীয়তা. ক্লিকহাউস এক জিনিসে থামে না, উদাহরণস্বরূপ, Yandex.Metrica, কিন্তু বিকাশ করে এবং আরও বেশি করে বিভিন্ন প্রকল্প এবং শিল্পে ব্যবহৃত হয়। এটি নতুন সমস্যা সমাধানের জন্য নতুন ক্ষমতা যোগ করে প্রসারিত করা যেতে পারে। উদাহরণস্বরূপ, এটি বিশ্বাস করা হয় যে একটি ডাটাবেসে লগ সংরক্ষণ করা খারাপ আচরণ, তাই তারা নিয়ে এসেছিল Elasticsearch. কিন্তু নমনীয়তার জন্য ধন্যবাদ ক্লিকহাউস, আপনি এটিতে লগ সঞ্চয় করতে পারেন এবং প্রায়শই এটি ইনের চেয়েও ভাল Elasticsearch - এ ক্লিকহাউস এর জন্য 10 গুণ কম আয়রন প্রয়োজন।

বিনামূল্যে Open Source. আপনাকে কিছু দিতে হবে না। আপনার ল্যাপটপ বা সার্ভারে সিস্টেম ইনস্টল করার জন্য অনুমতি নিয়ে আলোচনার প্রয়োজন নেই। কোন লুকানো ফি. একই সময়ে, অন্য কোন ওপেন সোর্স ডাটাবেস প্রযুক্তি গতিতে প্রতিযোগিতা করতে পারে না ক্লিকহাউস. মাইএসকিউএল, মারিয়াডিবি, গ্রিনপ্লাম - তারা সব অনেক ধীর.

সম্প্রদায়, ড্রাইভ এবং মজা। মধ্যে ক্লিকহাউস চমৎকার সম্প্রদায়: সাক্ষাৎ, চ্যাট এবং আলেক্সি মিলোভিডভ, যিনি আমাদের সকলকে তার শক্তি এবং আশাবাদ দিয়ে চার্জ করেন।

ক্লিক হাউসে চলে যাচ্ছে

যেতে ক্লিকহাউস কিছু কারণে, আপনার শুধুমাত্র তিনটি জিনিস প্রয়োজন:

• সীমাবদ্ধতা বুঝুন ক্লিকহাউস এবং এটি কি জন্য উপযুক্ত নয়।
• সুবিধা গ্রহণ প্রযুক্তি এবং তার সবচেয়ে বড় শক্তি।
• পরীক্ষা. এমনকি এটি কীভাবে কাজ করে তা বোঝাও ক্লিকহাউস, কখন এটি দ্রুত হবে, কখন এটি ধীর হবে, কখন এটি ভাল হবে এবং কখন এটি খারাপ হবে তা ভবিষ্যদ্বাণী করা সবসময় সম্ভব নয়। তাই চেষ্টা করে দেখুন।

চলন্ত সমস্যা

শুধুমাত্র একটি "কিন্তু" আছে: যদি আপনি যান ক্লিকহাউস অন্য কিছু থেকে, তারপর সাধারণত কিছু ভুল হয়ে যায়। আমরা আমাদের প্রিয় ডাটাবেসে কাজ করে এমন কিছু অনুশীলন এবং জিনিসগুলিতে অভ্যস্ত। উদাহরণস্বরূপ, যে কেউ কাজ করছে SQএল-ডাটাবেসগুলি নিম্নলিখিত ফাংশনগুলির সেটগুলিকে বাধ্যতামূলক বিবেচনা করে:

• লেনদেন
• সীমাবদ্ধতা;
• ধারাবাহিকতা
• সূচক;
• আপডেট/মুছুন;
• NULL;
• মিলিসেকেন্ড;
• স্বয়ংক্রিয় টাইপ casts;
• একাধিক যোগদান;
• নির্বিচারে পার্টিশন;
• ক্লাস্টার পরিচালনার সরঞ্জাম।

নিয়োগ বাধ্যতামূলক, তবে তিন বছর আগে ক্লিকহাউস এই ফাংশন কোন উপলব্ধ ছিল! এখন যা বাস্তবায়িত হয়নি তার অর্ধেকেরও কম অবশিষ্ট রয়েছে: লেনদেন, সীমাবদ্ধতা, ধারাবাহিকতা, মিলিসেকেন্ড এবং টাইপ কাস্টিং।

এবং প্রধান জিনিস যে মধ্যে ক্লিকহাউস কিছু স্ট্যান্ডার্ড অভ্যাস এবং পন্থা আমাদের অভ্যস্ত হওয়ার চেয়ে ভিন্নভাবে কাজ করে না বা কাজ করে না। সবকিছু যা প্রদর্শিত হয় ক্লিকহাউস, অনুরূপ "ক্লিক হাউস উপায়", অর্থাৎ ফাংশন অন্যান্য ডাটাবেস থেকে পৃথক। উদাহরণ স্বরূপ:

• সূচী নির্বাচন করা হয় না, কিন্তু বাদ দেওয়া হয়.
• আপডেট/মুছুন সিঙ্ক্রোনাস নয়, কিন্তু অ্যাসিঙ্ক্রোনাস।
• একাধিক যোগদান আছে, কিন্তু কোন প্রশ্ন পরিকল্পনাকারী নেই. সেগুলি কীভাবে সঞ্চালিত হয় তা সাধারণত ডেটাবেস জগতের লোকেদের কাছে খুব স্পষ্ট নয়।

হাউস স্ক্রিপ্টে ক্লিক করুন

1960 সালে, হাঙ্গেরিয়ান বংশোদ্ভূত আমেরিকান গণিতবিদ উইগনার ইপি একটি নিবন্ধ লিখেছেন "প্রাকৃতিক বিজ্ঞানে গণিতের অযৌক্তিক কার্যকারিতা” (“প্রাকৃতিক বিজ্ঞানে গণিতের বোধগম্য কার্যকারিতা”) যে আমাদের চারপাশের বিশ্ব কিছু কারণে গাণিতিক আইন দ্বারা ভালভাবে বর্ণিত হয়েছে। গণিত একটি বিমূর্ত বিজ্ঞান, এবং গাণিতিক আকারে প্রকাশ করা শারীরিক আইন তুচ্ছ নয়, এবং উইগনার ইপি জোর দিয়েছিলেন যে এটি খুব অদ্ভুত।

আমার দৃষ্টিকোণ থেকে, ক্লিকহাউস - একই অদ্ভুততা। উইগনারকে নতুন করে বলার জন্য, আমরা এটি বলতে পারি: অকল্পনীয় দক্ষতা বিস্ময়কর ক্লিকহাউস বিস্তৃত বিশ্লেষণাত্মক অ্যাপ্লিকেশনের মধ্যে!

যেমন ধরা যাক রিয়েল-টাইম ডেটা গুদাম, যার মধ্যে ডেটা প্রায় অবিচ্ছিন্নভাবে লোড হয়। আমরা একটি দ্বিতীয় বিলম্ব সঙ্গে এটি থেকে অনুরোধ পেতে চাই. দয়া করে - এটি ব্যবহার করুন ক্লিকহাউস, কারণ এটি সেই দৃশ্যের জন্য ডিজাইন করা হয়েছিল। ক্লিকহাউস ঠিক এইভাবে এটি কেবল ওয়েবেই নয়, বিপণন এবং আর্থিক বিশ্লেষণেও ব্যবহৃত হয়, অ্যাডটেকh, সেইসাথে ইন জালিয়াতি সনাক্তকরণn ভিতরে রিয়েল-টাইম ডেটা গুদাম একটি জটিল কাঠামোগত স্কিম যেমন "তারকা" বা "তুষারকণা" ব্যবহার করা হয়, অনেকগুলি টেবিল সহ JOIN (কখনও কখনও একাধিক), এবং ডেটা সাধারণত কিছু সিস্টেমে সংরক্ষিত এবং পরিবর্তিত হয়।

আরেকটা দৃশ্য ধরা যাক- সময় সিরিজ: ডিভাইস, নেটওয়ার্ক, ব্যবহারের পরিসংখ্যান, জিনিসের ইন্টারনেট পর্যবেক্ষণ। এখানে আমরা মোটামুটি সহজ ইভেন্টের সম্মুখীন সময় অর্ডার. ক্লিকহাউস মূলত এটির জন্য তৈরি করা হয়নি, তবে নিজেকে ভালভাবে কাজ করতে দেখিয়েছে, তাই বড় কোম্পানিগুলি ব্যবহার করে ক্লিকহাউস তথ্য পর্যবেক্ষণের জন্য একটি ভান্ডার হিসাবে। এটি উপযুক্ত কিনা অন্বেষণ করতে ক্লিকহাউস সময়-সিরিজের জন্য, আমরা পদ্ধতি এবং ফলাফলের উপর ভিত্তি করে একটি বেঞ্চমার্ক তৈরি করেছি ইনফ্লাক্সডিবি и টাইমস্কেলডিবি - বিশেষজ্ঞ সময় সিরিজ ডাটাবেস দেখা গেলো, যে ক্লিকহাউস, এমনকি এই ধরনের কাজের জন্য অপ্টিমাইজেশন ছাড়াই, একটি বিদেশী মাঠে জয়লাভ করে:

В সময় সিরিজ সাধারণত একটি সংকীর্ণ টেবিল ব্যবহার করা হয় - বেশ কয়েকটি ছোট কলাম। মনিটরিং থেকে প্রচুর ডেটা আসতে পারে—প্রতি সেকেন্ডে লক্ষ লক্ষ রেকর্ড—এবং সেগুলি সাধারণত ছোট আকারে আসে (প্রকৃত সময় স্ট্রিমিং)। অতএব, একটি ভিন্ন সন্নিবেশ স্ক্রিপ্ট প্রয়োজন, এবং ক্যোয়ারীগুলির নিজস্ব বৈশিষ্ট্য রয়েছে।

লগ ম্যানেজমেন্ট. একটি ডাটাবেসে লগ সংগ্রহ করা সাধারণত খারাপ, কিন্তু ক্লিকহাউস এটি উপরে বর্ণিত কিছু মন্তব্য দিয়ে করা যেতে পারে। অনেক কোম্পানি ব্যবহার করে ক্লিকহাউস ঠিক এই উদ্দেশ্যে। এই ক্ষেত্রে, আমরা একটি ফ্ল্যাট প্রশস্ত টেবিল ব্যবহার করি যেখানে আমরা সম্পূর্ণ লগগুলি সংরক্ষণ করি (উদাহরণস্বরূপ, ফর্মে তাদেরকে JSON), অথবা টুকরো টুকরো করে কাটা। ডেটা সাধারণত বড় ব্যাচে (ফাইল) লোড করা হয় এবং আমরা কিছু ক্ষেত্র দ্বারা অনুসন্ধান করি।

এই ফাংশন প্রতিটি জন্য, বিশেষ ডাটাবেস সাধারণত ব্যবহার করা হয়. ক্লিকহাউস কেউ এটি সব করতে পারে এবং এত ভাল যে এটি তাদের ছাড়িয়ে যায়। এর এখন ঘনিষ্ঠভাবে তাকান সময় সিরিজ দৃশ্যকল্প, এবং কিভাবে সঠিকভাবে "রান্না" করতে হয় ক্লিকহাউস এই দৃশ্যের জন্য.

টাইম-সিরিজ

বর্তমানে এটি যার জন্য প্রধান দৃশ্যকল্প ক্লিকহাউস আদর্শ সমাধান হিসাবে বিবেচিত। টাইম সিরিজ সময়ের সাথে সাথে কিছু প্রক্রিয়ার পরিবর্তনের প্রতিনিধিত্ব করে সময়ের মধ্যে অর্ডার করা ইভেন্টের একটি সেট। উদাহরণস্বরূপ, এটি প্রতিদিনের হৃদস্পন্দন বা সিস্টেমে প্রসেসের সংখ্যা হতে পারে। সময় কিছু মাত্রা সঙ্গে ticks দেয় সবকিছু হয় সময় সিরিজ:

এই ধরনের ইভেন্টগুলির বেশিরভাগই মনিটরিং থেকে আসে। এটি শুধুমাত্র ওয়েব পর্যবেক্ষণ নয়, বাস্তব ডিভাইসগুলিও হতে পারে: গাড়ি, শিল্প ব্যবস্থা, IOT, কারখানা বা মনুষ্যবিহীন ট্যাক্সি, যার মধ্যে ইয়ানডেক্স ইতিমধ্যেই রাখছে ক্লিকহাউস-সার্ভার

উদাহরণস্বরূপ, এমন কোম্পানি রয়েছে যারা জাহাজ থেকে ডেটা সংগ্রহ করে। প্রতি কয়েক সেকেন্ডে, ধারক জাহাজের সেন্সরগুলি শত শত বিভিন্ন পরিমাপ পাঠায়। ইঞ্জিনিয়াররা সেগুলি অধ্যয়ন করে, মডেল তৈরি করে এবং বোঝার চেষ্টা করে যে জাহাজটি কতটা দক্ষতার সাথে ব্যবহার করা হয়েছে, কারণ একটি ধারক জাহাজ এক সেকেন্ডের জন্যও নিষ্ক্রিয় হওয়া উচিত নয়। যেকোনো ডাউনটাইম অর্থের ক্ষতি, তাই রুটের পূর্বাভাস দেওয়া গুরুত্বপূর্ণ যাতে স্টপেজগুলি কম হয়।

আজকাল বিশেষায়িত ডাটাবেসের বৃদ্ধি রয়েছে যা পরিমাপ করে সময় সিরিজ. অনলাইন ডিবি-ইঞ্জিন বিভিন্ন ডাটাবেস একরকম র‌্যাঙ্ক করা হয়েছে, এবং আপনি সেগুলি টাইপ অনুসারে দেখতে পারেন:

দ্রুততম বর্ধনশীল প্রকার সময় সিরিজs গ্রাফ ডাটাবেসও বাড়ছে, কিন্তু সময় সিরিজs গত কয়েক বছর ধরে দ্রুত বৃদ্ধি পাচ্ছে। ডাটাবেস এই পরিবারের সাধারণ প্রতিনিধি হয় ইনফ্লাক্সডিবি, প্রমিথিউস, KDB, টাইমস্কেলডিবি (তৈরি করেছিল পোস্টগ্রি), থেকে সমাধান মর্দানী স্ত্রীলোক. ক্লিকহাউস এখানেও ব্যবহার করা যেতে পারে, এবং ব্যবহার করা হয়। আমি আপনাকে কয়েকটি পাবলিক উদাহরণ দিতে দিন.

অগ্রগামী এক কোম্পানি CloudFlare (যা CDN-প্রদানকারী). তারা তাদের পর্যবেক্ষণ করে যা CDN দ্বারা ক্লিকহাউস (ডিএনএস-অনুরোধ, HTTP- র-queries) একটি বিশাল লোড সহ - প্রতি সেকেন্ডে 6 মিলিয়ন ইভেন্ট। সবকিছুর মধ্য দিয়ে যায় কাফকা, যায় ক্লিকহাউস, যা রিয়েল টাইমে সিস্টেমে ইভেন্টের ড্যাশবোর্ড দেখার সুযোগ দেয়।

কমকাস্ট - মার্কিন যুক্তরাষ্ট্রে টেলিযোগাযোগের অন্যতম নেতা: ইন্টারনেট, ডিজিটাল টেলিভিশন, টেলিফোনি। তারা একটি অনুরূপ নিয়ন্ত্রণ ব্যবস্থা তৈরি করেছে যা CDN কাঠামোর মধ্যে Open Source প্রকল্পের অ্যাপাচি ট্রাফিক কন্ট্রোল আপনার বিশাল ডেটা নিয়ে কাজ করতে। ক্লিকহাউস বিশ্লেষণের জন্য ব্যাকএন্ড হিসাবে ব্যবহৃত হয়।

পারকোনা নির্মিত ক্লিকহাউস আপনার ভিতরে PMMবিভিন্ন মনিটরিং সংরক্ষণ করতে মাইএসকিউএল.

সুনির্দিষ্ট চাহিদাবলী

টাইম-সিরিজ ডাটাবেসের নিজস্ব নির্দিষ্ট প্রয়োজনীয়তা রয়েছে।

• অনেক এজেন্ট থেকে দ্রুত সন্নিবেশ. আমাদের অনেকগুলি স্ট্রীম থেকে খুব দ্রুত ডেটা সন্নিবেশ করতে হবে। ক্লিকহাউস এটি এটি ভাল করে কারণ এর সমস্ত সন্নিবেশগুলি নন-ব্লকিং। যে কোন ঢোকান ডিস্কে একটি নতুন ফাইল, এবং ছোট সন্নিবেশগুলি এক বা অন্য উপায়ে বাফার করা যেতে পারে। ভিতরে ক্লিকহাউস একবারে এক লাইনের পরিবর্তে বড় ব্যাচে ডেটা সন্নিবেশ করা ভাল।
• নমনীয় স্কিম। দ্য সময় সিরিজ আমরা সাধারণত ডাটা স্ট্রাকচার পুরোপুরি জানি না। একটি নির্দিষ্ট অ্যাপ্লিকেশনের জন্য একটি মনিটরিং সিস্টেম তৈরি করা সম্ভব, কিন্তু তারপর অন্য অ্যাপ্লিকেশনের জন্য এটি ব্যবহার করা কঠিন। এর জন্য আরও নমনীয় স্কিম প্রয়োজন। ক্লিকহাউস, আপনাকে এটি করার অনুমতি দেয়, যদিও এটি একটি দৃঢ়ভাবে টাইপ করা বেস।
• দক্ষ স্টোরেজ এবং ডেটা ভুলে যাওয়া. সাধারণত মধ্যে সময় সিরিজ বিপুল পরিমাণ ডেটা, তাই এটি যতটা সম্ভব দক্ষতার সাথে সংরক্ষণ করা আবশ্যক। উদাহরণস্বরূপ, এ ইনফ্লাক্সডিবি ভাল কম্প্রেশন তার প্রধান বৈশিষ্ট্য. তবে সঞ্চয় করার পাশাপাশি, আপনাকে পুরানো ডেটা "ভুলে যেতে" এবং কিছু ধরণের করতে সক্ষম হতে হবে ডাউনস্যাম্পলিং - সমষ্টির স্বয়ংক্রিয় গণনা।
• সমষ্টিগত ডেটাতে দ্রুত প্রশ্ন. কখনও কখনও মিলিসেকেন্ডের নির্ভুলতার সাথে শেষ 5 মিনিটের দিকে তাকানো আকর্ষণীয়, তবে মাসিক ডেটা মিনিট বা দ্বিতীয় গ্রানুলিটির প্রয়োজন নাও হতে পারে - সাধারণ পরিসংখ্যানই যথেষ্ট। এই ধরনের সমর্থন প্রয়োজন, অন্যথায় 3 মাসের জন্য একটি অনুরোধ সম্পূর্ণ হতে খুব দীর্ঘ সময় লাগবে ক্লিকহাউস.
• অনুরোধ যেমন "শেষ বিন্দু, হিসাবে». এই জন্য সাধারণ সময় সিরিজ queries: শেষ পরিমাপ বা সিস্টেমের অবস্থা এক মুহূর্তে তাকান t. এগুলি একটি ডাটাবেসের জন্য খুব আনন্দদায়ক প্রশ্ন নয়, তবে আপনাকে সেগুলি সম্পাদন করতে সক্ষম হতে হবে।
• "গ্লুইং" টাইম সিরিজ. টাইম সিরিজ একটি সময় সিরিজ। যদি দুটি টাইম সিরিজ থাকে, তবে তাদের প্রায়শই সংযুক্ত এবং পারস্পরিক সম্পর্কযুক্ত হতে হবে। সমস্ত ডাটাবেসে এটি করা সুবিধাজনক নয়, বিশেষত অসংযুক্ত টাইম সিরিজের সাথে: এখানে কিছু টাইম পয়েন্ট আছে, অন্য কিছু আছে। আপনি গড় বিবেচনা করতে পারেন, কিন্তু হঠাৎ সেখানে এখনও একটি গর্ত থাকবে, তাই এটি পরিষ্কার নয়।

আসুন দেখি কিভাবে এই প্রয়োজনীয়তাগুলি পূরণ করা হয় ক্লিকহাউস.

এই প্রকল্পটি

В ক্লিকহাউস জন্য পরিকল্পনা সময় সিরিজ ডেটার নিয়মিততার ডিগ্রির উপর নির্ভর করে বিভিন্ন উপায়ে করা যেতে পারে। নিয়মিত ডেটার উপর একটি সিস্টেম তৈরি করা সম্ভব যখন আমরা সমস্ত মেট্রিক্স আগে থেকে জানি। উদাহরণস্বরূপ, আমি এটি করেছি CloudFlare মনিটরিং সহ যা CDN একটি ভাল অপ্টিমাইজ করা সিস্টেম. আপনি একটি আরও সাধারণ সিস্টেম তৈরি করতে পারেন যা সমগ্র অবকাঠামো এবং বিভিন্ন পরিষেবাগুলি নিরীক্ষণ করে। অনিয়মিত ডেটার ক্ষেত্রে, আমরা কী পর্যবেক্ষণ করছি তা আমরা আগে থেকে জানি না - এবং এটি সম্ভবত সবচেয়ে সাধারণ ঘটনা।

নিয়মিত ডেটা। কলাম. স্কিমটি সহজ - প্রয়োজনীয় ধরনের সহ কলাম:

CREATE TABLE cpu (
  created_date Date DEFAULT today(),  
  created_at DateTime DEFAULT now(),  
  time String,  
  tags_id UInt32,  /* join to dim_tag */
  usage_user Float64,  
  usage_system Float64,  
  usage_idle Float64,  
  usage_nice Float64,  
  usage_iowait Float64,  
  usage_irq Float64,  
  usage_softirq Float64,  
  usage_steal Float64,  
  usage_guest Float64,  
  usage_guest_nice Float64
) ENGINE = MergeTree(created_date, (tags_id, created_at), 8192);

এটি একটি নিয়মিত টেবিল যা কিছু ধরণের সিস্টেম লোডিং কার্যকলাপ নিরীক্ষণ করে (ব্যবহারকারী, পদ্ধতি, অলস, সুন্দর) সহজ এবং সুবিধাজনক, কিন্তু নমনীয় নয়। যদি আমরা আরও নমনীয় স্কিম চাই, তাহলে আমরা অ্যারে ব্যবহার করতে পারি।

অনিয়মিত তথ্য। অ্যারে:

CREATE TABLE cpu_alc (
  created_date Date,  
  created_at DateTime,  
  time String,  
  tags_id UInt32,  
  metrics Nested(
    name LowCardinality(String),  
    value Float64
  )
) ENGINE = MergeTree(created_date, (tags_id, created_at), 8192);

SELECT max(metrics.value[indexOf(metrics.name,'usage_user')]) FROM ...

গঠন নেস্টেড দুটি অ্যারে: মেট্রিক্স.নাম и metrics.value. এখানে আপনি প্রতিটি ইভেন্টের জন্য নামের একটি অ্যারে এবং পরিমাপের অ্যারে হিসাবে এই ধরনের নির্বিচারে পর্যবেক্ষণ ডেটা সংরক্ষণ করতে পারেন। আরও অপ্টিমাইজেশনের জন্য, এই ধরনের একটি কাঠামোর পরিবর্তে, আপনি বেশ কয়েকটি তৈরি করতে পারেন। উদাহরণস্বরূপ, একটি জন্য ভাসা-মান, অন্য - জন্য কোন int- মানে কারণ কোন int আমি আরও দক্ষতার সাথে সঞ্চয় করতে চাই।

কিন্তু এই ধরনের কাঠামো অ্যাক্সেস করা আরও কঠিন। প্রথমে সূচক এবং তারপর অ্যারের মান বের করতে বিশেষ ফাংশন ব্যবহার করে আপনাকে একটি বিশেষ নির্মাণ ব্যবহার করতে হবে:

SELECT max(metrics.value[indexOf(metrics.name,'usage_user')]) FROM ...

কিন্তু এটি এখনও বেশ দ্রুত কাজ করে। অনিয়মিত ডেটা সঞ্চয় করার আরেকটি উপায় হল সারি দ্বারা।

অনিয়মিত তথ্য। স্ট্রিংস. এই প্রথাগত পদ্ধতিতে, অ্যারে ছাড়া, নাম এবং মান একই সাথে সংরক্ষণ করা হয়। যদি 5 পরিমাপ একবারে একটি ডিভাইস থেকে আসে, 000 সারি ডাটাবেসে তৈরি হয়:

CREATE TABLE cpu_rlc (
  created_date Date,  
  created_at DateTime,  
  time String,  
  tags_id UInt32,  
  metric_name LowCardinality(String),  
  metric_value Float64
) ENGINE = MergeTree(created_date, (metric_name, tags_id, created_at), 8192);


SELECT 
    maxIf(metric_value, metric_name = 'usage_user'),
    ... 
FROM cpu_r
WHERE metric_name IN ('usage_user', ...)

ক্লিকহাউস এটির সাথে মোকাবিলা করে - এটির বিশেষ এক্সটেনশন রয়েছে ক্লিকহাউস এসকিউএল। উদাহরণস্বরূপ সর্বোচ্চ যদি — একটি বিশেষ ফাংশন যা একটি মেট্রিক দ্বারা সর্বাধিক গণনা করে যখন কিছু শর্ত পূরণ হয়। আপনি একটি অনুরোধে এই ধরনের বেশ কয়েকটি অভিব্যক্তি লিখতে পারেন এবং অবিলম্বে বেশ কয়েকটি মেট্রিকের জন্য মান গণনা করতে পারেন।

আসুন তিনটি পদ্ধতির তুলনা করি:

Детали

এখানে আমি কিছু পরীক্ষার ডেটা সেটের জন্য "ডিস্ক ডেটা সাইজ" যোগ করেছি। কলামের ক্ষেত্রে, আমাদের কাছে সবচেয়ে ছোট ডেটার আকার রয়েছে: সর্বাধিক কম্প্রেশন, সর্বাধিক ক্যোয়ারী স্পিড, কিন্তু আমরা একবারে সবকিছু রেকর্ড করার মাধ্যমে অর্থ প্রদান করি।

অ্যারের ক্ষেত্রে, সবকিছু একটু খারাপ। ডেটা এখনও ভালভাবে সংকুচিত এবং একটি অনিয়মিত প্যাটার্ন সংরক্ষণ করা যেতে পারে। কিন্তু ক্লিকহাউস - একটি কলামার ডাটাবেস, এবং যখন আমরা একটি অ্যারেতে সবকিছু সংরক্ষণ করা শুরু করি, এটি একটি সারিতে পরিণত হয় এবং আমরা দক্ষতার সাথে নমনীয়তার জন্য অর্থ প্রদান করি। যেকোনো অপারেশনের জন্য, আপনাকে পুরো অ্যারেটি মেমরিতে পড়তে হবে, তারপর এতে পছন্দসই উপাদানটি খুঁজে বের করতে হবে - এবং যদি অ্যারে বৃদ্ধি পায়, তাহলে গতি হ্রাস পায়।

এই পদ্ধতি ব্যবহার করে এমন একটি কোম্পানিতে (উদাহরণস্বরূপ, উবার), অ্যারে 128 টি উপাদানের টুকরো টুকরো করা হয়। 200 TB ডেটা/দিনের ভলিউম সহ কয়েক হাজার মেট্রিক্সের ডেটা একটি অ্যারেতে নয়, বিশেষ স্টোরেজ লজিক সহ 10 বা 30 অ্যারেতে সংরক্ষণ করা হয়।

সবচেয়ে সহজ পদ্ধতি হল স্ট্রিং দিয়ে। কিন্তু ডেটা খারাপভাবে সংকুচিত, টেবিলের আকার বড়, এবং এমনকি যখন বিভিন্ন মেট্রিক্সের উপর ভিত্তি করে প্রশ্ন করা হয়, ক্লিকহাউস সর্বোত্তমভাবে কাজ করে না।

হাইব্রিড স্কিম

ধরা যাক আমরা একটি অ্যারে সার্কিট বেছে নিয়েছি। কিন্তু যদি আমরা জানি যে আমাদের বেশিরভাগ ড্যাশবোর্ড শুধুমাত্র ব্যবহারকারী এবং সিস্টেম মেট্রিক্স দেখায়, আমরা অতিরিক্তভাবে এই মেট্রিকগুলিকে টেবিল স্তরে একটি অ্যারে থেকে কলামে পরিণত করতে পারি:

CREATE TABLE cpu_alc (
  created_date Date,  
  created_at DateTime,  
  time String,  
  tags_id UInt32,  
  metrics Nested(
    name LowCardinality(String),  
    value Float64
  ),
  usage_user Float64 
             MATERIALIZED metrics.value[indexOf(metrics.name,'usage_user')],
  usage_system Float64 
             MATERIALIZED metrics.value[indexOf(metrics.name,'usage_system')]
) ENGINE = MergeTree(created_date, (tags_id, created_at), 8192);

ঢোকানোর সময় ক্লিকহাউস স্বয়ংক্রিয়ভাবে তাদের গণনা করা হবে। এইভাবে আপনি আনন্দের সাথে ব্যবসাকে একত্রিত করতে পারেন: স্কিমটি নমনীয় এবং সাধারণ, তবে আমরা সর্বাধিক ব্যবহৃত কলামগুলি বের করেছি। মনে রাখবেন যে এটি সন্নিবেশ পরিবর্তন করার প্রয়োজন নেই এবং সংক্ষিপ্তসার ETLযা টেবিলে অ্যারে সন্নিবেশ করতে থাকে। আমরা শুধু করেছি পরবর্তী টেবিল, কয়েকটি স্পিকার যোগ করা হয়েছে এবং আমরা একটি হাইব্রিড এবং দ্রুত স্কিম পেয়েছি যা আপনি এখনই ব্যবহার শুরু করতে পারেন৷

কোডেক এবং কম্প্রেশন

থেকে সময় সিরিজ আপনি কতটা ভালোভাবে ডেটা প্যাক করেছেন তা গুরুত্বপূর্ণ কারণ তথ্যের পরিমাণ খুব বড় হতে পারে। ভিতরে ক্লিকহাউস 1:10, 1:20 এবং কখনও কখনও আরও বেশি কম্প্রেশন প্রভাব অর্জনের জন্য সরঞ্জামগুলির একটি সেট রয়েছে। এর মানে হল যে ডিস্কে 1 TB আনপ্যাক করা ডেটা 50-100 GB পর্যন্ত নেয়৷ ছোট আকার ভাল, তথ্য পড়া এবং দ্রুত প্রক্রিয়া করা যেতে পারে.

একটি উচ্চ স্তরের সংকোচন অর্জন করতে, ক্লিকহাউস নিম্নলিখিত কোডেক সমর্থন করে:

উদাহরণ টেবিল:

CREATE TABLE benchmark.cpu_codecs_lz4 (
    created_date Date DEFAULT today(), 
    created_at DateTime DEFAULT now() Codec(DoubleDelta, LZ4), 
    tags_id UInt32, 
    usage_user Float64 Codec(Gorilla, LZ4), 
    usage_system Float64 Codec(Gorilla, LZ4), 
    usage_idle Float64 Codec(Gorilla, LZ4), 
    usage_nice Float64 Codec(Gorilla, LZ4), 
    usage_iowait Float64 Codec(Gorilla, LZ4), 
    usage_irq Float64 Codec(Gorilla, LZ4), 
    usage_softirq Float64 Codec(Gorilla, LZ4), 
    usage_steal Float64 Codec(Gorilla, LZ4), 
    usage_guest Float64 Codec(Gorilla, LZ4), 
    usage_guest_nice Float64 Codec(Gorilla, LZ4), 
    additional_tags String DEFAULT ''
)
ENGINE = MergeTree(created_date, (tags_id, created_at), 8192);

এখানে আমরা কোডেক সংজ্ঞায়িত করি ডাবলডেল্টা এক ক্ষেত্রে, দ্বিতীয় ক্ষেত্রে - বনমানুষ, এবং আমরা অবশ্যই আরো যোগ করব LZ4 সঙ্কোচন. ফলস্বরূপ, ডিস্কের ডেটার আকার ব্যাপকভাবে হ্রাস পেয়েছে:

এটি দেখায় যে একই ডেটা কতটা জায়গা নেয়, কিন্তু বিভিন্ন কোডেক এবং কম্প্রেশন ব্যবহার করে:

• ডিস্কের একটি GZIP ফাইলে;
• কোডেক ছাড়া ক্লিকহাউসে, কিন্তু ZSTD কম্প্রেশন সহ;
• কোডেক এবং কম্প্রেশন LZ4 এবং ZSTD সহ ক্লিকহাউসে।

এটা দেখা যায় যে কোডেক সহ টেবিল অনেক কম জায়গা নেয়।

আকারের বিষয়

কম গুরুত্বপূর্ণ নয় নির্বাচন করা সঠিক তথ্য প্রকার:

উপরের সমস্ত উদাহরণে আমি ব্যবহার করেছি ফ্লোট64. কিন্তু আমরা যদি নির্বাচন করি ফ্লোট32, তাহলে সেটা আরও ভালো হবে। উপরে লিঙ্ক করা নিবন্ধে পারকোনার ছেলেরা এটি ভালভাবে প্রদর্শন করেছে। টাস্কের জন্য উপযুক্ত সবচেয়ে কমপ্যাক্ট টাইপ ব্যবহার করা গুরুত্বপূর্ণ: কোয়েরির গতির চেয়ে ডিস্কের আকারের জন্য এমনকি কম। ক্লিকহাউস এই খুব সংবেদনশীল.

যদি ব্যবহার করতে পারেন int32 পরিবর্তে int64, তারপর কর্মক্ষমতা প্রায় দ্বিগুণ বৃদ্ধি আশা. ডেটা কম মেমরি নেয় এবং সমস্ত "পাটিগণিত" অনেক দ্রুত কাজ করে। ক্লিকহাউস অভ্যন্তরীণভাবে এটি একটি খুব কঠোরভাবে টাইপ করা সিস্টেম; এটি আধুনিক সিস্টেমগুলি সরবরাহ করে এমন সমস্ত সম্ভাবনার সর্বাধিক ব্যবহার করে।

সমষ্টি এবং বস্তুগত দৃশ্য

একত্রীকরণ এবং বস্তুগত দৃষ্টিভঙ্গি আপনাকে বিভিন্ন অনুষ্ঠানের জন্য সমষ্টি তৈরি করতে দেয়:

উদাহরণস্বরূপ, আপনার কাছে নন-এগ্রিগেটেড সোর্স ডেটা থাকতে পারে এবং আপনি একটি বিশেষ ইঞ্জিনের মাধ্যমে স্বয়ংক্রিয় সমষ্টি সহ বিভিন্ন বস্তুগত দৃষ্টিভঙ্গি সংযুক্ত করতে পারেন SummingMergeTree (SMT). শ্রীমতি একটি বিশেষ সমষ্টিগত ডেটা কাঠামো যা স্বয়ংক্রিয়ভাবে সমষ্টি গণনা করে। ডাটাবেসের মধ্যে কাঁচা ডেটা ঢোকানো হয়, এটি স্বয়ংক্রিয়ভাবে একত্রিত হয় এবং ড্যাশবোর্ডগুলি অবিলম্বে এটিতে ব্যবহার করা যেতে পারে।

টিটিএল - পুরানো ডেটা "ভুলে যাও"

আর প্রয়োজন নেই এমন ডেটা কীভাবে "ভুলে যাবেন"? ক্লিকহাউস এটা কিভাবে করতে জানেন। টেবিল তৈরি করার সময়, আপনি নির্দিষ্ট করতে পারেন টিটিএল অভিব্যক্তি: উদাহরণস্বরূপ, আমরা এক দিনের জন্য মিনিটের ডেটা, 30 দিনের জন্য দৈনিক ডেটা সঞ্চয় করি এবং কখনও সাপ্তাহিক বা মাসিক ডেটা স্পর্শ করি না:

CREATE TABLE aggr_by_minute
…
TTL time + interval 1 day

CREATE TABLE aggr_by_day
…
TTL time + interval 30 day

CREATE TABLE aggr_by_week
…
/* no TTL */

বহু-স্তর - ডিস্ক জুড়ে ডেটা ভাগ করুন

এই ধারণাটি আরও এগিয়ে নিয়ে, ডেটা সংরক্ষণ করা যেতে পারে ক্লিকহাউস বিভিন্ন জায়গায়। ধরুন আমরা একটি খুব দ্রুত লোকালে গত সপ্তাহের জন্য হট ডেটা সংরক্ষণ করতে চাই এসএসডি, এবং আমরা অন্য জায়গায় আরো ঐতিহাসিক তথ্য রাখি। ভিতরে ক্লিকহাউস এটি এখন সম্ভব:

আপনি একটি স্টোরেজ নীতি কনফিগার করতে পারেন (স্টোরেজ নীতি) তাই ক্লিকহাউস নির্দিষ্ট শর্তে পৌঁছানোর পর স্বয়ংক্রিয়ভাবে ডেটা স্থানান্তর করবে অন্য স্টোরেজে।

কিন্তু এখানেই শেষ নয়. একটি নির্দিষ্ট টেবিলের স্তরে, আপনি ঠিক কখন ডেটা কোল্ড স্টোরেজে যায় তার জন্য নিয়মগুলি সংজ্ঞায়িত করতে পারেন। উদাহরণস্বরূপ, ডেটা 7 দিনের জন্য একটি খুব দ্রুত ডিস্কে সংরক্ষণ করা হয় এবং পুরোনো সবকিছুই ধীরগতিতে স্থানান্তরিত হয়। এটি ভাল কারণ এটি আপনাকে খরচ নিয়ন্ত্রণ করার সময় এবং ঠান্ডা ডেটাতে অর্থ অপচয় না করার সময় সিস্টেমটিকে সর্বাধিক কার্যকারিতায় রাখতে দেয়:

CREATE TABLE 
... 
TTL date + INTERVAL 7 DAY TO VOLUME 'cold_volume', 
    date + INTERVAL 180 DAY DELETE

অনন্য সুযোগ ক্লিকহাউস

প্রায় সবকিছুতেই ক্লিকহাউস এই ধরনের "হাইলাইট" আছে, কিন্তু সেগুলি এক্সক্লুসিভিটি দ্বারা অফসেট করা হয় - এমন কিছু যা অন্য ডাটাবেসে নেই। উদাহরণস্বরূপ, এখানে কিছু অনন্য বৈশিষ্ট্য রয়েছে ক্লিকহাউস:

• অ্যারে। দ্য ক্লিকহাউস অ্যারেগুলির জন্য খুব ভাল সমর্থন, সেইসাথে তাদের উপর জটিল গণনা করার ক্ষমতা।
• একত্রিত ডেটা স্ট্রাকচার. এটি একটি "হত্যাকারী বৈশিষ্ট্য" ক্লিকহাউস. ইয়ানডেক্সের ছেলেরা বলেছে যে আমরা ডেটা একত্রিত করতে চাই না তা সত্ত্বেও, সবকিছু একত্রিত হয় ক্লিকহাউস, কারণ এটি দ্রুত এবং সুবিধাজনক।
• বস্তুগত দৃশ্য. একত্রিত ডেটা স্ট্রাকচারের সাথে, বস্তুগত দৃষ্টিভঙ্গি আপনাকে সুবিধাজনক করতে দেয় প্রকৃত সময় সমষ্টি
• হাউস এসকিউএল ক্লিক করুন. এটি একটি ভাষা সম্প্রসারণ এসকিউএল কিছু অতিরিক্ত এবং একচেটিয়া বৈশিষ্ট্য সহ যা শুধুমাত্র উপলব্ধ ক্লিকহাউস. পূর্বে, এটি একদিকে সম্প্রসারণের মতো ছিল, অন্যদিকে অসুবিধা ছিল। এখন প্রায় সব প্রতিকূলতার তুলনায় এসকিউএল 92 আমরা এটি সরিয়ে দিয়েছি, এখন এটি শুধুমাত্র একটি এক্সটেনশন।
• ল্যামডা- অভিব্যক্তি. তারা কি এখনও কোন ডাটাবেসে আছে?
• ML- সমর্থন. এটি বিভিন্ন ডাটাবেসে উপলব্ধ, কিছু ভাল, কিছু খারাপ।
• মুক্ত উৎস. আমরা প্রসারিত করতে পারি ক্লিকহাউস একসাথে এখন ক্লিকহাউস প্রায় 500 অবদানকারী, এবং এই সংখ্যা ক্রমাগত বৃদ্ধি পাচ্ছে।

কৌতুকপূর্ণ প্রশ্ন

В ক্লিকহাউস একই জিনিস করতে বিভিন্ন উপায় আছে. উদাহরণস্বরূপ, আপনি তিনটি ভিন্ন উপায়ে একটি টেবিল থেকে শেষ মানটি ফেরত দিতে পারেন সিপিইউ (একটি চতুর্থও আছে, তবে এটি আরও বেশি বহিরাগত)।

প্রথমটি দেখায় যে এটি করা কতটা সুবিধাজনক ক্লিকহাউস আপনি যে চেক করতে চান যখন প্রশ্ন টিপল সাবকোয়েরিতে রয়েছে। এটি এমন কিছু যা আমি ব্যক্তিগতভাবে অন্য ডাটাবেসে মিস করেছি। আমি যদি সাবকোয়েরির সাথে কিছু তুলনা করতে চাই, তবে অন্যান্য ডাটাবেসে শুধুমাত্র একটি স্কেলারের সাথে তুলনা করা যেতে পারে, তবে বেশ কয়েকটি কলামের জন্য আমাকে লিখতে হবে JOIN। দ্য ক্লিকহাউস আপনি tuple ব্যবহার করতে পারেন:

SELECT *
  FROM cpu 
 WHERE (tags_id, created_at) IN 
    (SELECT tags_id, max(created_at)
        FROM cpu 
        GROUP BY tags_id)

দ্বিতীয় পদ্ধতি একই জিনিস করে কিন্তু একটি সমষ্টিগত ফাংশন ব্যবহার করে argMax:

SELECT 
    argMax(usage_user), created_at),
    argMax(usage_system), created_at),
...
 FROM cpu 

В ক্লিকহাউস বেশ কয়েক ডজন সমষ্টিগত ফাংশন রয়েছে এবং আপনি যদি কম্বিনেটর ব্যবহার করেন, তাহলে কম্বিনেটারিকের আইন অনুসারে আপনি তাদের প্রায় এক হাজার পাবেন। ArgMax - ফাংশনগুলির মধ্যে একটি যা সর্বাধিক মান গণনা করে: অনুরোধটি মান প্রদান করে use_user, যেখানে সর্বোচ্চ মান পৌঁছেছে এ নির্মিত:

SELECT now() as created_at,
       cpu.*
  FROM (SELECT DISTINCT tags_id from cpu) base 
  ASOF LEFT JOIN cpu USING (tags_id, created_at)

ASOF যোগ দিন — বিভিন্ন সময়ের সাথে "আঠালো" সারি। এটি ডাটাবেসের জন্য একটি অনন্য বৈশিষ্ট্য যা শুধুমাত্র উপলব্ধ kdb+. যদি বিভিন্ন সময়ের সাথে দুটি সময়ের সিরিজ থাকে, ASOF যোগ দিন আপনাকে একটি অনুরোধে তাদের সরাতে এবং একত্রিত করতে দেয়। একটি সময়ের সিরিজের প্রতিটি মানের জন্য, অন্যটির নিকটতম মানটি পাওয়া যায় এবং সেগুলি একই লাইনে ফেরত দেওয়া হয়:

বিশ্লেষণমূলক ফাংশন

স্ট্যান্ডার্ডে SQL-2003 আপনি এই মত লিখতে পারেন:

SELECT origin,
       timestamp,
       timestamp -LAG(timestamp, 1) OVER (PARTITION BY origin ORDER BY timestamp) AS duration,
       timestamp -MIN(timestamp) OVER (PARTITION BY origin ORDER BY timestamp) AS startseq_duration,
       ROW_NUMBER() OVER (PARTITION BY origin ORDER BY timestamp) AS sequence,
       COUNT() OVER (PARTITION BY origin ORDER BY timestamp) AS nb
  FROM mytable
ORDER BY origin, timestamp;

В ক্লিকহাউস আপনি এটি করতে পারবেন না - এটি মানকে সমর্থন করে না SQL-2003 এবং সম্ভবত এটি কখনই করবে না। পরিবর্তে, মধ্যে ক্লিকহাউস এটি এই মত লিখতে প্রথাগত:

আমি ল্যাম্বদাসকে প্রতিশ্রুতি দিয়েছিলাম - তারা এখানে!

এটি স্ট্যান্ডার্ডে বিশ্লেষণাত্মক প্রশ্নের একটি অ্যানালগ SQL-2003: তিনি উভয়ের মধ্যে পার্থক্য গণনা করেন টাইমস্ট্যাম্প, সময়কাল, ক্রমিক সংখ্যা - আমরা সাধারণত বিশ্লেষণাত্মক ফাংশন বিবেচনা করে এমন সবকিছু। ভিতরে ক্লিকহাউস আমরা সেগুলিকে অ্যারের মাধ্যমে গণনা করি: প্রথমে আমরা একটি অ্যারেতে ডেটা ভেঙে ফেলি, তারপরে আমরা অ্যারেতে যা চাই তা করি এবং তারপরে আমরা এটিকে আবার প্রসারিত করি। এটি খুব সুবিধাজনক নয়, এটির জন্য ন্যূনতম কার্যকরী প্রোগ্রামিংয়ের প্রতি ভালবাসা প্রয়োজন, তবে এটি খুব নমনীয়।

বিশেষ বৈশিষ্ট্য

এছাড়া, ইন ক্লিকহাউস অনেক বিশেষ ফাংশন। উদাহরণস্বরূপ, একসাথে কতগুলি সেশন হচ্ছে তা কীভাবে নির্ধারণ করবেন? একটি সাধারণ পর্যবেক্ষণ কাজ হল একটি অনুরোধের সাথে সর্বাধিক লোড নির্ধারণ করা। ভিতরে ক্লিকহাউস এই উদ্দেশ্যে একটি বিশেষ ফাংশন আছে:

সাধারণভাবে, ক্লিকহাউসের অনেক উদ্দেশ্যে বিশেষ ফাংশন রয়েছে:

• চলমান পার্থক্য, চলমান একমুলেট, প্রতিবেশী;
• sumMap(কী, মান);
• timeSeriesGroupSum(uid, টাইমস্ট্যাম্প, মান);
• timeSeriesGroupRateSum(uid, টাইমস্ট্যাম্প, মান);
• skewPop, skewSamp, kurtPop, kurtSamp;
• সঙ্গে ভরাট / সঙ্গে TIES;
• সিম্পল লিনিয়ার রিগ্রেশন, স্টোকাস্টিক লিনিয়ার রিগ্রেশন।

এটি ফাংশনের একটি সম্পূর্ণ তালিকা নয়, মোট 500-600টি রয়েছে। ইঙ্গিত: মধ্যে সমস্ত ফাংশন ক্লিকহাউস সিস্টেম টেবিলে রয়েছে (সকল নথিভুক্ত নয়, তবে সমস্ত আকর্ষণীয়):

select * from system.functions order by name

ক্লিকহাউস এটি নিজের সম্পর্কে অনেক তথ্য সঞ্চয় করে, সহ লগ টেবিল, query_log, ট্রেস লগ, ডেটা ব্লক সহ অপারেশনের লগ (part_log), মেট্রিক্স লগ, এবং সিস্টেম লগ, যা এটি সাধারণত ডিস্কে লেখে। লগ মেট্রিক্স হয় সময় সিরিজ в ক্লিকহাউস আসলে ক্লিকহাউস: ডাটাবেস নিজেই একটি ভূমিকা পালন করতে পারে সময় সিরিজ ডাটাবেস, এইভাবে "ভক্ষণ" নিজেই.

এটিও একটি অনন্য জিনিস - যেহেতু আমরা একটি ভাল কাজ করি সময় সিরিজ, কেন আমরা আমাদের প্রয়োজনীয় সবকিছু নিজেদের মধ্যে সঞ্চয় করতে পারি না? আমাদের দরকার নেই প্রমিথিউস, আমরা সবকিছু নিজেদের কাছে রাখি। সংযুক্ত গ্রাফানা এবং আমরা নিজেদের নিরীক্ষণ করি। যাইহোক, যদি ক্লিকহাউস পড়ে, আমরা দেখতে পাব না কেন, তাই তারা সাধারণত তা করে না।

বড় গুচ্ছ বা অনেক ছোট ক্লিকহাউস

কি ভাল - একটি বড় ক্লাস্টার বা অনেক ছোট ক্লিকহাউস? ঐতিহ্যগত পদ্ধতির DWH একটি বড় ক্লাস্টার যেখানে সার্কিট প্রতিটি অ্যাপ্লিকেশনের জন্য বরাদ্দ করা হয়। আমরা ডাটাবেস প্রশাসকের কাছে এসেছি - আমাদের একটি ডায়াগ্রাম দিন এবং তারা আমাদের একটি দিয়েছে:

В ক্লিকহাউস আপনি এটি ভিন্নভাবে করতে পারেন। আপনি প্রতিটি অ্যাপ্লিকেশন আপনার নিজের করতে পারেন ক্লিকহাউস:

আমাদের আর বড় রাক্ষসের দরকার নেই DWH এবং কঠিন অ্যাডমিন। আমরা প্রতিটি অ্যাপ্লিকেশন তার নিজস্ব দিতে পারেন ক্লিকহাউস, এবং বিকাশকারী নিজেই এটি করতে পারেন, যেহেতু ক্লিকহাউস ইনস্টল করা খুব সহজ এবং জটিল প্রশাসনের প্রয়োজন নেই:

কিন্তু যদি আমাদের অনেক কিছু থাকে ক্লিকহাউস, এবং আপনাকে প্রায়ই এটি ইনস্টল করতে হবে, তারপর আপনি এই প্রক্রিয়াটি স্বয়ংক্রিয় করতে চান। এই জন্য আমরা, উদাহরণস্বরূপ, ব্যবহার করতে পারেন Kubernetes и ক্লিক হাউস-অপারেটর. ভিতরে কুবারনেটস ক্লিকহাউস আপনি এটি "অন-ক্লিক" করতে পারেন: আমি একটি বোতামে ক্লিক করতে পারি, ম্যানিফেস্ট চালাতে পারি এবং ডাটাবেস প্রস্তুত। আমি অবিলম্বে একটি ডায়াগ্রাম তৈরি করতে পারি, সেখানে মেট্রিক্স আপলোড করা শুরু করতে পারি এবং 5 মিনিটের মধ্যে আমার একটি ড্যাশবোর্ড প্রস্তুত আছে গ্রাফানা. এটা এত সহজ!

শেষ কি?

এবং তাই, ক্লিকহাউস - এই:

• দ্রুত. এটা সবাই জানে।
• মাত্র. একটু বিতর্কিত, কিন্তু আমি বিশ্বাস করি যে এটি প্রশিক্ষণে কঠিন, যুদ্ধে সহজ। বুঝলে কেমন হয় ক্লিকহাউস এটা কাজ করে, তারপর সবকিছু খুব সহজ.
• সর্বজনীনভাবে. এটি বিভিন্ন পরিস্থিতিতে জন্য উপযুক্ত: DWH, টাইম সিরিজ, লগ স্টোরেজ. কিন্তু তা নয় OLTP ডাটাবেস, তাই সেখানে ছোট সন্নিবেশ এবং পড়ার চেষ্টা করবেন না।
• মজার ব্যাপার. সম্ভবত যার সাথে কাজ করে ক্লিকহাউস, একটি ভাল এবং খারাপ অর্থে অনেক আকর্ষণীয় মুহূর্ত অভিজ্ঞতা. উদাহরণস্বরূপ, একটি নতুন রিলিজ বেরিয়ে এসেছে, সবকিছু কাজ করা বন্ধ করে দিয়েছে। অথবা যখন আপনি দুই দিনের জন্য একটি টাস্কের সাথে লড়াই করেছেন, কিন্তু টেলিগ্রাম চ্যাটে একটি প্রশ্ন জিজ্ঞাসা করার পরে, টাস্কটি দুই মিনিটের মধ্যে সমাধান হয়ে গেছে। অথবা লেশা মিলোভিডভের প্রতিবেদনে সম্মেলনের মতো, একটি স্ক্রিনশট ক্লিকহাউস সম্প্রচার ভেঙ্গেছে হাইলোড++. এই ধরনের জিনিস সব সময় ঘটে এবং আমাদের জীবন কঠিন করে তোলে। ক্লিকহাউস উজ্জ্বল এবং আকর্ষণীয়!

আপনি উপস্থাপনা দেখতে পারেন এখানে.

উচ্চ-লোড সিস্টেমের ডেভেলপারদের দীর্ঘ প্রতীক্ষিত মিটিং এ হাইলোড++ 9 এবং 10 নভেম্বর স্কলকোভোতে অনুষ্ঠিত হবে। অবশেষে, এটি একটি অফলাইন সম্মেলন হবে (যদিও সমস্ত সতর্কতা রয়েছে), যেহেতু হাইলোড++ এর শক্তি অনলাইনে প্যাকেজ করা যাবে না।

কনফারেন্সের জন্য, আমরা প্রযুক্তির সর্বাধিক ক্ষমতা সম্পর্কে কেসগুলি খুঁজে পাই এবং দেখাই: HighLoad++ ছিল, আছে এবং থাকবে যেখানে আপনি Facebook, Yandex, VKontakte, Google এবং Amazon কীভাবে কাজ করে তা দুই দিনের মধ্যে শিখতে পারবেন।

2007 সাল থেকে কোনো বাধা ছাড়াই আমাদের মিটিং অনুষ্ঠিত হয়েছে, এই বছর আমরা 14 তম বারের মতো দেখা করব। এই সময়ের মধ্যে, সম্মেলনটি 10 ​​গুণ বেড়েছে; গত বছর, মূল শিল্প ইভেন্টটি 3339 জন অংশগ্রহণকারী, 165 জন স্পিকার, রিপোর্ট এবং মিটআপগুলিকে একত্রিত করেছিল এবং 16টি ট্র্যাক একই সাথে চলছিল।
গত বছর ছিল ২০টি বাস, ৫ হাজার ২৮০ লিটার চা-কফি, ১৬৫০ লিটার ফ্রুট ড্রিংকস এবং ১০ হাজার ২০০ লিটার পানি। এবং আরও 20 কিলোগ্রাম খাবার, 5280 প্লেট এবং 1650 কাপ। যাইহোক, পুনর্ব্যবহৃত কাগজ থেকে তোলা অর্থ দিয়ে আমরা 10200টি ওক চারা রোপণ করেছি :)

আপনি টিকিট কিনতে পারেন এখানেসম্মেলনের খবর পান- এখানে, এবং সমস্ত সামাজিক নেটওয়ার্কে কথা বলুন: Telegram, ফেসবুক, ভিকন্টাক্টে и Twitter.

উত্স: www.habr.com