PostgreSQL কর্মক্ষমতা উন্নত করার পদ্ধতিগুলির মধ্যে একটি হিসাবে সংশ্লেষণ

দার্শনিক ভূমিকা

আপনি জানেন, সমস্যা সমাধানের জন্য শুধুমাত্র দুটি পদ্ধতি আছে:

1. বিশ্লেষণের পদ্ধতি বা কাটানোর পদ্ধতি, বা সাধারণ থেকে নির্দিষ্ট পর্যন্ত।
2. সংশ্লেষণের পদ্ধতি বা আনয়নের পদ্ধতি, বা বিশেষ থেকে সাধারণ।

"ডাটাবেস কর্মক্ষমতা উন্নত করুন" সমস্যাটি সমাধান করতে, এটি দেখতে এরকম হতে পারে।

Анализ — আমরা সমস্যাটিকে আলাদা অংশে বিশ্লেষণ করি এবং সেগুলি সমাধান করে আমরা সামগ্রিকভাবে ডাটাবেসের কর্মক্ষমতা উন্নত করার চেষ্টা করি।

অনুশীলনে, বিশ্লেষণটি এরকম কিছু দেখায়:

• একটি সমস্যা ঘটে (কর্মক্ষমতা ঘটনা)
• ডাটাবেসের অবস্থা সম্পর্কে পরিসংখ্যানগত তথ্য সংগ্রহ করা
• প্রতিবন্ধকতা খুঁজছেন
• আমরা প্রতিবন্ধকতা থেকে সমস্যার সমাধান করি

ডাটাবেসের বাধা — পরিকাঠামো (CPU, মেমরি, ডিস্ক, নেটওয়ার্ক, OS), সেটিংস (postgresql.conf), প্রশ্ন:

পরিকাঠামো: একজন প্রকৌশলীর জন্য প্রভাব ও পরিবর্তনের সম্ভাবনা প্রায় শূন্য।

ডাটাবেস সেটিংস: পরিবর্তনের সম্ভাবনা পূর্ববর্তী ক্ষেত্রের তুলনায় সামান্য বেশি, তবে একটি নিয়ম হিসাবে তারা এখনও বেশ কঠিন, বিশেষত মেঘে।

অনুরোধ ডাটাবেসে: কৌশলের জন্য শুধুমাত্র জায়গা.

সংশ্লেষণ — আমরা পৃথক অংশের কর্মক্ষমতা উন্নত করি, আশা করি যে ডাটাবেসের কর্মক্ষমতা ফলস্বরূপ উন্নত হবে।

গীতিকার ভূমিকা বা কেন এই সব প্রয়োজন

ডাটাবেস কর্মক্ষমতা নিরীক্ষণ করা না হলে কর্মক্ষমতা ঘটনা সমাধানের জন্য প্রক্রিয়া কি:

গ্রাহক - "আমাদের সাথে সবকিছু খারাপ, এটি খুব বেশি সময় নিচ্ছে, আমাদের জন্য ভাল কিছু করুন"
ইঞ্জিনিয়ার - "এটা কতটা খারাপ?"
গ্রাহক - "এখন এমনই আছে (এক ঘন্টা আগে, গতকাল, শেষবার ছিল), ধীরে ধীরে"
ইঞ্জিনিয়ার - "কখন ভাল ছিল?"
গ্রাহক - "এক সপ্তাহ (দুই সপ্তাহ) আগে এটি খারাপ ছিল না। "(এটা ভাগ্যবান)
গ্রাহক - "কখন ভাল ছিল মনে নেই, কিন্তু এখন খারাপ" (নিয়মিত উত্তর)

ফলাফল একটি ক্লাসিক ছবি:

কে দোষারোপ করবে এবং কী করবে?

প্রশ্নের প্রথম অংশটি উত্তর দেওয়া সবচেয়ে সহজ - ডিবিএ ইঞ্জিনিয়ার সর্বদা দোষী।

দ্বিতীয় অংশের উত্তর দেওয়া খুব কঠিন নয় - আপনাকে একটি ডাটাবেস কর্মক্ষমতা পর্যবেক্ষণ সিস্টেম বাস্তবায়ন করতে হবে।

প্রথম প্রশ্ন জাগে- কি নিরীক্ষণ করতে?

পথ 1. আমরা সবকিছু পর্যবেক্ষণ করব

সিপিইউ লোড, ডিস্ক রিড/রাইট অপারেশনের সংখ্যা, বরাদ্দকৃত মেমরির আকার এবং বিভিন্ন কাউন্টারের আরেকটি মেগাটন যা কম-বেশি কর্মরত মনিটরিং সিস্টেম প্রদান করতে পারে।

ফলাফল হল একগুচ্ছ গ্রাফ, সংক্ষিপ্ত সারণী, এবং ক্রমাগত ইমেল বিজ্ঞপ্তি এবং 100% ব্যস্ত ইঞ্জিনিয়ার একগুচ্ছ অভিন্ন টিকিটের সমাধান করতে, তবে, একটি নিয়ম হিসাবে, স্ট্যান্ডার্ড শব্দের সাথে - "অস্থায়ী সমস্যা। কোন পদক্ষেপ নেওয়ার প্রয়োজন নেই." তবে সবাই ব্যস্ত, এবং গ্রাহককে দেখানোর জন্য সবসময় কিছু থাকে - কাজ পুরোদমে চলছে।

উপায় 2. শুধুমাত্র যা প্রয়োজন তা মনিটর করুন, এবং যা প্রয়োজন নেই তা পর্যবেক্ষণ করার প্রয়োজন নেই

আপনি নিরীক্ষণ করতে পারেন, একটু ভিন্নভাবে, শুধুমাত্র সত্তা এবং ঘটনা:

• যা ডিবিএ ইঞ্জিনিয়ার প্রভাবিত করতে পারে
• যার জন্য কর্মের একটি অ্যালগরিদম আছে যখন একটি ঘটনা ঘটে বা একটি সত্তা পরিবর্তন হয়।

এই অনুমান এবং মনে রাখার উপর ভিত্তি করে "দার্শনিক ভূমিকা"নিয়মিত পুনরাবৃত্তি এড়াতে"গীতিকার ভূমিকা বা কেন এই সব প্রয়োজন"অপ্টিমাইজেশন এবং বিশ্লেষণের জন্য পৃথক প্রশ্নের কর্মক্ষমতা নিরীক্ষণ করা যুক্তিযুক্ত হবে, যা শেষ পর্যন্ত সমগ্র ডাটাবেসের উন্নত কর্মক্ষমতার দিকে পরিচালিত করবে৷

কিন্তু সামগ্রিক ডাটাবেস কর্মক্ষমতা প্রভাবিত করে এমন একটি ভারী প্রশ্ন উন্নত করতে, আপনাকে প্রথমে এটি খুঁজে বের করতে হবে।

সুতরাং, দুটি আন্তঃসম্পর্কিত প্রশ্ন দেখা দেয়:

• যা অনুরোধ কঠিন বলে বিবেচিত হয়
• কিভাবে কঠিন প্রশ্ন অনুসন্ধান করতে হয়.

স্পষ্টতই, একটি ভারী ক্যোয়ারী এমন একটি প্রশ্ন যা ফলাফল পেতে প্রচুর OS সংস্থান ব্যবহার করে।

আসুন দ্বিতীয় প্রশ্নে এগিয়ে যাই - কীভাবে অনুসন্ধান করবেন এবং তারপরে ভারী প্রশ্নগুলি পর্যবেক্ষণ করবেন?

PostgreSQL-এর কোন প্রশ্ন নিরীক্ষণের ক্ষমতা আছে?

ওরাকলের তুলনায়, কয়েকটি সম্ভাবনা রয়েছে, তবে এখনও কিছু করা যেতে পারে।

PG_STAT_STATEMENTS

PostgreSQL-এ ভারী প্রশ্ন অনুসন্ধান ও নিরীক্ষণ করার জন্য, স্ট্যান্ডার্ড এক্সটেনশন pg_stat_statements উদ্দিষ্ট।

এক্সটেনশন ইনস্টল করার পরে, লক্ষ্য ডাটাবেসে একই নামের একটি দৃশ্য প্রদর্শিত হবে, যা পর্যবেক্ষণের উদ্দেশ্যে ব্যবহার করা উচিত।

একটি মনিটরিং সিস্টেম তৈরির জন্য লক্ষ্য pg_stat_statements কলাম:

• queryid অপারেটরের পার্স ট্রি থেকে অভ্যন্তরীণ হ্যাশ কোড গণনা করা হয়েছে
• সর্বোচ্চ_সময় মিলিসেকেন্ডে একটি বিবৃতিতে ব্যয় করা সর্বাধিক সময়৷

এই দুটি কলামে পরিসংখ্যান সংগ্রহ এবং ব্যবহার করে, আপনি একটি মনিটরিং সিস্টেম তৈরি করতে পারেন।

কিভাবে pg_stat_statements ব্যবহার করা হয় PostgreSQL কর্মক্ষমতা নিরীক্ষণ করতে

ক্যোয়ারী কর্মক্ষমতা ব্যবহার নিরীক্ষণ করতে:
টার্গেট ডাটাবেসের দিকে - pg_stat_statements ভিউ
পাশ থেকে সার্ভার এবং পর্যবেক্ষণ ডাটাবেস - ব্যাশ স্ক্রিপ্ট এবং পরিষেবা টেবিলের একটি সেট।

পর্যায় 1 - পরিসংখ্যানগত তথ্য সংগ্রহ

ক্রোন মনিটরিং হোস্টে, নিয়মিতভাবে একটি স্ক্রিপ্ট চালু করা হয় যা pg_stat_statements ভিউ এর বিষয়বস্তুকে লক্ষ্য ডাটাবেস থেকে pg_stat_history টেবিলে মনিটরিং ডাটাবেসে অনুলিপি করে।

এটি পৃথক ক্যোয়ারী এক্সিকিউশনের একটি ইতিহাস তৈরি করে যা পারফরম্যান্স রিপোর্ট তৈরি করতে এবং মেট্রিক্স কনফিগার করতে ব্যবহার করা যেতে পারে।

পর্যায় 2 - কর্মক্ষমতা মেট্রিক্স সেট আপ করা

সংগৃহীত ডেটার উপর ভিত্তি করে, আমরা এমন প্রশ্নগুলি নির্বাচন করি যার কার্য সম্পাদন ক্লায়েন্টের (অ্যাপ্লিকেশন) জন্য সবচেয়ে গুরুত্বপূর্ণ/গুরুত্বপূর্ণ। গ্রাহকের সাথে চুক্তিতে, আমরা queryid এবং max_time ক্ষেত্র ব্যবহার করে কর্মক্ষমতা মেট্রিক্সের মান সেট করি।

ফলাফল - কর্মক্ষমতা পর্যবেক্ষণ শুরু

1. মনিটরিং স্ক্রিপ্ট, যখন চালিত হয়, লক্ষ্য ডাটাবেসের pg_stat_statements ভিউ থেকে মানের সাথে মেট্রিকের max_time মানের তুলনা করে কনফিগার করা কর্মক্ষমতা মেট্রিক্স পরীক্ষা করে।
2. যদি টার্গেট ডাটাবেসের মান মেট্রিক মান অতিক্রম করে, একটি সতর্কতা তৈরি করা হয় (টিকিট সিস্টেমে একটি ঘটনা)

অতিরিক্ত বিকল্প 1

প্রশ্ন পরিকল্পনা ইতিহাস

কর্মক্ষমতার ঘটনাগুলিকে পরে সমাধান করতে সাহায্য করার জন্য, ক্যোয়ারী এক্সিকিউশন প্ল্যানগুলি পরিবর্তন করার ইতিহাস থাকা একটি ভাল ধারণা।

log_query পরিষেবা টেবিলটি ইতিহাস সংরক্ষণ করতে ব্যবহৃত হয়। লোড করা PostgreSQL লগ ফাইল বিশ্লেষণ করার সময় টেবিলটি পপুলেট করা হয়। যেহেতু লগ ফাইলে, pg_stat_statements ভিউ-এর বিপরীতে, এক্সিকিউশন প্যারামিটারের মান সহ সম্পূর্ণ টেক্সট রয়েছে, এবং স্বাভাবিক করা পাঠ্য নয়, তাই শুধুমাত্র অনুরোধের সময় এবং সময়কালই নয়, বর্তমান সময়ে এক্সিকিউশন প্ল্যানগুলিও সংরক্ষণ করা সম্ভব। সময়

অতিরিক্ত বিকল্প 2

ক্রমাগত কর্মক্ষমতা উন্নতি প্রক্রিয়া

সাধারণভাবে পৃথক প্রশ্নগুলি নিরীক্ষণের উদ্দেশ্য সামগ্রিকভাবে ডাটাবেসের কার্যকারিতা ক্রমাগত উন্নত করার সমস্যা সমাধানের উদ্দেশ্যে নয়, যেহেতু এটি শুধুমাত্র পৃথক প্রশ্নের জন্য কর্মক্ষমতা সমস্যাগুলি পর্যবেক্ষণ করে এবং সমাধান করে। যাইহোক, আপনি পদ্ধতিটি প্রসারিত করতে পারেন এবং সমস্ত ডাটাবেসের জন্য পর্যবেক্ষণের প্রশ্নগুলি কনফিগার করতে পারেন।

এটি করার জন্য, আপনাকে অতিরিক্ত কর্মক্ষমতা মেট্রিক্স লিখতে হবে:

• শেষ দিনগুলোর জন্য
• বেস সময়ের জন্য

স্ক্রিপ্ট টার্গেট ডাটাবেসের pg_stat_statements ভিউ থেকে প্রশ্ন নির্বাচন করে এবং max_time মানকে গড় max_time মানের সাথে তুলনা করে, প্রথম ক্ষেত্রে শেষ দিনের জন্য বা নির্বাচিত সময়কালের (বেসলাইন), দ্বিতীয় ক্ষেত্রে।

এইভাবে, কোনো অনুরোধের জন্য কর্মক্ষমতা হ্রাসের ক্ষেত্রে, রিপোর্টের ম্যানুয়াল বিশ্লেষণ ছাড়াই একটি সতর্কতা স্বয়ংক্রিয়ভাবে তৈরি হবে।

এর সাথে সংশ্লেষণের কী সম্পর্ক?

বর্ণিত পদ্ধতিতে, সংশ্লেষণ পদ্ধতির পরামর্শ অনুসারে, সিস্টেমের পৃথক অংশগুলিকে উন্নত করে, আমরা সামগ্রিকভাবে সিস্টেমটিকে উন্নত করি।

• একটি ডাটাবেস দ্বারা সঞ্চালিত প্রশ্ন – বিমূর্ত
• সংশোধিত অনুরোধ - বিপরীত
• সিস্টেমের অবস্থার পরিবর্তন - সংশ্লেষণ

সিস্টেম উন্নয়ন

• pg_stat_activity সিস্টেম ভিউ এর জন্য ইতিহাস যোগ করে সংগৃহীত পরিসংখ্যানের এক্সটেনশন
• প্রশ্নে অংশগ্রহণকারী পৃথক টেবিলের পরিসংখ্যানের জন্য ইতিহাস যোগ করে সংগৃহীত পরিসংখ্যান প্রসারিত করা
• AWS ক্লাউড মনিটরিং সিস্টেমের সাথে ইন্টিগ্রেশন
• এবং এখনও, আপনি কিছু নিয়ে আসতে পারেন ...

উত্স: www.habr.com