রিয়েল টাইমে পিএইচপি স্ক্রিপ্টের পরিসংখ্যান এবং পর্যবেক্ষণ। ক্লিকহাউস এবং গ্রাফানা পিনবার সহায়তায় যান

এই নিবন্ধে আমি আপনাকে বলব কিভাবে পিনবা_ইঞ্জিন এবং পিনবোর্ডের পরিবর্তে ক্লিকহাউস এবং গ্রাফনা সহ পিনবা ব্যবহার করবেন।

একটি PHP প্রকল্পে, pinba সম্ভবত পারফরম্যান্সের সাথে কী ঘটছে তা বোঝার একমাত্র নির্ভরযোগ্য উপায়। সত্য, পিনবা সাধারণত তখনই প্রয়োগ করা হয় যখন সমস্যাগুলি ইতিমধ্যেই পরিলক্ষিত হয় এবং "কোথায় খনন করতে হবে" তা স্পষ্ট নয়।

প্রায়শই কেউ জানে না যে প্রতি সেকেন্ড/মিনিটে কতবার এই বা সেই স্ক্রিপ্টটি কল করা হয় এবং তারা "স্পর্শ দ্বারা" অপ্টিমাইজ করতে শুরু করে, সেই জায়গাগুলি থেকে শুরু করে যা আরও যুক্তিযুক্ত বলে মনে হয়।

কিছু nginx লগ বিশ্লেষণ করে, অন্যরা ধীর ডাটাবেস প্রশ্ন বিশ্লেষণ করে।

অবশ্যই, পিনবা অপ্রয়োজনীয় হবে না, তবে প্রতিটি প্রকল্পে এটি না থাকার বিভিন্ন কারণ রয়েছে।

এবং প্রথম কারণ হল ইনস্টলেশন।

পিনবা বাস্তবায়ন থেকে কম-বেশি কিছু "এক্সাস্ট" পাওয়ার জন্য, শুধুমাত্র শেষ মিনিটের জন্য নয়, দীর্ঘ সময়ের জন্য (দিন থেকে মাস পর্যন্ত) মেট্রিক্স দেখতে খুবই পছন্দনীয়।

এই জন্য আপনাকে প্রয়োজন:

• php এর জন্য এক্সটেনশন ইনস্টল করুন (এবং আপনি nginx এর জন্য একটি মডিউল চাইতে পারেন)
• mysql এর জন্য এক্সটেনশন কম্পাইল করুন
• পিনবোর্ড ইনস্টল করুন এবং ক্রন কনফিগার করুন

পিনবা সম্পর্কে অল্প পরিমাণ তথ্যের কারণে, অনেক লোকের ধারণা যে এটি শুধুমাত্র PHP5-এ কাজ করে এবং এটি দীর্ঘদিনের অতীতের জিনিস, কিন্তু আমরা পরে দেখব, এটি এমন নয়।

প্রথম পদক্ষেপটি সবচেয়ে সহজ, আপনাকে যা করতে হবে তা হল কমান্ডটি চালান:

apt install php-pinba

এই এক্সটেনশনটি php 7.3 পর্যন্ত সংগ্রহস্থলগুলিতে পাওয়া যায় এবং আপনাকে কিছু কম্পাইল করতে হবে না।

ইনস্টলেশন কমান্ড কার্যকর করার পরে, আমরা অবিলম্বে একটি কার্যকরী এক্সটেনশন পাই যা বিন্যাসে প্রতিটি স্ক্রিপ্টের (চলমান সময়, মেমরি ইত্যাদি) মেট্রিক্স সংগ্রহ করে এবং পাঠায়। প্রোটোবফ 127.0.0.1:30002 পর্যন্ত udp এর মাধ্যমে।

এখনও পর্যন্ত কেউ এই UDP প্যাকেটগুলি ধরে বা প্রক্রিয়াজাত করেনি, তবে এটি কোনওভাবেই আপনার পিএইচপি স্ক্রিপ্টগুলির গতি বা স্থিতিশীলতাকে নেতিবাচকভাবে প্রভাবিত করে না।

সম্প্রতি অবধি, একমাত্র অ্যাপ্লিকেশন যা এই UDP প্যাকেটগুলিকে ধরতে এবং প্রক্রিয়া করতে পারে পিনবা_ইঞ্জিন. বর্ণনা "সহজ এবং সংক্ষিপ্তইন্সটলেশন কখনো পড়তে এবং আবার এটিতে গভীরভাবে পড়ার ইচ্ছাকে নিরুৎসাহিত করে। নির্ভরতাগুলির কিলোমিটার-দীর্ঘ তালিকায় প্যাকেজের নাম এবং প্রোগ্রামগুলির নাম এবং তাদের ইনস্টলেশনের সাথে পৃথক পৃষ্ঠাগুলির লিঙ্ক উভয়ই থাকে এবং সেগুলির অন্যান্য নির্ভরতার সাথে তাদের নিজস্ব লিঙ্ক রয়েছে। এই ফালতু মোকাবেলা করার সময় বা ইচ্ছা কারো নেই।

ইনস্টলেশন প্রক্রিয়া pinba2 করেননি বিশেষ করে সহজ.

সম্ভবত একদিন এটি একটি বা দুটি কমান্ডের সাহায্যে pinba10 ইনস্টল করা সম্ভব হবে এবং এটি কীভাবে করবেন তা বোঝার জন্য একগুচ্ছ উপাদান পড়তে হবে না, তবে আপাতত এটি এমন নয়।

আপনি যদি পিনবা_ইঞ্জিন ইনস্টল করেন তবে এটি কেবল অর্ধেক যুদ্ধ। সব পরে, ছাড়া পিনবোর্ড আপনাকে শুধুমাত্র শেষ কয়েক মিনিটের ডেটাতে নিজেকে সীমাবদ্ধ করতে হবে, অথবা আপনাকে নিজেই ডেটা একত্রিত করতে হবে, সঞ্চয় করতে হবে এবং কল্পনা করতে হবে৷ এটা ভাল যে পিনবোর্ড ব্যবহার করা বেশ সহজ স্থাপন.

দেখে মনে হবে, কেন এমন দুর্ভোগ কেন যদি পিএইচপি থেকে সমস্ত মেট্রিক্স ইতিমধ্যেই প্রোটোবাফ ফরম্যাটে ইউডিপি পোর্টে পাঠানো হয় এবং আপনাকে কেবল একটি অ্যাপ্লিকেশন লিখতে হবে যা সেগুলিকে ধরবে এবং কোনও ধরণের স্টোরেজে রাখবে? স্পষ্টতই, সেই বিকাশকারীরা যারা এই ধারণাটি নিয়ে এসেছিলেন তারা অবিলম্বে তাদের নিজস্ব ধারণাগুলি লিখতে বসেছিলেন, যার মধ্যে কিছু গিটহাবে শেষ হয়েছিল।

নিম্নলিখিত চারটি ওপেন সোর্স প্রকল্পের একটি ওভারভিউ যা স্টোরেজে মেট্রিক্স সংরক্ষণ করে, যেখান থেকে এই ডেটা সহজেই পুনরুদ্ধার করা যায় এবং কল্পনা করা যায়, উদাহরণস্বরূপ, গ্রাফনা ব্যবহার করে।

ওলেগফেডোসিভ/পিনবা-সার্ভার (নভেম্বর 2017)

যেতে যেতে udp সার্ভার যা OpenTSDB-তে মেট্রিক্স সংরক্ষণ করে। সম্ভবত আপনি যদি ইতিমধ্যে আপনার প্রকল্পে OpenTSDB ব্যবহার করছেন, তাহলে এই সমাধানটি আপনার জন্য উপযুক্ত হবে, অন্যথায় আমি এটি পাস করার পরামর্শ দিই।

olegfedoseev/pinba-influxdb (জুন 2018)

যেতে যেতে udp সার্ভার, একই থেকে হ্যাব্রোজার, যা এই সময় ইনফ্লাক্সডিবি-তে মেট্রিক্স সংরক্ষণ করে। অনেক প্রকল্প ইতিমধ্যেই পর্যবেক্ষণের জন্য InfluxDB ব্যবহার করছে, তাই এই সমাধান তাদের জন্য উপযুক্ত হতে পারে।

পেশাদাররা:

• ইনফ্লাক্সডিবি এটা করতে পারবেন প্রাপ্ত মেট্রিক্স একত্রিত করুন, এবং একটি নির্দিষ্ট সময়ের পরে আসলটি মুছুন।

কনস:

• এই সমাধানটি টাইমারগুলিতে তথ্য সংরক্ষণ করে না।
• ইনফ্লাক্সডিবি সাইটের পৃষ্ঠার ঠিকানাগুলিকে ট্যাগ হিসাবে সংরক্ষণ করবে এবং আপনার যদি অনেকগুলি অনন্য পৃষ্ঠার ঠিকানা থাকে, তাহলে এর ফলে বর্ধিত খরচ র্যান্ডম অ্যাক্সেস মেমরি। একটি নির্দিষ্ট মুহূর্ত থেকে তিনি "স্মৃতিকে পাগলের মত খেতে শুরু করবে। (উৎস)

ক্লিক হাউস-নিনজা/প্রোটন (জানুয়ারি 2019)

যেতে যেতে udp সার্ভার, যা ক্লিকহাউসে মেট্রিক্স সংরক্ষণ করে। এটি আমার বন্ধুর সমাধান। এটির সাথে পরিচিত হওয়ার পরেই আমি সিদ্ধান্ত নিয়েছিলাম যে পিনবু এবং ক্লিকহাউসের সাথে লড়াই করার সময় এসেছে।

পেশাদাররা:

• ক্লিকহাউস এই ধরনের কাজের জন্য আদর্শ; এটি আপনাকে এত বেশি ডেটা সংকুচিত করতে দেয় যাতে আপনি সমস্ত কাঁচা ডেটা এমনকি একত্রিত না করেও সংরক্ষণ করতে পারেন
• যদি প্রয়োজন হয়, আপনি সহজেই ফলাফলের মেট্রিকগুলি একত্রিত করতে পারেন
• Grafana জন্য প্রস্তুত টেমপ্লেট
• টাইমারে তথ্য সংরক্ষণ করে

কনস:

• মারাত্মক ত্রুটি
• কোন কনফিগারেশন নেই যেখানে আপনি ডাটাবেস এবং টেবিলের নাম, সার্ভারের ঠিকানা এবং পোর্ট কনফিগার করতে পারেন।
• কাঁচা ডেটা সংরক্ষণ করার সময়, পৃষ্ঠা এবং ডোমেন ঠিকানাগুলি সংরক্ষণ করতে একটি সহায়ক অভিধান টেবিল ব্যবহার করা হয়, যা পরবর্তী প্রশ্নগুলিকে জটিল করে তোলে
• অন্যান্য ছোট জিনিস যা প্রথম বিয়োগ থেকে অনুসরণ করে

পিনবা-সার্ভার/পিনবা-সার্ভার (এপ্রিল 2019)

php-এ udp সার্ভার, যা ক্লিকহাউসে মেট্রিক্স সংরক্ষণ করে। এটি আমার সমাধান, যা pinba, ClickHouse এবং protobuf জানার ফলাফল। যখন আমি এই পুরো গুচ্ছটি বাছাই করছিলাম, তখন আমি একটি "ধারণার প্রমাণ" লিখেছিলাম, যা আমার জন্য অপ্রত্যাশিতভাবে উল্লেখযোগ্য সংস্থানগুলি ব্যবহার করেনি (30 এমবি র‌্যাম এবং আটটি প্রসেসর কোরের মধ্যে 1% এর কম), তাই আমি জনগণের সাথে শেয়ার করার সিদ্ধান্ত নিয়েছে।

সুবিধাগুলি আগের সমাধানের মতোই, আমি আসল পিনবা_ইঞ্জিন থেকে সাধারণ নামগুলিও ব্যবহার করেছি। আমি একটি কনফিগারেশনও যোগ করেছি যা আপনাকে বিভিন্ন টেবিলে মেট্রিক্স সংরক্ষণ করার জন্য একসাথে বেশ কয়েকটি পিনবেস সার্ভার ইনস্ট্যান্স চালু করতে দেয় - আপনি যদি শুধুমাত্র php থেকে নয়, nginx থেকেও ডেটা সংগ্রহ করতে চান তবে এটি কার্যকর।
অসুবিধাগুলি - "মারাত্মক ত্রুটি" এবং সেই ছোট জিনিসগুলি যা আপনাকে ব্যক্তিগতভাবে উপযুক্ত করবে না, তবে আমার সমাধান "একটি স্লিপারের মতো সহজ" এবং এতে মাত্র 100 লাইনের কোড থাকে, তাই যেকোনো পিএইচপি বিকাশকারী যা পছন্দ করেন না তা পরিবর্তন করতে পারেন কয়েক মিনিটের মধ্যে

কিভাবে এটি কাজ করে

UDP পোর্ট 30002 শোনা হয়। সমস্ত আগত প্যাকেট প্রোটোবাফ স্কিম অনুযায়ী ডিকোড করা হয় এবং একত্রিত করা হয়। মিনিটে একবার, একটি প্যাকেট ক্লিকহাউসে pinba.requests টেবিলে ঢোকানো হয়। (সমস্ত প্যারামিটার কনফিগার করা হয়েছে কনফিগারেশন)

ক্লিকহাউস সম্পর্কে একটু

ক্লিকহাউস বিভিন্ন ডেটা স্টোরেজ ইঞ্জিন সমর্থন করে। সবচেয়ে বেশি ব্যবহৃত একটি হল MergeTree।

যদি কোনো সময়ে আপনি সব সময়ের জন্য একত্রিত ডেটা এবং শুধুমাত্র শেষের জন্য কাঁচা ডেটা সঞ্চয় করার সিদ্ধান্ত নেন, তাহলে আপনি গ্রুপিং সহ একটি বস্তুগত দৃশ্য তৈরি করতে পারেন এবং পর্যায়ক্রমে প্রধান pinba.requests টেবিলটি পরিষ্কার করতে পারেন, যখন সমস্ত ডেটা থাকবে বস্তুগত দৃষ্টিভঙ্গি। অধিকন্তু, pinba.requests টেবিল তৈরি করার সময়, আপনি "ইঞ্জিন = নাল" নির্দিষ্ট করতে পারেন, তারপরে কাঁচা ডেটা মোটেও ডিস্কে সংরক্ষণ করা হবে না এবং একই সময়ে এটি এখনও বাস্তবায়িত দৃশ্যে শেষ হবে এবং সংরক্ষিত হবে। . আমি এই স্কিমটি nginx মেট্রিক্সের জন্য ব্যবহার করি, কারণ nginx-এ আমার কাছে php এর চেয়ে 50 গুণ বেশি অনুরোধ রয়েছে।

সুতরাং, আপনি একটি দীর্ঘ পথ এসেছেন এবং আমি আপনাকে অর্ধেক পথ ছেড়ে যেতে চাই না, তাই আমার সমাধানের ইনস্টলেশন এবং কনফিগারেশন এবং আপনার প্রয়োজনীয় সমস্ত কিছুর বিস্তারিত বিবরণ এবং সেইসাথে একাধিক জাহাজের কারণে যে ত্রুটিগুলি ঘটেছে তার বিস্তারিত বিবরণ নিচে দেওয়া হল। বিপর্যস্ত. উবুন্টু 18.04 এলটিএস এবং সেন্টোস 7-এর জন্য সম্পূর্ণ ইনস্টলেশন প্রক্রিয়া বর্ণনা করা হয়েছে; অন্যান্য বিতরণ এবং সংস্করণগুলিতে প্রক্রিয়াটি কিছুটা আলাদা হতে পারে।

বিন্যাস

আমি সমস্ত প্রয়োজনীয় কমান্ড রাখলাম Dockerfile নির্দেশাবলীর প্রজননযোগ্যতা সহজতর করার জন্য। শুধুমাত্র ক্ষতিগুলি নীচে বর্ণনা করা হবে।

php-পিনবা

ইনস্টলেশনের পরে, নিশ্চিত করুন যে /etc/php/7.2/fpm/conf.d/20-pinba.ini ফাইলে আপনি সমস্ত অপশনে মন্তব্য করেছেন। কিছু বিতরণে (যেমন সেন্টো) তাদের মন্তব্য করা যেতে পারে।

extension=pinba.so
pinba.enabled=1
pinba.server=127.0.0.1:30002

ক্লিক হাউস

ইনস্টলেশনের সময়, ক্লিকহাউস আপনাকে ডিফল্ট ব্যবহারকারীর জন্য একটি পাসওয়ার্ড সেট করতে বলবে। ডিফল্টরূপে, এই ব্যবহারকারী সমস্ত আইপি থেকে অ্যাক্সেসযোগ্য, তাই আপনার সার্ভারে ফায়ারওয়াল না থাকলে, এটির জন্য একটি পাসওয়ার্ড সেট করতে ভুলবেন না। এটি /etc/clickhouse-server/users.xml ফাইলে ইনস্টল করার পরেও করা যেতে পারে।

এটিও লক্ষণীয় যে ক্লিকহাউস 9000 সহ বেশ কয়েকটি পোর্ট ব্যবহার করে। এই পোর্টটি কিছু বিতরণে php-fpm-এর জন্যও ব্যবহৃত হয় (উদাহরণস্বরূপ, সেন্টোস)। আপনি যদি ইতিমধ্যেই এই পোর্টটি ব্যবহার করেন, তাহলে আপনি এটিকে /etc/clickhouse-server/config.xml ফাইলে পরিবর্তন করতে পারেন।

ক্লিকহাউস প্লাগইন সহ grafana

Grafana ইনস্টল করার পরে, লগইন অ্যাডমিন এবং পাসওয়ার্ড অ্যাডমিন ব্যবহার করুন। আপনি যখন প্রথমবার লগ ইন করবেন, Grafana আপনাকে একটি নতুন পাসওয়ার্ড সেট করতে বলবে।

এরপরে, “+” -> আমদানি মেনুতে যান এবং আমদানির জন্য ড্যাশবোর্ড নম্বর নির্দেশ করুন 10011. আমি এই ড্যাশবোর্ডটি প্রস্তুত এবং আপলোড করেছি যাতে আপনাকে আবার এটি করতে না হয়।

Grafana একটি তৃতীয় পক্ষের প্লাগইনের মাধ্যমে ক্লিকহাউসের সাথে কাজ করতে সমর্থন করে, কিন্তু Grafana তৃতীয় পক্ষের প্লাগইনগুলির জন্য সতর্কতা নেই (কয়েক বছর ধরে এটির জন্য একটি টিকিট রয়েছে)।

পিনবা সার্ভার

প্রোটোবাফ এবং লিবেভেন্ট ইনস্টল করা ঐচ্ছিক, কিন্তু পিনবা-সার্ভার কর্মক্ষমতা উন্নত করে। আপনি যদি/opt ছাড়া অন্য কোনো ফোল্ডারে pinba-server ইন্সটল করেন, তাহলে আপনাকে সংশোধন করতে হবে systemd স্ক্রিপ্ট ফাইল

nginx এর জন্য পিনবা মডিউল

একটি মডিউল কম্পাইল করার জন্য, আপনার সার্ভারে ইতিমধ্যেই ইনস্টল করা nginx-এর একই সংস্করণের সোর্স কোডের প্রয়োজন, সেইসাথে একই সংকলন বিকল্পগুলি, অন্যথায় বিল্ডটি সফল হবে, কিন্তু মডিউলটি সংযোগ করার সময়, একটি ত্রুটি নিক্ষেপ করা হবে "মডিউলটি বাইনারি সামঞ্জস্যপূর্ণ নয়।" সংকলন বিকল্পগুলি nginx -V কমান্ড ব্যবহার করে দেখা যেতে পারে

জীবন হ্যাক

আমার সমস্ত সাইট শুধুমাত্র https এ কাজ করে। স্কিমা ক্ষেত্রটি অর্থহীন হয়ে যায়, তাই আমি ওয়েব/কনসোল আলাদা করতে এটি ব্যবহার করি।

ওয়েব থেকে অ্যাক্সেসযোগ্য স্ক্রিপ্টগুলিতে আমি ব্যবহার করি:

if (ini_get('pinba.enabled')) {
    pinba_schema_set('web');
}

এবং কনসোল স্ক্রিপ্টগুলিতে (উদাহরণস্বরূপ, ক্রন স্ক্রিপ্ট):

if (ini_get('pinba.enabled')) {
    pinba_schema_set('console');
}

Grafana আমার ড্যাশবোর্ডে আলাদাভাবে পরিসংখ্যান দেখার জন্য একটি ওয়েব/কনসোল সুইচ আছে।

আপনি পিনবাতে আপনার ট্যাগ পাঠাতে পারেন, উদাহরণস্বরূপ:

pinba_tag_set('country', $countryCode);

এখানেই শেষ.

অনুগ্রহ করে নিবন্ধের নীচে ভোটের উত্তর দিন।

যথারীতি, আমি আপনাকে সতর্ক করছি যে আমি Habr এবং সামাজিক নেটওয়ার্কগুলিতে ব্যক্তিগত বার্তাগুলির মাধ্যমে পরামর্শ বা সাহায্য করি না।

Github এ একটি টিকিট তৈরি করুন।

এছাড়াও লাইক দিয়ে সমর্থন করুন ইংরেজি সংস্করণ এই নিবন্ধটি এর reddit-এ.

শুধুমাত্র নিবন্ধিত ব্যবহারকারীরা জরিপে অংশগ্রহণ করতে পারবেন। সাইন ইন করুনকরুন।

আপনি সার্ভারে কোন OS ব্যবহার করছেন?

• উবুন্টু

• সেন্টওএস

• ডেবিয়ান

• জেন্টু

• লাল টুপি

• ফেডোরা

• openSUSE

• SUSE

• ইউনিক্স

• উইন্ডোজ

• অন্যান্য

114 জন ব্যবহারকারী ভোট দিয়েছেন। 11 জন ব্যবহারকারী বিরত ছিলেন।

আপনি সার্ভারে php এর কোন সংস্করণ ব্যবহার করছেন?

• 7.3

• 7.2

• 7.1

• 7.0

• 5

• অন্যান্য

105 জন ব্যবহারকারী ভোট দিয়েছেন। 17 জন ব্যবহারকারী বিরত ছিলেন।

আপনি কি কখনও পিনবা ব্যবহার করেছেন?

• হাঁ

• না, কিন্তু আমি চাই

• না এবং আমি চাই না

• না এবং তার কথা শুনিনি

100 জন ব্যবহারকারী ভোট দিয়েছেন। 14 জন ব্যবহারকারী বিরত ছিলেন।

Pinba সার্ভারের কোন সংস্করণ আপনি চেষ্টা করতে চান?

• pinba_engine (mysql ইঞ্জিন)

• pinba2 (mysql ইঞ্জিন)

• পিনবোর্ড (php + mysql)

• olegfedoseev/pinba-server (go + OpenTSDB)

• olegfedoseev/pinba-influxdb (go + influxdb)

• pinba-server/pinba-server (go + clickhouse)

• পিনবা-সার্ভার/পিনবা-সার্ভার (পিএইচপি + ক্লিকহাউস)

• আমি নিজেই লিখব

• অন্যান্য

39 জন ব্যবহারকারী ভোট দিয়েছেন। 47 জন ব্যবহারকারী বিরত ছিলেন।

উত্স: www.habr.com