🥇কিভাবে এবং কেন আমরা 1C-এর জন্য একটি উচ্চ লোড করা পরিমাপযোগ্য পরিষেবা লিখেছি: এন্টারপ্রাইজ: Java, PostgreSQL, Hazelcast

এই নিবন্ধে আমরা কীভাবে এবং কেন বিকাশ করেছি সে সম্পর্কে কথা বলব ইন্টারঅ্যাকশন সিস্টেম - একটি প্রক্রিয়া যা ক্লায়েন্ট অ্যাপ্লিকেশন এবং 1C এর মধ্যে তথ্য স্থানান্তর করে: এন্টারপ্রাইজ সার্ভার - একটি টাস্ক সেট করা থেকে শুরু করে আর্কিটেকচার এবং বাস্তবায়নের বিবরণের মাধ্যমে চিন্তা করা পর্যন্ত।

ইন্টারঅ্যাকশন সিস্টেম (এরপরে - CB) নিশ্চিত বিতরণ সহ একটি বিতরণ করা ত্রুটি-সহনশীল মেসেজিং সিস্টেম। CB একটি উচ্চ-লোড পরিষেবা হিসাবে ডিজাইন করা হয়েছে উচ্চ মাপযোগ্যতা সহ, এটি একটি অনলাইন পরিষেবা (1C দ্বারা সরবরাহ করা) এবং একটি ব্যাপক উত্পাদন পণ্য হিসাবে উভয়ই উপলব্ধ যা নিজস্ব সার্ভার সুবিধাগুলিতে স্থাপন করা যেতে পারে।

SW বিতরণ করা স্টোরেজ ব্যবহার করে হ্যাজেলকাস্ট এবং সার্চ ইঞ্জিন Elasticsearch. আমরা জাভা সম্পর্কেও কথা বলব এবং কীভাবে আমরা অনুভূমিকভাবে PostgreSQL স্কেল করি।

সমস্যা গঠন

আমরা কেন ইন্টারঅ্যাকশন সিস্টেম তৈরি করেছি তা স্পষ্ট করার জন্য, আমি আপনাকে 1C-তে ব্যবসায়িক অ্যাপ্লিকেশনগুলির বিকাশ কীভাবে কাজ করে সে সম্পর্কে একটু বলব।

প্রথমত, আমাদের সম্পর্কে একটু যারা জানেন না আমরা এখনও কি করি :) আমরা 1C:Enterprise প্রযুক্তি প্ল্যাটফর্ম তৈরি করছি। প্ল্যাটফর্মটিতে একটি ব্যবসায়িক অ্যাপ্লিকেশন ডেভেলপমেন্ট টুল, সেইসাথে একটি রানটাইম রয়েছে যা ব্যবসার অ্যাপ্লিকেশনগুলিকে ক্রস-প্ল্যাটফর্ম পরিবেশে কাজ করার অনুমতি দেয়।

ক্লায়েন্ট-সার্ভার উন্নয়ন দৃষ্টান্ত

1C-এ তৈরি ব্যবসায়িক অ্যাপ্লিকেশন: এন্টারপ্রাইজ তিন-স্তরে কাজ করে ক্লায়েন্ট সার্ভার আর্কিটেকচার "DBMS - অ্যাপ্লিকেশন সার্ভার - ক্লায়েন্ট"। আবেদন কোড লেখা অন্তর্নির্মিত ভাষা 1C, অ্যাপ্লিকেশন সার্ভারে বা ক্লায়েন্টে চলতে পারে। অ্যাপ্লিকেশন অবজেক্টের সাথে সমস্ত কাজ (ডিরেক্টরি, নথি, ইত্যাদি), সেইসাথে ডাটাবেস পড়া এবং লেখা, শুধুমাত্র সার্ভারে সঞ্চালিত হয়। ফর্ম এবং কমান্ড ইন্টারফেস কার্যকারিতা সার্ভারে প্রয়োগ করা হয়। ক্লায়েন্টে, ফর্মগুলি প্রাপ্ত হয়, খোলা হয় এবং প্রদর্শিত হয়, ব্যবহারকারীর সাথে "যোগাযোগ" (সতর্কতা, প্রশ্ন ...), ফর্মগুলিতে ছোট গণনা যার জন্য দ্রুত প্রতিক্রিয়া প্রয়োজন (উদাহরণস্বরূপ, পরিমাণ দ্বারা মূল্য গুণ করা), এর সাথে কাজ করা স্থানীয় ফাইল, সরঞ্জাম সঙ্গে কাজ.

অ্যাপ্লিকেশন কোডে, পদ্ধতি এবং ফাংশনের শিরোনামগুলি স্পষ্টভাবে নির্দেশ করতে হবে যে কোডটি কোথায় কার্যকর করা হবে - নির্দেশাবলী ব্যবহার করে &AtClient / &AtServer (ভাষার ইংরেজি সংস্করণে &AtClient / &AtServer)। 1C বিকাশকারীরা এখন আমাকে এই বলে সংশোধন করবে যে নির্দেশগুলি আসলে তুলনায় আরোকিন্তু আমাদের জন্য এটা এখন গুরুত্বপূর্ণ নয়।

আপনি ক্লায়েন্ট কোড থেকে সার্ভার কোড কল করতে পারেন, কিন্তু আপনি সার্ভার কোড থেকে ক্লায়েন্ট কোড কল করতে পারবেন না। এটি একটি মৌলিক সীমাবদ্ধতা, যা আমাদের দ্বারা বিভিন্ন কারণে তৈরি করা হয়েছে। বিশেষ করে, কারণ সার্ভার কোডটি এমনভাবে লিখতে হবে যাতে এটি একইভাবে কার্যকর হয়, এটি যেখানেই ডাকা হোক না কেন - ক্লায়েন্ট বা সার্ভার থেকে। এবং অন্য সার্ভার কোড থেকে সার্ভার কোডে কল করার ক্ষেত্রে, এমন কোনও ক্লায়েন্ট নেই। এবং কারণ সার্ভার কোডটি কার্যকর করার সময়, যে ক্লায়েন্ট এটিকে কল করেছিল সেটি বন্ধ করতে পারে, অ্যাপ্লিকেশনটি থেকে বেরিয়ে যেতে পারে এবং সার্ভারে কল করার মতো কেউ থাকবে না।

কোড যা একটি বোতাম ক্লিক পরিচালনা করে: ক্লায়েন্ট থেকে একটি সার্ভার পদ্ধতি কল করা কাজ করবে, সার্ভার থেকে একটি ক্লায়েন্ট পদ্ধতি কল করা হবে না

এর মানে হল যে আমরা যদি সার্ভার থেকে ক্লায়েন্ট অ্যাপ্লিকেশনে কিছু বার্তা পাঠাতে চাই, উদাহরণস্বরূপ, একটি "লং-প্লেয়িং" প্রতিবেদনের গঠন শেষ হয়েছে এবং প্রতিবেদনটি দেখা যেতে পারে, আমাদের কাছে এমন উপায় নেই। আপনাকে কৌশলগুলি ব্যবহার করতে হবে, উদাহরণস্বরূপ, পর্যায়ক্রমে ক্লায়েন্ট কোড থেকে সার্ভারটি পোল করুন। তবে এই পদ্ধতিটি অপ্রয়োজনীয় কলগুলির সাথে সিস্টেমটিকে লোড করে এবং সাধারণভাবে এটি খুব মার্জিত দেখায় না।

এবং একটি প্রয়োজন আছে, উদাহরণস্বরূপ, যখন একটি টেলিফোন চুমুক-কল করুন, এটি সম্পর্কে ক্লায়েন্ট অ্যাপ্লিকেশনকে অবহিত করুন যাতে এটি কলারের নম্বর দ্বারা কাউন্টারপার্টি ডাটাবেসে এটি খুঁজে পেতে পারে এবং কলিং কাউন্টারপার্টি সম্পর্কে ব্যবহারকারীর তথ্য দেখাতে পারে। অথবা, উদাহরণস্বরূপ, যখন একটি অর্ডার গুদামে আসে, তখন গ্রাহকের ক্লায়েন্ট অ্যাপ্লিকেশনকে এটি সম্পর্কে অবহিত করুন। সাধারণভাবে, এমন অনেক ক্ষেত্রে রয়েছে যেখানে এই ধরনের একটি প্রক্রিয়া কার্যকর হবে।

আসলে সেটিং

একটি মেসেজিং মেকানিজম তৈরি করুন। দ্রুত, নির্ভরযোগ্য, নিশ্চিত ডেলিভারি সহ, বার্তাগুলির জন্য নমনীয় অনুসন্ধানের সম্ভাবনা সহ। প্রক্রিয়ার উপর ভিত্তি করে, একটি মেসেঞ্জার (বার্তা, ভিডিও কল) প্রয়োগ করুন যা 1C অ্যাপ্লিকেশনের মধ্যে কাজ করে।

সিস্টেমটি অনুভূমিকভাবে মাপযোগ্য ডিজাইন করুন। একটি ক্রমবর্ধমান লোড নোড সংখ্যা বৃদ্ধি দ্বারা আবৃত করা উচিত.

বাস্তবায়ন

আমরা সিবি-এর সার্ভার অংশটিকে সরাসরি 1C:Enterprise প্ল্যাটফর্মে এম্বেড না করার সিদ্ধান্ত নিয়েছি, তবে এটিকে একটি পৃথক পণ্য হিসাবে বাস্তবায়ন করার জন্য, যার API 1C অ্যাপ্লিকেশন সমাধানের কোড থেকে কল করা যেতে পারে। এটি বেশ কয়েকটি কারণে করা হয়েছিল, যার প্রধানটি ছিল বিভিন্ন 1C অ্যাপ্লিকেশনের মধ্যে বার্তা আদান-প্রদান করা সম্ভব করা (উদাহরণস্বরূপ, বাণিজ্য এবং অ্যাকাউন্টিং বিভাগের মধ্যে)। বিভিন্ন 1C অ্যাপ্লিকেশনগুলি 1C এর বিভিন্ন সংস্করণে চলতে পারে: এন্টারপ্রাইজ প্ল্যাটফর্ম, বিভিন্ন সার্ভারে অবস্থিত হবে ইত্যাদি। এই ধরনের পরিস্থিতিতে, 1C ইনস্টলেশনের "পাশে" অবস্থিত একটি পৃথক পণ্য হিসাবে সিবি বাস্তবায়ন হল সর্বোত্তম সমাধান।

তাই, আমরা সিবিকে আলাদা পণ্য হিসেবে তৈরি করার সিদ্ধান্ত নিয়েছি। ছোট কোম্পানিগুলির জন্য, স্থানীয় সার্ভার ইনস্টলেশন এবং কনফিগারেশনের সাথে যুক্ত ওভারহেড এড়াতে আমরা আমাদের ক্লাউডে (wss://1cdialog.com) ইনস্টল করা CB সার্ভার ব্যবহার করার পরামর্শ দিই। বড় গ্রাহকরা, তবে, তাদের সুবিধাগুলিতে তাদের নিজস্ব CB সার্ভার ইনস্টল করা সমীচীন বিবেচনা করতে পারে। আমরা আমাদের ক্লাউড SaaS পণ্যে অনুরূপ পদ্ধতি ব্যবহার করেছি। 1cতাজা - এটি গ্রাহকদের দ্বারা ইনস্টলেশনের জন্য একটি উত্পাদন পণ্য হিসাবে প্রকাশিত হয় এবং আমাদের ক্লাউডেও স্থাপন করা হয় https://1cfresh.com/.

আবেদন

লোড ডিস্ট্রিবিউশন এবং ফল্ট টলারেন্সের জন্য, আমরা একটি জাভা অ্যাপ্লিকেশান স্থাপন করব না, তবে বেশ কয়েকটি, আমরা তাদের সামনে একটি লোড ব্যালেন্সার রাখব। আপনি যদি নোড থেকে নোডে একটি বার্তা পাঠাতে চান তবে Hazelcast এ প্রকাশ/সাবস্ক্রাইব ব্যবহার করুন।

ক্লায়েন্ট এবং সার্ভারের মধ্যে যোগাযোগ - ওয়েবসকেটের মাধ্যমে। এটি রিয়েল-টাইম সিস্টেমের জন্য উপযুক্ত।

বিতরণ করা ক্যাশে

Redis, Hazelcast এবং Ehcache এর মধ্যে বেছে নিন। 2015 সালে বাইরে। রেডিস সবেমাত্র একটি নতুন ক্লাস্টার প্রকাশ করেছে (খুব নতুন, ভীতিকর), সেখানে অনেক বিধিনিষেধ সহ একটি সেন্টিনেল রয়েছে। Ehcache কিভাবে ক্লাস্টার করতে হয় তা জানে না (এই কার্যকারিতা পরে দেখা গেছে)। আমরা Hazelcast 3.4 দিয়ে চেষ্টা করার সিদ্ধান্ত নিয়েছি।
Hazelcast বক্সের বাইরে ক্লাস্টার করা হয়. একক নোড মোডে, এটি খুব দরকারী নয় এবং শুধুমাত্র একটি ক্যাশে হিসাবে ফিট করতে পারে - এটি কীভাবে ডিস্কে ডেটা ডাম্প করতে হয় তা জানে না, যদি একমাত্র নোডটি হারিয়ে যায় তবে ডেটা হারিয়ে যায়। আমরা বেশ কয়েকটি হ্যাজেলকাস্ট স্থাপন করি, যার মধ্যে আমরা সমালোচনামূলক ডেটা ব্যাক আপ করি। আমরা ক্যাশে ব্যাকআপ করি না - আমরা তার জন্য দুঃখিত বোধ করি না।

আমাদের জন্য, হ্যাজেলকাস্ট হল:

ব্যবহারকারীর সেশনের স্টোরেজ। একটি সেশনের জন্য ডাটাবেসে যেতে অনেক সময় লাগে, তাই আমরা হ্যাজেলকাস্টে সমস্ত সেশন রাখি।
ক্যাশে। একটি ব্যবহারকারী প্রোফাইল খুঁজছেন - ক্যাশে চেক করুন. একটি নতুন বার্তা লিখেছেন - এটি ক্যাশে রাখুন।
আবেদন দৃষ্টান্ত যোগাযোগের জন্য বিষয়. নোডটি একটি ইভেন্ট তৈরি করে এবং এটি একটি Hazelcast বিষয়ে রাখে। এই বিষয়ে সদস্যতা নেওয়া অন্যান্য অ্যাপ্লিকেশন নোডগুলি ইভেন্টটি গ্রহণ করে এবং প্রক্রিয়া করে।
ক্লাস্টার লক। উদাহরণস্বরূপ, আমরা একটি অনন্য কী দ্বারা একটি আলোচনা তৈরি করি (1C বেসের কাঠামোর মধ্যে আলোচনা-সিঙ্গেলটন):

conversationKeyChecker.check("БЕНЗОКОЛОНКА");

      doInClusterLock("БЕНЗОКОЛОНКА", () -> {

          conversationKeyChecker.check("БЕНЗОКОЛОНКА");

          createChannel("БЕНЗОКОЛОНКА");
      });

আমরা চেক করেছি কোন চ্যানেল নেই। তারা তালাটি নিয়েছিল, এটি আবার পরীক্ষা করেছে, এটি তৈরি করেছে। আপনি যদি লকটি নেওয়ার পরে চেক না করেন, তাহলে সেই মুহুর্তে আরেকটি থ্রেড চেক করার সুযোগ রয়েছে এবং এখন একই আলোচনা তৈরি করার চেষ্টা করবে - এবং এটি ইতিমধ্যেই বিদ্যমান। সিঙ্ক্রোনাইজড বা নিয়মিত জাভা লকের মাধ্যমে লক করা অসম্ভব। বেস মাধ্যমে - ধীরে ধীরে, এবং বেস একটি করুণা, Hazelcast মাধ্যমে - আপনি কি প্রয়োজন.

একটি DBMS নির্বাচন করা হচ্ছে

PostgreSQL এর সাথে আমাদের ব্যাপক এবং সফল অভিজ্ঞতা এবং এই DBMS এর বিকাশকারীদের সাথে সহযোগিতা রয়েছে।

একটি ক্লাস্টার সহ, PostgreSQL সহজ নয় - আছে XL, XC, সিটাস, কিন্তু, সাধারণভাবে, এটি noSQL নয় যা বাক্সের বাইরে স্কেল করে। NoSQL কে প্রধান স্টোরেজ হিসাবে বিবেচনা করা হয়নি, এটি যথেষ্ট ছিল যে আমরা হ্যাজেলকাস্ট গ্রহণ করি, যার সাথে আমরা আগে কাজ করিনি।

যেহেতু আপনাকে একটি রিলেশনাল ডাটাবেস স্কেল করতে হবে, এর মানে হল শার্ডিং. যেমন আপনি জানেন, শার্ডিং করার সময়, আমরা ডাটাবেসকে আলাদা আলাদা অংশে ভাগ করি যাতে তাদের প্রত্যেককে আলাদা সার্ভারে রাখা যায়।

আমাদের শার্ডিংয়ের প্রথম সংস্করণটি আমাদের অ্যাপ্লিকেশনের প্রতিটি টেবিলকে বিভিন্ন অনুপাতে বিভিন্ন সার্ভারে ছড়িয়ে দেওয়ার ক্ষমতা ধরে নিয়েছে। সার্ভার A-তে প্রচুর বার্তা - দয়া করে এই টেবিলের কিছু অংশ সার্ভার B-এ সরানো যাক। এই সিদ্ধান্তটি অকাল অপ্টিমাইজেশন সম্পর্কে চিৎকার করেছে, তাই আমরা নিজেদেরকে বহু-ভাড়াদার পদ্ধতিতে সীমাবদ্ধ রাখার সিদ্ধান্ত নিয়েছি।

আপনি একাধিক ভাড়াটে সম্পর্কে পড়তে পারেন, উদাহরণস্বরূপ, ওয়েবসাইটে সিটাস ডেটা.

এসভিতে অ্যাপ্লিকেশন এবং গ্রাহকের ধারণা রয়েছে। একটি অ্যাপ্লিকেশন হল একটি ব্যবসায়িক অ্যাপ্লিকেশনের একটি নির্দিষ্ট ইনস্টলেশন, যেমন ERP বা অ্যাকাউন্টিং, এর ব্যবহারকারী এবং ব্যবসার ডেটা সহ। গ্রাহক হল এমন একটি প্রতিষ্ঠান বা ব্যক্তি যার পক্ষে আবেদনটি সিবি সার্ভারে নিবন্ধিত। একজন গ্রাহকের একাধিক অ্যাপ্লিকেশন নিবন্ধিত থাকতে পারে এবং এই অ্যাপ্লিকেশনগুলি একে অপরের সাথে বার্তা বিনিময় করতে পারে। গ্রাহক আমাদের সিস্টেমে ভাড়াটে হয়ে উঠেছে। একাধিক গ্রাহকের বার্তাগুলি একটি শারীরিক বেসে অবস্থিত হতে পারে; যদি আমরা দেখি যে কিছু গ্রাহক প্রচুর ট্র্যাফিক তৈরি করতে শুরু করেছে, আমরা এটিকে একটি পৃথক ফিজিক্যাল ডাটাবেসে (বা এমনকি একটি পৃথক ডাটাবেস সার্ভারে) নিয়ে যাই।

আমাদের একটি প্রধান ডাটাবেস রয়েছে যেখানে রাউটিং টেবিলটি সমস্ত গ্রাহক ডাটাবেসের অবস্থান সম্পর্কে তথ্য সহ সংরক্ষণ করা হয়।

মূল ডাটাবেসকে বাধাগ্রস্ত হওয়া থেকে আটকাতে, আমরা রাউটিং টেবিল (এবং অন্যান্য ঘন ঘন অনুরোধ করা ডেটা) ক্যাশে রাখি।

যদি গ্রাহকের ডাটাবেস ধীর হতে শুরু করে, আমরা এটিকে ভিতরে পার্টিশনে কেটে দেব। অন্যান্য প্রকল্পে, বড় টেবিল বিভাজন করতে, আমরা ব্যবহার করি pg_pathman.

যেহেতু ব্যবহারকারীর বার্তা হারানো খারাপ, আমরা প্রতিলিপি সহ আমাদের ডাটাবেস ব্যাক আপ করি। সিঙ্ক্রোনাস এবং অ্যাসিঙ্ক্রোনাস প্রতিলিপিগুলির সংমিশ্রণ আপনাকে মূল ডাটাবেসের ক্ষতির বিরুদ্ধে বীমা করতে দেয়। মূল ডাটাবেস এবং এর সিঙ্ক্রোনাস প্রতিরূপের একযোগে ব্যর্থতার ক্ষেত্রেই বার্তার ক্ষতি ঘটবে।

সিঙ্ক্রোনাস রেপ্লিকা হারিয়ে গেলে, অ্যাসিঙ্ক্রোনাস রেপ্লিকা সিঙ্ক্রোনাস হয়ে যায়।
প্রধান ডাটাবেস হারিয়ে গেলে, সিঙ্ক্রোনাস রেপ্লিকা প্রধান ডাটাবেস হয়ে যায়, অ্যাসিঙ্ক্রোনাস রেপ্লিকা সিঙ্ক্রোনাস রেপ্লিকা হয়ে যায়।

অনুসন্ধানের জন্য ইলাস্টিক অনুসন্ধান

যেহেতু, অন্যান্য জিনিসের মধ্যে, সিবিও একজন মেসেঞ্জার, তাই এখানে আমাদের একটি দ্রুত, সুবিধাজনক এবং নমনীয় অনুসন্ধানের প্রয়োজন, অযৌক্তিক মিলের মাধ্যমে রূপবিদ্যাকে বিবেচনা করে। আমরা চাকাটি পুনরায় উদ্ভাবন না করার এবং লাইব্রেরির ভিত্তিতে তৈরি বিনামূল্যে ইলাস্টিক সার্চ সার্চ ইঞ্জিন ব্যবহার করার সিদ্ধান্ত নিয়েছি লুসিন. অ্যাপ্লিকেশন নোডের ব্যর্থতার ক্ষেত্রে সমস্যাগুলি দূর করতে আমরা একটি ক্লাস্টারে (মাস্টার - ডেটা - ডেটা) ইলাস্টিকসার্চ স্থাপন করি।

গিথুবে আমরা খুঁজে পেয়েছি রাশিয়ান রূপবিদ্যা প্লাগইন ইলাস্টিক সার্চের জন্য এবং এটি ব্যবহার করুন। ইলাস্টিকসার্চ সূচকে, আমরা শব্দের মূল (যা প্লাগইন সংজ্ঞায়িত করে) এবং N-গ্রাম সংরক্ষণ করি। ব্যবহারকারী অনুসন্ধান করার জন্য পাঠ্য প্রবেশ করার সাথে সাথে আমরা এন-গ্রামের মধ্যে টাইপ করা পাঠ্য অনুসন্ধান করি। সূচকে সংরক্ষিত হলে, "টেক্সট" শব্দটি নিম্নলিখিত N-গ্রামে বিভক্ত হবে:

[te, টেক, টেক্স, টেক্সট, টেক্সট, ek, eks, ext, ext, ks, kst, ksty, st, sty, তুমি],

এবং "টেক্সট" শব্দের মূলটিও সংরক্ষণ করা হবে। এই পদ্ধতিটি আপনাকে শুরুতে, মাঝখানে এবং শব্দের শেষে অনুসন্ধান করতে দেয়।

সাধারণ ছবি

নিবন্ধের শুরু থেকে ছবির পুনরাবৃত্তি, কিন্তু ব্যাখ্যা সহ:

ব্যালান্সার ইন্টারনেটে উন্মুক্ত; আমাদের nginx আছে, এটা যেকোনো হতে পারে।
জাভা অ্যাপ্লিকেশন দৃষ্টান্ত একে অপরের সাথে হ্যাজেলকাস্টের মাধ্যমে যোগাযোগ করে।
একটি ওয়েব সকেটের সাথে কাজ করতে, আমরা ব্যবহার করি Netty.
Java 8 এ লেখা জাভা অ্যাপ্লিকেশন, বান্ডিল নিয়ে গঠিত ওএসজিআই. পরিকল্পনা জাভা 10 এ স্থানান্তরিত করা এবং মডিউলগুলিতে স্যুইচ করা।

উন্নয়ন ও পরীক্ষামূলক পরিষেবা সমূহ

CB এর বিকাশ এবং পরীক্ষার সময়, আমরা যে পণ্যগুলি ব্যবহার করি তার বেশ কয়েকটি আকর্ষণীয় বৈশিষ্ট্যের সম্মুখীন হয়েছি।

লোড টেস্টিং এবং মেমরি লিক

প্রতিটি সিবি রিলিজের রিলিজ একটি লোড পরীক্ষা। এটি সফলভাবে পাস যখন:

পরীক্ষাটি বেশ কয়েক দিন ধরে কাজ করেছিল এবং পরিষেবার কোনও অস্বীকার ছিল না
মূল ক্রিয়াকলাপের জন্য প্রতিক্রিয়া সময় একটি আরামদায়ক থ্রেশহোল্ড অতিক্রম করেনি
পূর্ববর্তী সংস্করণের তুলনায় কর্মক্ষমতা হ্রাস 10% এর বেশি নয়

আমরা ডেটা দিয়ে পরীক্ষার ডাটাবেস পূরণ করি - এর জন্য আমরা প্রোডাকশন সার্ভার থেকে সর্বাধিক সক্রিয় গ্রাহক সম্পর্কে তথ্য পাই, এর সংখ্যা 5 দ্বারা গুণ করি (বার্তা, আলোচনা, ব্যবহারকারীদের সংখ্যা) এবং তাই আমরা পরীক্ষা করি।

আমরা তিনটি কনফিগারেশনে ইন্টারঅ্যাকশন সিস্টেমের লোড টেস্টিং করি:

পীড়ন পরীক্ষা
শুধুমাত্র সংযোগ
গ্রাহক নিবন্ধন

একটি স্ট্রেস পরীক্ষার সময়, আমরা কয়েকশ থ্রেড চালু করি, এবং তারা না থামিয়ে সিস্টেম লোড করে: বার্তা লিখুন, আলোচনা তৈরি করুন, বার্তাগুলির একটি তালিকা গ্রহণ করুন। আমরা সাধারণ ব্যবহারকারীদের ক্রিয়াগুলি অনুকরণ করি (আমার অপঠিত বার্তাগুলির একটি তালিকা পান, কাউকে লিখুন) এবং প্রোগ্রামের সিদ্ধান্তগুলি (একটি প্যাকেজ অন্য কনফিগারেশনে স্থানান্তর করুন, একটি সতর্কতা প্রক্রিয়া করুন)।

উদাহরণস্বরূপ, স্ট্রেস পরীক্ষার অংশটি দেখতে এইরকম:

ব্যবহারকারী লগ ইন
- আপনার অপঠিত থ্রেড অনুরোধ
- বার্তা পড়ার 50% সুযোগ
- বার্তা লেখার 50% সম্ভাবনা
- পরবর্তী ব্যবহারকারী:
  - একটি নতুন থ্রেড তৈরি করার 20% সুযোগ
  - এলোমেলোভাবে তার যেকোনো আলোচনা নির্বাচন করে
  - ভিতরে আসে
  - অনুরোধ বার্তা, ব্যবহারকারী প্রোফাইল
  - এই থ্রেড থেকে র্যান্ডম ব্যবহারকারীদের উদ্দেশ্যে পাঁচটি বার্তা তৈরি করে
  - আলোচনার বাইরে
  - 20 বার পুনরাবৃত্তি হয়
  - লগ আউট করে, স্ক্রিপ্টের শুরুতে ফিরে আসে
- একটি চ্যাটবট সিস্টেমে প্রবেশ করে (প্রয়োগিত সমাধানের কোড থেকে মেসেজিং অনুকরণ করে)
  - একটি নতুন ডেটা চ্যানেল তৈরি করার 50% সুযোগ (বিশেষ আলোচনা)
  - বিদ্যমান চ্যানেলগুলির মধ্যে একটিতে একটি বার্তা লেখার 50% সুযোগ

"শুধুমাত্র সংযোগ" দৃশ্যকল্প একটি কারণের জন্য উপস্থিত হয়েছে৷ একটি পরিস্থিতি রয়েছে: ব্যবহারকারীরা সিস্টেমটি সংযুক্ত করেছেন, তবে এখনও জড়িত হননি। প্রতিটি ব্যবহারকারী সকালে 09:00 এ কম্পিউটার চালু করে, সার্ভারের সাথে একটি সংযোগ স্থাপন করে এবং নীরব থাকে। এই ছেলেরা বিপজ্জনক, তাদের মধ্যে অনেক আছে - তাদের প্যাকেটের বাইরে শুধুমাত্র PING/PONG আছে, কিন্তু তারা সার্ভারের সাথে সংযোগ রাখে (তারা রাখতে পারে না - এবং হঠাৎ একটি নতুন বার্তা)। পরীক্ষাটি পরিস্থিতি পুনরুত্পাদন করে যখন এই ধরনের বিপুল সংখ্যক ব্যবহারকারী আধা ঘন্টার মধ্যে সিস্টেমে লগ ইন করার চেষ্টা করে। এটি একটি স্ট্রেস পরীক্ষার মতো দেখায়, তবে এটির ফোকাস এই প্রথম ইনপুটের উপর অবিকল - যাতে কোনও ব্যর্থতা না হয় (একজন ব্যক্তি সিস্টেমটি ব্যবহার করেন না, তবে এটি ইতিমধ্যেই পড়ে যাচ্ছে - আরও খারাপ কিছু নিয়ে আসা কঠিন)।

গ্রাহক নিবন্ধন দৃশ্যকল্প প্রথম লঞ্চ থেকে উদ্ভূত হয়। আমরা একটি স্ট্রেস পরীক্ষা পরিচালনা করেছি এবং নিশ্চিত ছিলাম যে সিস্টেমটি চিঠিপত্রে ধীর হয়নি। কিন্তু ব্যবহারকারীরা গিয়েছিলেন এবং টাইমআউটের মাধ্যমে নিবন্ধন বন্ধ হয়ে যেতে শুরু করেছে। নিবন্ধন করার সময়, আমরা ব্যবহার করি / দেব / এলোমেলো, যা সিস্টেমের এনট্রপির সাথে আবদ্ধ। সার্ভারের কাছে পর্যাপ্ত এনট্রপি জমা করার সময় ছিল না এবং, যখন একটি নতুন সিকিউর র‍্যান্ডম অনুরোধ করা হয়েছিল, তখন এটি কয়েক সেকেন্ডের জন্য জমে যায়। এই পরিস্থিতি থেকে বেরিয়ে আসার অনেক উপায় আছে, উদাহরণস্বরূপ: একটি কম সুরক্ষিত /dev/urandom-এ স্যুইচ করুন, একটি বিশেষ বোর্ড ইনস্টল করুন যা এনট্রপি তৈরি করে, এলোমেলো নম্বরগুলি আগে থেকেই তৈরি করে এবং পুলে সংরক্ষণ করুন। আমরা সাময়িকভাবে পুলের সমস্যাটি বন্ধ করে দিয়েছি, কিন্তু তারপর থেকে আমরা নতুন গ্রাহক নিবন্ধনের জন্য একটি পৃথক পরীক্ষা চালাচ্ছি।

লোড জেনারেটর হিসেবে আমরা ব্যবহার করি JMeter. এটি একটি ওয়েবসকেট দিয়ে কিভাবে কাজ করতে হয় তা জানে না, একটি প্লাগইন প্রয়োজন। অনুসন্ধানের ফলাফলে প্রথমটি "jmeter websocket" এর জন্য ব্লেজমিটার সহ নিবন্ধযেখানে তারা সুপারিশ করে Maciej Zaleski দ্বারা প্লাগইন.

সেখানেই আমরা শুরু করার সিদ্ধান্ত নিয়েছি।

গুরুতর পরীক্ষা শুরু হওয়ার প্রায় সাথে সাথেই, আমরা আবিষ্কার করেছি যে JMeter-এ মেমরি লিক শুরু হয়েছে।

প্লাগইনটি একটি আলাদা বড় গল্প, 176টি তারা সহ এটির গিথুবে 132টি কাঁটা রয়েছে। লেখক নিজে 2015 সাল থেকে এটিকে প্রতিশ্রুতিবদ্ধ করেননি (আমরা এটি 2015 সালে নিয়েছিলাম, তারপরে এটি সন্দেহ জাগিয়ে তোলেনি), মেমরি ফাঁস সম্পর্কে বেশ কয়েকটি গিথুব সমস্যা, 7টি অপ্রকাশিত টানার অনুরোধ।
আপনি যদি এই প্লাগইনের সাথে পরীক্ষা লোড করতে চান তবে অনুগ্রহ করে নিম্নলিখিত আলোচনাগুলি নোট করুন:

একটি মাল্টি-থ্রেডেড পরিবেশে, স্বাভাবিক লিঙ্কডলিস্ট ব্যবহার করা হয়েছিল, ফলস্বরূপ, আমরা পেয়েছি এনপিই রানটাইমে এটি হয় ConcurrentLinkedDeque এ স্যুইচ করে বা সিঙ্ক্রোনাইজড ব্লক দ্বারা সমাধান করা হয়। আমরা নিজেদের জন্য প্রথম বিকল্পটি বেছে নিয়েছিhttps://github.com/maciejzaleski/JMeter-WebSocketSampler/issues/43).
মেমরি লিক, সংযোগ বিচ্ছিন্ন করার সময় সংযোগ তথ্য মুছে ফেলা হয় না (https://github.com/maciejzaleski/JMeter-WebSocketSampler/issues/44).
স্ট্রিমিং মোডে (যখন নমুনার শেষে ওয়েবসকেট বন্ধ করা হয় না, তবে পরিকল্পনায় আরও ব্যবহার করা হয়), প্রতিক্রিয়া প্যাটার্ন কাজ করে না (https://github.com/maciejzaleski/JMeter-WebSocketSampler/issues/19).

এটি গিথুবের মধ্যে একটি। আমরা যা করেছি:

নিয়েছে এলিরান কোগানের কাঁটা (@elyrank) - এটি 1 এবং 3 সমস্যা সমাধান করে
সমাধান করা সমস্যা 2
9.2.14 থেকে 9.3.12 পর্যন্ত জেটি আপডেট করা হয়েছে
ThreadLocal এ মোড়ানো SimpleDateFormat; সিম্পলডেটফরম্যাট থ্রেড নিরাপদ নয় যা রানটাইমে NPE তে নেতৃত্ব দেয়
আরেকটি মেমরি লিক সংশোধন করা হয়েছে (সংযোগ বিচ্ছিন্ন হলে ভুলভাবে বন্ধ হয়ে গেছে)

এবং এখনও এটি প্রবাহিত!

স্মৃতি এক দিনে নয়, দুই দিনে শেষ হতে শুরু করেছে। কোন সময় ছিল না, আমরা কম থ্রেড চালানোর সিদ্ধান্ত নিয়েছি, তবে চারটি এজেন্টের উপর। এটি অন্তত এক সপ্তাহের জন্য যথেষ্ট হওয়া উচিত ছিল।

দুই দিন হয়ে গেল...

এখন হ্যাজেলকাস্টের স্মৃতি ফুরিয়ে যাচ্ছে। লগগুলি দেখায় যে কয়েক দিনের পরীক্ষার পরে, হ্যাজেলকাস্ট স্মৃতিশক্তির অভাব সম্পর্কে অভিযোগ করতে শুরু করে এবং কিছুক্ষণ পরে ক্লাস্টারটি আলাদা হয়ে যায় এবং নোডগুলি একে একে মারা যেতে থাকে। আমরা হ্যাজেলকাস্টের সাথে JVisualVM কে সংযুক্ত করেছি এবং "উর্ধ্বগামী করাত" দেখেছি - এটি নিয়মিতভাবে GC নামে পরিচিত, কিন্তু কোনোভাবেই মেমরিটি পরিষ্কার করতে পারিনি।

দেখা গেল যে হ্যাজেলকাস্ট 3.4-এ, একটি মানচিত্র / মাল্টিম্যাপ (map.destroy()) মুছে ফেলার সময়, মেমরি সম্পূর্ণরূপে মুক্ত হয় না:

github.com/hazelcast/hazelcast/issues/6317
github.com/hazelcast/hazelcast/issues/4888

বাগটি এখন 3.5 এ ঠিক করা হয়েছে, কিন্তু তখন এটি একটি সমস্যা ছিল। আমরা গতিশীল নাম দিয়ে নতুন মাল্টিম্যাপ তৈরি করেছি এবং আমাদের যুক্তি অনুসারে মুছে ফেলেছি। কোড এই মত কিছু দেখায়:

public void join(Authentication auth, String sub) {
    MultiMap<UUID, Authentication> sessions = instance.getMultiMap(sub);
    sessions.put(auth.getUserId(), auth);
}

public void leave(Authentication auth, String sub) {
    MultiMap<UUID, Authentication> sessions = instance.getMultiMap(sub);
    sessions.remove(auth.getUserId(), auth);

    if (sessions.size() == 0) {
        sessions.destroy();
    }
}

কল করুন:

service.join(auth1, "НОВЫЕ_СООБЩЕНИЯ_В_ОБСУЖДЕНИИ_UUID1");
service.join(auth2, "НОВЫЕ_СООБЩЕНИЯ_В_ОБСУЖДЕНИИ_UUID1");

মাল্টিম্যাপ প্রতিটি সাবস্ক্রিপশনের জন্য তৈরি করা হয়েছিল এবং যখন এটির প্রয়োজন ছিল না তখন সরানো হয়েছিল। আমরা সিদ্ধান্ত নিলাম যে আমরা একটি মানচিত্র শুরু করব , কী হবে সাবস্ক্রিপশনের নাম, এবং মানগুলি হবে সেশন শনাক্তকারী (যার মাধ্যমে আপনি প্রয়োজনে ব্যবহারকারী শনাক্তকারী পেতে পারেন)।

public void join(Authentication auth, String sub) {
    addValueToMap(sub, auth.getSessionId());
}

public void leave(Authentication auth, String sub) { 
    removeValueFromMap(sub, auth.getSessionId());
}

চার্ট উন্নত হয়েছে.

লোড টেস্টিং সম্পর্কে আমরা আর কি শিখেছি

JSR223 কে গ্রুভিতে লিখতে হবে এবং সংকলন ক্যাশে অন্তর্ভুক্ত করতে হবে - এটি অনেক দ্রুত। লিংক.
জেমিটার-প্লাগইন চার্টগুলি সাধারণের চেয়ে বোঝা সহজ। লিংক.

Hazelcast সঙ্গে আমাদের অভিজ্ঞতা সম্পর্কে

হ্যাজেলকাস্ট আমাদের জন্য একটি নতুন পণ্য ছিল, আমরা সংস্করণ 3.4.1 থেকে এটির সাথে কাজ শুরু করেছি, এখন আমাদের উত্পাদন সার্ভারে সংস্করণ 3.9.2 রয়েছে (এই লেখার সময়, হ্যাজেলকাস্টের সর্বশেষ সংস্করণ 3.10)।

আইডি প্রজন্ম

আমরা পূর্ণসংখ্যা শনাক্তকারী দিয়ে শুরু করেছি। আসুন কল্পনা করি যে একটি নতুন সত্তার জন্য আমাদের আরেকটি দীর্ঘ প্রয়োজন। ডাটাবেসের ক্রম উপযুক্ত নয়, টেবিলগুলি শার্ডিংয়ের সাথে জড়িত - দেখা যাচ্ছে যে DB1 এ একটি বার্তা ID=1 এবং DB1 তে একটি বার্তা ID=2 রয়েছে, আপনি এই আইডিটি ইলাস্টিকসার্চে, হ্যাজেলকাস্টেও রাখতে পারবেন না, কিন্তু সবচেয়ে খারাপ বিষয় হল আপনি যদি দুটি ডাটাবেস থেকে একটি ডেটা কমাতে চান (উদাহরণস্বরূপ, সিদ্ধান্ত নেওয়া যে এই গ্রাহকদের জন্য একটি ডাটাবেস যথেষ্ট)। আপনি হ্যাজেলকাস্টে বেশ কয়েকটি অ্যাটমিক লং থাকতে পারেন এবং সেখানে কাউন্টারটি রাখতে পারেন, তারপরে একটি নতুন আইডি পাওয়ার পারফরম্যান্স হল ইনক্রিমেন্টএন্ডগেট প্লাস হ্যাজেলকাস্টে জিজ্ঞাসা করার সময়। তবে হ্যাজেলকাস্টের আরও অনুকূল কিছু রয়েছে - ফ্লেকআইডিজেনারেটর। যোগাযোগ করার সময়, প্রতিটি ক্লায়েন্টকে আইডির একটি পরিসর দেওয়া হয়, উদাহরণস্বরূপ, প্রথমটি - 1 থেকে 10 পর্যন্ত, দ্বিতীয়টি - 000 থেকে 10 পর্যন্ত এবং আরও অনেক কিছু। এখন ক্লায়েন্ট নিজেরাই নতুন শনাক্তকারী ইস্যু করতে পারে যতক্ষণ না এটিকে জারি করা পরিসীমা শেষ হয়। দ্রুত কাজ করে, কিন্তু অ্যাপটি পুনরায় চালু করা (এবং Hazelcast ক্লায়েন্ট) একটি নতুন ক্রম শুরু করে - তাই এড়িয়ে যায়, ইত্যাদি। উপরন্তু, এটি বিকাশকারীদের কাছে খুব স্পষ্ট নয় কেন আইডিগুলি পূর্ণসংখ্যা, তবে তারা মতভেদে অনেক বেশি যায়৷ আমরা সবকিছু ওজন করেছি এবং UUID-তে স্যুইচ করেছি।

যাইহোক, যারা টুইটারের মতো হতে চান তাদের জন্য এমন একটি স্নোকাস্ট লাইব্রেরি রয়েছে - এটি হ্যাজেলকাস্টের উপরে স্নোফ্লেকের একটি বাস্তবায়ন। আপনি এখানে দেখতে পারেন:

github.com/noctarius/snowcast
github.com/twitter/snowflake

কিন্তু আমরা এখনও এটির কাছাকাছি পাইনি।

TransactionalMap.replace

আরেকটি বিস্ময়: TransactionalMap.replace কাজ করে না। এখানে একটি পরীক্ষা:

@Test
public void replaceInMap_putsAndGetsInsideTransaction() {

    hazelcastInstance.executeTransaction(context -> {
        HazelcastTransactionContextHolder.setContext(context);
        try {
            context.getMap("map").put("key", "oldValue");
            context.getMap("map").replace("key", "oldValue", "newValue");
            
            String value = (String) context.getMap("map").get("key");
            assertEquals("newValue", value);

            return null;
        } finally {
            HazelcastTransactionContextHolder.clearContext();
        }        
    });
}

Expected : newValue
Actual : oldValue

আমাকে getForUpdate ব্যবহার করে নিজের প্রতিস্থাপন লিখতে হয়েছিল:

protected <K,V> boolean replaceInMap(String mapName, K key, V oldValue, V newValue) {
    TransactionalTaskContext context = HazelcastTransactionContextHolder.getContext();
    if (context != null) {
        log.trace("[CACHE] Replacing value in a transactional map");
        TransactionalMap<K, V> map = context.getMap(mapName);
        V value = map.getForUpdate(key);
        if (oldValue.equals(value)) {
            map.put(key, newValue);
            return true;
        }

        return false;
    }
    log.trace("[CACHE] Replacing value in a not transactional map");
    IMap<K, V> map = hazelcastInstance.getMap(mapName);
    return map.replace(key, oldValue, newValue);
}

শুধুমাত্র নিয়মিত ডেটা স্ট্রাকচারই নয়, তাদের লেনদেনের সংস্করণও পরীক্ষা করুন। এটি ঘটে যে IMap কাজ করে, কিন্তু TransactionalMap আর বিদ্যমান নেই।

ডাউনটাইম ছাড়াই নতুন JAR সংযুক্ত করুন

প্রথমে, আমরা আমাদের ক্লাসের অবজেক্টগুলি হ্যাজেলকাস্টে লেখার সিদ্ধান্ত নিয়েছি। উদাহরণস্বরূপ, আমাদের একটি অ্যাপ্লিকেশন ক্লাস আছে, আমরা এটি সংরক্ষণ করতে এবং পড়তে চাই। সংরক্ষণ:

IMap<UUID, Application> map = hazelcastInstance.getMap("application");
map.set(id, application);

আমরা পড়ি:

IMap<UUID, Application> map = hazelcastInstance.getMap("application");
return map.get(id);

সবকিছু কাজ করছে। তারপরে আমরা এটি অনুসন্ধান করার জন্য হ্যাজেলকাস্টে একটি সূচক তৈরি করার সিদ্ধান্ত নিয়েছি:

map.addIndex("subscriberId", false);

এবং একটি নতুন সত্তা লেখার সময়, তারা একটি ClassNotFoundException পেতে শুরু করে। হ্যাজেলকাস্ট সূচকে যোগ করার চেষ্টা করেছিল, কিন্তু আমাদের ক্লাস সম্পর্কে কিছুই জানত না এবং এই ক্লাসের সাথে একটি JAR রাখতে চেয়েছিল। আমরা ঠিক তাই করেছি, সবকিছুই কাজ করেছে, কিন্তু একটি নতুন সমস্যা দেখা দিয়েছে: ক্লাস্টারকে সম্পূর্ণরূপে বন্ধ না করে কীভাবে JAR আপডেট করবেন? হ্যাজেলকাস্ট প্রতি-নোড আপডেটে একটি নতুন JAR বাছাই করে না। এই মুহুর্তে, আমরা সিদ্ধান্ত নিয়েছি যে আমরা সূচক অনুসন্ধান ছাড়াই বাঁচতে পারি। সর্বোপরি, আপনি যদি হ্যাজেলকাস্টকে কী-মূল্যের দোকান হিসাবে ব্যবহার করেন তবে সবকিছুই চলবে? আসলে তা না. এখানে আবার IMap এবং TransactionalMap এর ভিন্ন আচরণ। যেখানে IMap পাত্তা দেয় না, TransactionalMap একটি ত্রুটি নিক্ষেপ করে।

IMap. আমরা 5000টি বস্তু লিখি, আমরা পড়ি। সবকিছুই প্রত্যাশিত।

@Test
void get5000() {
    IMap<UUID, Application> map = hazelcastInstance.getMap("application");
    UUID subscriberId = UUID.randomUUID();

    for (int i = 0; i < 5000; i++) {
        UUID id = UUID.randomUUID();
        String title = RandomStringUtils.random(5);
        Application application = new Application(id, title, subscriberId);
        
        map.set(id, application);
        Application retrieved = map.get(id);
        assertEquals(id, retrieved.getId());
    }
}

কিন্তু এটি একটি লেনদেনে কাজ করে না, আমরা একটি ClassNotFoundException পাই:

@Test
void get_transaction() {
    IMap<UUID, Application> map = hazelcastInstance.getMap("application_t");
    UUID subscriberId = UUID.randomUUID();
    UUID id = UUID.randomUUID();

    Application application = new Application(id, "qwer", subscriberId);
    map.set(id, application);
    
    Application retrievedOutside = map.get(id);
    assertEquals(id, retrievedOutside.getId());

    hazelcastInstance.executeTransaction(context -> {
        HazelcastTransactionContextHolder.setContext(context);
        try {
            TransactionalMap<UUID, Application> transactionalMap = context.getMap("application_t");
            Application retrievedInside = transactionalMap.get(id);

            assertEquals(id, retrievedInside.getId());
            return null;
        } finally {
            HazelcastTransactionContextHolder.clearContext();
        }
    });
}

3.8-এ, ইউজার ক্লাস ডিপ্লয়মেন্ট মেকানিজম আবির্ভূত হয়েছে। আপনি একটি মাস্টার নোড মনোনীত করতে পারেন এবং এটিতে JAR ফাইল আপডেট করতে পারেন।

এখন আমরা সম্পূর্ণরূপে আমাদের পদ্ধতি পরিবর্তন করেছি: আমরা নিজেরাই JSON-এ সিরিয়ালাইজ করি এবং Hazelcast-এ সংরক্ষণ করি। হ্যাজেলকাস্টের আমাদের ক্লাসের গঠন জানার দরকার নেই এবং আমরা ডাউনটাইম ছাড়াই আপডেট করতে পারি। ডোমেইন অবজেক্টের সংস্করণ অ্যাপ্লিকেশন দ্বারা নিয়ন্ত্রিত হয়। অ্যাপ্লিকেশনটির বিভিন্ন সংস্করণ একই সময়ে চালু করা যেতে পারে, এবং এটি সম্ভব যে একটি নতুন অ্যাপ্লিকেশন নতুন ক্ষেত্রগুলির সাথে অবজেক্ট লেখে, যখন পুরানোটি এখনও এই ক্ষেত্রগুলি সম্পর্কে জানে না। এবং একই সময়ে, নতুন অ্যাপ্লিকেশনটি পুরানো অ্যাপ্লিকেশন দ্বারা লিখিত বস্তুগুলি পড়ে যেগুলির নতুন ক্ষেত্র নেই। আমরা অ্যাপ্লিকেশনের ভিতরে এই ধরনের পরিস্থিতি পরিচালনা করি, কিন্তু সরলতার জন্য আমরা ক্ষেত্রগুলি পরিবর্তন করি না বা সরিয়ে ফেলি না, আমরা শুধুমাত্র নতুন ক্ষেত্র যোগ করে ক্লাসগুলিকে প্রসারিত করি।

কিভাবে আমরা উচ্চ কর্মক্ষমতা প্রদান

হ্যাজেলকাস্টে চারটি ট্রিপ ভাল, ডাটাবেসে দুটি ট্রিপ খারাপ

ক্যাশে ডেটার জন্য যাওয়া ডাটাবেসের চেয়ে সর্বদা ভাল, তবে আপনি দাবি না করা রেকর্ডগুলিও সংরক্ষণ করতে চান না। কি ক্যাশে করতে হবে তা স্থির করা উন্নয়নের শেষ পর্যায়ে বাকি। যখন নতুন কার্যকারিতা কোড করা হয়, তখন আমরা PostgreSQL (log_min_duration_statement থেকে 0) এ সমস্ত প্রশ্নের লগিং সক্ষম করি এবং 20 মিনিটের জন্য লোড পরীক্ষা চালাই৷ pgFouine এবং pgBadger এর মতো ইউটিলিটিগুলি সংগৃহীত লগগুলির উপর ভিত্তি করে বিশ্লেষণাত্মক প্রতিবেদন তৈরি করতে পারে৷ প্রতিবেদনে, আমরা প্রাথমিকভাবে ধীর এবং ঘন ঘন অনুরোধগুলি সন্ধান করি। ধীরগতির প্রশ্নের জন্য, আমরা একটি এক্সিকিউশন প্ল্যান (ব্যাখ্যা) তৈরি করি এবং মূল্যায়ন করি যে এই ধরনের একটি প্রশ্ন ত্বরান্বিত করা যায় কিনা। একই ইনপুট জন্য ঘন ঘন অনুরোধ ক্যাশে ভাল ফিট. আমরা প্রশ্ন রাখার চেষ্টা করি "ফ্ল্যাট", প্রতি ক্যোয়ারীতে একটি টেবিল।

শোষণ

CB একটি অনলাইন পরিষেবা হিসাবে 2017 সালের বসন্তে চালু করা হয়েছিল, যেহেতু একটি পৃথক CB পণ্য নভেম্বর 2017 এ প্রকাশিত হয়েছিল (সেই সময়ে বিটা অবস্থায় ছিল)।

অপারেশনের এক বছরেরও বেশি সময় ধরে, সিবি অনলাইন পরিষেবা পরিচালনায় কোনও গুরুতর সমস্যা নেই। আমরা অনলাইন পরিষেবার মাধ্যমে পর্যবেক্ষণ করি Zabbix, থেকে সংগ্রহ এবং স্থাপন বাঁশ.

CB সার্ভার বিতরণ নেটিভ প্যাকেজ আকারে আসে: RPM, DEB, MSI। এছাড়াও, উইন্ডোজের জন্য, আমরা একটি একক EXE আকারে একটি একক ইনস্টলার সরবরাহ করি যা একটি মেশিনে সার্ভার, Hazelcast এবং Elasticsearch ইনস্টল করে। প্রথমে আমরা ইনস্টলেশনের এই সংস্করণটিকে "ডেমো" বলেছিলাম, কিন্তু এখন এটি স্পষ্ট হয়ে গেছে যে এটি সবচেয়ে জনপ্রিয় স্থাপনার বিকল্প।

উত্স: www.habr.com

কিভাবে এবং কেন আমরা 1C-এর জন্য একটি উচ্চ লোড করা পরিমাপযোগ্য পরিষেবা লিখেছি: এন্টারপ্রাইজ: Java, PostgreSQL, Hazelcast