ইলাস্টিক সার্চ সহ একটি হাইলোড প্রকল্পে অপ্টিমাইজেশান লোড করুন

হে হাবর! আমার নাম ম্যাক্সিম ভাসিলিভ, আমি ফিঞ্চ-এ একজন বিশ্লেষক এবং প্রকল্প ব্যবস্থাপক হিসাবে কাজ করি। আজ আমি আপনাকে বলতে চাই কিভাবে, ইলাস্টিক সার্চ ব্যবহার করে, আমরা 15 মিনিটের মধ্যে 6 মিলিয়ন অনুরোধ প্রক্রিয়া করতে এবং আমাদের একজন ক্লায়েন্টের সাইটে দৈনিক লোড অপ্টিমাইজ করতে সক্ষম হয়েছি। দুর্ভাগ্যবশত, আমাদের নাম ছাড়াই করতে হবে, যেহেতু আমাদের একটি এনডিএ আছে, আমরা আশা করি নিবন্ধের বিষয়বস্তু এতে ক্ষতিগ্রস্ত হবে না। চলো যাই.

কিভাবে প্রকল্প কাজ করে

আমাদের ব্যাকএন্ডে, আমরা এমন পরিষেবা তৈরি করি যা আমাদের ক্লায়েন্টের ওয়েবসাইট এবং মোবাইল অ্যাপ্লিকেশনের কার্যকারিতা নিশ্চিত করে। সাধারণ গঠন চিত্রে দেখা যেতে পারে:

কাজের প্রক্রিয়ায়, আমরা প্রচুর সংখ্যক লেনদেন প্রক্রিয়া করি: ক্রয়, অর্থপ্রদান, ব্যবহারকারীর ব্যালেন্স সহ ক্রিয়াকলাপ, যার জন্য আমরা প্রচুর লগ সঞ্চয় করি, সেইসাথে বহিরাগত সিস্টেমে এই ডেটা আমদানি এবং রপ্তানি করি।

আমরা যখন ক্লায়েন্টের কাছ থেকে ডেটা গ্রহণ করি এবং ব্যবহারকারীর কাছে স্থানান্তর করি তখন বিপরীত প্রক্রিয়াও রয়েছে। এছাড়াও, অর্থপ্রদান এবং বোনাস প্রোগ্রামগুলির সাথে কাজ করার জন্য এখনও প্রক্রিয়া রয়েছে।

সংক্ষিপ্ত পটভূমি

প্রাথমিকভাবে, আমরা শুধুমাত্র ডেটা স্টোর হিসাবে PostgreSQL ব্যবহার করতাম। ডিবিএমএসের জন্য এর মানক সুবিধা: লেনদেনের উপস্থিতি, একটি উন্নত ডেটা স্যাম্পলিং ভাষা, একীকরণের জন্য বিস্তৃত সরঞ্জাম; ভাল কর্মক্ষমতা সঙ্গে মিলিত বেশ দীর্ঘ সময়ের জন্য আমাদের চাহিদা সন্তুষ্ট.

আমরা পোস্টগ্রেসে একেবারে সমস্ত ডেটা সংরক্ষণ করেছি: লেনদেন থেকে খবর পর্যন্ত। কিন্তু ব্যবহারকারীর সংখ্যা বেড়েছে, এবং এর সাথে অনুরোধের সংখ্যা।

বোঝার জন্য, 2017 সালে শুধুমাত্র ডেস্কটপ সাইটে সেশনের বার্ষিক সংখ্যা 131 মিলিয়ন। 2018-এ - 125 মিলিয়ন। 2019 আবার 130 মিলিয়ন। সাইটটির মোবাইল সংস্করণ এবং মোবাইল অ্যাপ্লিকেশন থেকে আরও 100-200 মিলিয়ন যোগ করুন এবং আপনি বিপুল সংখ্যক অনুরোধ পাবেন।

প্রকল্পের বৃদ্ধির সাথে, পোস্টগ্রেস লোডের সাথে মোকাবিলা করা বন্ধ করে দিয়েছে, আমাদের কাছে সময় ছিল না - প্রচুর সংখ্যক বিভিন্ন প্রশ্ন উপস্থিত হয়েছিল, যার জন্য আমরা পর্যাপ্ত সংখ্যক সূচক তৈরি করতে পারিনি।

আমরা বুঝতে পেরেছিলাম যে অন্যান্য ডেটা স্টোরের প্রয়োজন ছিল যা আমাদের চাহিদাগুলি সরবরাহ করবে এবং PostgreSQL বন্ধ করে দেবে। ইলাস্টিকসার্চ এবং মঙ্গোডিবি সম্ভাব্য বিকল্প হিসাবে বিবেচিত হয়েছিল। পরেরটি নিম্নলিখিত পয়েন্টগুলিতে হেরেছে:

1. ইনডেক্সে ডেটার পরিমাণ বাড়ার সাথে সাথে সূচীকরণের গতি ধীর হয়। ইলাস্টিকের সাথে, গতি ডেটা পরিমাণের উপর নির্ভর করে না।
2. সম্পূর্ণ পাঠ্য অনুসন্ধান নেই

তাই আমরা নিজেদের জন্য ইলাস্টিক বেছে নিয়েছি এবং রূপান্তরের জন্য প্রস্তুত।

ইলাস্টিক রূপান্তর

1. আমরা বিক্রয় অনুসন্ধান পরিষেবার পয়েন্ট থেকে রূপান্তর শুরু করেছি। আমাদের ক্লায়েন্টের মোট বিক্রির প্রায় 70 পয়েন্ট রয়েছে এবং এর জন্য সাইটে এবং অ্যাপ্লিকেশনে বিভিন্ন ধরণের অনুসন্ধানের প্রয়োজন:

• শহরের নাম দ্বারা পাঠ্য অনুসন্ধান
• কিছু বিন্দু থেকে একটি প্রদত্ত ব্যাসার্ধ মধ্যে Geosearch. উদাহরণস্বরূপ, যদি ব্যবহারকারী দেখতে চান যে বিক্রয়ের পয়েন্টগুলি তার বাড়ির সবচেয়ে কাছাকাছি।
• একটি প্রদত্ত বর্গক্ষেত্র দ্বারা অনুসন্ধান করুন - ব্যবহারকারী মানচিত্রে একটি বর্গ আঁকেন এবং এই ব্যাসার্ধের সমস্ত বিন্দু তাকে দেখানো হয়৷
• অতিরিক্ত ফিল্টার দ্বারা অনুসন্ধান করুন. বিক্রয় পয়েন্ট ভাণ্ডার একে অপরের থেকে পৃথক

যদি আমরা সংস্থার কথা বলি, তবে পোস্টগ্রেসে আমাদের মানচিত্র এবং সংবাদ উভয়ের জন্য একটি ডেটা উত্স রয়েছে এবং ইলাস্টিক স্ন্যাপশটগুলি মূল ডেটা থেকে নেওয়া হয়। আসল বিষয়টি হল যে প্রাথমিকভাবে পোস্টগ্রেস সমস্ত মানদণ্ড দ্বারা অনুসন্ধানের সাথে মানিয়ে নিতে পারেনি। শুধুমাত্র অনেক সূচীই ছিল না, তারা ওভারল্যাপও করতে পারে, তাই পোস্টগ্রেস শিডিউলার হারিয়ে গেছে এবং বুঝতে পারেনি কোন সূচকটি ব্যবহার করতে হবে।

2. পরবর্তী লাইনে খবর বিভাগ ছিল. প্রকাশনাগুলি প্রতিদিন সাইটে উপস্থিত হয় যাতে ব্যবহারকারী তথ্যের প্রবাহে হারিয়ে না যায়, ইস্যু করার আগে ডেটা সাজাতে হবে। এটির জন্য অনুসন্ধান করা হয়: আপনি টেক্সট ম্যাচের মাধ্যমে সাইটটি অনুসন্ধান করতে পারেন এবং একই সাথে অতিরিক্ত ফিল্টারগুলি সংযুক্ত করতে পারেন, যেহেতু সেগুলি ইলাস্টিকের মাধ্যমেও তৈরি করা হয়।

3. তারপর আমরা লেনদেন প্রক্রিয়াকরণ সরানো. ব্যবহারকারীরা সাইটে একটি নির্দিষ্ট পণ্য কিনতে এবং একটি পুরস্কার ড্র অংশগ্রহণ করতে পারেন. এই ধরনের কেনাকাটার পরে, আমরা বিশেষ করে সপ্তাহান্তে এবং ছুটির দিনে প্রচুর পরিমাণে ডেটা প্রক্রিয়া করি। তুলনা করার জন্য, যদি সাধারণ দিনে কেনাকাটার সংখ্যা 1,5-2 মিলিয়নের মধ্যে হয়, তবে ছুটির দিনে এই সংখ্যাটি 53 মিলিয়নে পৌঁছাতে পারে।

একই সময়ে, ডেটাগুলিকে সংক্ষিপ্ততম সময়ে প্রক্রিয়া করতে হবে - ব্যবহারকারীরা বেশ কয়েক দিন ফলাফলের জন্য অপেক্ষা করতে পছন্দ করেন না। Postgres এর মাধ্যমে এই ধরনের সময়সীমা অর্জন করার কোন উপায় নেই - আমরা প্রায়শই লক পেয়েছি, এবং যখন আমরা সমস্ত অনুরোধ প্রক্রিয়া করছি, ব্যবহারকারীরা পুরষ্কার পেয়েছেন কি না তা পরীক্ষা করতে পারেননি। এটি ব্যবসার জন্য খুব সুখকর নয়, তাই আমরা প্রক্রিয়াকরণটিকে ইলাস্টিকসার্চে সরিয়ে নিয়েছি।

পর্যাবৃত্তি

এখন আপডেটগুলি নিম্নলিখিত শর্ত অনুসারে ইভেন্ট-ভিত্তিক কনফিগার করা হয়েছে:

1. বিক্রয় পয়েন্ট। আমরা একটি বহিরাগত উত্স থেকে ডেটা পাওয়ার সাথে সাথেই আমরা অবিলম্বে আপডেট শুরু করি।
2. খবর। সাইটে কোনো সংবাদ সম্পাদনার সাথে সাথে তা স্বয়ংক্রিয়ভাবে ইলাস্টিকে পাঠানো হয়।

এখানে আবার ইলাস্টিকের সুবিধার কথা বলা দরকার। পোস্টগ্রেসে, একটি অনুরোধ পাঠানোর সময়, আপনাকে অপেক্ষা করতে হবে যতক্ষণ না এটি সততার সাথে সমস্ত রেকর্ড প্রক্রিয়া করে। আপনি ইলাস্টিককে 10 রেকর্ড পাঠাতে পারেন এবং অবিলম্বে কাজ শুরু করতে পারেন, রেকর্ডগুলি সমস্ত শার্ডগুলিতে বিতরণ করার জন্য অপেক্ষা না করে। অবশ্যই, কিছু Shard বা রেপ্লিকা এখনই ডেটা দেখতে নাও পারে, তবে খুব শীঘ্রই সবকিছু পাওয়া যাবে।

ইন্টিগ্রেশন পদ্ধতি

ইলাস্টিকের সাথে সংহত করার 2টি উপায় রয়েছে:

1. TCP এর উপর একটি নেটিভ ক্লায়েন্টের মাধ্যমে। নেটিভ ড্রাইভারটি ধীরে ধীরে মারা যাচ্ছে: এটি আর সমর্থিত নয়, এটির একটি খুব অসুবিধাজনক বাক্য গঠন রয়েছে। অতএব, আমরা কার্যত এটি ব্যবহার করি না এবং এটি সম্পূর্ণরূপে পরিত্যাগ করার চেষ্টা করি।
2. একটি HTTP ইন্টারফেসের মাধ্যমে যা JSON অনুরোধ এবং লুসিন সিনট্যাক্স উভয়ই ব্যবহার করতে পারে। শেষটি একটি পাঠ্য ইঞ্জিন যা ইলাস্টিক ব্যবহার করে। এই সংস্করণে, আমরা HTTP এর মাধ্যমে JSON অনুরোধের মাধ্যমে ব্যাচ করার ক্ষমতা পাই। এই বিকল্পটি আমরা ব্যবহার করার চেষ্টা করছি।

HTTP ইন্টারফেসের জন্য ধন্যবাদ, আমরা লাইব্রেরিগুলি ব্যবহার করতে পারি যা HTTP ক্লায়েন্টের একটি অ্যাসিঙ্ক্রোনাস বাস্তবায়ন প্রদান করে। আমরা ব্যাচ এবং অ্যাসিঙ্ক্রোনাস API-এর সুবিধা নিতে পারি, যার ফলে উচ্চ কার্যকারিতা দেখা যায়, যা বড় প্রচারের দিনগুলিতে অনেক সাহায্য করেছিল (নীচে আরও বেশি)

তুলনা করার জন্য কিছু সংখ্যা:

• গ্রুপিং ছাড়াই 20টি থ্রেডে পোস্টগ্রেস বাউন্টি ব্যবহারকারীদের সংরক্ষণ করা: 460713 সেকেন্ডে 42 রেকর্ড
• ইলাস্টিক + 10টি থ্রেডের জন্য প্রতিক্রিয়াশীল ক্লায়েন্ট + 1000টি উপাদানের জন্য ব্যাচ: 596749 সেকেন্ডে 11 রেকর্ড
• 10টি থ্রেডের জন্য ইলাস্টিক + প্রতিক্রিয়াশীল ক্লায়েন্ট + 1000টি উপাদানের জন্য ব্যাচ: 23801684 মিনিটে 4 এন্ট্রি

এখন আমরা একটি HTTP অনুরোধ ম্যানেজার লিখেছি যা JSON কে ব্যাচ/নট ব্যাচ হিসাবে তৈরি করে এবং লাইব্রেরি নির্বিশেষে যেকোন HTTP ক্লায়েন্টের মাধ্যমে পাঠায়। আপনি সিঙ্ক্রোনাস বা অ্যাসিঙ্ক্রোনাসভাবে অনুরোধ পাঠাতেও বেছে নিতে পারেন।

কিছু ইন্টিগ্রেশনে, আমরা এখনও অফিসিয়াল ট্রান্সপোর্ট ক্লায়েন্ট ব্যবহার করি, কিন্তু এটি শুধুমাত্র পরবর্তী রিফ্যাক্টরিংয়ের বিষয়। এই ক্ষেত্রে, স্প্রিং ওয়েবক্লায়েন্টের ভিত্তিতে তৈরি একটি কাস্টম ক্লায়েন্ট প্রক্রিয়াকরণের জন্য ব্যবহার করা হয়।

বড় প্রচার

বছরে একবার, প্রকল্পটি ব্যবহারকারীদের জন্য একটি বড় প্রচারের হোস্ট করে - এটি একই হাইলোড, যেহেতু এই সময়ে আমরা একই সময়ে কয়েক মিলিয়ন ব্যবহারকারীর সাথে কাজ করি।

সাধারণত ছুটির সময় লোডের শিখরগুলি ঘটে, তবে এই প্রচারটি সম্পূর্ণ ভিন্ন স্তরে। গত বছর, প্রচারের দিনে, আমরা 27 ইউনিট পণ্য বিক্রি করেছি। ডেটা আধা ঘন্টারও বেশি সময় ধরে প্রক্রিয়া করা হয়েছিল, যা ব্যবহারকারীদের অসুবিধার কারণ হয়েছিল। ব্যবহারকারীরা অংশগ্রহণের জন্য পুরষ্কার পেয়েছেন, কিন্তু এটি স্পষ্ট হয়ে উঠেছে যে প্রক্রিয়াটি ত্বরান্বিত করা দরকার।

2019 এর শুরুতে, আমরা সিদ্ধান্ত নিয়েছি যে আমাদের ইলাস্টিক সার্চ প্রয়োজন। পুরো এক বছরের জন্য, আমরা ইলাস্টিক-এ প্রাপ্ত ডেটা প্রক্রিয়াকরণ এবং মোবাইল অ্যাপ্লিকেশন এবং ওয়েবসাইটের এপিআই-এ তাদের ইস্যু করার ব্যবস্থা করেছি। ফলে পরের বছর প্রচারণার সময় আমরা প্রক্রিয়াজাত করি 15 মিনিটে 131টি এন্ট্রি।

যেহেতু আমাদের অনেক লোক আছে যারা পণ্য কিনতে এবং প্রচারে পুরস্কার অঙ্কনে অংশগ্রহণ করতে চায়, এটি একটি অস্থায়ী ব্যবস্থা। এখন আমরা ইলাস্টিককে আপ-টু-ডেট তথ্য পাঠাচ্ছি, কিন্তু ভবিষ্যতে আমরা স্থায়ী স্টোরেজ হিসাবে পোস্টগ্রেসে বিগত মাসগুলির সংরক্ষণাগারভুক্ত তথ্য স্থানান্তর করার পরিকল্পনা করছি। যাতে ইলাস্টিক সূচকটি আটকে না যায়, যার সীমাবদ্ধতাও রয়েছে।

উপসংহার/উপসংহার

এই মুহুর্তে, আমরা ইলাস্টিক-এ যে সমস্ত পরিষেবাগুলিকে স্থানান্তর করতে চেয়েছিলাম সেগুলি স্থানান্তর করেছি এবং আপাতত এটিতে বিরতি দিয়েছি৷ এখন আমরা পোস্টগ্রেসের প্রধান স্থায়ী স্টোরেজের উপরে ইলাস্টিক-এ একটি সূচক তৈরি করছি, যা ব্যবহারকারীর লোড নেয়।

ভবিষ্যতে, আমরা পরিষেবা স্থানান্তর করার পরিকল্পনা করি যদি আমরা বুঝতে পারি যে ডেটা অনুরোধটি খুব বৈচিত্র্যময় হয়ে উঠেছে এবং সীমাহীন সংখ্যক কলামের জন্য অনুসন্ধান করা হয়েছে। এটি পোস্টগ্রেসের জন্য আর কাজ নয়।

যদি আমাদের কার্যকারিতায় পূর্ণ-পাঠ্য অনুসন্ধানের প্রয়োজন হয় বা আমাদের যদি অনেকগুলি ভিন্ন অনুসন্ধানের মানদণ্ড থাকে, তবে আমরা ইতিমধ্যেই জানি যে এটি ইলাস্টিকে অনুবাদ করা দরকার।

⌘⌘⌘

পড়ার জন্য ধন্যবাদ. যদি আপনার কোম্পানিও ইলাস্টিক সার্চ ব্যবহার করে এবং এর নিজস্ব বাস্তবায়নের ক্ষেত্রে থাকে, তাহলে আমাদের বলুন। অন্যরা কেমন আছে তা জানতে আকর্ষণীয় হবে 🙂

উত্স: www.habr.com