নতুন প্রজন্মের বিলিং আর্কিটেকচার: ট্যারান্টুলে রূপান্তরের সাথে রূপান্তর

কেন MegaFon এর মত একটি কর্পোরেশন বিলিং এর জন্য Tarantool প্রয়োজন? বাইরে থেকে মনে হয় যে বিক্রেতা সাধারণত আসে, এক ধরণের বড় বাক্স নিয়ে আসে, সকেটে প্লাগ লাগায় - এবং এটিই বিলিং! একসময় এমনটি ছিল, কিন্তু এখন এটি প্রাচীন, এবং এই ধরনের ডাইনোসর ইতিমধ্যেই বিলুপ্ত হয়ে গেছে বা বিলুপ্ত হয়ে যাচ্ছে। প্রাথমিকভাবে, বিলিং হল চালান ইস্যু করার জন্য একটি সিস্টেম - একটি গণনা মেশিন বা ক্যালকুলেটর। আধুনিক টেলিকম এটি হয় একটি চুক্তির সমাপ্তি থেকে অবসান পর্যন্ত গ্রাহকের সাথে মিথস্ক্রিয়া সমগ্র জীবনচক্রের জন্য অটোমেশন সিস্টেম, রিয়েল-টাইম বিলিং, পেমেন্ট গ্রহণযোগ্যতা এবং আরও অনেক কিছু সহ। টেলিকম সংস্থাগুলিতে বিলিং একটি যুদ্ধের রোবটের মতো - বড়, শক্তিশালী এবং অস্ত্রে বোঝাই৷

এর সাথে ট্যারান্টুলের কী সম্পর্ক? তারা এটা নিয়ে কথা বলবে ওলেগ ইভলেভ и আন্দ্রে নিয়াজেভ. ওলেগ কোম্পানির প্রধান স্থপতি স্বরবর্ধক বৃহৎ শিঙ্গা বিদেশী কোম্পানিতে কাজ করার ব্যাপক অভিজ্ঞতার সাথে, আন্দ্রে ব্যবসায়িক সিস্টেমের পরিচালক। তাদের প্রতিবেদনের প্রতিলিপি থেকে তারান্টুল সম্মেলন 2018 আপনি শিখবেন কেন কর্পোরেশনগুলিতে R&D প্রয়োজন, ট্যারান্টুল কী, কীভাবে উল্লম্ব স্কেলিং এবং বিশ্বায়নের অচলাবস্থা কোম্পানিতে এই ডাটাবেসের উপস্থিতির পূর্বশর্ত হয়ে উঠেছে, প্রযুক্তিগত চ্যালেঞ্জ, স্থাপত্য রূপান্তর এবং মেগাফোনের টেকনোস্ট্যাক কীভাবে নেটফ্লিক্সের মতো। , Google এবং Amazon.

প্রকল্প "ইউনিফায়েড বিলিং"

প্রশ্নবিদ্ধ প্রকল্পটিকে "ইউনিফাইড বিলিং" বলা হয়। এখানেই তারানটুল তার সেরা গুণাবলী দেখিয়েছিল।

হাই-এন্ড সরঞ্জামগুলির উত্পাদনশীলতার বৃদ্ধি গ্রাহক বেস বৃদ্ধি এবং পরিষেবার সংখ্যা বৃদ্ধির সাথে তাল মিলিয়ে চলতে পারেনি; M2M, IoT এবং শাখা বৈশিষ্ট্যগুলির কারণে গ্রাহক এবং পরিষেবার সংখ্যা আরও বৃদ্ধি প্রত্যাশিত ছিল সময় থেকে বাজারে একটি অবনতি. কোম্পানি 8টি বর্তমান বিভিন্ন বিলিং সিস্টেমের পরিবর্তে একটি অনন্য বিশ্ব-মানের মডুলার আর্কিটেকচার সহ একটি ইউনিফাইড বিজনেস সিস্টেম তৈরি করার সিদ্ধান্ত নিয়েছে।

মেগাফোন একের মধ্যে আটটি কোম্পানি. 2009 সালে, পুনর্গঠন সম্পন্ন হয়েছিল: রাশিয়া জুড়ে শাখাগুলি একটি একক কোম্পানি, MegaFon OJSC (বর্তমানে PJSC) এ একীভূত হয়েছে। এইভাবে, কোম্পানির নিজস্ব "কাস্টম" সমাধান, শাখা বৈশিষ্ট্য এবং বিভিন্ন সাংগঠনিক কাঠামো, আইটি এবং মার্কেটিং সহ 8টি বিলিং সিস্টেম রয়েছে।

আমাদের একটি সাধারণ ফেডারেল পণ্য চালু না করা পর্যন্ত সবকিছু ঠিক ছিল। এখানে অনেক অসুবিধা দেখা দিয়েছে: কিছুর জন্য, শুল্কগুলি রাউন্ড আপ করা হয়েছে, অন্যদের জন্য বৃত্তাকার এবং অন্যদের জন্য - গাণিতিক গড়ের উপর ভিত্তি করে। এরকম হাজারো মুহূর্ত আছে।

বিলিং সিস্টেমের শুধুমাত্র একটি সংস্করণ, একটি সরবরাহকারী থাকা সত্ত্বেও, সেটিংস এতটাই ভিন্ন হয়ে গেছে যে এটি একত্রিত করতে দীর্ঘ সময় নেয়। আমরা তাদের সংখ্যা কমানোর চেষ্টা করেছি, এবং একটি দ্বিতীয় সমস্যা পেয়েছি যা অনেক কর্পোরেশনের কাছে পরিচিত।

উল্লম্ব স্কেলিং. এমনকি সেই সময়ের সবচেয়ে শীতল হার্ডওয়্যারও চাহিদা পূরণ করেনি। আমরা সুপারডোম হাই-এন্ড লাইন থেকে হিউলেট-প্যাকার্ড সরঞ্জাম ব্যবহার করেছি, কিন্তু এটি এমনকি দুটি শাখার চাহিদাও পূরণ করেনি। আমি বড় অপারেটিং খরচ এবং মূলধন বিনিয়োগ ছাড়া অনুভূমিক স্কেলিং চেয়েছিলাম।

গ্রাহক ও সেবার সংখ্যা বৃদ্ধির প্রত্যাশা. পরামর্শদাতারা দীর্ঘকাল ধরে টেলিকম জগতে IoT এবং M2M সম্পর্কে গল্প নিয়ে এসেছেন: সময় আসবে যখন প্রতিটি ফোন এবং লোহার একটি সিম কার্ড থাকবে এবং দুটি ফ্রিজে থাকবে। আজ আমাদের এক নম্বর গ্রাহক রয়েছে, তবে অদূর ভবিষ্যতে আরও অনেকগুলি হবে।

প্রযুক্তিগত চ্যালেঞ্জ

এই চারটি কারণ আমাদেরকে গুরুতর পরিবর্তন করতে অনুপ্রাণিত করেছিল। সিস্টেম আপগ্রেড করা এবং স্ক্র্যাচ থেকে ডিজাইন করার মধ্যে একটি পছন্দ ছিল। আমরা দীর্ঘ সময় ধরে চিন্তা করেছি, গুরুতর সিদ্ধান্ত নিয়েছি, টেন্ডার খেলেছি। ফলস্বরূপ, আমরা প্রথম থেকেই ডিজাইন করার সিদ্ধান্ত নিয়েছি, এবং আকর্ষণীয় চ্যালেঞ্জগুলি গ্রহণ করেছি - প্রযুক্তিগত চ্যালেঞ্জ।

মাপযোগ্যতা

এটা আগে যদি ছিল, চলুন, বলুন 8 মিলিয়ন গ্রাহকদের জন্য 15 বিলিং, এবং এখন এটা কাজ করা উচিত ছিল 100 মিলিয়ন গ্রাহক এবং আরো - লোড উচ্চতর মাত্রার একটি আদেশ.

আমরা Mail.ru বা Netflix এর মত বড় ইন্টারনেট প্লেয়ারের সাথে তুলনীয় হয়েছি।

কিন্তু লোড এবং গ্রাহক সংখ্যা বৃদ্ধির জন্য আরও আন্দোলন আমাদের জন্য গুরুতর চ্যালেঞ্জ তৈরি করেছে।

আমাদের বিশাল দেশের ভূগোল

কালিনিনগ্রাদ এবং ভ্লাদিভোস্টকের মধ্যে 7500 কিমি এবং 10টি সময় অঞ্চল. আলোর গতি সসীম এবং এই ধরনের দূরত্বে বিলম্ব ইতিমধ্যে উল্লেখযোগ্য। চমৎকার আধুনিক অপটিক্যাল চ্যানেলে 150 ms রিয়েল-টাইম বিলিং-এর জন্য খুব বেশি, বিশেষ করে যেহেতু এটি এখন রাশিয়ার টেলিকমে রয়েছে। এছাড়াও, আপনাকে এক ব্যবসায়িক দিনে আপডেট করতে হবে এবং বিভিন্ন সময় অঞ্চলের সাথে এটি একটি সমস্যা।

আমরা শুধুমাত্র সাবস্ক্রিপশন ফি দিয়ে পরিষেবা প্রদান করি না, আমাদের জটিল ট্যারিফ, প্যাকেজ এবং বিভিন্ন সংশোধক রয়েছে। আমাদের কেবল গ্রাহককে কথা বলার অনুমতি বা অস্বীকার করতে হবে না, তবে তাকে একটি নির্দিষ্ট কোটা দিতে হবে - রিয়েল টাইমে কল এবং ক্রিয়াকলাপ গণনা করুন যাতে সে লক্ষ্য না করে।

দোষ সহনশীলতা

এটি কেন্দ্রীকরণের অন্য দিক।

যদি আমরা একটি সিস্টেমে সমস্ত গ্রাহক সংগ্রহ করি, তাহলে যেকোনো জরুরি ঘটনা এবং বিপর্যয় ব্যবসার জন্য বিপর্যয়কর। অতএব, আমরা সিস্টেমটিকে এমনভাবে ডিজাইন করি যাতে পুরো গ্রাহক বেসের উপর দুর্ঘটনার প্রভাব দূর করা যায়।

এটি আবার উল্লম্বভাবে স্কেল করতে অস্বীকার করার পরিণতি। যখন আমরা অনুভূমিকভাবে স্কেল করেছি, আমরা শত শত থেকে হাজারে সার্ভারের সংখ্যা বাড়িয়েছি। তাদের পরিচালনা করা এবং বিনিময়যোগ্য, স্বয়ংক্রিয়ভাবে আইটি অবকাঠামো ব্যাক আপ করা এবং বিতরণ করা সিস্টেম পুনরুদ্ধার করা দরকার।

আমরা যেমন আকর্ষণীয় চ্যালেঞ্জ মোকাবেলা. আমরা সিস্টেমটি ডিজাইন করেছি, এবং সেই মুহুর্তে আমরা কীভাবে প্রবণতায় আছি, আমরা কতটা উন্নত প্রযুক্তি অনুসরণ করি তা পরীক্ষা করার জন্য বিশ্বব্যাপী সেরা অনুশীলনগুলি খুঁজে বের করার চেষ্টা করেছি।

বিশ্ব অভিজ্ঞতা

আশ্চর্যজনকভাবে, আমরা গ্লোবাল টেলিকমে একটিও রেফারেন্স খুঁজে পাইনি।

ইউরোপ গ্রাহক সংখ্যা এবং স্কেল, মার্কিন যুক্তরাষ্ট্র - তার শুল্কের সমতলতার পরিপ্রেক্ষিতে দূরে পতিত হয়েছে। আমরা চীনে কিছু দেখেছি এবং কিছু ভারতে পেয়েছি এবং ভোডাফোন ইন্ডিয়া থেকে বিশেষজ্ঞ নিয়োগ করেছি।

স্থাপত্য বিশ্লেষণ করার জন্য, আমরা IBM-এর নেতৃত্বে বিভিন্ন ক্ষেত্রের স্থপতিদের একটি স্বপ্ন দলকে একত্রিত করেছি। এই লোকেরা আমরা কী করছিলাম তা যথাযথভাবে মূল্যায়ন করতে পারে এবং আমাদের স্থাপত্যে নির্দিষ্ট জ্ঞান আনতে পারে।

স্কেল

উদাহরণের জন্য কয়েকটি সংখ্যা।

আমরা জন্য সিস্টেম ডিজাইন এক বিলিয়ন রিজার্ভ সহ 80 মিলিয়ন গ্রাহক. এইভাবে আমরা ভবিষ্যতের থ্রেশহোল্ডগুলি সরিয়ে ফেলি। এর কারণ নয় যে আমরা চীন দখল করতে যাচ্ছি, বরং IoT এবং M2M এর আক্রমণের কারণে।

300 মিলিয়ন নথি বাস্তব সময়ে প্রক্রিয়া করা হয়েছে. যদিও আমাদের 80 মিলিয়ন গ্রাহক রয়েছে, আমরা সম্ভাব্য ক্লায়েন্ট এবং যারা আমাদের ছেড়ে চলে গেছে তাদের সাথে কাজ করি যদি আমাদের প্রাপ্য সংগ্রহের প্রয়োজন হয়। অতএব, প্রকৃত ভলিউমগুলি লক্ষণীয়ভাবে বড়।

2 বিলিয়ন লেনদেন ব্যালেন্স প্রতিদিন পরিবর্তিত হয় - এগুলি হল পেমেন্ট, চার্জ, কল এবং অন্যান্য ইভেন্ট। 200 TB ডেটা সক্রিয়ভাবে পরিবর্তন হচ্ছে, একটু ধীরে পরিবর্তন করুন 8 পিবি ডেটা, এবং এটি একটি সংরক্ষণাগার নয়, কিন্তু একটি একক বিলিং-এ লাইভ ডেটা৷ ডেটা সেন্টার দ্বারা স্কেল - ১৪টি সাইটে ৫ হাজার সার্ভার.

প্রযুক্তি স্ট্যাক

যখন আমরা স্থাপত্যের পরিকল্পনা করি এবং সিস্টেমটি একত্রিত করতে শুরু করি, তখন আমরা সবচেয়ে আকর্ষণীয় এবং উন্নত প্রযুক্তি আমদানি করেছি। ফলাফল হল একটি প্রযুক্তির স্ট্যাক যা যেকোন ইন্টারনেট প্লেয়ার এবং কর্পোরেশনগুলির কাছে পরিচিত যা উচ্চ-লোড সিস্টেম তৈরি করে।

স্ট্যাকটি অন্যান্য প্রধান খেলোয়াড়দের স্ট্যাকের মতো: নেটফ্লিক্স, টুইটার, ভাইবার। এটি 6 টি উপাদান নিয়ে গঠিত, তবে আমরা এটিকে সংক্ষিপ্ত এবং একীভূত করতে চাই।

নমনীয়তা ভাল, কিন্তু একটি বড় কর্পোরেশনে একীকরণ ছাড়া উপায় নেই।

আমরা একই ওরাকলকে ট্যারান্টুলে পরিবর্তন করতে যাচ্ছি না। বড় কোম্পানিগুলির বাস্তবতায়, এটি একটি ইউটোপিয়া, বা একটি অস্পষ্ট ফলাফল সহ 5-10 বছরের জন্য একটি ক্রুসেড। কিন্তু ক্যাসান্ড্রা এবং কাউচবেস সহজেই ট্যারান্টুল দিয়ে প্রতিস্থাপন করা যেতে পারে এবং আমরা এটির জন্য চেষ্টা করছি।

ট্যারান্টুল কেন?

আমরা কেন এই ডাটাবেসটি বেছে নিয়েছি সেখানে 4টি সহজ মানদণ্ড রয়েছে।

স্পীড. আমরা MegaFon শিল্প সিস্টেমে লোড পরীক্ষা পরিচালনা করেছি। তারানটুল জিতেছে - এটি সেরা পারফরম্যান্স দেখিয়েছে।

এটি বলার অপেক্ষা রাখে না যে অন্যান্য সিস্টেম মেগাফোনের চাহিদা পূরণ করে না। বর্তমান মেমরি সমাধানগুলি এতই উত্পাদনশীল যে কোম্পানির রিজার্ভ যথেষ্ট বেশি। কিন্তু আমরা একজন নেতার সাথে মোকাবিলা করতে আগ্রহী, এবং লোড টেস্ট সহ পিছিয়ে থাকা কারো সাথে নয়।

টারান্টুল দীর্ঘ মেয়াদে কোম্পানির চাহিদাগুলিকে কভার করে৷

TCO খরচ. MegaFon ভলিউমগুলিতে Couchbase-এর জন্য সমর্থনের জন্য জ্যোতির্বিদ্যাগত পরিমাণে অর্থ খরচ হয়, কিন্তু Tarantool-এর সাথে পরিস্থিতি অনেক বেশি মনোরম, এবং তারা কার্যকারিতা একই রকম।

আরেকটি চমৎকার বৈশিষ্ট্য যা আমাদের পছন্দকে কিছুটা প্রভাবিত করেছে তা হল যে Tarantool অন্যান্য ডাটাবেসের তুলনায় মেমরির সাথে ভাল কাজ করে। তিনি দেখায় সর্বোচ্চ দক্ষতা.

বিশ্বাসযোগ্যতা. মেগাফোন নির্ভরযোগ্যতায় বিনিয়োগ করে, সম্ভবত অন্য কারও চেয়ে বেশি। তাই যখন আমরা ট্যারান্টুলের দিকে তাকাই, আমরা বুঝতে পেরেছিলাম যে এটিকে আমাদের প্রয়োজনীয়তা পূরণ করতে হবে।

আমরা আমাদের সময় এবং অর্থ বিনিয়োগ করেছি, এবং Mail.ru এর সাথে একসাথে আমরা একটি এন্টারপ্রাইজ সংস্করণ তৈরি করেছি, যা এখন বেশ কয়েকটি অন্যান্য কোম্পানিতে ব্যবহৃত হয়।

Tarantool-এন্টারপ্রাইজ নিরাপত্তা, নির্ভরযোগ্যতা এবং লগিংয়ের ক্ষেত্রে আমাদের সম্পূর্ণরূপে সন্তুষ্ট করেছে।

অংশীদারি

আমার জন্য সবচেয়ে গুরুত্বপূর্ণ জিনিস বিকাশকারীর সাথে সরাসরি যোগাযোগ. ট্যারান্টুলের ছেলেরা ঘুষ দিয়েছিল ঠিক এটাই।

আপনি যদি একজন খেলোয়াড়ের কাছে আসেন, বিশেষত একজন যিনি একজন অ্যাঙ্কর ক্লায়েন্টের সাথে কাজ করেন এবং বলেন যে এটি, এটি এবং এটি করতে সক্ষম হওয়ার জন্য আপনার ডাটাবেসের প্রয়োজন, তিনি সাধারণত উত্তর দেন:

- ঠিক আছে, সেই স্তূপের নীচে প্রয়োজনীয়তাগুলি রাখুন - কোনও দিন, আমরা সম্ভবত তাদের কাছে যাব।

অনেকের কাছে পরবর্তী 2-3 বছরের জন্য একটি রোডম্যাপ রয়েছে, এবং সেখানে একীভূত করা প্রায় অসম্ভব, কিন্তু Tarantool বিকাশকারীরা তাদের খোলামেলাতা দিয়ে মোহিত করে, এবং শুধুমাত্র MegaFon থেকে নয়, এবং তাদের সিস্টেমকে গ্রাহকের সাথে খাপ খাইয়ে নেয়। এটা চমৎকার এবং আমরা সত্যিই এটা পছন্দ.

যেখানে আমরা ট্যারান্টুল ব্যবহার করতাম

আমরা বিভিন্ন উপাদানে ট্যারান্টুল ব্যবহার করি। প্রথমটি পাইলটে, যা আমরা ঠিকানা ডিরেক্টরি সিস্টেমে তৈরি করেছি। এক সময় আমি চেয়েছিলাম এটি এমন একটি সিস্টেম হতে যা Yandex.Maps এবং Google Maps এর মতো, কিন্তু এটি একটু ভিন্নভাবে পরিণত হয়েছিল।

উদাহরণস্বরূপ, বিক্রয় ইন্টারফেসে ঠিকানা ক্যাটালগ। ওরাকল-এ, পছন্দসই ঠিকানা অনুসন্ধান করতে 12-13 সেকেন্ড সময় লাগে। - অস্বস্তিকর সংখ্যা। যখন আমরা Tarantool-এ স্যুইচ করি, ওরাকলকে কনসোলে অন্য ডাটাবেস দিয়ে প্রতিস্থাপন করি এবং একই সার্চ করি, তখন আমরা একটি 200x স্পিডআপ পাই! তৃতীয় চিঠির পরে শহরটি পপ আপ হয়। এখন আমরা ইন্টারফেসটিকে অভিযোজিত করছি যাতে এটি প্রথমটির পরে ঘটে। যাইহোক, প্রতিক্রিয়া গতি সম্পূর্ণ ভিন্ন - সেকেন্ডের পরিবর্তে মিলিসেকেন্ড।

দ্বিতীয় অ্যাপ্লিকেশনটি একটি ট্রেন্ডি থিম যাকে বলা হয় দ্বি-গতির আইটি. কারণ প্রতিটি কোণ থেকে পরামর্শদাতারা বলছেন যে কর্পোরেশনের সেখানে যাওয়া উচিত।

একটি অবকাঠামো স্তর রয়েছে, এটির উপরে ডোমেন রয়েছে, উদাহরণস্বরূপ, একটি বিলিং সিস্টেম যেমন একটি টেলিকম, কর্পোরেট সিস্টেম, কর্পোরেট রিপোর্টিং। এই কোর যে স্পর্শ করা প্রয়োজন হয় না. যে, অবশ্যই, এটা সম্ভব, কিন্তু বিভ্রান্তিকরভাবে গুণমান নিশ্চিত করা, কারণ এটি কর্পোরেশনে অর্থ নিয়ে আসে।

এরপরে আসে মাইক্রোসার্ভিসের স্তর - যা অপারেটর বা অন্য প্লেয়ারকে আলাদা করে। বিভিন্ন ডোমেন থেকে ডেটা এনে নির্দিষ্ট ক্যাশেগুলির উপর ভিত্তি করে মাইক্রোসার্ভিসগুলি দ্রুত তৈরি করা যেতে পারে। এখানে পরীক্ষার জন্য ক্ষেত্র - যদি কিছু কাজ না করে, আমি একটি মাইক্রোসার্ভিস বন্ধ করে অন্যটি খুললাম। এটি সত্যিকার অর্থে বাজারের সময় বৃদ্ধি করে এবং কোম্পানির নির্ভরযোগ্যতা এবং গতি বাড়ায়।

মাইক্রোসার্ভিসগুলি সম্ভবত মেগাফোনে ট্যারান্টুলের প্রধান ভূমিকা।

যেখানে আমরা ট্যারান্টুল ব্যবহার করার পরিকল্পনা করেছি

আমরা যদি আমাদের সফল বিলিং প্রকল্পের সাথে ডয়েচে টেলিকম, স্বিয়াজকম, ভোডাফোন ইন্ডিয়ার রূপান্তর প্রোগ্রামগুলির সাথে তুলনা করি, এটি আশ্চর্যজনকভাবে গতিশীল এবং সৃজনশীল। এই প্রকল্পটি বাস্তবায়নের প্রক্রিয়ায়, শুধুমাত্র MegaFon এবং এর কাঠামোই রূপান্তরিত হয়নি, কিন্তু Tarantool-enterpriseও Mail.ru-এ উপস্থিত হয়েছিল এবং আমাদের বিক্রেতা Nexign (পূর্বে পিটার-সার্ভিস) - BSS বক্স (একটি বক্সযুক্ত বিলিং সমাধান)।

এটি, এক অর্থে, রাশিয়ান বাজারের জন্য একটি ঐতিহাসিক প্রকল্প। ফ্রেডরিক ব্রুকস এর "দ্য মিথিক্যাল ম্যান-মান্থ" বইতে যা বর্ণনা করা হয়েছে তার সাথে এটি তুলনা করা যেতে পারে। তারপর, 60-এর দশকে, IBM মেইনফ্রেমের জন্য নতুন OS/360 অপারেটিং সিস্টেম বিকাশের জন্য 5 জন লোক নিয়োগ করেছিল। আমাদের কাছে কম আছে - 000, কিন্তু আমাদের ন্যস্ত রয়েছে, এবং ওপেন সোর্স এবং নতুন পদ্ধতির ব্যবহার বিবেচনায় নিয়ে আমরা আরও উত্পাদনশীলভাবে কাজ করি।

নীচে বিলিং এর ডোমেন বা, আরও বিস্তৃতভাবে বলতে গেলে, ব্যবসায়িক সিস্টেমগুলি রয়েছে৷ এন্টারপ্রাইজের লোকেরা সিআরএমকে খুব ভালভাবে জানে। প্রত্যেকেরই ইতিমধ্যে অন্যান্য সিস্টেম থাকা উচিত: ওপেন API, API গেটওয়ে।

ওপেন এপিআই

আসুন সংখ্যাগুলি আবার দেখি এবং ওপেন API বর্তমানে কীভাবে কাজ করে। এর ভার হল প্রতি সেকেন্ডে 10 লেনদেন. যেহেতু আমরা সক্রিয়ভাবে মাইক্রোসার্ভিসেস লেয়ার ডেভেলপ করার এবং মেগাফোন পাবলিক এপিআই তৈরি করার পরিকল্পনা করছি, আমরা ভবিষ্যতে এই অংশে আরও বেশি বৃদ্ধি আশা করি। নিশ্চিতভাবে 100 লেনদেন হবে.

আমরা SSO-তে Mail.ru-এর সাথে তুলনা করতে পারি কিনা আমি জানি না - ছেলেদের প্রতি সেকেন্ডে 1 লেনদেন আছে বলে মনে হচ্ছে। তাদের সমাধান আমাদের কাছে অত্যন্ত আকর্ষণীয় এবং আমরা তাদের অভিজ্ঞতা গ্রহণ করার পরিকল্পনা করি - উদাহরণস্বরূপ, Tarantool ব্যবহার করে একটি কার্যকরী SSO ব্যাকআপ তৈরি করা। এখন Mail.ru থেকে বিকাশকারীরা আমাদের জন্য এটি করছে।

সিআরএম

সিআরএম হল একই 80 মিলিয়ন গ্রাহক যা আমরা এক বিলিয়নে বৃদ্ধি করতে চাই, কারণ ইতিমধ্যে 300 মিলিয়ন নথি রয়েছে যা তিন বছরের ইতিহাস অন্তর্ভুক্ত করে। আমরা সত্যিই নতুন পরিষেবার জন্য উন্মুখ এবং এখানে বৃদ্ধি বিন্দু সংযুক্ত সেবা. এটি একটি বল যা বৃদ্ধি পাবে, কারণ সেখানে আরও বেশি পরিষেবা থাকবে। তদনুসারে, আমাদের একটি গল্প দরকার; আমরা এতে হোঁচট খেতে চাই না।

ইনভয়েস ইস্যু করার পরিপ্রেক্ষিতে নিজেই বিলিং, প্রাপ্য গ্রাহক অ্যাকাউন্টগুলির সাথে কাজ করা একটি পৃথক ডোমেনে রূপান্তরিত. কর্মক্ষমতা উন্নত করতে, প্রয়োগ করা ডোমেন আর্কিটেকচার আর্কিটেকচারাল প্যাটার্ন.

সিস্টেমটি ডোমেনে বিভক্ত, লোড বিতরণ করা হয় এবং ত্রুটি সহনশীলতা নিশ্চিত করা হয়। উপরন্তু, আমরা বিতরণ করা আর্কিটেকচারের সাথে কাজ করেছি।

অন্য সবকিছু এন্টারপ্রাইজ-স্তরের সমাধান। কল স্টোরেজে- প্রতিদিন 2 বিলিয়নপ্রতি মাসে 60 বিলিয়ন। কখনও কখনও আপনাকে এক মাসে সেগুলি গণনা করতে হবে এবং এটি দ্রুত ভাল। আর্থিক নিরীক্ষণ - এটি ঠিক একই 300 মিলিয়ন যা ক্রমাগত ক্রমবর্ধমান এবং ক্রমবর্ধমান: গ্রাহকরা প্রায়শই অপারেটরগুলির মধ্যে চলে, এই অংশটি বৃদ্ধি করে৷

মোবাইল যোগাযোগের সবচেয়ে টেলিকম উপাদান অনলাইন বিলিং. এগুলি এমন সিস্টেম যা আপনাকে কল করতে বা না কল করতে, রিয়েল টাইমে সিদ্ধান্ত নিতে দেয়। এখানে লোড প্রতি সেকেন্ডে 30 লেনদেন, তবে ডেটা স্থানান্তরের বৃদ্ধি বিবেচনায় নিয়ে আমরা পরিকল্পনা করি 250 লেনদেন, এবং তাই আমরা টারান্টুলে খুব আগ্রহী।

আগের ছবি হল ডোমেইন যেখানে আমরা Tarantool ব্যবহার করতে যাচ্ছি। সিআরএম নিজেই, অবশ্যই, বিস্তৃত এবং আমরা এটি মূলে ব্যবহার করতে যাচ্ছি।

আমাদের আনুমানিক 100 মিলিয়ন গ্রাহকের TTX পরিসংখ্যান আমাকে একজন স্থপতি হিসাবে বিভ্রান্ত করে - যদি 101 মিলিয়ন হয়? আপনি আবার সবকিছু পুনরায় করতে হবে? এটি যাতে না ঘটে তার জন্য, আমরা ক্যাশে ব্যবহার করি, একই সাথে অ্যাক্সেসযোগ্যতা বৃদ্ধি করি।

সাধারণভাবে, ট্যারান্টুল ব্যবহার করার দুটি পদ্ধতি রয়েছে। প্রথম - মাইক্রোসার্ভিস স্তরে সমস্ত ক্যাশে তৈরি করুন. যতদূর আমি বুঝি, VimpelCom এই পথ অনুসরণ করছে, ক্লায়েন্টদের একটি ক্যাশে তৈরি করছে।

আমরা বিক্রেতাদের উপর কম নির্ভরশীল, আমরা BSS কোর পরিবর্তন করছি, তাই আমাদের বাক্সের বাইরে একটি একক ক্লায়েন্ট ফাইল রয়েছে। তবে আমরা এটিকে প্রসারিত করতে চাই। অতএব, আমরা একটু ভিন্ন পদ্ধতি গ্রহণ করি - সিস্টেমের ভিতরে ক্যাশে তৈরি করুন.

এইভাবে কম সিঙ্ক্রোনাইজেশন আছে - একটি সিস্টেম ক্যাশে এবং প্রধান প্রধান উত্স উভয়ের জন্য দায়ী।

পদ্ধতিটি একটি লেনদেনমূলক কঙ্কাল সহ Tarantool পদ্ধতির সাথে ভালভাবে ফিট করে, যখন শুধুমাত্র আপডেটের সাথে সম্পর্কিত অংশগুলি, অর্থাৎ ডেটা পরিবর্তনগুলি আপডেট করা হয়। অন্য সব কিছু অন্য কোথাও সংরক্ষণ করা যেতে পারে. কোন বিশাল ডাটা লেক, অব্যবস্থাপিত গ্লোবাল ক্যাশে নেই। ক্যাশেগুলি সিস্টেমের জন্য বা পণ্যগুলির জন্য বা ক্লায়েন্টদের জন্য বা রক্ষণাবেক্ষণের জন্য জীবনকে সহজ করার জন্য ডিজাইন করা হয়েছে। যখন একজন গ্রাহক কল করে এবং আপনার পরিষেবার মান নিয়ে বিরক্ত হয়, আপনি মানসম্পন্ন পরিষেবা দিতে চান।

আরটিও এবং আরপিও

আইটিতে দুটি পদ আছে- RTO и আঞ্চলিক পাসপোর্ট অফিসে.

পুনরুদ্ধারের সময় উদ্দেশ্য ব্যর্থতার পরে পরিষেবাটি পুনরুদ্ধার করতে যে সময় লাগে। RTO = 0 এর অর্থ হল কিছু ব্যর্থ হলেও পরিষেবাটি কাজ করতে থাকে।

পুনরুদ্ধার পয়েন্ট উদ্দেশ্য - এটি ডেটা পুনরুদ্ধারের সময়, একটি নির্দিষ্ট সময়ের মধ্যে আমরা কত ডেটা হারাতে পারি। RPO = 0 মানে আমরা ডেটা হারাচ্ছি না।

ট্যারান্টুল টাস্ক

ট্যারান্টুলের একটি সমস্যা সমাধানের চেষ্টা করা যাক।

দেওয়া: অ্যাপ্লিকেশনের একটি ঝুড়ি যা সবাই বোঝে, উদাহরণস্বরূপ, আমাজনে বা অন্য কোথাও। প্রয়োজনীয় যাতে শপিং কার্ট সপ্তাহে 24 দিন বা 7% সময় 99,99 ঘন্টা কাজ করে। আমাদের কাছে আসা আদেশগুলি অবশ্যই ক্রমানুসারে থাকতে হবে, কারণ আমরা এলোমেলোভাবে গ্রাহকের সংযোগ চালু বা বন্ধ করতে পারি না - সবকিছু অবশ্যই কঠোরভাবে সামঞ্জস্যপূর্ণ হতে হবে। পূর্ববর্তী সাবস্ক্রিপশন পরবর্তীটিকে প্রভাবিত করে, তাই ডেটা গুরুত্বপূর্ণ - কিছুই হারিয়ে যাওয়া উচিত নয়।

রায়. আপনি এটির সমাধান করার চেষ্টা করতে পারেন এবং ডাটাবেস বিকাশকারীদের জিজ্ঞাসা করতে পারেন, তবে সমস্যাটি গাণিতিকভাবে সমাধান করা যায় না। আপনি উপপাদ্য, সংরক্ষণ আইন, কোয়ান্টাম পদার্থবিদ্যা মনে রাখতে পারেন, কিন্তু কেন - এটি ডিবি স্তরে সমাধান করা যাবে না।

ভাল পুরানো স্থাপত্য পদ্ধতি এখানে কাজ করে - আপনাকে বিষয় এলাকাটি ভালভাবে জানতে হবে এবং এই ধাঁধাটি সমাধান করতে এটি ব্যবহার করতে হবে।

আমাদের সমাধান: Tarantool-এ অ্যাপ্লিকেশনগুলির একটি বিতরণকৃত রেজিস্ট্রি তৈরি করা - একটি জিও-ডিস্ট্রিবিউটেড ক্লাস্টার. চিত্রে, এই তিনটি ভিন্ন তথ্য প্রক্রিয়াকরণ কেন্দ্র - দুটি ইউরালের আগে, একটি ইউরালের বাইরে, এবং আমরা এই কেন্দ্রগুলির মধ্যে সমস্ত অনুরোধ বিতরণ করি।

Netflix, যা এখন IT-এর অন্যতম নেতা হিসাবে বিবেচিত হয়, 2012 সাল পর্যন্ত শুধুমাত্র একটি ডেটা সেন্টার ছিল। ক্যাথলিক ক্রিসমাসের প্রাক্কালে, 24 ডিসেম্বর, এই ডেটা সেন্টারটি বন্ধ হয়ে যায়। কানাডা এবং মার্কিন যুক্তরাষ্ট্রের ব্যবহারকারীরা তাদের প্রিয় চলচ্চিত্রগুলি ছাড়াই রেখেছিলেন, খুব বিরক্ত ছিলেন এবং সামাজিক নেটওয়ার্কগুলিতে এটি সম্পর্কে লিখেছেন। নেটফ্লিক্সের এখন পশ্চিম-পূর্ব উপকূলে তিনটি এবং পশ্চিম ইউরোপে একটি ডেটা সেন্টার রয়েছে।

আমরা প্রাথমিকভাবে একটি জিও-ডিস্ট্রিবিউটেড সমাধান তৈরি করছি - দোষ সহনশীলতা আমাদের জন্য গুরুত্বপূর্ণ।

তাই আমাদের একটি ক্লাস্টার আছে, কিন্তু RPO = 0 এবং RTO = 0 সম্পর্কে কী? বিষয়ের উপর নির্ভর করে সমাধানটি সহজ।

অ্যাপ্লিকেশনে কি গুরুত্বপূর্ণ? দুটি অংশ: ঝুড়ি নিক্ষেপ থেকে একটি ক্রয় সিদ্ধান্ত নেওয়া, এবং পরে. টেলিকমে DO অংশটিকে সাধারণত বলা হয় অর্ডার ক্যাপচারিং বা অর্ডার আলোচনা. টেলিকমে, এটি একটি অনলাইন স্টোরের চেয়ে অনেক বেশি কঠিন হতে পারে, কারণ সেখানে ক্লায়েন্টকে অবশ্যই পরিবেশন করতে হবে, 5টি বিকল্প অফার করতে হবে এবং এটি কিছু সময়ের জন্য ঘটে, তবে ঝুড়িটি ভরা হয়। এই মুহুর্তে, একটি ব্যর্থতা সম্ভব, তবে এটি ভীতিজনক নয়, কারণ এটি মানুষের তত্ত্বাবধানে ইন্টারেক্টিভভাবে ঘটে।

যদি মস্কো ডেটা সেন্টার হঠাৎ ব্যর্থ হয়, তাহলে স্বয়ংক্রিয়ভাবে অন্য ডেটা সেন্টারে স্যুইচ করে আমরা কাজ চালিয়ে যাব। তাত্ত্বিকভাবে, একটি পণ্য কার্টে হারিয়ে যেতে পারে, কিন্তু আপনি এটি দেখতে পাচ্ছেন, আবার কার্টে যোগ করুন এবং কাজ চালিয়ে যান। এই ক্ষেত্রে RTO = 0।

একই মুহুর্তে, একটি দ্বিতীয় বিকল্প রয়েছে: যখন আমরা "জমা দিন" ক্লিক করি, আমরা চাই যে ডেটা হারিয়ে না যায়। এই মুহূর্ত থেকে, অটোমেশন কাজ করতে শুরু করে - এটি হল RPO = 0। এই দুটি ভিন্ন প্যাটার্ন ব্যবহার করে, একটি ক্ষেত্রে এটি কেবল একটি পরিবর্তনযোগ্য মাস্টারের সাথে একটি জিও-ডিস্ট্রিবিউটেড ক্লাস্টার হতে পারে, অন্য ক্ষেত্রে কোন ধরনের কোরাম রেকর্ড। প্যাটার্ন ভিন্ন হতে পারে, কিন্তু আমরা সমস্যার সমাধান করি।

আরও, অ্যাপ্লিকেশনগুলির একটি বিতরণকৃত রেজিস্ট্রি থাকার ফলে, আমরা এটিকে স্কেল করতে পারি - অনেক প্রেরণকারী এবং নির্বাহক রয়েছে যারা এই রেজিস্ট্রিটি অ্যাক্সেস করে৷

ক্যাসান্দ্রা এবং ট্যারান্টুল একসাথে

আরেকটি ঘটনা আছে- "ব্যালেন্সের প্রদর্শনী". এখানে ক্যাসান্দ্রা এবং ট্যারান্টুলের যৌথ ব্যবহারের একটি আকর্ষণীয় ঘটনা রয়েছে।

আমরা ক্যাসান্দ্রা ব্যবহার করি কারণ প্রতিদিন 2 বিলিয়ন কলের সীমা নেই, এবং আরও থাকবে। বিপণনকারীরা উত্স অনুসারে ট্র্যাফিককে রঙিন করতে পছন্দ করে; উদাহরণস্বরূপ, সামাজিক নেটওয়ার্কগুলিতে আরও বেশি বিশদ প্রদর্শিত হচ্ছে৷ এটা সব গল্প যোগ.

ক্যাসান্ড্রা আপনাকে অনুভূমিকভাবে যেকোনো আকারে স্কেল করতে দেয়।

আমরা ক্যাসান্দ্রার সাথে স্বাচ্ছন্দ্য বোধ করি, তবে এটির একটি সমস্যা রয়েছে - এটি পড়তে ভাল নয়। রেকর্ডিংয়ে সবকিছু ঠিক আছে, প্রতি সেকেন্ডে 30 কোনো সমস্যা নয় - পড়ার সমস্যা.

অতএব, একটি ক্যাশ সহ একটি বিষয় উপস্থিত হয়েছিল এবং একই সাথে আমরা নিম্নলিখিত সমস্যাটি সমাধান করেছি: একটি পুরানো ঐতিহ্যবাহী কেস রয়েছে যখন অনলাইন বিলিং থেকে স্যুইচ থেকে সরঞ্জামগুলি আমরা ক্যাসান্দ্রায় লোড করা ফাইলগুলিতে আসে। আমরা এই ফাইলগুলির নির্ভরযোগ্য ডাউনলোড করার সমস্যার সাথে লড়াই করেছি, এমনকি IBM ম্যানেজারের ফাইল স্থানান্তরের পরামর্শ ব্যবহার করে - এমন কিছু সমাধান রয়েছে যা UDP প্রোটোকল ব্যবহার করে দক্ষতার সাথে ফাইল স্থানান্তর পরিচালনা করে, উদাহরণস্বরূপ, TCP এর পরিবর্তে। এটি ভাল, তবে এটি এখনও কয়েক মিনিট, এবং আমরা এখনও এটি লোড করিনি, কল সেন্টারের অপারেটর ক্লায়েন্টকে তার ব্যালেন্সের কী হয়েছে তার উত্তর দিতে পারে না - আমাদের অপেক্ষা করতে হবে।

এটি যাতে না ঘটে, আমরা আমরা সমান্তরাল কার্যকরী রিজার্ভ ব্যবহার করি. যখন আমরা কাফকার মাধ্যমে ট্যারান্টুলে একটি ইভেন্ট পাঠাই, রিয়েল টাইমে সমষ্টির পুনঃগণনা করে, উদাহরণস্বরূপ, আজকের জন্য, আমরা পাই নগদ ব্যালেন্স, যা যেকোনো গতিতে ব্যালেন্স স্থানান্তর করতে পারে, উদাহরণস্বরূপ, প্রতি সেকেন্ডে 100 হাজার লেনদেন এবং একই 2 সেকেন্ড।

লক্ষ্য হল যে একটি কল করার পরে, আপনার ব্যক্তিগত অ্যাকাউন্টে 2 সেকেন্ডের মধ্যে শুধুমাত্র পরিবর্তিত ব্যালেন্স নয়, তবে কেন এটি পরিবর্তিত হয়েছে সে সম্পর্কে তথ্য থাকবে।

উপসংহার

এগুলো ছিল ট্যারান্টুল ব্যবহারের উদাহরণ। আমরা সত্যিই Mail.ru এর খোলামেলাতা এবং বিভিন্ন ক্ষেত্রে বিবেচনা করার তাদের ইচ্ছা পছন্দ করেছি।

BCG বা McKinsey, Accenture বা IBM-এর পরামর্শদাতাদের জন্য নতুন কিছু দিয়ে আমাদের অবাক করা ইতিমধ্যেই কঠিন - তারা যা অফার করে তার বেশিরভাগই আমরা ইতিমধ্যেই করেছি, করেছি বা করার পরিকল্পনা করছি। আমি মনে করি যে Tarantool আমাদের প্রযুক্তি স্ট্যাকে তার সঠিক স্থান নেবে এবং অনেক বিদ্যমান প্রযুক্তি প্রতিস্থাপন করবে। আমরা এই প্রকল্পের উন্নয়নের সক্রিয় পর্যায়ে আছি।

ওলেগ এবং আন্দ্রেয়ের প্রতিবেদনটি গত বছরের টারান্টুল সম্মেলনের অন্যতম সেরা এবং 17 জুন ওলেগ ইভলেভ বক্তব্য রাখবেন T+ সম্মেলন 2019 একটি রিপোর্ট সহ "কেন এন্টারপ্রাইজে ট্যারান্টুল". আলেকজান্ডার ডিউলিন মেগাফোন থেকে একটি উপস্থাপনাও দেবেন "ওরাকল থেকে ট্যারান্টুল ক্যাশে এবং প্রতিলিপি". আসুন জেনে নেওয়া যাক কী কী পরিবর্তন হয়েছে, কী কী পরিকল্পনা বাস্তবায়িত হয়েছে। যোগ দিন - সম্মেলনটি বিনামূল্যে, আপনাকে যা করতে হবে তা হল সাইন আপ। সব রিপোর্ট গৃহীত এবং কনফারেন্স প্রোগ্রাম গঠিত হয়েছে: নতুন কেস, ট্যারান্টুল ব্যবহারে নতুন অভিজ্ঞতা, আর্কিটেকচার, এন্টারপ্রাইজ, টিউটোরিয়াল এবং মাইক্রোসার্ভিস।

উত্স: www.habr.com