ওলেগ আনাস্তাসিয়েভের সাথে মিনি-সাক্ষাৎকার: অ্যাপাচি ক্যাসান্দ্রায় দোষ সহনশীলতা

Odnoklassniki হল রুনেটে অ্যাপাচি ক্যাসান্দ্রার সবচেয়ে বড় ব্যবহারকারী এবং বিশ্বের অন্যতম বৃহত্তম ব্যবহারকারী। আমরা ফটো রেটিং সঞ্চয় করার জন্য 2010 সালে ক্যাসান্দ্রা ব্যবহার শুরু করেছি এবং এখন ক্যাসান্দ্রা হাজার হাজার নোডে পেটাবাইট ডেটা পরিচালনা করে, আসলে, আমরা এমনকি আমাদের নিজস্ব বিকাশ করেছি নিউএসকিউএল লেনদেন ডাটাবেস.
সেপ্টেম্বর 12 আমাদের সেন্ট পিটার্সবার্গ অফিসে আমরা অনুষ্ঠিত হবে অ্যাপাচি ক্যাসান্দ্রাকে উৎসর্গ করা দ্বিতীয় বৈঠক. অনুষ্ঠানের প্রধান বক্তা ওডনোক্লাসনিকির প্রধান প্রকৌশলী ওলেগ আনাস্তাসিয়েভ হবেন। ওলেগ বিতরণ করা এবং ত্রুটি-সহনশীল সিস্টেমের ক্ষেত্রে একজন বিশেষজ্ঞ; তিনি 10 বছরেরও বেশি সময় ধরে ক্যাসান্দ্রার সাথে কাজ করছেন এবং বারবার সম্মেলনে এই পণ্য ব্যবহারের বৈশিষ্ট্য সম্পর্কে কথা বলেছেন.

মিটআপের প্রাক্কালে, আমরা ওলেগের সাথে ক্যাসান্দ্রার সাথে বিতরণ করা সিস্টেমের ত্রুটি সহনশীলতা সম্পর্কে কথা বলেছিলাম, জিজ্ঞাসা করেছিলাম যে তিনি মিটআপে কী বিষয়ে কথা বলবেন এবং কেন এই ইভেন্টে উপস্থিত হওয়া মূল্যবান।

ওলেগ 1995 সালে তার প্রোগ্রামিং ক্যারিয়ার শুরু করেছিলেন। ব্যাংকিং, টেলিকম এবং পরিবহনে সফ্টওয়্যার তৈরি করা হয়েছে। তিনি 2007 সাল থেকে প্ল্যাটফর্ম দলে ওডনোক্লাসনিকিতে একজন নেতৃস্থানীয় বিকাশকারী হিসাবে কাজ করছেন। তার দায়িত্বগুলির মধ্যে রয়েছে উচ্চ-লোড সিস্টেমের জন্য আর্কিটেকচার এবং সমাধান, বড় ডেটা গুদাম, এবং পোর্টালের কার্যকারিতা এবং নির্ভরযোগ্যতার সমস্যাগুলি সমাধান করা। তিনি কোম্পানির মধ্যে বিকাশকারীদের প্রশিক্ষণও দেন।

- ওলেগ, হ্যালো! মে মাসে হয়েছিল প্রথম সাক্ষাৎ, Apache Cassandra নিবেদিত, অংশগ্রহণকারীরা বলছেন যে আলোচনা গভীর রাত পর্যন্ত চলেছিল, অনুগ্রহ করে আমাকে বলুন, প্রথম বৈঠকে আপনার ইমপ্রেশন কি?

বিভিন্ন কোম্পানির বিভিন্ন ব্যাকগ্রাউন্ডের বিকাশকারীরা তাদের নিজস্ব ব্যথা, সমস্যার অপ্রত্যাশিত সমাধান এবং আশ্চর্যজনক গল্প নিয়ে এসেছেন। আমরা আলোচনার ফর্ম্যাটে বেশিরভাগ মিটআপ পরিচালনা করতে পেরেছি, কিন্তু এত বেশি আলোচনা ছিল যে আমরা পরিকল্পিত বিষয়গুলির এক তৃতীয়াংশে স্পর্শ করতে পেরেছি। আমরা আমাদের বাস্তব উত্পাদন পরিষেবাগুলির উদাহরণ ব্যবহার করে কীভাবে এবং কী পর্যবেক্ষণ করি সেদিকে আমরা অনেক মনোযোগ দিয়েছি।

আমি আগ্রহী ছিল এবং সত্যিই এটা পছন্দ.

- ঘোষণা দ্বারা বিচার, দ্বিতীয় সাক্ষাৎ সম্পূর্ণরূপে দোষ সহনশীলতা নিবেদিত হবে, কেন আপনি এই বিষয় নির্বাচন করেছেন?

ক্যাসান্ড্রা হল একটি সাধারণ ব্যস্ত বিতরণ করা সিস্টেম যেখানে ব্যবহারকারীর অনুরোধগুলি সরাসরি পরিবেশন করার বাইরেও প্রচুর পরিমাণে কার্যকারিতা রয়েছে: গসিপ, ব্যর্থতা সনাক্তকরণ, স্কিমা পরিবর্তনের প্রচার, ক্লাস্টার সম্প্রসারণ/সঙ্কুচিত, অ্যান্টি-এনট্রপি, ব্যাকআপ এবং পুনরুদ্ধার ইত্যাদি। যে কোনো বিতরণ করা সিস্টেমের মতো, হার্ডওয়্যারের পরিমাণ বাড়ার সাথে সাথে ব্যর্থতার সম্ভাবনা বাড়ে, তাই ক্যাসান্ড্রা উৎপাদন ক্লাস্টারগুলির অপারেশন ব্যর্থতা এবং অপারেটরের ক্রিয়াকলাপের ক্ষেত্রে আচরণের পূর্বাভাস দেওয়ার জন্য এর গঠন সম্পর্কে গভীর বোঝার প্রয়োজন। অনেক বছর ধরে ক্যাসান্দ্রা ব্যবহার করার পর, আমরা উল্লেখযোগ্য দক্ষতা সঞ্চিত হয়েছে, যা আমরা ভাগ করতে প্রস্তুত, এবং দোকানের সহকর্মীরা কীভাবে সাধারণ সমস্যাগুলি সমাধান করে তা নিয়েও আমরা আলোচনা করতে চাই৷

- যখন ক্যাসান্দ্রার কথা আসে, আপনি দোষ সহনশীলতা বলতে কী বোঝেন?

প্রথমত, অবশ্যই, সিস্টেমের সাধারণ হার্ডওয়্যার ব্যর্থতা থেকে বাঁচার ক্ষমতা: মেশিন, ডিস্ক, বা নোড/ডেটা সেন্টারের সাথে নেটওয়ার্ক সংযোগের ক্ষতি। তবে বিষয়টি নিজেই অনেক বিস্তৃত এবং বিশেষ করে ব্যর্থতা থেকে পুনরুদ্ধার অন্তর্ভুক্ত করে, যার মধ্যে ব্যর্থতাগুলি সহ যার জন্য লোকেরা খুব কমই প্রস্তুত থাকে, উদাহরণস্বরূপ, অপারেটর ত্রুটিগুলি।

— আপনি সবচেয়ে লোড করা এবং বৃহত্তম ডেটা ক্লাস্টারের একটি উদাহরণ দিতে পারেন?

আমাদের বৃহত্তম ক্লাস্টারগুলির মধ্যে একটি হল উপহার ক্লাস্টার: 200 টিরও বেশি নোড এবং শত শত TB ডেটা৷ তবে এটি সর্বাধিক লোড নয়, যেহেতু এটি একটি বিতরণ করা ক্যাশে দ্বারা আচ্ছাদিত। আমাদের ব্যস্ততম ক্লাস্টারগুলি লেখার জন্য হাজার হাজার RPS এবং পড়ার জন্য হাজার হাজার RPS পরিচালনা করে।

- কি দারুন! কত ঘন ঘন কিছু ভেঙ্গে?

সব সময় হ্যাঁ! মোট, আমাদের 6 হাজারেরও বেশি সার্ভার রয়েছে এবং প্রতি সপ্তাহে কয়েকটি সার্ভার এবং কয়েক ডজন ডিস্ক প্রতিস্থাপন করা হয় (মেশিন বহরের আপগ্রেড এবং সম্প্রসারণের সমান্তরাল প্রক্রিয়াগুলিকে বিবেচনায় না নিয়ে)। প্রতিটি ধরণের ব্যর্থতার জন্য, কী করতে হবে এবং কী ক্রমে, সবকিছু যখনই সম্ভব স্বয়ংক্রিয়ভাবে করা হয়, তাই ব্যর্থতাগুলি নিয়মিত এবং 99% ক্ষেত্রে ব্যবহারকারীদের নজরে পড়ে না।

- আপনি কিভাবে এই ধরনের প্রত্যাখ্যান মোকাবেলা করবেন?

ক্যাসান্দ্রা এবং প্রথম ঘটনাগুলির অপারেশনের শুরু থেকেই, আমরা ব্যাকআপ এবং তাদের থেকে পুনরুদ্ধারের প্রক্রিয়া নিয়ে কাজ করেছি, স্থাপনা পদ্ধতি তৈরি করেছি যা ক্যাসান্দ্রা ক্লাস্টারগুলির অবস্থা বিবেচনা করে এবং উদাহরণস্বরূপ, নোডগুলি পুনরায় চালু করার অনুমতি দেয় না। যদি ডেটা হারানো সম্ভব হয়। আমরা মিটআপে এই সমস্ত বিষয়ে কথা বলার পরিকল্পনা করছি।

— আপনি যেমন বলেছেন, একেবারে নির্ভরযোগ্য সিস্টেম নেই। আপনি কি ধরণের ব্যর্থতার জন্য প্রস্তুত হন এবং পরিচালনা করতে সক্ষম হন?

আমরা যদি আমাদের ক্যাসান্ড্রা ক্লাস্টারগুলির ইনস্টলেশন সম্পর্কে কথা বলি, আমরা একটি ডিসি বা একটি সম্পূর্ণ ডিসিতে বেশ কয়েকটি মেশিন হারালে ব্যবহারকারীরা কিছুই লক্ষ্য করবেন না (এটি ঘটেছে)। ডিসি-র সংখ্যা বৃদ্ধির সাথে, আমরা দুটি ডিসির ব্যর্থতার ক্ষেত্রে কার্যকারিতা নিশ্চিত করার কথা ভাবছি।

— দোষ সহনশীলতার পরিপ্রেক্ষিতে ক্যাসান্দ্রার কী অভাব রয়েছে বলে আপনি মনে করেন?

ক্যাসান্ড্রা, অন্যান্য অনেক প্রাথমিক নোএসকিউএল স্টোরের মতো, এর অভ্যন্তরীণ গঠন এবং ঘটতে থাকা গতিশীল প্রক্রিয়াগুলির গভীর বোঝার প্রয়োজন। আমি বলব যে এতে সরলতা, অনুমানযোগ্যতা এবং পর্যবেক্ষণযোগ্যতার অভাব রয়েছে। কিন্তু অন্যান্য মিটিং অংশগ্রহণকারীদের মতামত শুনতে আকর্ষণীয় হবে!

ওলেগ, প্রশ্নের উত্তর দেওয়ার জন্য সময় দেওয়ার জন্য আপনাকে অনেক ধন্যবাদ!

আমাদের সেন্ট পিটার্সবার্গ অফিসে 12 সেপ্টেম্বর মিটআপে অ্যাপাচি ক্যাসান্দ্রা পরিচালনার ক্ষেত্রে বিশেষজ্ঞদের সাথে যোগাযোগ করতে চান এমন প্রত্যেকের জন্য আমরা অপেক্ষা করছি।

আসুন, এটা আকর্ষণীয় হবে!

অনুষ্ঠানের জন্য নিবন্ধন করুন।

উত্স: www.habr.com