হাবরের পোস্টমর্টেম রিপোর্ট: খবরের কাগজে পড়ল

2019 সালের গ্রীষ্মের প্রথম মাসের শেষ এবং দ্বিতীয় মাসের শুরুটি কঠিন হয়ে উঠেছে এবং বিশ্বব্যাপী আইটি পরিষেবাগুলিতে বেশ কয়েকটি বড় ড্রপ দ্বারা চিহ্নিত করা হয়েছিল। উল্লেখযোগ্যগুলির মধ্যে: ক্লাউডফ্লেয়ার অবকাঠামোতে দুটি গুরুতর ঘটনা (প্রথমটি - মার্কিন যুক্তরাষ্ট্রের কিছু আইএসপির পক্ষ থেকে বাঁকা হাত এবং বিজিপির প্রতি অবহেলাপূর্ণ মনোভাব; দ্বিতীয়টি - সিএফ-এর একটি কুটিল মোতায়েন সহ, যা সিএফ ব্যবহারকারী প্রত্যেককে প্রভাবিত করেছিল , এবং এইগুলি অনেকগুলি উল্লেখযোগ্য পরিষেবা) এবং Facebook CDN পরিকাঠামোর অস্থির অপারেশন (ইন্সটাগ্রাম এবং হোয়াটসঅ্যাপ সহ সমস্ত FB পণ্যগুলিকে প্রভাবিত করেছে)। আমাদের বিতরণে আটকা পড়তে হয়েছিল, যদিও আমাদের বিভ্রাট বিশ্বব্যাপী পটভূমিতে অনেক কম লক্ষণীয় ছিল। কেউ ইতিমধ্যে কালো হেলিকপ্টার এবং "সার্বভৌম" ষড়যন্ত্রে টেনে আনতে শুরু করেছে, তাই আমরা আমাদের ঘটনার একটি পাবলিক পোস্ট মর্টেম প্রকাশ করছি।

03.07.2019, 16: 05
অভ্যন্তরীণ নেটওয়ার্ক সংযোগে ভাঙ্গনের মতো সংস্থানগুলির সাথে সমস্যাগুলি রেকর্ড করা শুরু হয়েছিল। সম্পূর্ণরূপে সবকিছু পরীক্ষা না করে, তারা ডেটালাইনের দিকে বাহ্যিক চ্যানেলের কার্যকারিতাকে দোষ দিতে শুরু করেছিল, কারণ এটি স্পষ্ট হয়ে গিয়েছিল যে সমস্যাটি ইন্টারনেটে (NAT) অভ্যন্তরীণ নেটওয়ার্কের অ্যাক্সেসের সাথে, BGP সেশনটিকে ডেটালাইনের দিকে রাখার বিন্দু পর্যন্ত।

03.07.2019, 16: 35
এটা স্পষ্ট হয়ে উঠেছে যে নেটওয়ার্ক ঠিকানা অনুবাদ এবং সাইটের স্থানীয় নেটওয়ার্ক থেকে ইন্টারনেট (NAT) অ্যাক্সেস প্রদানকারী সরঞ্জামগুলি ব্যর্থ হয়েছে। সরঞ্জামগুলি পুনরায় বুট করার প্রচেষ্টার ফলে কিছু ঘটেনি, প্রযুক্তিগত সহায়তা থেকে প্রতিক্রিয়া পাওয়ার আগে সংযোগ সংগঠিত করার জন্য বিকল্প বিকল্পগুলির অনুসন্ধান শুরু হয়েছিল, যেহেতু অভিজ্ঞতা থেকে, সম্ভবত এটি সাহায্য করবে না।

সমস্যাটি কিছুটা বৃদ্ধি পেয়েছিল যে এই সরঞ্জামটি ক্লায়েন্ট ভিপিএন কর্মীদের ইনকামিং সংযোগগুলিও বন্ধ করে দেয় এবং দূরবর্তী পুনরুদ্ধারের কাজটি চালানো আরও কঠিন হয়ে পড়ে।

03.07.2019, 16: 40
আমরা পূর্বে বিদ্যমান একটি ব্যাকআপ NAT স্কিম পুনরুজ্জীবিত করার চেষ্টা করেছি যা আগে ভাল কাজ করেছিল। কিন্তু এটা স্পষ্ট হয়ে গেছে যে বেশ কয়েকটি নেটওয়ার্ক পুনর্নবীকরণ এই স্কিমটিকে প্রায় সম্পূর্ণ অকার্যকর করে তুলেছে, যেহেতু এটির পুনরুদ্ধার সর্বোত্তমভাবে কাজ করতে পারে না বা, সবচেয়ে খারাপভাবে, যা ইতিমধ্যে কাজ করছে তা ভেঙে দিতে পারে।

আমরা ব্যাকবোন পরিবেশনকারী নতুন রাউটারগুলির একটি সেটে ট্র্যাফিক স্থানান্তর করার জন্য কয়েকটি ধারণা নিয়ে কাজ শুরু করেছি, কিন্তু মূল নেটওয়ার্কে রুটগুলির বিতরণের অদ্ভুততার কারণে সেগুলি অকার্যকর বলে মনে হয়েছিল।

03.07.2019, 17: 05
একই সময়ে, নাম সার্ভারে নাম রেজোলিউশন পদ্ধতিতে একটি সমস্যা চিহ্নিত করা হয়েছিল, যার ফলে অ্যাপ্লিকেশনগুলিতে শেষ পয়েন্টগুলি সমাধান করতে ত্রুটি দেখা দেয় এবং তারা দ্রুত গুরুত্বপূর্ণ পরিষেবাগুলির রেকর্ড সহ হোস্ট ফাইলগুলি পূরণ করতে শুরু করে।

03.07.2019, 17: 27
হাবরের সীমিত কার্যকারিতা পুনরুদ্ধার করা হয়েছে।

03.07.2019, 17: 43
কিন্তু শেষ পর্যন্ত, বর্ডার রাউটারগুলির একটির মাধ্যমে ট্র্যাফিক সংগঠিত করার জন্য একটি অপেক্ষাকৃত নিরাপদ সমাধান পাওয়া গেছে, যা দ্রুত ইনস্টল করা হয়েছিল। ইন্টারনেট সংযোগ পুনরুদ্ধার করা হয়েছে।

পরের কয়েক মিনিটের মধ্যে, মনিটরিং এজেন্টদের কার্যকারিতা পুনরুদ্ধার সম্পর্কে মনিটরিং সিস্টেমগুলি থেকে প্রচুর বিজ্ঞপ্তি এসেছে, কিন্তু কিছু পরিষেবা অকার্যকর বলে প্রমাণিত হয়েছে কারণ নাম সার্ভারে (ডিএনএস) নাম রেজোলিউশন প্রক্রিয়াটি ভেঙে গেছে।

03.07.2019, 17: 52
NS পুনরায় চালু করা হয়েছে এবং ক্যাশে সাফ করা হয়েছে। সমাধান পুনরুদ্ধার করা হয়েছে.

03.07.2019, 17: 55
MK, Freelansim এবং Toaster ছাড়া সকল সার্ভিস কাজ শুরু করে।

03.07.2019, 18: 02
এমকে এবং ফ্রিল্যান্সিম কাজ শুরু করে।

03.07.2019, 18: 07
ডেটালাইনের সাথে একটি নির্দোষ BGP সেশন ফিরিয়ে আনুন।

03.07.2019, 18: 25
তারা সংস্থানগুলির সাথে সমস্যাগুলি রেকর্ড করতে শুরু করেছিল, যা NAT পুলের বাহ্যিক ঠিকানার পরিবর্তন এবং বেশ কয়েকটি পরিষেবার acl-এ এর অনুপস্থিতির কারণে হয়েছিল, যা অবিলম্বে সংশোধন করা হয়েছিল। টোস্টার তখনই কাজ শুরু করে।

03.07.2019, 20: 30
আমরা টেলিগ্রাম বট সংক্রান্ত ত্রুটি লক্ষ্য করেছি। দেখা গেল যে তারা কয়েকটি এসিএল (প্রক্সি সার্ভার) এ বাহ্যিক ঠিকানা নিবন্ধন করতে ভুলে গেছে, যা অবিলম্বে সংশোধন করা হয়েছিল।

তথ্যও

• সরঞ্জাম, যা পূর্বে এর উপযুক্ততা সম্পর্কে সন্দেহের বীজ বপন করেছিল, ব্যর্থ হয়েছে। এটিকে কাজ থেকে বাদ দেওয়ার পরিকল্পনা ছিল, যেহেতু এটি নেটওয়ার্কের বিকাশে হস্তক্ষেপ করেছিল এবং সামঞ্জস্যের সমস্যা ছিল, তবে একই সাথে এটি একটি সমালোচনামূলক ফাংশন চালিয়েছিল, যে কারণে পরিষেবাগুলিকে বাধা না দিয়ে কোনও প্রতিস্থাপন প্রযুক্তিগতভাবে কঠিন ছিল। এখন আপনি এগিয়ে যেতে পারেন.
• DNS সমস্যাটি NAT নেটওয়ার্কের বাইরে নতুন ব্যাকবোন নেটওয়ার্কের কাছাকাছি নিয়ে যাওয়ার মাধ্যমে এড়ানো যেতে পারে এবং এখনও অনুবাদ ছাড়াই ধূসর নেটওয়ার্কের সাথে সম্পূর্ণ সংযোগ রয়েছে (যা ঘটনার আগে পরিকল্পনা ছিল)।
• RDBMS ক্লাস্টারগুলি একত্রিত করার সময় আপনার ডোমেন নাম ব্যবহার করা উচিত নয়, যেহেতু স্বচ্ছভাবে IP ঠিকানা পরিবর্তন করার সুবিধা বিশেষভাবে প্রয়োজনীয় নয়, যেহেতু এই ধরনের ম্যানিপুলেশনের জন্য এখনও ক্লাস্টার পুনর্নির্মাণের প্রয়োজন হয়। এই সিদ্ধান্তটি ঐতিহাসিক কারণে এবং প্রথমত, RDBMS কনফিগারেশনে নাম অনুসারে শেষ পয়েন্টগুলির স্পষ্টতা দ্বারা নির্দেশিত হয়েছিল। সাধারণভাবে, একটি ক্লাসিক ফাঁদ।
• নীতিগতভাবে, "রুনেটের সার্বভৌমকরণ" এর সাথে তুলনীয় অনুশীলনগুলি পরিচালিত হয়েছে; স্বায়ত্তশাসিত বেঁচে থাকার ক্ষমতা জোরদার করার ক্ষেত্রে চিন্তা করার মতো কিছু আছে।

উত্স: www.habr.com