কিভাবে আমরা ইয়ানডেক্স ডিউটি ​​শিফ্ট খালি করেছি

যখন কাজটি একটি ল্যাপটপে ফিট করে এবং অন্য লোকেদের থেকে স্বায়ত্তশাসিতভাবে সঞ্চালিত হতে পারে, তখন কোনও দূরবর্তী স্থানে যেতে কোনও সমস্যা নেই - সকালে বাড়িতে থাকাই যথেষ্ট। তবে সবাই এত ভাগ্যবান নয়।

ডিউটি ​​শিফট হল সার্ভিস অ্যাভাইলেবিলিটি স্পেশালিস্ট (এসআরই) এর একটি দল। এতে ডিউটি ​​অ্যাডমিনিস্ট্রেটর, ডেভেলপার, ম্যানেজার, সেইসাথে 26 ইঞ্চির 55টি এলসিডি প্যানেলের একটি সাধারণ "ড্যাশবোর্ড" অন্তর্ভুক্ত রয়েছে। কোম্পানির পরিষেবার স্থিতিশীলতা এবং সমস্যা সমাধানের গতি ডিউটি ​​শিফটের কাজের উপর নির্ভর করে।

আজ দিমিত্রি মেলিকভ tal10n, ডিউটি ​​শিফটের প্রধান, কিভাবে কয়েক দিনের মধ্যে তারা তাদের বাড়িতে সরঞ্জাম পরিবহন করতে এবং নতুন কাজের প্রক্রিয়া স্থাপন করতে পেরেছিলেন সে সম্পর্কে কথা বলবেন। আমি তাকে মেঝে দিই।

- যখন আপনার কাছে অসীম সময় থাকে, আপনি আরামদায়ক যে কোনও জায়গায় যেতে পারেন। কিন্তু করোনাভাইরাসের দ্রুত বিস্তার আমাদের সম্পূর্ণ ভিন্ন পরিস্থিতিতে ফেলেছে। স্ব-বিচ্ছিন্নতা শাসনের প্রবর্তনের আগেও, ইয়ানডেক্স কর্মচারীরা দূরবর্তী কাজে স্যুইচ করা প্রথম ছিল। এটা এই মত ঘটেছে. বৃহস্পতিবার, 12 মার্চ, আমাকে দলের কাজ বাড়িতে স্থানান্তরিত করার সম্ভাবনা মূল্যায়ন করতে বলা হয়েছিল। শুক্রবার 13 তারিখে, দূরবর্তী কাজে স্যুইচ করার জন্য একটি সুপারিশ ছিল। মঙ্গলবার, 17 মার্চ রাতে, আমাদের জন্য সবকিছু প্রস্তুত ছিল: পরিচারিকারা বাড়িতে কাজ করছিল, সরঞ্জামগুলি সরানো হয়েছিল, অনুপস্থিত সফ্টওয়্যার লেখা হয়েছিল, প্রক্রিয়াগুলি পুনরায় কনফিগার করা হয়েছিল। এবং এখন আমি আপনাকে বলব কিভাবে আমরা এটা করেছি। তবে প্রথমে আপনাকে সেই কাজগুলি সম্পর্কে মনে রাখতে হবে যা ডিউটি ​​শিফট সমাধান করে।

আমরা কারা

Yandex শত শত পরিষেবা সহ একটি বড় কোম্পানি। অনুসন্ধান, ভয়েস সহকারী এবং অন্যান্য সমস্ত পণ্যের স্থায়িত্ব শুধুমাত্র বিকাশকারীদের উপর নির্ভর করে না। ডেটা সেন্টারে বিদ্যুৎ সরবরাহ বিঘ্নিত হতে পারে। অ্যাসফল্ট প্রতিস্থাপনের সময় একজন কর্মী দুর্ঘটনাক্রমে অপটিক্যাল তারের ক্ষতি করতে পারে। অথবা ব্যবহারকারীর ক্রিয়াকলাপের বৃদ্ধি হতে পারে, যার জন্য ক্ষমতার একটি জরুরী পুনর্বন্টন প্রয়োজন হবে। অধিকন্তু, আমরা সকলেই একটি বৃহৎ, জটিল অবকাঠামোতে বাস করি এবং একটি পণ্যের মুক্তি দুর্ঘটনাক্রমে অন্যটির অবনতির দিকে নিয়ে যেতে পারে।

আমাদের খোলা জায়গায় 26টি প্যানেল হল দেড় হাজার সতর্কতা এবং আমাদের পরিষেবাগুলির একশোরও বেশি চার্ট এবং প্যানেল৷ আসলে, এটি একটি বিশাল ডায়গনিস্টিক প্যানেল। একজন অভিজ্ঞ ডিউটি ​​অ্যাডমিনিস্ট্রেটর, এটি দেখে, দ্রুত গুরুত্বপূর্ণ নোডের অবস্থা বুঝতে পারে এবং একটি প্রযুক্তিগত সমস্যা তদন্তের জন্য দিকনির্দেশ সেট করতে পারে। এর অর্থ এই নয় যে একজন ব্যক্তির ক্রমাগত সমস্ত ডিভাইসের দিকে নজর দেওয়া উচিত: অটোমেশন নিজেই ডিউটি ​​অফিসারের বিশেষ ইন্টারফেসে একটি বিজ্ঞপ্তি পাঠিয়ে মনোযোগ আকর্ষণ করবে, তবে একটি ভিজ্যুয়াল প্যানেল ছাড়াই সমস্যার সমাধান বিলম্বিত হতে পারে।

সমস্যা দেখা দিলে, পরিচারক প্রথমে তাদের অগ্রাধিকার মূল্যায়ন করে। এটি তারপর সমস্যাটিকে বিচ্ছিন্ন করে বা ব্যবহারকারীদের উপর এর প্রভাব কমিয়ে দেয়।

একটি সমস্যা বিচ্ছিন্ন করার জন্য বেশ কয়েকটি আদর্শ উপায় রয়েছে। তাদের মধ্যে একটি হল পরিষেবাগুলির অবনতি, যখন দায়িত্বে থাকা অ্যাডমিনিস্ট্রেটর এমন কিছু ফাংশন অক্ষম করে যা ব্যবহারকারীরা কম লক্ষ্য করেন। এটি আপনাকে সাময়িকভাবে লোড কমাতে এবং কী ঘটেছে তা বের করতে দেয়। ডেটা সেন্টারে কোনো সমস্যা হলে, ডিউটি ​​অফিসার অপারেশন টিমের সাথে যোগাযোগ করেন, সমস্যাটি বোঝেন, এর সমাধানের সময় নিয়ন্ত্রণ করেন এবং প্রয়োজনে সংশ্লিষ্ট দলগুলোর সাথে সংযোগ স্থাপন করেন।

যখন দায়িত্বে থাকা প্রশাসক মুক্তির কারণে উদ্ভূত সমস্যাটিকে আলাদা করতে পারে না, তখন তিনি এটি পরিষেবা দলকে রিপোর্ট করেন - এবং বিকাশকারীরা নতুন কোডে ত্রুটিগুলি সন্ধান করে। যদি তারা এটি বের করতে ব্যর্থ হয়, তাহলে প্রশাসক পরিষেবাগুলির প্রাপ্যতার জন্য অন্যান্য পণ্য বা প্রকৌশলী থেকে বিকাশকারীদের আকর্ষণ করে।

আমাদের সাথে সবকিছু কীভাবে সাজানো হয়েছে সে সম্পর্কে আমি দীর্ঘ সময়ের জন্য কথা বলতে পারি, তবে আমি মনে করি যে আমি ইতিমধ্যে সারমর্মটি জানিয়েছি। ডিউটি ​​শিফ্ট সমস্ত পরিষেবার কাজকে সমন্বয় করে এবং বিশ্বব্যাপী সমস্যাগুলি নিয়ন্ত্রণ করে। কর্তব্যরত প্রশাসকের চোখের সামনে একটি ডায়াগনস্টিক প্যানেল থাকা গুরুত্বপূর্ণ। এই কারণেই আপনি যখন দূরবর্তী কাজে স্যুইচ করেন, তখন আপনি সবাইকে একটি ল্যাপটপ নিতে এবং দিতে পারবেন না। গ্রাফ এবং সতর্কতা পর্দায় মাপসই করা হবে না. কি করো?

ধারণা

অফিসে, সমস্ত দশজন প্রশাসক একই ড্যাশবোর্ডে শিফটে কাজ করে, যার মধ্যে রয়েছে 26টি মনিটর, দুটি কম্পিউটার, চারটি NVIDIA Quadro NVS 810 ভিডিও কার্ড, দুটি র্যাক-মাউন্ট করা নিরবচ্ছিন্ন বিদ্যুৎ সরবরাহ এবং বেশ কয়েকটি স্বাধীন নেটওয়ার্ক অ্যাক্সেস। আমাদের নিশ্চিত করতে হবে যে প্রত্যেকের ঘরে বসে কাজ করার সুযোগ রয়েছে। অ্যাপার্টমেন্টে এই জাতীয় প্রাচীর একত্রিত করা সম্ভব নয় (আমার স্ত্রী এটি সম্পর্কে বিশেষত খুশি হবে), তাই আমরা একটি পোর্টেবল সংস্করণ তৈরি করার সিদ্ধান্ত নিয়েছি যা বাড়িতে আনা এবং একত্রিত করা যেতে পারে।

আমরা কনফিগারেশন সঙ্গে পরীক্ষা শুরু. আমাদের কম ডিসপ্লেতে সমস্ত ডিভাইস ফিট করার দরকার ছিল, তাই মনিটরের জন্য প্রধান প্রয়োজনীয়তা ছিল একটি উচ্চ পিক্সেল ঘনত্ব। আমাদের পরিবেশে উপলব্ধ 4K মনিটরগুলির মধ্যে, আমরা পরীক্ষার জন্য Lenovo P27u-10 বেছে নিয়েছি।

ল্যাপটপ থেকে, আমরা একটি 16-ইঞ্চি ম্যাকবুক প্রো নিয়েছি। এটির একটি মোটামুটি শক্তিশালী গ্রাফিক্স সাবসিস্টেম রয়েছে, যা বেশ কয়েকটি 4K ডিসপ্লে এবং চারটি সার্বজনীন টাইপ-সি সংযোগকারীতে ছবি রেন্ডার করার জন্য প্রয়োজনীয়। আপনি জিজ্ঞাসা করতে পারেন: কেন ডেস্কটপ নয়? গুদাম থেকে ঠিক একই সাথে একটি ল্যাপটপ প্রতিস্থাপন করা একটি অভিন্ন সিস্টেম ইউনিট একত্রিত এবং কনফিগার করার চেয়ে অনেক সহজ এবং দ্রুত। এবং হ্যাঁ, এর ওজন কম।

এখন এটি বোঝা দরকার ছিল যে আমরা একটি ল্যাপটপের সাথে কতগুলি মনিটর সংযোগ করতে পারি। এবং এখানে সমস্যাটি সংযোগকারীর সংখ্যা নয়, আমরা কেবলমাত্র একটি সমাবেশ হিসাবে সিস্টেমটি পরীক্ষা করে খুঁজে বের করতে পারি।

পরীক্ষামূলক

আমরা আরামে চারটি মনিটরে সমস্ত চার্ট এবং সতর্কতা স্থাপন করেছি এবং এমনকি সেগুলিকে একটি ল্যাপটপে সংযুক্ত করেছি, কিন্তু আমরা একটি সমস্যায় পড়েছি৷ সংযুক্ত মনিটরে 4×4K পিক্সেল রেন্ডারিং ভিডিও কার্ডটি এতটাই লোড করে যে ল্যাপটপ চার্জ করার সময়ও ডিসচার্জ হয়ে যায়। সৌভাগ্যবশত, Lenovo ThinkPad Thunderbolt 3 Dock Gen 2 ডকিং স্টেশনের সাহায্যে সমস্যাটি সমাধান করা হয়েছে৷ আমরা একটি মনিটর, পাওয়ার, এমনকি আপনার প্রিয় মাউস এবং কীবোর্ডকে ডকিং স্টেশনে সংযুক্ত করতে পেরেছি৷

কিন্তু অন্য একটি সমস্যা অবিলম্বে সামনে এসেছে: GPU এতটা ফুঁকছে যে ল্যাপটপ অতিরিক্ত গরম হয়ে গেছে, যার মানে ব্যাটারিটিও অতিরিক্ত গরম হয়ে গেছে, যার ফলস্বরূপ প্রতিরক্ষামূলক মোডে চলে গেছে এবং চার্জ নেওয়া বন্ধ করে দিয়েছে। সাধারণভাবে, এটি একটি খুব দরকারী মোড যা বিপজ্জনক পরিস্থিতি থেকে রক্ষা করে। কিছু ক্ষেত্রে, সমস্যাটি একটি উচ্চ প্রযুক্তির ডিভাইসের সাহায্যে সমাধান করা হয়েছিল - বায়ুচলাচল উন্নত করতে ল্যাপটপের নীচে একটি বলপয়েন্ট কলম রাখা হয়েছে। কিন্তু এটি সবাইকে সাহায্য করেনি, তাই আমরা স্ট্যান্ডার্ড ফ্যানের গতিও বাড়িয়ে দিয়েছি।

আরো একটি অপ্রীতিকর বৈশিষ্ট্য ছিল. সমস্ত চার্ট এবং সতর্কতা অবশ্যই একটি কঠোরভাবে সংজ্ঞায়িত জায়গায় স্থাপন করা উচিত। কল্পনা করুন যে আপনি ল্যান্ড করার জন্য একটি প্লেন চালাচ্ছেন - এবং তারপরে গতি নির্দেশক, অল্টিমিটার, ভ্যারিওমিটার, কৃত্রিম দিগন্ত, কম্পাস এবং অবস্থানের সূচকগুলি আকার পরিবর্তন করতে শুরু করে এবং বিভিন্ন জায়গায় লাফ দিতে শুরু করে। তাই আমরা একটি আবেদন করার সিদ্ধান্ত নিয়েছি যা এই কাজে সাহায্য করবে। এক সন্ধ্যায়, আমরা একটি রেডিমেড নিয়ে Electron.js-এ এটি লিখেছিলাম এপিআই উইন্ডোজ তৈরি এবং পরিচালনার জন্য। আমরা একটি কনফিগারেশন হ্যান্ডলার এবং তাদের পর্যায়ক্রমিক আপডেটের পাশাপাশি সীমিত সংখ্যক মনিটরের জন্য সমর্থন যোগ করেছি। একটু পরে, তারা বিভিন্ন সেটআপের জন্য সমর্থন যোগ করেছে।

সমাবেশ এবং বিতরণ

সোমবারের মধ্যে, হেল্পডেস্ক থেকে উইজার্ডরা আমাদের জন্য 40টি মনিটর, দশটি ল্যাপটপ এবং একই সংখ্যক ডকিং স্টেশন পেয়েছে। আমি জানি না তারা কিভাবে এটা করেছে, তবে আপনাকে অনেক ধন্যবাদ।

ডিউটিতে থাকা প্রশাসকদের অ্যাপার্টমেন্টে এই সমস্ত সরবরাহ করা বাকি ছিল। এবং এগুলি মস্কোর বিভিন্ন অংশে দশটি ঠিকানা: দক্ষিণ, পূর্ব, কেন্দ্র এবং বালাশিখা, যা অফিস থেকে 45 কিলোমিটার দূরে (যাইহোক, সেরপুখভ থেকে একজন ইন্টার্নও পরে যুক্ত করা হয়েছিল)। এই সমস্ত কিছু মানুষের মধ্যে বিতরণ করা, রসদ তৈরি করা দরকার ছিল।

আমি আমাদের মানচিত্রে সমস্ত ঠিকানা প্রবেশ করিয়েছি, এখনও বিভিন্ন পয়েন্টের মধ্যে রুটটি অপ্টিমাইজ করার সুযোগ রয়েছে (আমি কুরিয়ারগুলির জন্য সরঞ্জামটির বিনামূল্যে বিটা সংস্করণ ব্যবহার করেছি)। আমরা আমাদের দলকে দুই জনের চারটি স্বাধীন দলে বিভক্ত করেছি, প্রত্যেকের নিজস্ব রুট রয়েছে। আমার গাড়িটি সবচেয়ে প্রশস্ত হয়ে উঠল, তাই আমি একবারে চারজন কর্মচারীর জন্য সরঞ্জাম নিয়েছিলাম।

পুরো ডেলিভারিতে রেকর্ড তিন ঘণ্টা সময় লেগেছে। সোমবার রাত ১০টায় আমরা অফিস থেকে বের হই। সকাল একটার দিকে আমি আগে থেকেই বাসায় ছিলাম। সেই রাতেই আমরা নতুন যন্ত্রপাতি নিয়ে ডিউটিতে গেলাম।

কি শেষে

একটি বড় ডায়াগনস্টিক কনসোলের পরিবর্তে, আমরা প্রতিটি ডিউটি ​​অফিসারের অ্যাপার্টমেন্টে দশটি তুলনামূলকভাবে পোর্টেবল সংগ্রহ করেছি। অবশ্যই, এখনও কিছু জিনিস ইস্ত্রি করা বাকি ছিল. উদাহরণস্বরূপ, আগে আমাদের কাছে বিজ্ঞপ্তির জন্য ডিউটি ​​অফিসারের একটি "আয়রন" ফোন ছিল। নতুন অবস্থার অধীনে, এটি কাজ করেনি, তাই আমরা যারা ডিউটি ​​করে তাদের জন্য "ভার্চুয়াল ফোন" নিয়ে এসেছি (আসলে, মেসেঞ্জারে চ্যানেল)। অন্যান্য পরিবর্তনও ছিল। কিন্তু মূল বিষয় হল যে রেকর্ড সময়ের মধ্যে আমরা কেবল লোকেদের স্থানান্তর করতে পেরেছি না, তাদের সংক্রমণের ঝুঁকি কমিয়েছি, তবে প্রক্রিয়া এবং পণ্যের স্থিতিশীলতার ক্ষতি ছাড়াই বাড়ি থেকে আমাদের সমস্ত কাজ। আমরা এখন এক মাস ধরে এটি করছি।

নীচে আপনি আমাদের পরিচারকদের আসল কাজের ফটোগুলি পাবেন।

উত্স: www.habr.com