চেলিয়াবিনস্কের সাউথব্রিজ এবং কুবারনেটসের বিট্রিক্স

চেলিয়াবিনস্কে সিসাদমিঙ্কা সিস্টেম অ্যাডমিনিস্ট্রেটর মিটআপ হচ্ছে, এবং সর্বশেষে আমি কুবারনেটে 1C-বিট্রিক্সে অ্যাপ্লিকেশন চালানোর জন্য আমাদের সমাধানের একটি প্রতিবেদন দিয়েছি।

Bitrix, Kubernetes, Ceph - একটি মহান মিশ্রণ?

আমি আপনাকে বলব কিভাবে আমরা এই সব থেকে একটি কার্যকর সমাধান একত্রিত করি।

চল যাই!

চেলিয়াবিনস্কে 18 এপ্রিল বৈঠকটি হয়েছিল। আপনি আমাদের বৈঠক সম্পর্কে পড়তে পারেন টাইমপ্যাড এবং তাকান ইউটিউব.

আপনি যদি একটি প্রতিবেদন বা শ্রোতা হিসাবে আমাদের কাছে আসতে চান - স্বাগতম, লিখুন [ইমেল সুরক্ষিত] এবং টেলিগ্রাম t.me/vadimisakanov-এ।

আমার রিপোর্ট

স্লাইড

সমাধান "কুবারনেটসে বিট্রিক্স, সংস্করণ সাউথব্রিজ 1.0"

আমি আমাদের সমাধান সম্পর্কে "কুবারনেটে ডামিদের জন্য" ফর্ম্যাটে কথা বলব, যেমনটি মিটআপে করা হয়েছিল। কিন্তু আমি অনুমান করছি যে আপনি অন্তত উইকিপিডিয়ার নিবন্ধের স্তরে বিট্রিক্স, ডকার, কুবারনেটস, সেফ শব্দগুলি জানেন।

Kubernetes মধ্যে Bitrix সম্পর্কে প্রস্তুত কি?

কুবারনেটসে বিট্রিক্স অ্যাপ্লিকেশনের অপারেশন সম্পর্কে সমগ্র ইন্টারনেটে খুব কম তথ্য রয়েছে।
আমি শুধুমাত্র এই উপকরণ খুঁজে পেয়েছি:

আলেকজান্ডার সার্বুল, 1C-বিট্রিক্স, এবং কিউসফ্ট থেকে আন্তন তুজলুকভের প্রতিবেদন:

আমি এটা শোনার সুপারিশ.

ব্যবহারকারী থেকে আপনার নিজস্ব সমাধান বিকাশ serkyron হাবরে.
আরো পাওয়া গেছে যেমন একটি সিদ্ধান্ত.

Aaand... আসলে, যে সব.

আমি আপনাকে সতর্ক করছি, আমরা উপরের লিঙ্কগুলিতে সমাধানগুলির গুণমান পরীক্ষা করিনি :)
যাইহোক, আমাদের সমাধান প্রস্তুত করার সময়, আমি আলেকজান্ডার সার্বুলের সাথে কথা বলেছিলাম, তারপরে তার প্রতিবেদনটি এখনও উপস্থিত হয়নি, তাই আমার স্লাইডে একটি আইটেম রয়েছে "বিট্রিক্স কুবারনেটস ব্যবহার করে না।"

কিন্তু ডকারে বিট্রিক্স চালানোর জন্য ইতিমধ্যে প্রচুর রেডিমেড ডকার ইমেজ রয়েছে: https://hub.docker.com/search?q=bitrix&type=image

কুবারনেটসে বিট্রিক্সের জন্য একটি সম্পূর্ণ সমাধান তৈরি করার জন্য এটি কি যথেষ্ট?
না. অনেক সমস্যা আছে যেগুলো সমাধান করতে হবে।

কুবারনেটসে বিট্রিক্সের সমস্যাগুলি কী কী?

প্রথমত, ডকারহাব থেকে তৈরি করা ছবি কুবারনেটসের জন্য উপযুক্ত নয়

আমরা যদি একটি মাইক্রোসার্ভিসেস আর্কিটেকচার তৈরি করতে চাই (এবং কুবারনেটে আমরা সাধারণত করি), তাহলে আমাদের কুবারনেটস অ্যাপ্লিকেশনটিকে পাত্রে আলাদা করতে হবে এবং প্রতিটি কন্টেইনারকে একটি ছোট ফাংশন সম্পাদন করতে হবে (এবং এটি ভালভাবে করতে হবে)। কেন শুধু একজন? সংক্ষেপে, যত সহজ তত নির্ভরযোগ্য।
আরো নির্দিষ্ট হতে, এই নিবন্ধ এবং ভিডিও দেখুন, অনুগ্রহ করে: https://habr.com/ru/company/southbridge/blog/426637/

ডকারহাবের ডকার ইমেজগুলি মূলত অল-ইন-ওয়ান নীতির উপর নির্মিত, তাই আমাদের এখনও আমাদের নিজস্ব বাইক তৈরি করতে হয়েছিল এবং এমনকি স্ক্র্যাচ থেকে ছবিগুলিও তৈরি করতে হয়েছিল।

দ্বিতীয় - সাইটের কোড অ্যাডমিন প্যানেল থেকে সম্পাদনা করা হয়

আমরা সাইটে একটি নতুন বিভাগ তৈরি করেছি - কোডটি আপডেট করা হয়েছিল (নতুন বিভাগের নামের সাথে একটি ডিরেক্টরি যুক্ত করা হয়েছিল)।

আপনি অ্যাডমিন প্যানেল থেকে একটি উপাদানের বৈশিষ্ট্য পরিবর্তন করলে, কোড পরিবর্তিত হয়।

Kubernetes "ডিফল্টরূপে" এটির সাথে কাজ করতে পারে না; পাত্রগুলি অবশ্যই রাষ্ট্রহীন হতে হবে।

কারণ: ক্লাস্টারের প্রতিটি কন্টেইনার (পড) ট্র্যাফিকের শুধুমাত্র একটি অংশ প্রক্রিয়া করে। আপনি যদি শুধুমাত্র একটি পাত্রে (পড) কোড পরিবর্তন করেন, তাহলে বিভিন্ন পডে কোড ভিন্ন হবে, সাইটটি ভিন্নভাবে কাজ করবে এবং সাইটের বিভিন্ন সংস্করণ বিভিন্ন ব্যবহারকারীকে দেখানো হবে। আপনি এভাবে বাঁচতে পারবেন না।

তৃতীয় - আপনাকে স্থাপনার সাথে সমস্যাটি সমাধান করতে হবে

আমাদের যদি একটি মনোলিথ এবং একটি "ক্লাসিক" সার্ভার থাকে তবে সবকিছুই বেশ সহজ: আমরা একটি নতুন কোড বেস স্থাপন করি, ডাটাবেস স্থানান্তর করি, কোডের নতুন সংস্করণে ট্র্যাফিক স্যুইচ করি। স্যুইচিং তাত্ক্ষণিকভাবে ঘটে।
আমাদের যদি কুবারনেটসে একটি সাইট থাকে, মাইক্রোসার্ভিসে কাটা, সেখানে কোড সহ প্রচুর কন্টেইনার রয়েছে - ওহ। আপনাকে কোডের একটি নতুন সংস্করণ সহ পাত্র সংগ্রহ করতে হবে, পুরানোগুলির পরিবর্তে সেগুলি রোল আউট করতে হবে, সঠিকভাবে ডাটাবেস স্থানান্তর করতে হবে এবং দর্শনার্থীদের অলক্ষিতভাবে এটি করতে হবে৷ সৌভাগ্যবশত, Kubernetes বিভিন্ন ধরনের স্থাপনার একটি সম্পূর্ণ গুচ্ছ সমর্থন করে এতে আমাদের সাহায্য করে।

চতুর্থ - আপনাকে স্ট্যাটিক্স সংরক্ষণের সমস্যাটি সমাধান করতে হবে

যদি আপনার সাইটটি "শুধুমাত্র" 10 গিগাবাইট হয় এবং আপনি এটি সম্পূর্ণরূপে কন্টেইনারে স্থাপন করেন, তাহলে আপনার কাছে 10 গিগাবাইট কন্টেইনার থাকবে যা স্থাপন করতে চিরকালের জন্য সময় নেয়।
আপনাকে পাত্রের বাইরে সাইটের "সবচেয়ে ভারী" অংশগুলি সংরক্ষণ করতে হবে এবং এটি কীভাবে সঠিকভাবে করা যায় তা নিয়ে প্রশ্ন উঠেছে

আমাদের সমাধান থেকে কি অনুপস্থিত?

সম্পূর্ণ বিট্রিক্স কোডটি মাইক্রোফাংশন/মাইক্রোসার্ভিসে বিভক্ত নয় (যাতে নিবন্ধন আলাদা, অনলাইন স্টোর মডিউল আলাদা, ইত্যাদি)। আমরা প্রতিটি পাত্রে সম্পূর্ণ কোড বেস সংরক্ষণ করি।

আমরা Kubernetes-এ ডাটাবেসও সংরক্ষণ করি না (আমি এখনও উন্নয়ন পরিবেশের জন্য Kubernetes-এ একটি ডাটাবেসের সাথে সমাধান প্রয়োগ করেছি, কিন্তু উৎপাদনের জন্য নয়)।

এটি এখনও সাইট প্রশাসকদের কাছে লক্ষণীয় হবে যে সাইটটি কুবারনেটে চলে। "সিস্টেম চেক" ফাংশনটি সঠিকভাবে কাজ করে না; অ্যাডমিন প্যানেল থেকে সাইট কোড সম্পাদনা করতে, আপনাকে প্রথমে "আমি কোড সম্পাদনা করতে চাই" বোতামটি ক্লিক করতে হবে।

সমস্যাগুলি চিহ্নিত করা হয়েছে, মাইক্রোসার্ভিসগুলি বাস্তবায়নের প্রয়োজনীয়তা নির্ধারণ করা হয়েছে, লক্ষ্যটি পরিষ্কার - কুবারনেটসে বিট্রিক্সে অ্যাপ্লিকেশন চালানোর জন্য একটি কার্যকরী ব্যবস্থা পাওয়া, বিট্রিক্সের ক্ষমতা এবং কুবারনেটসের সুবিধা উভয়ই সংরক্ষণ করা। এর বাস্তবায়ন শুরু করা যাক.

স্থাপত্য

একটি ওয়েব সার্ভার (কর্মী) সহ অনেক "কাজ করা" পড রয়েছে।
ক্রন টাস্ক সহ একটি অধীনে (শুধু একটি প্রয়োজন)।
অ্যাডমিন প্যানেল থেকে সাইট কোড সম্পাদনা করার জন্য একটি আপগ্রেড (এছাড়াও শুধুমাত্র একটি প্রয়োজন)।

আমরা প্রশ্নগুলি সমাধান করি:

• কোথায় সেশন সংরক্ষণ করতে?
• ক্যাশে কোথায় সংরক্ষণ করবেন?
• স্ট্যাটিক্স কোথায় সংরক্ষণ করবেন, একগুচ্ছ পাত্রে স্ট্যাটিক্স গিগাবাইট রাখবেন না?
• ডাটাবেস কিভাবে কাজ করবে?

ডকার ইমেজ

আমরা একটি ডকার ইমেজ তৈরি করে শুরু করি।

আদর্শ বিকল্প হল আমাদের একটি সর্বজনীন চিত্র রয়েছে, এর ভিত্তিতে আমরা কর্মী পড, ক্রন্টাস্ক সহ পড এবং আপগ্রেড পড পাই।

আমরা ঠিক এমন একটি চিত্র তৈরি করেছি.

এর মধ্যে রয়েছে nginx, apache/php-fpm (বিল্ড করার সময় নির্বাচন করা যেতে পারে), মেল পাঠানোর জন্য msmtp, এবং cron।

ইমেজ একত্রিত করার সময়, সাইটের সম্পূর্ণ কোড বেস /অ্যাপ ডিরেক্টরিতে অনুলিপি করা হয় (আমরা একটি পৃথক শেয়ার্ড স্টোরেজে স্থানান্তরিত সেই অংশগুলি বাদ দিয়ে)।

মাইক্রোসার্ভিস, সার্ভিস

শ্রমিক শুঁটি:

• nginx + কন্টেইনার apache/php-fpm + msmtp সহ ধারক
• এমএসএমটিপিকে একটি পৃথক মাইক্রোসার্ভিসে স্থানান্তর করা কার্যকর হয়নি, বিট্রিক্স ক্ষুব্ধ হতে শুরু করেছে যে এটি সরাসরি মেল পাঠাতে পারে না
• প্রতিটি পাত্রে একটি সম্পূর্ণ কোডবেস আছে।
• পাত্রে কোড পরিবর্তনের উপর নিষেধাজ্ঞা।

ক্রন অধীনে:

• apache, php, cron সহ ধারক
• সম্পূর্ণ কোড বেস অন্তর্ভুক্ত
• পাত্রে কোড পরিবর্তন নিষিদ্ধ

এর অধীনে আপগ্রেড করুন:

• nginx ধারক + apache/php-fpm ধারক + msmtp
• পাত্রে কোড পরিবর্তন করার কোন নিষেধাজ্ঞা নেই

সেশন স্টোরেজ

বিট্রিক্স ক্যাশে স্টোরেজ

আরেকটি গুরুত্বপূর্ণ বিষয়: ডাটাবেস থেকে মেল পর্যন্ত সবকিছুর সাথে সংযোগ করার জন্য আমরা পাসওয়ার্ড সংরক্ষণ করি কুবারনেটস সিক্রেটসে। আমরা একটি বোনাস পাই: পাসওয়ার্ডগুলি কেবলমাত্র তাদের কাছে দৃশ্যমান হয় যাদের আমরা গোপনীয়তায় অ্যাক্সেস দিই, এবং প্রকল্পের কোড বেসে অ্যাক্সেস আছে এমন প্রত্যেকের কাছে নয়।

স্ট্যাটিক্সের জন্য স্টোরেজ

আপনি যেকোনো কিছু ব্যবহার করতে পারেন: ceph, nfs (কিন্তু আমরা উৎপাদনের জন্য nfs সুপারিশ করি না), ক্লাউড প্রদানকারীদের থেকে নেটওয়ার্ক স্টোরেজ ইত্যাদি।

স্টোরেজটিকে পাত্রে সাইটের /upload/ ডিরেক্টরি এবং স্ট্যাটিক বিষয়বস্তু সহ অন্যান্য ডিরেক্টরিতে সংযুক্ত করতে হবে।

ডাটাবেসের

সরলতার জন্য, আমরা ডাটাবেসটিকে কুবারনেটসের বাইরে সরানোর পরামর্শ দিই। কুবারনেটসের ভিত্তি একটি পৃথক জটিল কাজ; এটি স্কিমটিকে আরও জটিল করে তুলবে।

সেশন স্টোরেজ

আমরা মেমক্যাশেড ব্যবহার করি :)

এটি সেশন স্টোরেজ ভালভাবে পরিচালনা করে, ক্লাস্টার করা হয় এবং php-এ session.save_path হিসাবে "নেটিভলি" সমর্থিত। ক্লাসিক্যাল মনোলিথিক আর্কিটেকচারে এই ধরনের সিস্টেম বহুবার পরীক্ষা করা হয়েছে, যখন আমরা প্রচুর সংখ্যক ওয়েব সার্ভারের সাথে ক্লাস্টার তৈরি করেছি। স্থাপনার জন্য আমরা হেলম ব্যবহার করি।

$ helm install stable/memcached --name session

php.ini - এখানে চিত্রটিতে মেমক্যাশে সেশন সংরক্ষণের জন্য সেটিংস রয়েছে

আমরা এনভায়রনমেন্ট ভেরিয়েবল ব্যবহার করেছি মেমক্যাশেড সহ হোস্ট সম্পর্কে ডেটা পাস করতে https://kubernetes.io/docs/tasks/inject-data-application/define-environment-variable-container/.
এটি আপনাকে ডেভ, স্টেজ, টেস্ট, প্রোড এনভায়রনমেন্টে একই কোড ব্যবহার করতে দেয় (এগুলির মধ্যে মেমক্যাচ করা হোস্টের নামগুলি আলাদা হবে, তাই আমাদের প্রতিটি পরিবেশে সেশনের জন্য একটি অনন্য হোস্ট নাম পাস করতে হবে)।
বিট্রিক্স ক্যাশে স্টোরেজ

আমাদের ফল্ট-সহনশীল স্টোরেজ দরকার যা সমস্ত পড লিখতে এবং পড়তে পারে।

আমরা মেমক্যাচেডও ব্যবহার করি।
এই সমাধান Bitrix নিজেই দ্বারা সুপারিশ করা হয়।

$ helm install stable/memcached --name cache

bitrix/.settings_extra.php - এখানে বিট্রিক্সে ক্যাশে কোথায় সংরক্ষণ করা হবে তা নির্দিষ্ট করা আছে

আমরা এনভায়রনমেন্ট ভেরিয়েবলও ব্যবহার করি।

ক্রন্টাস্কি

কুবারনেটসে ক্রন্টাস্ক চালানোর জন্য বিভিন্ন পদ্ধতি রয়েছে।

• ক্রন্টাস্ক চালানোর জন্য একটি পড সহ পৃথক স্থাপনা
• ক্রোনজব ক্রনটাস্ক চালানোর জন্য (যদি এটি একটি ওয়েব অ্যাপ হয় - wget সহ https://$host$cronjobname, অথবা kubectl exec একজন কর্মী পডের ভিতরে, ইত্যাদি)
• ইত্যাদি।

আপনি সবচেয়ে সঠিক সম্পর্কে তর্ক করতে পারেন, তবে এই ক্ষেত্রে আমরা "ক্রন্টাস্কের জন্য পড সহ পৃথক স্থাপনা" বিকল্পটি বেছে নিয়েছি।

কিভাবে এটা হলো:

• ConfigMap এর মাধ্যমে অথবা config/addcron ফাইলের মাধ্যমে ক্রোন কাজ যোগ করুন
• এক দৃষ্টান্তে আমরা কর্মী পডের অনুরূপ একটি ধারক চালু করি + এতে মুকুট কাজগুলি সম্পাদন করার অনুমতি দেয়
• একই কোড বেস ব্যবহার করা হয়, একীকরণের জন্য ধন্যবাদ, ধারক সমাবেশ সহজ

আমরা কি ভাল পেতে পারি:

• আমাদের ডেভেলপারদের পরিবেশের (ডকার) অনুরূপ পরিবেশে ক্রন্টাস্ক কাজ করা আছে
• কুবারনেটসের জন্য ক্রন্টাস্কগুলিকে "পুনরায় লেখা" করার দরকার নেই, তারা একই ফর্মে এবং আগের মতো একই কোড বেসে কাজ করে
• ক্রোন টাস্কগুলি শুধুমাত্র অ্যাডমিনদের নয়, প্রোডাকশন শাখায় প্রতিশ্রুতিবদ্ধ অধিকার সহ সমস্ত দলের সদস্যরা যোগ করতে পারেন

সাউথব্রিজ K8SD ডিপ্লোয় মডিউল এবং অ্যাডমিন প্যানেল থেকে কোড এডিটিং

আমরা অধীন আপগ্রেডের কথা বলছিলাম?
সেখানে ট্রাফিক কিভাবে সরাসরি?
হুররে, আমরা পিএইচপিতে এটির জন্য একটি মডিউল লিখেছি :) এটি বিট্রিক্সের জন্য একটি ছোট ক্লাসিক মডিউল। এটি এখনও সর্বজনীনভাবে উপলব্ধ নয়, তবে আমরা এটি খোলার পরিকল্পনা করছি৷
মডিউলটি বিট্রিক্সে একটি নিয়মিত মডিউলের মতো ইনস্টল করা হয়েছে:

এবং এটি এই মত দেখায়:

এটি আপনাকে একটি কুকি সেট করতে দেয় যা সাইট অ্যাডমিনিস্ট্রেটরকে শনাক্ত করে এবং কুবারনেটসকে আপগ্রেড পডে ট্রাফিক পাঠাতে দেয়।

পরিবর্তনগুলি সম্পন্ন হলে, আপনাকে গিট পুশ ক্লিক করতে হবে, কোড পরিবর্তনগুলি গিট-এ পাঠানো হবে, তারপর সিস্টেম কোডের একটি নতুন সংস্করণ সহ একটি চিত্র তৈরি করবে এবং পুরানো পডগুলি প্রতিস্থাপন করে এটিকে ক্লাস্টার জুড়ে "রোল আউট" করবে। .

হ্যাঁ, এটি কিছুটা ক্রাচ, কিন্তু একই সময়ে আমরা মাইক্রোসার্ভিস আর্কিটেকচার বজায় রাখি এবং বিট্রিক্স ব্যবহারকারীদের কাছ থেকে অ্যাডমিন প্যানেল থেকে কোড সংশোধন করার তাদের প্রিয় সুযোগটি কেড়ে নিই না। শেষ পর্যন্ত, এটি একটি বিকল্প; আপনি একটি ভিন্ন উপায়ে কোড সম্পাদনা করার সমস্যা সমাধান করতে পারেন।

হেলম চার্ট

Kubernetes-এ অ্যাপ্লিকেশন তৈরি করতে, আমরা সাধারণত হেলম প্যাকেজ ম্যানেজার ব্যবহার করি।
Kubernetes-এ আমাদের বিট্রিক্স সমাধানের জন্য, আমাদের প্রধান সিস্টেম অ্যাডমিনিস্ট্রেটর সের্গেই বোন্ডারেভ একটি বিশেষ হেলম চার্ট লিখেছেন।

এটি কর্মী, উগ্রেড, ক্রন পড তৈরি করে, প্রবেশ, পরিষেবাগুলি কনফিগার করে এবং কুবারনেটস সিক্রেটস থেকে পডগুলিতে ভেরিয়েবল স্থানান্তর করে।

আমরা গিটল্যাবে কোড সংরক্ষণ করি, এবং আমরা গিটল্যাব থেকে হেলম বিল্ডও চালাই।

সংক্ষেপে, এটি এই মত দেখায়

$ helm upgrade --install project .helm --set image=registrygitlab.local/k8s/bitrix -f .helm/values.yaml --wait --timeout 300 --debug --tiller-namespace=production

ডিপ্লোয়মেন্টের সময় হঠাৎ কিছু ভুল হলে হেলম আপনাকে "সিমলেস" রোলব্যাক করার অনুমতি দেয়। আপনি যখন আতঙ্কের মধ্যে থাকেন না তখন এটি চমৎকার হয় "এফটিপির মাধ্যমে কোডটি ঠিক করুন কারণ প্রোড পড়ে গেছে," কিন্তু কুবারনেটস এটি স্বয়ংক্রিয়ভাবে করে এবং ডাউনটাইম ছাড়াই।

স্থাপন করুন

হ্যাঁ, আমরা গিটল্যাব এবং গিটল্যাব সিআই এর ভক্ত, আমরা এটি ব্যবহার করি :)
গিটল্যাবে প্রজেক্ট রিপোজিটরিতে কমিট করার সময়, গিটল্যাব একটি পাইপলাইন চালু করে যা পরিবেশের একটি নতুন সংস্করণ স্থাপন করে।

পর্যায়ে:

• নির্মাণ (একটি নতুন ডকার ইমেজ নির্মাণ)
• পরীক্ষা (পরীক্ষা)
• পরিষ্কার করুন (পরীক্ষার পরিবেশ অপসারণ)
• পুশ (আমরা এটি ডকার রেজিস্ট্রিতে পাঠাই)
• deploy (আমরা Helm এর মাধ্যমে Kubernetes এ অ্যাপ্লিকেশনটি স্থাপন করি)।

হুররে, এটা প্রস্তুত, এর বাস্তবায়ন করা যাক!
ভাল, অথবা প্রশ্ন জিজ্ঞাসা করুন যদি কোন আছে.

তাহলে আমরা কি করলাম

প্রযুক্তিগত দৃষ্টিকোণ থেকে:

• ডকারাইজড বিট্রিক্স;
• পাত্রে বিট্রিক্সকে "কাট" করুন, যার প্রতিটি ন্যূনতম ফাংশন সম্পাদন করে;
• ধারক রাষ্ট্রহীন অবস্থা অর্জন;
• কুবারনেটসে বিট্রিক্স আপডেট করার সাথে সমস্যার সমাধান করেছে;
• সমস্ত বিট্রিক্স ফাংশন কাজ করতে থাকে (প্রায় সব);
• আমরা Kubernetes-এ স্থাপনা এবং সংস্করণগুলির মধ্যে রোলব্যাক নিয়ে কাজ করেছি।

ব্যবসায়িক দৃষ্টিকোণ থেকে:

• দোষ সহনশীলতা;
• কুবারনেটস টুলস (গিটল্যাব সিআই এর সাথে সহজ ইন্টিগ্রেশন, সিমলেস ডিপ্লয়মেন্ট, ইত্যাদি);
• গোপন পাসওয়ার্ড (শুধুমাত্র তাদের কাছে দৃশ্যমান যারা সরাসরি পাসওয়ার্ডগুলিতে অ্যাক্সেস মঞ্জুর করেছেন);
• একটি একক পরিকাঠামোর মধ্যে অতিরিক্ত পরিবেশ (উন্নয়ন, পরীক্ষা ইত্যাদির জন্য) তৈরি করা সুবিধাজনক।

উত্স: www.habr.com