2 ঘন্টার মধ্যে oVirt। পার্ট 2. ম্যানেজার এবং হোস্ট ইনস্টল করা

এই নিবন্ধটি oVirt-এর সিরিজের পরবর্তী, শুরুতে এখানে.

প্রবন্ধ

1. ভূমিকা
2. একজন ম্যানেজার (ওভির্ট-ইঞ্জিন) এবং হাইপারভাইজার (হোস্ট) ইনস্টল করা হচ্ছে - আমরা এখানে আছি
3. উন্নত সেটিংস

সুতরাং, আসুন ovirt-ইঞ্জিন এবং ovirt-হোস্ট উপাদানগুলির প্রাথমিক ইনস্টলেশনের সমস্যাগুলি বিবেচনা করি।

আরো বিস্তারিত ইনস্টলেশন প্রক্রিয়া সবসময় পাওয়া যাবে ডকুমেন্টেশন.

সন্তুষ্ট

1. ovirt-ইঞ্জিন ইনস্টল করা হচ্ছে
2. ovirt-হোস্ট ইনস্টল করা হচ্ছে
3. oVirtN এ একটি নোড যোগ করা হচ্ছে
4. নেটওয়ার্ক ইন্টারফেস সেট আপ করা হচ্ছে
5. এফসি সেটআপ
6. FCoE সেট আপ করা হচ্ছে
7. ISO ইমেজ স্টোরেজ
8. প্রথম ভিএম

ovirt-ইঞ্জিন ইনস্টল করা হচ্ছে

ইঞ্জিনের জন্য, ন্যূনতম প্রয়োজনীয়তা হল 2 কোর/4 GiB RAM/25 GiB স্টোরেজ৷ প্রস্তাবিত - 4 কোর/16 GiB RAM/50 GiB স্টোরেজ থেকে। আমরা স্ট্যান্ডঅ্যালোন ম্যানেজার বিকল্পটি ব্যবহার করি, যখন ইঞ্জিনটি পরিচালিত ক্লাস্টারের বাইরে একটি ডেডিকেটেড ফিজিক্যাল বা ভার্চুয়াল মেশিনে চলে। আমাদের ইনস্টলেশনের জন্য, আমরা একটি ভার্চুয়াল মেশিন নেব, উদাহরণস্বরূপ, একটি স্বতন্ত্র ESXi*-এ। পূর্বে প্রস্তুত টেমপ্লেট বা kickstart ইনস্টলেশন থেকে স্থাপনা অটোমেশন টুল বা ক্লোনিং ব্যবহার করা সুবিধাজনক।

*দ্রষ্টব্য: একটি উৎপাদন ব্যবস্থার জন্য এটি একটি খারাপ ধারণা কারণ... ম্যানেজার রিজার্ভ ছাড়াই কাজ করে এবং বাধা হয়ে দাঁড়ায়। এই ক্ষেত্রে, স্ব-হোস্টেড ইঞ্জিন বিকল্পটি বিবেচনা করা ভাল।

যদি প্রয়োজন হয়, স্বতন্ত্র হোস্টে রূপান্তর করার পদ্ধতিটি বিস্তারিতভাবে বর্ণনা করা হয়েছে ডকুমেন্টেশন. বিশেষ করে, হোস্টকে হোস্টেড ইঞ্জিন সমর্থন সহ পুনরায় ইনস্টল কমান্ড দিতে হবে।

আমরা একটি ন্যূনতম কনফিগারেশনে VM এ CentOS 7 ইনস্টল করি, তারপরে সিস্টেমটি আপডেট এবং রিবুট করি:

$ sudo yum update -y && sudo reboot

একটি ভার্চুয়াল মেশিনের জন্য একটি গেস্ট এজেন্ট ইনস্টল করা দরকারী:

$ sudo yum install open-vm-tools

VMware ESXi হোস্টের জন্য, অথবা oVirt-এর জন্য:

$ sudo yum install ovirt-guest-agent

সংগ্রহস্থল সংযোগ করুন এবং ম্যানেজার ইনস্টল করুন:

$ sudo yum install https://resources.ovirt.org/pub/yum-repo/ovirt-release43.rpm
$ sudo yum install ovirt-engine

মৌলিক সেটআপ:

$ sudo engine-setup

বেশিরভাগ ক্ষেত্রে, ডিফল্ট সেটিংস যথেষ্ট; সেগুলি স্বয়ংক্রিয়ভাবে ব্যবহার করতে, আপনি কী দিয়ে কনফিগারেশন চালাতে পারেন:

$ sudo engine-setup --accept-defaults

এখন আমরা আমাদের নতুন ইঞ্জিনের সাথে সংযোগ করতে পারি ovirt.lab.example.com. এটি এখনও এখানে খালি, তাই আসুন হাইপারভাইজার ইনস্টল করার দিকে এগিয়ে যাই।

ovirt-হোস্ট ইনস্টল করা হচ্ছে

আমরা একটি ফিজিক্যাল হোস্টে একটি ন্যূনতম কনফিগারেশনে CentOS 7 ইনস্টল করি, তারপর রিপোজিটরি সংযোগ করি, সিস্টেমটি আপডেট এবং রিবুট করি:

$ sudo yum install https://resources.ovirt.org/pub/yum-repo/ovirt-release43.rpm
$ sudo yum update -y && sudo reboot

দ্রষ্টব্য: ইনস্টলেশনের জন্য স্থাপনার অটোমেশন সরঞ্জাম বা kickstart ইনস্টলেশন ব্যবহার করা সুবিধাজনক।

উদাহরণ kickstart ফাইল
সতর্কতা বিদ্যমান পার্টিশন স্বয়ংক্রিয়ভাবে মুছে ফেলা হয়! সাবধান!

# System authorization information
auth --enableshadow --passalgo=sha512
# Use CDROM installation media
cdrom
# Use graphical install
graphical
# Run the Setup Agent on first boot
firstboot --enable
ignoredisk --only-use=sda
# Keyboard layouts
keyboard --vckeymap=us --xlayouts='us','ru' --switch='grp:alt_shift_toggle'
# System language
lang ru_RU.UTF-8

# Network information
network  --bootproto=dhcp --device=ens192 --ipv6=auto --activate
network  --hostname=kvm01.lab.example.com

# Root password 'monteV1DE0'
rootpw --iscrypted $6$6oPcf0GW9VdmJe5w$6WBucrUPRdCAP.aBVnUfvaEu9ozkXq9M1TXiwOm41Y58DEerG8b3Ulme2YtxAgNHr6DGIJ02eFgVuEmYsOo7./
# User password 'metroP0!is'
user --name=mgmt --groups=wheel --iscrypted --password=$6$883g2lyXdkDLbKYR$B3yWx1aQZmYYi.aO10W2Bvw0Jpkl1upzgjhZr6lmITTrGaPupa5iC3kZAOvwDonZ/6ogNJe/59GN5U8Okp.qx.
# System services
services --enabled="chronyd"
# System timezone
timezone Europe/Moscow --isUtc
# System bootloader configuration
bootloader --append=" crashkernel=auto" --location=mbr --boot-drive=sda
# Partition clearing information
clearpart --all
# Disk partitioning information
part /boot --fstype xfs --size=1024 --ondisk=sda  --label=boot
part pv.01 --size=45056 --grow
volgroup HostVG pv.01 --reserved-percent=20
logvol swap --vgname=HostVG --name=lv_swap --fstype=swap --recommended
logvol none --vgname=HostVG --name=HostPool --thinpool --size=40960 --grow
logvol / --vgname=HostVG --name=lv_root --thin --fstype=ext4 --label="root" --poolname=HostPool --fsoptions="defaults,discard" --size=6144 --grow
logvol /var --vgname=HostVG --name=lv_var --thin --fstype=ext4 --poolname=HostPool --fsoptions="defaults,discard" --size=16536
logvol /var/crash --vgname=HostVG --name=lv_var_crash --thin --fstype=ext4 --poolname=HostPool --fsoptions="defaults,discard" --size=10240
logvol /var/log --vgname=HostVG --name=lv_var_log --thin --fstype=ext4 --poolname=HostPool --fsoptions="defaults,discard" --size=8192
logvol /var/log/audit --vgname=HostVG --name=lv_var_audit --thin --fstype=ext4 --poolname=HostPool --fsoptions="defaults,discard" --size=2048
logvol /home --vgname=HostVG --name=lv_home --thin --fstype=ext4 --poolname=HostPool --fsoptions="defaults,discard" --size=1024
logvol /tmp --vgname=HostVG --name=lv_tmp --thin --fstype=ext4 --poolname=HostPool --fsoptions="defaults,discard" --size=1024

%packages
@^minimal
@core
chrony
kexec-tools

%end

%addon com_redhat_kdump --enable --reserve-mb='auto'

%end

%anaconda
pwpolicy root --minlen=6 --minquality=1 --notstrict --nochanges --notempty
pwpolicy user --minlen=6 --minquality=1 --notstrict --nochanges --emptyok
pwpolicy luks --minlen=6 --minquality=1 --notstrict --nochanges --notempty
%end
# Reboot when the install is finished.
reboot --eject

এই ফাইলটি সংরক্ষণ করুন, যেমন ftp.example.com/pub/labkvm.cfg. OS ইনস্টলেশন শুরু করার সময় স্ক্রিপ্টটি ব্যবহার করতে, 'Install CentOS 7' নির্বাচন করুন, প্যারামিটার সম্পাদনা মোড সক্ষম করুন (ট্যাব কী) এবং শেষে যোগ করুন (একটি স্থান সহ, উদ্ধৃতি ছাড়া)

' inst.ks=ftp://ftp.example.com/pub/labkvm.cfg'

.
ইনস্টলেশন স্ক্রিপ্ট /dev/sda-তে বিদ্যমান পার্টিশন মুছে দেয়, নতুন তৈরি করে বিকাশকারী সুপারিশ (lsblk কমান্ড ব্যবহার করে ইনস্টলেশনের পরে সেগুলি দেখতে সুবিধাজনক)। হোস্টের নামটি kvm01.lab.example.com হিসাবে সেট করা হয়েছে (ইনস্টলেশনের পরে, আপনি hostnamectl set-hostname kvm03.lab.example.com কমান্ড দিয়ে এটি পরিবর্তন করতে পারেন), IP ঠিকানাটি স্বয়ংক্রিয়ভাবে প্রাপ্ত হয়, সময় অঞ্চলটি মস্কো, রাশিয়ান ভাষা সমর্থন যোগ করা হয়েছে.

রুট ব্যবহারকারীর পাসওয়ার্ড: monteV1DE0, mgmt ব্যবহারকারীর পাসওয়ার্ড: metroP0! is.
মনোযোগ! বিদ্যমান পার্টিশন স্বয়ংক্রিয়ভাবে মুছে ফেলা হয়! সতর্ক হোন!

আমরা সমস্ত হোস্টে পুনরাবৃত্তি করি (বা সমান্তরালে কার্যকর)। একটি "খালি" সার্ভার চালু করা থেকে একটি প্রস্তুত অবস্থায়, 2টি দীর্ঘ ডাউনলোডগুলি বিবেচনায় নিয়ে, এটি প্রায় 20 মিনিট সময় নেয়৷

oVirt এ একটি নোড যোগ করা হচ্ছে

এটা খুবই সাধারণ:

গণনা → হোস্ট → নতুন →…

উইজার্ডের প্রয়োজনীয় ক্ষেত্রগুলি হল নাম (প্রদর্শন নাম, যেমন kvm03), হোস্টনাম (FQDN, যেমন kvm03.lab.example.com) এবং প্রমাণীকরণ বিভাগ - রুট ব্যবহারকারী (অপরিবর্তনীয়) — পাসওয়ার্ড বা SSH পাবলিক কী।

বোতাম টিপানোর পরে Ok আপনি একটি বার্তা পাবেন "আপনি এই হোস্টের জন্য পাওয়ার ম্যানেজমেন্ট কনফিগার করেননি। আপনি কি নিশ্চিত আপনি চালিয়ে যেতে চান?". এটি স্বাভাবিক - হোস্ট সফলভাবে সংযুক্ত হওয়ার পরে আমরা পাওয়ার ম্যানেজমেন্ট পরে দেখব। যাইহোক, যদি হোস্টগুলি ইনস্টল করা মেশিনগুলি পরিচালনা সমর্থন না করে (IPMI, iLO, DRAC, ইত্যাদি), আমি এটি নিষ্ক্রিয় করার পরামর্শ দিই: কম্পিউট → ক্লাস্টার → ডিফল্ট → সম্পাদনা → ফেন্সিং প্লোইসি → ফেন্সিং সক্ষম করুন, বাক্সটি আনচেক করুন৷

যদি oVirt সংগ্রহস্থল হোস্টের সাথে সংযুক্ত না থাকে তবে ইনস্টলেশন ব্যর্থ হবে, তবে এটি ঠিক আছে - আপনাকে এটি যোগ করতে হবে, তারপর ইনস্টল -> পুনরায় ইনস্টল করুন ক্লিক করুন।

হোস্টকে সংযুক্ত করতে 5-10 মিনিটের বেশি সময় লাগে না।

নেটওয়ার্ক ইন্টারফেস সেট আপ করা হচ্ছে

যেহেতু আমরা একটি ত্রুটি-সহনশীল সিস্টেম তৈরি করছি, নেটওয়ার্ক সংযোগকে অবশ্যই একটি অপ্রয়োজনীয় সংযোগ প্রদান করতে হবে, যা কম্পিউট → হোস্ট → ট্যাবে করা হয় হোস্ট → নেটওয়ার্ক ইন্টারফেস - হোস্ট নেটওয়ার্ক সেটআপ করুন।

আপনার নেটওয়ার্ক সরঞ্জাম এবং স্থাপত্য পদ্ধতির ক্ষমতার উপর নির্ভর করে, বিকল্পগুলি সম্ভব। টপ-অফ-র্যাক সুইচগুলির একটি স্ট্যাকের সাথে সংযোগ করা ভাল যাতে একটি ব্যর্থ হলে, নেটওয়ার্ক উপলব্ধতা বাধাগ্রস্ত না হয়। আসুন একটি সমষ্টিগত LACP চ্যানেলের উদাহরণ দেখি। একটি সমষ্টিগত চ্যানেল কনফিগার করতে, মাউস দিয়ে ২য় অব্যবহৃত অ্যাডাপ্টারটিকে "নেও" এবং ১ম এ নিয়ে যান৷ একটি উইন্ডো খুলবে নতুন বন্ড তৈরি করুন, যেখানে LACP (মোড 4, ডায়নামিক লিঙ্ক এগ্রিগেশন, 802.3ad) ডিফল্টরূপে নির্বাচিত হয়। সুইচের পাশে, সাধারণ LACP গ্রুপ কনফিগারেশন সঞ্চালিত হয়। যদি সুইচগুলির একটি স্ট্যাক তৈরি করা সম্ভব না হয়, আপনি সক্রিয়-ব্যাকআপ মোড (মোড 1) ব্যবহার করতে পারেন। আমরা পরবর্তী নিবন্ধে VLAN সেটিংস দেখব, এবং নথিতে একটি নেটওয়ার্ক সেট আপ করার জন্য সুপারিশ সহ আমরা আরও বিশদে যাব পরিকল্পনা এবং পূর্বশর্ত নির্দেশিকা.

এফসি সেটআপ

ফাইবার চ্যানেল (FC) বাক্সের বাইরে সমর্থিত এবং ব্যবহার করা সহজ। oVirt সেট আপ করার অংশ হিসাবে স্টোরেজ সিস্টেম সেট আপ এবং জোনিং ফ্যাব্রিক সুইচ সহ আমরা একটি স্টোরেজ নেটওয়ার্ক সেট আপ করব না।

FCoE সেট আপ করা হচ্ছে

FCoE, আমার মতে, স্টোরেজ নেটওয়ার্কে ব্যাপক হয়ে ওঠেনি, কিন্তু প্রায়ই সার্ভারে "শেষ মাইল" হিসাবে ব্যবহৃত হয়, উদাহরণস্বরূপ, HPE ভার্চুয়াল কানেক্টে।

FCoE সেট আপ করার জন্য অতিরিক্ত সহজ পদক্ষেপ প্রয়োজন।

FCoE ইঞ্জিন সেটআপ করুন

Red Hat ওয়েবসাইটে নিবন্ধ খ.৩. FCoE ব্যবহার করার জন্য কিভাবে Red Hat ভার্চুয়ালাইজেশন ম্যানেজার সেট আপ করবেন
ম্যানেজারের উপর, নিম্নলিখিত কমান্ডের সাহায্যে আমরা ম্যানেজারে কী যোগ করি এবং এটি পুনরায় চালু করি:

$ sudo engine-config -s UserDefinedNetworkCustomProperties='fcoe=^((enable|dcb|auto_vlan)=(yes|no),?)*$'
$ sudo systemctl restart ovirt-engine.service

নোড FCoE সেটআপ করুন

oVirt-হোস্টগুলিতে আপনাকে ইনস্টল করতে হবে

$ sudo yum install vdsm-hook-fcoe

এরপরে রয়েছে সাধারণ FCoE সেটআপ, রেড হ্যাটের নিবন্ধ: 25.5। ইথারনেট ইন্টারফেসের মাধ্যমে একটি ফাইবার চ্যানেল কনফিগার করা হচ্ছে.

ব্রডকম সিএনএর জন্য, অতিরিক্তভাবে দেখুন ব্রডকম-ভিত্তিক অ্যাডাপ্টারের জন্য ব্যবহারকারীর নির্দেশিকা FCoE কনফিগারেশন.

নিশ্চিত করুন যে প্যাকেজগুলি ইনস্টল করা আছে (ইতিমধ্যে সর্বনিম্ন):

$ sudo yum install fcoe-utils lldpad

পরবর্তী সেটআপটি নিজেই (ens3f2 এবং ens3f3 এর পরিবর্তে আমরা স্টোরেজ নেটওয়ার্কে অন্তর্ভুক্ত CNA গুলির নামগুলি প্রতিস্থাপন করি):

$ sudo cp /etc/fcoe/cfg-ethx /etc/fcoe/cfg-ens3f2
$ sudo cp /etc/fcoe/cfg-ethx /etc/fcoe/cfg-ens3f3
$ sudo vim /etc/fcoe/cfg-ens3f2
$ sudo vim /etc/fcoe/cfg-ens3f3

গুরুত্বপূর্ণ: যদি নেটওয়ার্ক ইন্টারফেস হার্ডওয়্যারে DCB/DCBX সমর্থন করে, তাহলে DCB_REQUIRED প্যারামিটারটি অবশ্যই নম্বরে সেট করতে হবে।

DCB_REQUIRED="হ্যাঁ" → #DCB_REQUIRED="হ্যাঁ"

এর পরে, আপনাকে নিশ্চিত করতে হবে যে সমস্ত ইন্টারফেসে অ্যাডমিন স্ট্যাটাস অক্ষম করা আছে, সহ। FCoE সক্ষম ছাড়া:

$ sudo lldptool set-lldp -i ens3f0 adminStatus=disabled
...
$ sudo lldptool set-lldp -i ens3f3 adminStatus=disabled

অন্য নেটওয়ার্ক ইন্টারফেস থাকলে, আপনি LLDP সক্ষম করতে পারেন:

$ sudo systemctl start lldpad
$ sudo systemctl enable lldpad

আগেই বলা হয়েছে, যদি হার্ডওয়্যার DCB/DCBX ব্যবহার করা হয়, তাহলে DCB_REQUIRED সেটিংস সক্রিয় করতে হবে না। এবং এই ধাপটি এড়িয়ে যেতে পারে।

$ sudo dcbtool sc ens3f2 dcb on
$ sudo dcbtool sc ens3f3 dcb on
$ sudo dcbtool sc ens3f2 app:fcoe e:1
$ sudo dcbtool sc ens3f3 app:fcoe e:1
$ sudo ip link set dev ens3f2 up
$ sudo ip link set dev ens3f3 up
$ sudo systemctl start fcoe
$ sudo systemctl enable fcoe

নেটওয়ার্ক ইন্টারফেসের জন্য, অটোস্টার্ট সক্ষম কিনা তা পরীক্ষা করুন:

$ sudo vim /etc/sysconfig/network-scripts/ifcfg-ens3f2
$ sudo vim /etc/sysconfig/network-scripts/ifcfg-ens3f3

ONBOOT=yes

কনফিগার করা FCoE ইন্টারফেস দেখুন, কমান্ড আউটপুট খালি হওয়া উচিত নয়।

$ sudo fcoeadm -i

FCoE এর পরবর্তী কনফিগারেশন নিয়মিত FC হিসাবে সঞ্চালিত হয়।

এরপরে আসে স্টোরেজ সিস্টেম এবং নেটওয়ার্কের কনফিগারেশন - জোনিং, SAN হোস্ট, ভলিউম/LUN তৈরি এবং উপস্থাপনা, যার পরে স্টোরেজটি ওভাইর্ট-হোস্টের সাথে সংযুক্ত করা যেতে পারে: স্টোরেজ → ডোমেন → নতুন ডোমেন।

ডেটা হিসাবে ডোমেন ফাংশন ছেড়ে দিন, ফাইবার চ্যানেল হিসাবে স্টোরেজের ধরন, যে কোনও হিসাবে হোস্ট, যেমন storNN-volMM হিসাবে নাম।

নিশ্চয়ই আপনার স্টোরেজ সিস্টেম শুধুমাত্র পাথ রিজার্ভেশনের জন্য নয়, ভারসাম্য বজায় রাখার জন্যও সংযোগের অনুমতি দেয়। অনেক আধুনিক সিস্টেম সমানভাবে সর্বোত্তমভাবে (ALUA সক্রিয়/সক্রিয়) সমস্ত পথ বরাবর ডেটা প্রেরণ করতে সক্ষম।

সক্রিয় অবস্থায় সমস্ত পাথ সক্রিয় করতে, আপনাকে মাল্টিপাসিং কনফিগার করতে হবে, নিম্নলিখিত নিবন্ধগুলিতে এই বিষয়ে আরও অনেক কিছু।

NFS এবং iSCSI সেট আপ একই ভাবে করা হয়।

ISO ইমেজ স্টোরেজ

OS ইনস্টল করার জন্য, আপনার তাদের ইনস্টলেশন ফাইলগুলির প্রয়োজন হবে, প্রায়শই ISO ইমেজ আকারে উপলব্ধ। আপনি অন্তর্নির্মিত পথটি ব্যবহার করতে পারেন, তবে oVirt-এ চিত্রগুলির সাথে কাজ করার জন্য, একটি বিশেষ ধরণের স্টোরেজ তৈরি করা হয়েছে - ISO, যা একটি NFS সার্ভারের লক্ষ্য করা যেতে পারে। এটি যোগ করুন:

সঞ্চয়স্থান → ডোমেন → নতুন ডোমেন,
ডোমেন ফাংশন → ISO,
রপ্তানি পথ - যেমন mynfs01.example.com:/exports/ovirt-iso (সংযোগের সময়, ফোল্ডারটি খালি থাকতে হবে, ম্যানেজার অবশ্যই এটিতে লিখতে সক্ষম হবেন),
নাম - যেমন mynfs01-iso।

ম্যানেজার ছবি সংরক্ষণ করার জন্য একটি কাঠামো তৈরি করবে
/exports/ovirt-iso/<some UUID>/images/11111111-1111-1111-1111-111111111111/

যদি আমাদের NFS সার্ভারে ইতিমধ্যেই ISO ইমেজ থাকে, তাহলে স্থান বাঁচাতে ফাইল কপি করার পরিবর্তে এই ফোল্ডারে লিঙ্ক করা সুবিধাজনক।

প্রথম ভিএম

এই পর্যায়ে, আপনি ইতিমধ্যেই প্রথম ভার্চুয়াল মেশিন তৈরি করতে পারেন, এটিতে OS এবং অ্যাপ্লিকেশন সফ্টওয়্যার ইনস্টল করতে পারেন।

গণনা → ভার্চুয়াল মেশিন → নতুন

নতুন মেশিনের জন্য, একটি নাম (নাম) নির্দিষ্ট করুন, একটি ডিস্ক তৈরি করুন (ইনস্ট্যান্স ইমেজ → তৈরি করুন) এবং একটি নেটওয়ার্ক ইন্টারফেস সংযোগ করুন (ভিএনআইসি প্রোফাইল বাছাই করে VM নেটওয়ার্ক ইন্টারফেসগুলিকে ইনস্ট্যান্টিয়েট করুন → এখন তালিকা থেকে একমাত্র ovirtmgmt নির্বাচন করুন)।

ক্লায়েন্ট সাইডে আপনার একটি আধুনিক ব্রাউজার এবং প্রয়োজন SPICE ক্লায়েন্ট কনসোলের সাথে যোগাযোগ করতে।

প্রথম মেশিনটি সফলভাবে চালু করা হয়েছে। যাইহোক, সিস্টেমের আরও সম্পূর্ণ অপারেশনের জন্য, অনেকগুলি অতিরিক্ত সেটিংস প্রয়োজন, যা আমরা নিম্নলিখিত নিবন্ধগুলিতে চালিয়ে যাব।

উত্স: www.habr.com