Krijimi i njĂ« infrastrukture IT tĂ« qĂ«ndrueshme. Pjesa 1 — pĂ«rgatitja pĂ«r shpĂ«rndarjen e klasterit oVirt 4.3

Lexhuesit e lexuesve për të njohur parimet e ndërtimit të një infrastrukture të qëndrueshme për një ndërmarrje të vogël brenda një data center-i, të cilat do të shqyrtohen në një cikël të vogël artikujsh.

Hyrja

Nën Data Center (Qendra e Përpunimit të të Dhënave) mund të kuptohet si:

  • njĂ« raft i vetĂ«-pĂ«rgatitur nĂ« "dhomĂ«n e serverĂ«ve" brenda ndĂ«rmarrjes, qĂ« plotĂ«son kĂ«rkesat minimale pĂ«r furnizim me energji elektrike dhe ajĂ«r tĂ« kondicionuar, si dhe ka njĂ« dalje nĂ« Internet pĂ«rmes dy ofruesve tĂ« pavarur;
  • njĂ« raft i qiruar me pajisje tĂ« veta, i vendosur nĂ« njĂ« data center tĂ« vĂ«rtetĂ« – e ashtuquajtura co-location, qĂ« pĂ«rmbush standardin Tier III ose IV, dhe ku garantohen furnizimi i besueshĂ«m me energji elektrike, ajri i kondicionuar dhe njĂ« dalje e qĂ«ndrueshme nĂ« Internet;
  • pajisje tĂ«rĂ«sisht tĂ« qira nĂ« njĂ« data center Tier III ose IV.

Cili opsion i vendosjes tĂ« zgjidhet – nĂ« çdo rast Ă«shtĂ« individual dhe zakonisht varet nga disa faktorĂ« tĂ« rĂ«ndĂ«sishĂ«m:

  • pĂ«r çfarĂ« i nevojitet ndĂ«rmarrjes infrastruktura e saj IT;
  • çfarĂ« saktĂ«sisht dĂ«shiron njĂ« ndĂ«rmarrje nga infrastruktura IT (besueshmĂ«ria, shkallĂ«zueshmĂ«ria, menaxhueshmĂ«ria etj.);
  • sĂ« shumti tĂ« investimeve fillestare nĂ« infrastrukturĂ«n IT, si dhe llojit tĂ« shpenzimeve pĂ«r tĂ« - kapitale (do tĂ« thotĂ« se blihen pajisje tĂ« veta) ose operacionale (pajisjet zakonisht jepen me qira);
  • horizontin e planifikimit tĂ« vetĂ« ndĂ«rmarrjes.

PĂ«r faktorĂ«t qĂ« ndikojnĂ« nĂ« vendimin e njĂ« ndĂ«rmarrjeje pĂ«r krijimin dhe pĂ«rdorimin e infrastrukturĂ«s sĂ« saj IT, mund tĂ« shkruhet shumĂ«, por qĂ«llimi ynĂ« Ă«shtĂ« qĂ« tĂ« tregojmĂ« nĂ« praktikĂ« se si tĂ« krijojmĂ« kĂ«tĂ« infrastrukturĂ«, pĂ«r t’u siguruar qĂ« ajo tĂ« jetĂ« edhe e qĂ«ndrueshme dhe gjithashtu tĂ« mund tĂ« kursejmĂ« – tĂ« ulim shpenzimet pĂ«r blerjen e softuerit komercial, ose madje t’i shmangim ato.

Siç tregon praktika e gjatë, nuk është e mençur të kursesh në harduer, pasi ai që është i kursyer paguan dy herë, madje shumë më tepër. Megjithatë, një harduer i mirë është vetëm një rekomandim, dhe në fund të fundit, çfarë të blihen dhe për sa, varet nga mundësitë e ndërmarrjes dhe "kursimi" i menaxhmentit të saj. Këtu «kursimi» duhet kuptuar në një kuptim pozitiv, pasi është më mirë të investosh në harduer në fazën fillestare, për të mos patur më vonë probleme të mëdha me mbështetje dhe shkallëzim, pasi planifikimi i gabuar fillestar dhe kursimi i tepërt mund të çojnë në shpenzime më të mëdha në të ardhmen sesa gjatë lançimit të projektit.

Pra, të dhënat fillestare për projektin:

  • ka njĂ« ndĂ«rmarrje qĂ« ka vendosur tĂ« krijojĂ« njĂ« portal web dhe tĂ« nxjerrĂ« veprimtarinĂ« e saj nĂ« Internet;
  • ndĂ«rmarrja ka vendosur tĂ« marrĂ« me qira njĂ« raft pĂ«r vendosjen e pajisjeve tĂ« saj nĂ« njĂ« qendĂ«r tĂ« mirĂ« tĂ« tĂ« dhĂ«nave, e cila ka certifikim sipas standardit Tier III;
  • ndĂ«rmarrja ka vendosur tĂ« mos kursejĂ« shumĂ« nĂ« harduer, dhe prandaj ka blerĂ« pajisjet e mĂ«poshtme me garanci dhe mbĂ«shtetje tĂ« zgjatur:

Lista e pajisjeve

  • dy serverĂ« fizikĂ« Dell PowerEdge R640 nĂ« kĂ«tĂ« pĂ«rbĂ«rje:
  • dy procesorĂ« Intel Xeon Gold 5120
  • 512 Gb RAM
  • dy disqe SAS nĂ« RAID1, pĂ«r instalimin e OS
  • kartĂ« rrjeti e integruar 4-portĂ«she 1G
  • dy karta rrjeti 2-portĂ«she 10G
  • njĂ« HBA FC 2-portĂ«sh 16G.
  • Sistem i ruajtjes Dell MD3820f me dy kontrollues, i lidhur nĂ«pĂ«rmjet FC 16G direkt me hostet Dell;
  • dy switch-a tĂ« nivelit tĂ« dytĂ« — Cisco WS-C2960RX-48FPS-L tĂ« bashkuar nĂ« njĂ« stek;
  • dy switch-a tĂ« nivelit tĂ« tretĂ« — Cisco WS-C3850-24T-E, tĂ« bashkuar nĂ« njĂ« stek;
  • Rostrumi, UPS, PDU, serverĂ«t e konsolĂ«s – ofrohen nga dataqendra.

Siç e shohim, pajisjet e disponueshme kanë perspektiva të mira për zgjerim horizontal dhe vertikal, në rast se kompania mund të konkurrojë me kompani të tjera me profil të ngjashëm në internet dhe të fillojë të gjenerojë fitim, të cilin mund ta investojë për zgjerimin e burimeve për konkurrencë dhe rritje të fitimit.

Cilat pajisje mund të shtojmë, nëse kompania vendos të rrisë performancën e klasterit tonë kompjuterik:

  • kemi njĂ« rezervĂ« tĂ« madhe pĂ«r numrin e porteve nĂ« switch-at 2960X, kĂ«shtu qĂ« mund tĂ« shtojmĂ« mĂ« shumĂ« serverĂ« fizikĂ«;
  • tĂ« blini dy switch-e FC pĂ«r t'i lidhur me sistemin e ruajtjes dhe serverat shtesĂ«;
  • serverat ekzistues mund tĂ« pĂ«rmirĂ«sohen – tĂ« shtohet memorie, tĂ« zĂ«vendĂ«sohen procesorĂ«t me mĂ« tĂ« fuqishĂ«m, tĂ« lidhen nĂ« rrjetin 10G me adaptuesit e rrjetit ekzistues;
  • pĂ«r sistemin e ruajtjes mund tĂ« shtohen raftet shtesĂ« tĂ« disks me llojin e nevojshĂ«m tĂ« disks – SAS, SATA ose SSD, nĂ« varĂ«si tĂ« ngarkesĂ«s sĂ« planifikuar;
  • pasi tĂ« shtohen switch-et FC, mund tĂ« blini edhe njĂ« sistem ruajtjeje tjetĂ«r pĂ«r tĂ« shtuar mĂ« shumĂ« kapacitet disk, dhe nĂ«se blini opsionin e veçantĂ« Remote Replication, do tĂ« mund tĂ« konfiguroni replikimin e tĂ« dhĂ«nave midis sistemeve tĂ« ruajtjes si brenda njĂ« qendre tĂ« tĂ« dhĂ«nave, ashtu edhe midis qendrave tĂ« tĂ« dhĂ«nave (por kjo Ă«shtĂ« jashtĂ« kuadrit tĂ« artikullit);
  • po ashtu ekzistojnĂ« switch-e tĂ« nivelit tĂ« tretĂ« – Cisco 3850, tĂ« cilĂ«t mund tĂ« pĂ«rdoren si njĂ« themel i qĂ«ndrueshĂ«m i rrjetit, pĂ«r rrugĂ«zim me shpejtĂ«si tĂ« lartĂ« mes rrjeteve tĂ« brendshme. Kjo do tĂ« ndihmojĂ« shumĂ« nĂ« tĂ« ardhmen, ndĂ«rsa infrastruktura e brendshme rritet. Po ashtu, 3850 ka porte 10G, tĂ« cilat mund tĂ« aktivizohen mĂ« vonĂ«, gjatĂ« pĂ«rmirĂ«simit tĂ« pajisjeve tĂ« rrjetit nĂ« shpejtĂ«sinĂ« 10G.

Duke virtualization është thelbësore sot, ne jemi natyrisht në trend, për më tepër është një mënyrë e shkëlqyer për të reduktuar kostot e blerjes së serverëve të shtrenjtë për elemente të ndryshme të infrastrukturës (serverë web, baza të dhënash, etj.), të cilat nuk përdoren gjithmonë në mënyrën më optimale në rastin e ngarkesës së ulët, që është e pritur në fillim të lançimit të projektit.

Gjithashtu, virtualizimi ka shumë përfitime të tjera që mund të na duhen: qëndrushmëria e VM-së ndaj defekteve të serverëve harduerikë, migrimi në kohë reale midis nyjave harduerike të klashtës për mirëmbajtje, shpërndarja manuale ose automatike e ngarkesës midis nyjave të klashtës, etj.

PĂ«r harduerin e blerĂ« nga kompania, implementimi i njĂ« klastri me disponueshmĂ«ri tĂ« lartĂ« VMware vSphere Ă«shtĂ« i arsyeshĂ«m, por duke qenĂ« se çdo software nga VMware Ă«shtĂ« i njohur pĂ«r çmimet e tij “tĂ« kripura”, ne do tĂ« pĂ«rdorim njĂ« softuer tĂ«rĂ«sisht falas pĂ«r menaxhimin e virtualizimit – oVirt, mbi tĂ« cilin Ă«shtĂ« ndĂ«rtuar produkti i njohur, por tashmĂ« komercial — RHEV.

Software oVirt nevojitet pĂ«r tĂ« lidhur tĂ« gjithĂ« elementet e infrastrukturĂ«s nĂ« njĂ« tĂ«rĂ«si, pĂ«r tĂ« mundĂ«suar njĂ« punĂ« tĂ« lehtĂ« me makinat virtuale me disponueshmĂ«ri tĂ« lartĂ« – kĂ«to janĂ« baza tĂ« dhĂ«nash, aplikacione web, serverĂ« proxy, balancues trafiku, serverĂ« pĂ«r mbledhjen e log-eve dhe analitikĂ«s etj., pra ato nga tĂ« cilat konsistohet portali ynĂ« web.

Duke përmbledhur këtë hyrje, na presin artikujt e mëposhtëm, të cilat në praktikë do të tregojnë se si të ndërtohet e gjithë infrastruktura harduerike dhe softuerike të kompanisë:

Lista e artikujve

  • Pjesa 1. PĂ«rgatitja pĂ«r shpĂ«rndarjen e klasterit oVirt 4.3.
  • Pjesa 2. Instalimi dhe konfigurimi i klasterit oVirt 4.3.
  • Pjesa 3. Konfigurimi i klasterit VyOS, organizimi i rrugĂ«zimit tĂ« jashtĂ«m me qĂ«ndrueshmĂ«ri.
  • Pjesa 4. Konfigurimi i grumbullit Cisco 3850, organizimi i rrugĂ«zimit brenda rrjetit.

Pjesa 1. Përgatitja për shpërndarjen e klasterit oVirt 4.3

Konfigurimi bazik i hosteve

Instalimi dhe konfigurimi i sistemit operativ – Ă«shtĂ« faza mĂ« e thjeshtĂ«. Ka shumĂ« artikuj se si tĂ« instaloni dhe konfiguroni nĂ« mĂ«nyrĂ« tĂ« duhur sistemin operativ, prandaj nuk ka kuptim tĂ« pĂ«rpiqeni tĂ« ofroni diçka ekskluzive nĂ« kĂ«tĂ« drejtim.

Kështu, kemi dy hoste Dell PowerEdge R640, mbi të cilët duhet të instalohet OS dhe të kryhen konfigurime fillestare për t'i përdorur si hipervizorë për të drejtuar makina virtuale në klasterin oVirt 4.3.

Duke pasur parasysh se planifikojmë të përdorim një software të lirë jo-komercial oVirt, sistemi i zgjedhur për shpërndarjen e hosteve është CentOS 7.7, megjithatë mund të instalohen edhe sisteme të tjera operuese në hostet për oVirt:

  • njĂ« ndĂ«rtim tĂ« veçantĂ« tĂ« bazuar nĂ« RHEL, tĂ« njohur si oVirt Node;
  • OS Oracle Linux, verĂ«n e vitit 2019. u shpall mbĂ«shtetje pĂ«r funksionimin e oVirt mbi tĂ«.

Para instalimit të OS, rekomandohet:

  • tĂ« konfigurohet ndĂ«rfaqja rrjet iDRAC nĂ« tĂ« dy hostet;
  • tĂ« pĂ«rditĂ«sohen firmware-t pĂ«r BIOS dhe iDRAC nĂ« versionet mĂ« tĂ« fundit;
  • tĂ« konfigurohet Profili i Sistemit tĂ« serverit preferencialisht nĂ« modin Performance;
  • tĂ« konfigurohet RAID nga diskĂ«t lokalĂ« (rekomandohet RAID1) pĂ«r instalimin e OS nĂ« server.

Pastaj instalojmĂ« OS nĂ« diskun e krijuar mĂ« parĂ« pĂ«rmes iDRAC – procesi i instalimit Ă«shtĂ« i zakonshĂ«m, nuk ka ndonjĂ« moment tĂ« veçantĂ« nĂ« tĂ«. Qasja nĂ« konsolĂ«n e serverit pĂ«r tĂ« filluar instalimin e OS gjithashtu mund tĂ« arrihet pĂ«rmes iDRAC, megjithatĂ« nuk ka asgjĂ« qĂ« pengon lidhjen e njĂ« monitori, njĂ« tastiere dhe njĂ« maus direkt nĂ« server dhe tĂ« instaloni OS nga «flash».

Pas instalimit të OS-së, kryejmë konfigurimet fillestare:

systemctl enable network.service
systemctl start network.service
systemctl status network.service

systemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManager

yum install -y ntp
systemctl enable ntpd.service
systemctl start ntpd.service

cat /etc/sysconfig/selinux
SELINUX=disabled
SELINUXTYPE=targeted

cat /etc/security/limits.conf
 *               soft    nofile         65536
 *               hard   nofile         65536

cat /etc/sysctl.conf
vm.max_map_count = 262144
vm.swappiness = 1

Instalojmë grupin bazë të softuerit

Për konfigurimin fillestar të OS-së, është e nevojshme të konfiguroni një ndërlidhës rrjeti në server, që të mund të aksesoni Internetin për të përditësuar OS-në dhe instaluar paketat e nevojshme. Kjo mund të bëhet gjatë procesit të instalimit të OS-së, ose pas tij.

yum -y install epel-release
yum update
yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet 

Të gjitha konfigurimet dhe grupi i softuerëve të mësipërm janë një çështje preferencash personale dhe ky grup ka vetëm karakter rekomandues.

Duke qenë se host-i ynë do të luajë rolin e hipervizorit, le të aktivizojmë profilin e duhur të performancës:

systemctl enable tuned 
systemctl start tuned 
systemctl status tuned 

tuned-adm profile 
tuned-adm profile virtual-host 

Për më shumë informacion mbi profilin e performancës, mund të lexoni këtu: «Kapitulli 4. tuned dhe tuned-adm«.

Pas instalimit tĂ« sistemit operativ, kalojmĂ« nĂ« pjesĂ«n tjetĂ«r – konfigurimin e ndĂ«rfaqeve rrjetore nĂ« hostĂ«t dhe grupin e switch-Ă«ve Cisco 2960X.

Konfigurimi i grupit të switch-ëve Cisco 2960X

NĂ« projektin tonĂ« do tĂ« pĂ«rdoren numrat e mĂ«poshtĂ«m tĂ« VLAN-Ă«ve – ose domain tĂ« transmetimit qĂ« janĂ« tĂ« izoluara nga njĂ«ra-tjetra, me qĂ«llim ndarjen e llojeve tĂ« ndryshĂ«m tĂ« trafikut:

VLAN 10 – Internet
VLAN 17 – Menaxhimi (iDRAC, SHT, menaxhimi i switch-eve)
VLAN 32 – Rrjeti i prodhimit VM
VLAN 33 – rrjeti i ndĂ«rveprimit (me kontraktorĂ«t e jashtĂ«m)
VLAN 34 – Rrjeti i testimit VM
VLAN 35 – Rrjeti i zhvilluesve VM
VLAN 40 – Rrjeti i monitorimit

Para fillimit të punimeve, do të paraqesim skemën në nivelin L2, në të cilin duhet të arrijmë në fund:

Krijimi i njĂ« infrastrukture IT tĂ« qĂ«ndrueshme. Pjesa 1 — pĂ«rgatitja pĂ«r shpĂ«rndarjen e klasterit oVirt 4.3

Për ndërveprimin rrjetor midis hostëve oVirt dhe makinave virtuale ndërmjet tyre, si dhe për menaxhimin e SHT-së tonë, nevojitet konfigurimi i grupit të switch-ëve Cisco 2960X.

Hostët Dell kanë karta rrjeti të ndërtuara me 4 porte, prandaj, organizimi i lidhjes së tyre me Cisco 2960X është i arsyeshëm me anë të një lidhjeje rrjetore të besueshme, duke përdorur grupimin e porteve fizike të rrjetit në një ndërfaqe logjike, dhe protokollin LACP (802.3ad):

  • dy portat e para nĂ« host konfiguruhen nĂ« modalitetin e lidhjes dhe lidhĂ«n me prekamun 2960X – nĂ« kĂ«tĂ« ndĂ«rfaqe logjike do tĂ« konfigurohet ura me adresĂ« pĂ«r menaxhimin e hostit, monitorimin, komunikimin me hoste tĂ« tjerĂ« nĂ« klasterin oVirt, gjithashtu do tĂ« pĂ«rdoret pĂ«r Migrimin e Live tĂ« makinave virtuale;
  • dy portat e tjera nĂ« host gjithashtu konfigurohen nĂ« modalitetin e lidhjes dhe lidhĂ«n me 2960X – nĂ« kĂ«tĂ« ndĂ«rfaqe logjike me ndihmĂ«n e oVirt, mĂ« tej do tĂ« krijohen urat (nĂ« VLAN-at pĂ«rkatĂ«se) tĂ« cilat do tĂ« lidhen me makinat virtuale.
  • tĂ« dy portat e rrjetit, brenda njĂ« ndĂ«rfaqe logjike, do tĂ« jenĂ« aktive, domethĂ«nĂ«, trafiku do tĂ« mund tĂ« transmetohet njĂ«kohĂ«sisht, nĂ« modalitetin e balancimit.
  • konfigurimet e rrjetit nĂ« node-t e klasterit duhet tĂ« jenĂ« absolutisht TË NJËJTA, pĂ«rveç adresave IP.

Konfigurimi bazë i stackut të komutatorëve 2960X dhe portave të tij

Parakushtet tona për komutatorët duhet të jenë:

  • tĂ« montuar nĂ« raft;
  • tĂ« lidhur pĂ«rmes dy kabllove tĂ« veçantĂ« nĂ« gjatĂ«sinĂ« e duhur, pĂ«r shembull, CAB-STK-E-1M;
  • tĂ« lidhur me energjinĂ« elektrike;
  • janĂ« lidhur me stacionin e punĂ«s sĂ« administratorit pĂ«rmes portĂ«s konsolĂ«, pĂ«r konfigurimin e tyre fillestar.

Udhëzimi i nevojshëm për këtë është në faqen zyrtare të prodhuesit.

Pas përfundimit të veprimeve të lartpërmendura, ne konfiguroni switch-ët.
ÇfarĂ« do tĂ« thotĂ« çdo komandĂ«, nuk do tĂ« shpjegohet nĂ« kuadĂ«r tĂ« kĂ«tij artikulli; nĂ«se Ă«shtĂ« e nevojshme, tĂ« gjitha informacionet mund tĂ« gjenden vetĂ«.
Qëllimi ynë është të konfigurojmë sa më shpejt shkallën e switch-eve dhe t'i lidhim me host-et dhe ndërfaqet menaxhuese të SHT.

1) Lidhuni me switch-in udhëheqës, kaloni në modin e privilegjuar, pastaj hyni në modin e konfigurimit dhe bëni konfigurimet e nevojshme.

Konfigurimi bazë i switch-it:

 aktivizo
 konfiguro terminal

 emri 2960X

 jo shërbim pad
 shërbimi timestamps debug datetime msec
 shërbimi timestamps log datetime localtime show-timezone msec
 jo shërbim password-encryption
 shërbimi sequence-numbers

 switch 1 prioriteti 15
 switch 2 prioriteti 14
 stack-mac timeri persistent 0

 ora zona MSK 3
  vtp moda transparente
  ip subnet-zero

 vlan 17
  emri Menaxhim

 vlan 32
  emri PROD 

 vlan 33
  emri Interconektohet

 vlan 34
  emri Test

 vlan 35
  emri Dev

 vlan 40
  emri Monitorim

 spanning-tree moda rapid-pvst
 spanning-tree etherchannel mbrojtja misconfig
 spanning-tree portfast bpduguard default
 spanning-tree zgjat sistem-id
 spanning-tree vlan 1-40 rrënjës primare
 spanning-tree loopguard default
 vlani politike rreth ndarjes në mënyrë ngjitëse
 port-channel ngarkesë-balancimi src-dst-ip

 errdisable rikuperimi shkaku loopback
 errdisable rikuperimi shkaku bpduguard
 errdisable rikuperimi interval 60

line con 0
 session-timeout 60
 exec-timeout 60 0
 logging synchronous
line vty 5 15
 session-timeout 60
 exec-timeout 60 0
 logging synchronous

 ip http server
 ip http server sigurta
 jo vstack

interface Vlan1
 jo ip adresë
 shutdown

 exit 

Ruajmë konfigurimin me komandën «wr mem» dhe rirregullojmë grumbullin e switch-ëve me komandën «reload» në switch-in kryesor 1.

2) Konfigurojmë portet e rrjetit të switch-it në modin e aksesit (access) në VLAN 17, për lidhen e ndërfaqeve menaxhuese të sistemeve të ruajtjes dhe serverëve iDRAC.

Konfigurimi i porteve të menaxhimit:

interface GigabitEthernet1/0/5
 description iDRAC - host1
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge

interface GigabitEthernet1/0/6
 description Storage1 - Cntr0/Eth0
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge

interface GigabitEthernet2/0/5
 description iDRAC - host2
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge

interface GigabitEthernet2/0/6
 description Storage1 – Cntr1/Eth0
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge
 exit

3) Pas për rinisjen e grupit, kontrolloni nëse ai punon siç duhet:

Kontrollimi i funksionimit të grupit:

2960X#show switch stack-ring speed

Shpejtësia e Rrethit të Grupi        : 20G
Konfigurimi i Rrethit të Grupi: Plen
Protocoli i Rrethit të Grupi     : FlexStack

2960X#show switch stack-ports
  Switch #    Port 1       Port 2
  --------    ------       ------
    1           Ok           Ok
    2           Ok           Ok

2960X#show switch neighbors
  Switch #    Port 1       Port 2
  --------    ------       ------
      1         2             2
      2         1             1

2960X#show switch detail
Adresa MAC e Switch/Grupe : 0cd0.f8e4.ЄЄЄЄ
Koha e pritjes së qëndrueshmërisë të Mac: Pa kufi
                                           H/W   Aktual
Switch#  Roli   Adresa MAC     Prioritet Version  Shteti
----------------------------------------------------------
*1       Master 0cd0.f8e4.ЄЄЄЄ    15     4       E Gatshme
 2       Anëtar 0029.c251.ЄЄЄЄ     14     4       E Gatshme

         Statusi i Portit të Grupi             Fqinjtë
Switch#  Port 1     Port 2           Port 1   Port 2
--------------------------------------------------------
  1        Ok         Ok                2        2
  2        Ok         Ok                1        1

4) Konfigurimi i aksesit SSH në grupin 2960X

Për menaxhimin e largët të stack-ut përmes SSH, do të përdorim IP 172.20.1.10, e cila është e konfiguruar mbi SVI (interfaci virtual i kaluesit) VLAN17.

Megjithëse për qëllime menaxhimi është dëshiruar të përdoret një port i veçantë i dedikuar në kalues, kjo është një çështje preferencash personale dhe mundësish.

Konfigurimi i qasjes SSH në stack-un e kaluesve:

ip default-gateway 172.20.1.2

interface vlan 17
 ip address 172.20.1.10 255.255.255.0

hostname 2960X
 ip domain-name hw.home-lab.ru
 no ip domain-lookup

clock set 12:47:04 06 Dec 2019

crypto key generate rsa

ip ssh version 2
ip ssh time-out 90

line vty 0 4
 session-timeout 60
 exec-timeout 60 0
 privilege level 15
 logging synchronous
 transport input ssh

line vty 5 15
 session-timeout 60
 exec-timeout 60 0
 privilege level 15
 logging synchronous
 transport input ssh

aaa new-model
aaa authentication login default local 
username cisco privilege 15 secret my_ssh_password

Po konfiguroni fjalëkalimin për hyrjen në modin privilegjuar:

enable secret *myenablepassword*
service password-encryption

Konfigurimi i NTP:

ntp server 85.21.78.8 prefer
ntp server 89.221.207.113
ntp server 185.22.60.71
ntp server 192.36.143.130
ntp server 185.209.85.222

show ntp status
show ntp associations
show clock detail

5) Konfiguroni interfazat logjikë të Etherchannel dhe portet fizike, të lidhura me hostet. Për t'i thjeshtuar konfigurimin, të gjitha VLAN të disponueshme do të lejohet në të gjitha interfazat logjikë, por zakonisht rekomandohet të konfigurohen vetëm ato që janë të nevojshme:

Konfigurimi i ndërfaqeve Etherchannel:

interface Port-channel1
 description EtherChannel me Host1-menaxhim
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface Port-channel2
 description EtherChannel me Host2-menaxhim
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface Port-channel3
 description EtherChannel me Host1-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface Port-channel4
 description EtherChannel me Host2-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface GigabitEthernet1/0/1
 description Host1-menaxhim
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 1 mode active

interface GigabitEthernet1/0/2
 description Host2-menaxhim
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 2 mode active

interface GigabitEthernet1/0/3
 description Host1-VM
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 3 mode active

interface GigabitEthernet1/0/4
 description Host2-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 4 mode active

interface GigabitEthernet2/0/1
 description Host1-menaxhim
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 1 mode active

interface GigabitEthernet2/0/2
 description Host2-menaxhim
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 2 mode active

interface GigabitEthernet2/0/3
 description Host1-VM
  switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 3 mode active

interface GigabitEthernet2/0/4
 description Host2-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 4 mode active

Konfigurimi fillestar i ndërfaqeve rrjet për makinat virtuale, në hostet Host1 dhe Host2

Kontrollojmë praninë e moduleve të nevojshme për funksionimin e bonding në sistem, instalojmë modul për menaxhimin e bridge-ve:

modinfo bonding
modinfo 8021q
yum install bridge-utils

Konfigurimi në hostet e ndërfaqes logjike BOND1 për makinat virtuale, dhe ndërfaqet e tij fizike:

cat /etc/sysconfig/network-scripts/ifcfg-bond1
#DESCRIPTION - menaxhimi
DEVICE=bond1
NAME=bond1
TYPE=Bond
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'

cat /etc/sysconfig/network-scripts/ifcfg-em2
#DESCRIPTION - menaxhimi
DEVICE=em2
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no

cat /etc/sysconfig/network-scripts/ifcfg-em3
#DESCRIPTION - menaxhimi
DEVICE=em3
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no 

Pas përfundimit të konfigurimeve në stekë 2960X dhe hostet, rinisim rrjetin në hoste dhe kontrollojmë funksionimin e ndërfaqes logjike.

  • nĂ« host:

systemctl restart network

cat /proc/net/bonding/bond1
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)

Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2+3 (2)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
...
802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
...
Slave Interface: em2
MII Status: up
Speed: 1000 Mbps
Duplex: full
...
Slave Interface: em3
MII Status: up
Speed: 1000 Mbps
Duplex: full

  • nĂ« stek tĂ« switch-Ă«ve 2960X:

2960X#show lacp internal
Flags:  S - Pajisja po kërkon LACPDUs të ngadalta
        F - Pajisja po kërkon LACPDUs të shpejta
        A - Pajisja është në modalitetin Aktiv       P - Pajisja është në modalitetin Pasiv

Grupi i kanalit 1
                            Porta LACP     Admin     Oper    Porta        Porta
Porta      Flags   Shteti     Prioritet      ÇelĂ«si       ÇelĂ«si     Numri      Shteti
Gi1/0/1   SA      bndl      32768         0x1       0x1     0x102       0x3D
Gi2/0/1   SA      bndl      32768         0x1       0x1     0x202       0x3D

2960X#sh etherchannel summary
Flags:  D - poshtë        P - e lidhur në kanalin-port
        I - qëndror s - pezulluar
        H - Ngritje e nxehtë (vetëm LACP)
        R - Shtresë3      S - Shtresë2
        U - në përdorim      N - nuk është në përdorim, pa agregat
        f - dështoi për të alokuar agregator

        M - nuk është në përdorim, lidhjet minimale nuk janë përmbushur
        m - nuk është në përdorim, porta nuk është agreguar për shkak të lidhjeve minimale që nuk janë përmbushur
        u - e papërshtatshme për lidhje
        w - duke pritur për tu agreguar
        d - porta e parazgjedhur

        A - formuar nga Auto LAG

Numri i grupeve të kanaleve në përdorim: 11
Numri i agregatorëve:           11

Grupi  Porta-kanal  Protokolli    Portet
------+-------------+-----------+-----------------------------------------------
1      Po1(SU)         LACP      Gi1/0/1(P)  Gi2/0/1(P)

Konfigurimi fillestar i ndërfaqeve rrjetësore për menaxhimin e burimeve të klasterit, në hostet Host1 dhe Host2

Konfigurimi në hoste i ndërfaqes logjike BOND1 për menaxhim, dhe ndërfaqeve të saj fizike:

cat /etc/sysconfig/network-scripts/ifcfg-bond0
#Përshkrimi - menaxhimi
DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=yes
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'

cat /etc/sysconfig/network-scripts/ifcfg-em0
#Përshkrimi - menaxhimi
DEVICE=em0
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no 

cat /etc/sysconfig/network-scripts/ifcfg-em1
#Përshkrimi - menaxhimi
DEVICE=em1
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no 

Pas përfundimit të konfigurimeve në stekë 2960X dhe hostet, rinisim rrjetin në hoste dhe kontrollojmë funksionimin e ndërfaqes logjike.

systemctl restart network
cat /proc/net/bonding/bond1

2960X#show lacp internal
2960X#sh etherchannel summary

Konfigurojmë ndërfaqen e menaxhimit të rrjetit në çdo host në VLAN 17, dhe e lidhim atë me ndërfaqen logjike BOND1:

Konfigurimi i VLAN17 në Host1:

cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes 
USERCTL=no 
NM_CONTROLLED=no 
VLAN=yes
MTU=1500  
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.163
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=public

Konfigurimi i VLAN17 në Host2:

cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes 
USERCTL=no 
NM_CONTROLLED=no 
VLAN=yes
MTU=1500  
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.164
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=public

Bëjmë rinisjen e rrjetit në hosta dhe kontrollojmë dukshmërinë e tyre ndërmjet vetës.

Kyçja e këtij stivi të komutatorëve Cisco 2960X është përfunduar, dhe nëse gjithçka është bërë siç duhet, tani kemi lidhshmërinë rrjetore të të gjitha elementeve të infrastrukturës midis tyre në nivelin L2.

Konfigurimi i SHT Dell MD3820f

Para se të filloni punën për konfigurimin e SHT, ajo duhet të jetë e lidhur tashmë me stivin e komutatorëve Cisco 2960X interfikat menaxhuese, si dhe me hostet Host1 dhe Host2 nëpërmjet FC.

Schemat e përgjithshme se si SHT duhet të lidhet me stivin e komutatorëve u dha në kapitullin e mëparshëm.

Schemat e lidhjes së SHT në FC me hostet duhet të duken kështu:

Krijimi i njĂ« infrastrukture IT tĂ« qĂ«ndrueshme. Pjesa 1 — pĂ«rgatitja pĂ«r shpĂ«rndarjen e klasterit oVirt 4.3

GjatĂ« lidhjes, Ă«shtĂ« e nevojshme tĂ« regjistrohen adresat WWPN pĂ«r hostet FC HBA tĂ« lidhur me portet FC nĂ« SHT – kjo do tĂ« jetĂ« e nevojshme pĂ«r konfigurimin e mĂ«tejshĂ«m tĂ« lidhjes sĂ« hosteve me LUN-at nĂ« SHT.

NĂ« stacionin e punĂ«s tĂ« administratorit shkarkoni dhe instaloni utilitarin pĂ«r menaxhimin e SHT Dell MD3820f – PowerVault Modular Disk Storage Manager (MDSM).
Lidhuni me të përmes adresës së saj IP të paracaktuar, dhe pastaj konfiguroni adresat tona nga VLAN17, për të menaxhuar kontrollet përmes TCP/IP:

Storage1:

ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Portë - 172.20.1.2
ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Portë - 172.20.1.2

Pas pastrimit të adresave, hyjmë në ndërfaqen e menaxhimit të SHT dhe vendosim fjalëkalimin, konfirmojmë kohën, përmirësojmë firmuerët për kontrollet dhe disqet, nëse është e nevojshme etj.
Si bĂ«het kjo – Ă«shtĂ« e pĂ«rshkruar nĂ« udhĂ«zimin pĂ«r administrimin e SHT.

Pas përfundimit të konfigurimeve të mësipërme, do të na nevojitet të bëjmë vetëm disa veprime:

  1. Konfiguroni identifikuesit e porteve FC tĂ« hosteve – Host Port Identifiers.
  2. Krijoni njĂ« grup hostesh – Host group dhe shtoni nĂ« tĂ« dy hostet tanĂ« Dell.
  3. Krijoni një grup disqesh dhe aty disqet virtuale (ose LUN) që do të prezantohen për hostet.
  4. Konfiguroni prezantimin e disqeve virtuale (ose LUN) për hostet.

Shtimi i hosteve tĂ« rinj dhe lidhja e identifikuesve tĂ« porteve FC tĂ« hosteve bĂ«het pĂ«rmes menusĂ« – Host Mappings -> Define -> Hosts

WWPN adresat e HBA-ve FC të hosteve mund të gjenden, për shembull, në iDRAC të serverit.

Si rezultat, ne duhet të kemi një pamje përafërsisht të tillë:

Krijimi i njĂ« infrastrukture IT tĂ« qĂ«ndrueshme. Pjesa 1 — pĂ«rgatitja pĂ«r shpĂ«rndarjen e klasterit oVirt 4.3

Shtimi i njĂ« grupi tĂ« ri hostesh dhe lidhja e tyre bĂ«het pĂ«rmes menusĂ« – Host Mappings -> Define -> Host Group

PĂ«r hostet, zgjidhni llojin e OS – Linux (DM-MP).

Pas krijimit tĂ« grupit tĂ« hosteve, pĂ«rmes skedĂ«s Storage & Copy Services, krijoni grupin e disqeve – Disk Group, me njĂ« lloj qĂ« varet nga kĂ«rkesat pĂ«r disponueshmĂ«ri, pĂ«r shembull, RAID10, dhe nĂ« tĂ« cilin janĂ« disqet virtualĂ« nĂ« pĂ«rmasat e nevojshme:

Krijimi i njĂ« infrastrukture IT tĂ« qĂ«ndrueshme. Pjesa 1 — pĂ«rgatitja pĂ«r shpĂ«rndarjen e klasterit oVirt 4.3

Dhe pĂ«rfundimisht, etapa finale — prezantimi i disqeve virtuale (ose LUN-Ă«ve) pĂ«r hostĂ«t.
PĂ«r kĂ«tĂ«, pĂ«rmes menusĂ« – Host Mappings -> Harta e Lun-sĂ« -> Shto
 nĂ« bĂ«jmĂ« lidhjen e disqeve virtuale me hostĂ«t, duke u caktuar numra.

Gjithçka duhet të rezultojë ashtu si në këtë shkrepje ekran:

Krijimi i njĂ« infrastrukture IT tĂ« qĂ«ndrueshme. Pjesa 1 — pĂ«rgatitja pĂ«r shpĂ«rndarjen e klasterit oVirt 4.3

Me këtë përfundojmë konfigurimin e SCSI, dhe nëse gjithçka është bërë siç duhet, hostët duhet të shohin LUN-ët e prezantuar nga FC HBA e tyre.
Do ta detyrojmë sistemin të përditësojë informacionin rreth disqeve të lidhura:

ls -la /sys/class/scsi_host/
echo "- - -" > /sys/class/scsi_host/host[0-9]/scan

Të shohim cilat pajisje janë të dukshme në serverët tanë:

cat /proc/scsi/scsi
Dispozitivet e lidhura:
Host: scsi0 Kanal: 02 Id: 00 Lun: 00
  Shitësi: DELL     Modeli: PERC H330 Mini   Rev: 4.29
  Lloji:   Akses i drejtpërdrejtë                    ANSI  rishikimi SCSI: 05
Host: scsi15 Kanal: 00 Id: 00 Lun: 00
  Shitësi: DELL     Modeli: MD38xxf          Rev: 0825
  Lloji:   Akses i drejtpërdrejtë                    ANSI  rishikimi SCSI: 05
Host: scsi15 Kanal: 00 Id: 00 Lun: 01
  Shitësi: DELL     Modeli: MD38xxf          Rev: 0825
  Lloji:   Akses i drejtpërdrejtë                    ANSI  rishikimi SCSI: 05
Host: scsi15 Kanal: 00 Id: 00 Lun: 04
  Shitësi: DELL     Modeli: MD38xxf          Rev: 0825
  Lloji:   Akses i drejtpërdrejtë                    ANSI  rishikimi SCSI: 05
Host: scsi15 Kanal: 00 Id: 00 Lun: 11
  Shitësi: DELL     Modeli: MD38xxf          Rev: 0825
  Lloji:   Akses i drejtpërdrejtë                    ANSI  rishikimi SCSI: 05
Host: scsi15 Kanal: 00 Id: 00 Lun: 31
  Shitësi: DELL     Modeli: Universal Xport  Rev: 0825
  Lloji:   Akses i drejtpërdrejtë                    ANSI  rishikimi SCSI: 05
Host: scsi18 Kanal: 00 Id: 00 Lun: 00
  Shitësi: DELL     Modeli: MD38xxf          Rev: 0825
  Lloji:   Akses i drejtpërdrejtë                    ANSI  rishikimi SCSI: 05
Host: scsi18 Kanal: 00 Id: 00 Lun: 01
  Shitësi: DELL     Modeli: MD38xxf          Rev: 0825
  Lloji:   Akses i drejtpërdrejtë                    ANSI  rishikimi SCSI: 05
Host: scsi18 Kanal: 00 Id: 00 Lun: 04
  Shitësi: DELL     Modeli: MD38xxf          Rev: 0825
  Lloji:   Akses i drejtpërdrejtë                    ANSI  rishikimi SCSI: 05
Host: scsi18 Kanal: 00 Id: 00 Lun: 11
  Shitësi: DELL     Modeli: MD38xxf          Rev: 0825
  Lloji:   Akses i drejtpërdrejtë                    ANSI  rishikimi SCSI: 05
Host: scsi18 Kanal: 00 Id: 00 Lun: 31
  Shitësi: DELL     Modeli: Universal Xport  Rev: 0825
  Lloji:   Akses i drejtpërdrejtë                    ANSI  rishikimi SCSI: 05

lsscsi
[0:2:0:0]    disk    DELL     PERC H330 Mini   4.29  /dev/sda
[15:0:0:0]   disk    DELL     MD38xxf          0825  -
[15:0:0:1]   disk    DELL     MD38xxf          0825  /dev/sdb
[15:0:0:4]   disk    DELL     MD38xxf          0825  /dev/sdc
[15:0:0:11]  disk    DELL     MD38xxf          0825  /dev/sdd
[15:0:0:31]  disk    DELL     Universal Xport  0825  -
 [18:0:0:0]   disk    DELL     MD38xxf          0825  -
[18:0:0:1]   disk    DELL     MD38xxf          0825  /dev/sdi
[18:0:0:4]   disk    DELL     MD38xxf          0825  /dev/sdj
[18:0:0:11]  disk    DELL     MD38xxf          0825  /dev/sdk
[18:0:0:31]  disk    DELL     Universal Xport  0825  -

Në serverë gjithashtu mund të konfigurohet ekstra multipath, dhe edhe pse gjatë instalimit të oVirt mund ta bëjë këtë vetë, është më mirë të kontrolloni paraprakisht funksionimin e MP-në nga vetë.

Instalimi dhe konfigurimi i DM Multipath

yum install device-mapper-multipath
mpathconf --enable --user_friendly_names y

cat /etc/multipath.conf | egrep -v "^s*(#|$)"
defaults {
    user_friendly_names yes
            find_multipaths yes
}

blacklist {
  wwid 26353900f02796769
  devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"     
  devnode "^hd[a-z]"
 }

Aktivizojmë shërbimin MP për startup dhe e nisim atë:

systemctl enable multipathd && systemctl restart multipathd

Kontrolli i informacionit mbi modul të ngarkuar për punën e MP:

lsmod | grep dm_multipath
dm_multipath           27792  6 dm_service_time
dm_mod                124407  139 dm_multipath,dm_log,dm_mirror

modinfo dm_multipath
filename:       /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz
license:        GPL
author:         Sistina Software 
description:    device-mapper multipath target
retpoline:      Y
rhelversion:    7.6
srcversion:     985A03DCAF053D4910E53EE
depends:        dm-mod
intree:         Y
vermagic:       3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions
signer:         ÇentOS çelĂ«si i nĂ«nshkrimit tĂ« kernelit
sig_key:        A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45
sig_hashalgo:   sha256

Shikoni informacionin përmbledhës mbi konfigurimin ekzistues të multipath:

mpathconf
multipath is enabled
find_multipaths is disabled
user_friendly_names is disabled
dm_multipath module is loaded
multipathd is running

Pas pasjes një LUN të ri në SAN dhe prezantimin e tij për hostin, duhet të kryhet një skanim i HBA-ve të lidhura me hostin.

systemctl reload multipathd
multipath -v2

Dhe për fund, kontrollojmë nëse të gjithë LUN'ët janë prezantuar në SAN për hostet, dhe nëse të gjithë kanë dy rrugë.

Kontrollimi i funksionit të MP:

multipath -ll
3600a098000e4b4b3000003175cec1840 dm-2 DELL    ,MD38xxf
size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:1  sdb 8:16  active ready running
`-+- policy='service-time 0' prio=9 status=enabled
  `- 18:0:0:1  sdi 8:128 active ready running
3600a098000e4b48f000002ab5cec1921 dm-6 DELL    ,MD38xxf
size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 18:0:0:11 sdk 8:160 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
  `- 15:0:0:11 sdd 8:48  active ready running
3600a098000e4b4b3000003c95d171065 dm-3 DELL    ,MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4  sdc 8:32  active ready running
`-+- policy='service-time 0' prio=9 status=enabled
  `- 18:0:0:4  sdj 8:144 active ready running

Siç shihet, tĂ« tre disqet virtuale nĂ« SAN duken pĂ«rmes dy rrugĂ«ve. Pra, tĂ« gjitha punĂ«t pĂ«rgatitore janĂ« pĂ«rfunduar, dhe tani mund tĂ« kalojmĂ« te pjesa kryesore – konfigurimi i klasterit oVirt, qĂ« do tĂ« shqyrtohet nĂ« artikullin e ardhshĂ«m.

Burimi: habr.com

Bli njĂ« hosting tĂ« besueshĂ«m pĂ«r faqet me mbrojtje DDoS, VPS VDS serverĂ« đŸ”„ Bli njĂ« hosting tĂ« besueshĂ«m pĂ«r faqet me mbrojtje DDoS, VPS VDS serverĂ« | ProHoster