ProHoster > Blog > Administrim > Krijimi i njĂ« infrastrukture IT tĂ« qĂ«ndrueshme. Pjesa 1 — pĂ«rgatitja pĂ«r nxjerrjen e klasterit oVirt 4.3

Krijimi i njĂ« infrastrukture IT tĂ« qĂ«ndrueshme. Pjesa 1 — pĂ«rgatitja pĂ«r nxjerrjen e klasterit oVirt 4.3

Lexhuni i lexuesve ofron mundësinë për të njohur parimet e ndërtimit të një infrastrukture me qëndrueshmëri të lartë për një ndërmarrje të vogël brenda një qendre të dhënash, të cilat do të shqyrtohen në detaje në një cikël të vogël artikujsh.

Hyrja

Nën Qendra e të Dhënave (Qendra e Procesimit të Dhënave) mund të kuptohet si:

  • njĂ« raft i vetĂ« pĂ«r tĂ« nĂ« "dhomĂ«n e serverĂ«ve" nĂ« territorin e ndĂ«rmarrjes, qĂ« i pĂ«rmbush kĂ«rkesat minimale pĂ«r furnizimin me energji elektrike dhe ftohjen e pajisjeve, si dhe qĂ« ka njĂ« dalje nĂ« internet pĂ«rmes dy ofruesve tĂ« pavarur;
  • njĂ« raft i huazuar me pajisje tĂ« veta, i vendosur nĂ« njĂ« qendĂ«r tĂ« vĂ«rtetĂ« tĂ« tĂ« dhĂ«nave – e njohur si collocation, e cila pĂ«rmbush standardin Tier III ose IV, dhe nĂ« tĂ« cilĂ«n garantohen furnizim tĂ« besueshĂ«m me energji elektrike, ftohje dhe njĂ« dalje me qĂ«ndrueshmĂ«ri nĂ« internet;
  • pajisje komplet tĂ« huazuara nĂ« QendrĂ«n e tĂ« DhĂ«nave Tier III ose IV.

Cili variant vendosje tĂ« zgjidhet – nĂ« çdo rast gjithçka Ă«shtĂ« individuale, dhe zakonisht varet nga disa faktorĂ« tĂ« rĂ«ndĂ«sishĂ«m:

  • pĂ«r çfarĂ« Ă«shtĂ« e nevojshme njĂ« infrastrukture IT pĂ«r ndĂ«rmarrjen;
  • çfarĂ« realisht dĂ«shiron ndĂ«rmarrja nga infrastruktura IT (besueshmĂ«ria, shkallĂ«zueshmĂ«ria, menaxhueshmĂ«ria, etj.);
  • vĂ«llimi i investimeve fillestare nĂ« infrastrukturĂ«n IT, si dhe çfarĂ« lloji shpenzimesh ka – kapitale (dmth. blihen pajisjet e veta), ose operative (pajisjet zakonisht janĂ« tĂ« huazuara);
  • horizonti i planifikimit tĂ« vetĂ« ndĂ«rmarrjes.

Mund tĂ« shkruhet shumĂ« pĂ«r faktorĂ«t qĂ« ndikojnĂ« nĂ« vendimin e ndĂ«rmarrjes pĂ«r krijimin dhe pĂ«rdorimin e infrastrukturĂ«s sĂ« saj IT, por qĂ«llimi ynĂ« Ă«shtĂ« tĂ« tregojmĂ« nĂ« praktikĂ« se si tĂ« krijojmĂ« kĂ«tĂ« infrastrukturĂ« nĂ« mĂ«nyrĂ« qĂ« tĂ« jetĂ« si me qĂ«ndrueshmĂ«ri, ashtu edhe tĂ« mund tĂ« kursejmĂ« – tĂ« ulen shpenzimet pĂ«r blerjen e softuerĂ«ve komercialĂ«, ose madje tĂ« shmangen ato.

Siç tregon praktika e gjatë, nuk ia vlen të kursesh në harduer, sepse qofte edhe kur është e lirë, shpenzon dy herë më shumë dhe ndonjëherë shumë më tepër. Megjithatë, hardueri i mirë është vetëm një rekomandim, dhe në fund, çfarë të blini dhe për sa, varet nga mundësitë e kompanisë dhe "të kursyerit" të menaxhmentit të saj. Fjala "të kursyerit" duhet kuptuar në kuptimin e mirë të fjalës, sepse është më mirë të investosh në harduer në fazën fillestare, për të shmangur probleme serioze në mbështetje dhe zgjerim në të ardhmen; sepse planifikimi i gabuar dhe kursimi i tepërt mund të çojnë në kosto më të larta në të ardhmen sesa në fillimin e projektit.

Pra, të dhënat fillestare për projektin:

  • ka njĂ« kompanitĂ« qĂ« vendosi tĂ« krijojĂ« njĂ« portal web dhe tĂ« sjellĂ« aktivitetin e saj nĂ« internet;
  • kompania vendosi tĂ« marrĂ« me qira njĂ« stendĂ« pĂ«r vendosjen e pajisjeve tĂ« saj nĂ« njĂ« datacenter tĂ« mirĂ«, me certifikatĂ« sipas standardit Tier III;
  • kompania vendosi tĂ« mos kursejĂ« shumĂ« nĂ« harduer, dhe prandaj bleu pajisjet e mĂ«poshtme me garanci dhe mbĂ«shtetje tĂ« zgjeruar:

Lista e pajisjeve

  • dy serverĂ« fizikĂ« Dell PowerEdge R640 me komponentĂ«t e mĂ«poshtĂ«m:
  • dy CPU tĂ« Intel Xeon Gold 5120
  • 512 Gb RAM
  • dy disqe SAS nĂ« RAID1, pĂ«r instalimin e OS
  • kartĂ« rrjeti e integruar 4 portĂ«she 1G
  • dy karta rrjeti 2 portĂ«she 10G
  • njĂ« FC HBA 2 portĂ«sh 16G.
  • Pajisje me kontrollues 2 Dell MD3820f, tĂ« lidhur pĂ«rmes FC 16G drejtpĂ«rdrejt nĂ« hostet Dell;
  • dy switch-e tĂ« nivelit tĂ« dytĂ« — Cisco WS-C2960RX-48FPS-L tĂ« bashkuar nĂ« njĂ« stak;
  • dy switch-e tĂ« nivelit tĂ« tretĂ« — Cisco WS-C3850-24T-E, tĂ« bashkuar nĂ« njĂ« stak;
  • Stenda, UPS, PDU, serverat konsolĂ« – ofrohen nga datacentri.

Siç e shohim, pajisjet e disponueshme kanë perspektiva të mira për zgjerim horizontal dhe vertical, nëse kompania mund të konkurrojë me kompani të tjera me profil të ngjashëm në internet, dhe fillon të gjenerojë fitim, të cilin mund ta investojë në zgjerimin e burimeve për konkurrencën në të ardhmen dhe rritjen e fitimit.

Cilat pajisje mund të shtojmë, nëse kompania vendos të rrisë performancën e klasterit tonë të llogaritjes:

  • kemi njĂ« rezervĂ« tĂ« madhe nĂ« numrin e porteve nĂ« switch-at 2960X, qĂ« do tĂ« thotĂ« se mund tĂ« shtojmĂ« mĂ« shumĂ« servera fizikĂ«;
  • tĂ« blenĂ« dy switch-e FC, pĂ«r t'i lidhur me SAN dhe serverat shtesĂ«;
  • serverat ekzistues mund tĂ« pĂ«rmirĂ«sohen – tĂ« shtohet memoria, tĂ« zĂ«vendĂ«sohen procesorĂ«t me mĂ« tĂ« fuqishĂ«m, tĂ« lidhen me rrjetin 10G me adaptrĂ«t ekzistues;
  • pĂ«r SAN mund tĂ« shtohen rafte shtesĂ« diskĂ«sh me tipin e nevojshĂ«m tĂ« diskĂ«ve – SAS, SATA ose SSD, nĂ« varĂ«si tĂ« ngarkesĂ«s sĂ« planifikuar;
  • pas shtimit tĂ« switch-eve FC mund tĂ« blini njĂ« SAN tjetĂ«r pĂ«r tĂ« shtuar edhe mĂ« shumĂ« kapacitet disku, dhe nĂ«se blini opsionin e veçantĂ« Remote Replication, do tĂ« mund tĂ« konfigurohet replikimi i tĂ« dhĂ«nave ndĂ«rmjet SAN-ve si brenda njĂ« Qendra tĂ« tĂ« DhĂ«nave, ashtu edhe ndĂ«rmjet Qendrave (por kjo Ă«shtĂ« jashtĂ« kĂ«tij artikulli);
  • po ashtu ekzistojnĂ« switch-e tĂ« nivelit tĂ« tretĂ« – Cisco 3850, tĂ« cilat mund tĂ« pĂ«rdoren si njĂ« nyje e qĂ«ndrueshme tĂ« rrjetit, pĂ«r ruterizim me shpejtĂ«si tĂ« lartĂ« ndĂ«rmjet rrjeteve tĂ« brendshme. Kjo do tĂ« ndihmojĂ« shumĂ« nĂ« tĂ« ardhmen, ndĂ«rsa rritet infrastruktura e brendshme. Gjithashtu, 3850 ka porte 10G, tĂ« cilat mund tĂ« aktivizohen mĂ« vonĂ«, me rinovimin e pajisjeve rrjetĂ«sore nĂ« shpejtĂ«sinĂ« 10G.

Tani që virtualizimi është i domosdoshëm, natyrisht ne do të jemi në trend, sidomos sepse kjo është një mënyrë e shkëlqyer për të reduktuar shpenzimet për blerjen e serverëve të shtrenjtë për elemente të veçanta të infrastrukturës (serverë web, baza të dhënash, etj.), të cilat nuk shfrytëzohen gjithmonë në mënyrë optimale në raste ngarkese të ulët, dhe pikërisht ashtu do të jetë në fillim të lancimit të projektit.

Përveç kësaj, virtualizimi ka shumë përfitime të tjera, të cilat mund të na nevojiten shumë: qëndrueshmëria e VM nga dështimi i serverit harduerik, migrimi në kohë reale ndërmjet nyjeve harduerike të klasterit për mirëmbajtje, ndarja manuale ose automatike e ngarkesës ndërmjet nyjeve të klasterit, etj.

PĂ«r harduerin e blerĂ« nga organizata, sugjerohet vendosja e njĂ« klasteri shumĂ« tĂ« disponueshĂ«m VMware vSphere, por pasi çdo softuer nga VMware Ă«shtĂ« i njohur pĂ«r çmimet e saj "mĂ«rzitĂ«se", ne do tĂ« pĂ«rdorim njĂ« softuer tĂ«rĂ«sisht falas pĂ«r menaxhimin e virtualizimit – oVirt, mbi bazĂ«n e sĂ« cilĂ«s krijohet produkti i njohur, por tashmĂ« komercial — RHEV.

Softuer oVirt është e nevojshme për të bashkuar të gjitha elementet e infrastrukturës në një të tërë, në mënyrë që të mundësohet puna e lehtë me makina virtuale të larta në dispozicion - këto janë baza të dhënash, aplikacione web, serverë proxy, balancues të ngarkesës, serverë për mbledhjen e logeve dhe analizës, etj., pra ato që përbëjnë portalin web të ndërmarrjes tonë.

Duke përmbledhur këtë hyrje, na presin artikujt e mëposhtëm, të cilët do të tregojnë praktikisht se si të implementojmë tërë infrastrukturën harduerike dhe softuerike të ndërmarrjes:

Lista e artikujve

  • Pjesa 1. PĂ«rgatitja pĂ«r implementimin e klasĂ«s oVirt 4.3.
  • Pjesa 2. Instalimi dhe konfigurimi i klasĂ«s oVirt 4.3.
  • Pjesa 3. Konfigurimi i klasĂ«s VyOS, organizimi i ruterit tĂ« jashtĂ«m me disponueshmĂ«ri tĂ« lartĂ«.
  • Pjesa 4. Konfigurimi i stekĂ«s Cisco 3850, organizimi i ruterit brenda rrjetit.

Pjesa 1. Përgatitja për implementimin e klasës oVirt 4.3

Konfigurimi bazë i hosteve

Instalimi dhe konfigurimi i OS - është faza më e thjeshtë. Ka shumë artikuj se si të instaloni dhe konfiguroni OS-në, prandaj nuk ka kuptim të përpiqemi të japim diçka ekskluzive në këtë drejtim.

Pra, ne kemi dy hoste Dell PowerEdge R640, për të cilët duhet të instalojmë OS-në dhe të kryejmë konfigurimet paraprake, për t'i përdorur si hypervizorë për të nisur makina virtuale në klasën oVirt 4.3.

Duke pasur parasysh se planifikojmë të përdorim softuer të lirë dhe jo-komercial oVirt, sistemi operativ i zgjedhur për implementimin e hosteve është CentOS 7.7, ndonëse në hostet për oVirt mund të instalohen edhe OS të tjera:

  • njĂ« ndĂ«rtim tĂ« veçantĂ« tĂ« bazuar nĂ« RHEL, tĂ« njohur si oVirt Node;
  • OS Oracle Linux, nĂ« verĂ«n e vitit 2019. u njoftua pĂ«r mbĂ«shtetje tĂ« punĂ«s sĂ« oVirt mbi tĂ«.

Para se të instaloni OS-në, rekomandohet:

  • tĂ« konfiguroni ndĂ«rfaqen rrjetĂ«s iDRAC nĂ« tĂ« dy hostet;
  • tĂ« azhurnoni firmware-t pĂ«r BIOS dhe iDRAC nĂ« versionet mĂ« tĂ« fundit;
  • tĂ« konfigurohet Profili i Sistemit tĂ« serverit, idealisht nĂ« modalitetin Performance;
  • tĂ« konfiguroni RAID nga disqet lokale (rekomandohet RAID1), pĂ«r instalimin e OS nĂ« server.

Pastaj, ne instalojmë OS-në në diskun e krijuar më parë përmes iDRAC - procesi i instalimit është i zakonshëm, nuk ka ndonjë moment të veçantë në të. Aksesin në konsolën e serverit për të filluar instalimin e OS-së mund ta marrim gjithashtu përmes iDRAC, megjithatë asgjë nuk e pengon të lidhim monitorin, tastierën dhe miun direkt në server dhe të instalojmë OS-në nga një "flash drive".

Pas instalimit të OS-së, ne kryejmë konfigurimet e saj fillestare:

systemctl enable network.service
systemctl start network.service
systemctl status network.service

systemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManager

yum install -y ntp
systemctl enable ntpd.service
systemctl start ntpd.service

cat /etc/sysconfig/selinux
SELINUX=disabled
SELINUXTYPE=targeted

cat /etc/security/limits.conf
 *               soft    nofile         65536
 *               hard   nofile         65536

cat /etc/sysctl.conf
vm.max_map_count = 262144
vm.swappiness = 1

Instalimi i paketave bazë

Për konfigurimin e fillestar të sistemit operativ, është e nevojshme të konfigurohet çdo ndërfaqe rrjeti në server, në mënyrë që të ketë akses në internet për përditësimin e sistemit dhe instalimin e paketave të nevojshme. Kjo mund të bëhet si gjatë procesit të instalimit të sistemit operativ, ashtu edhe pas tij.

yum -y install epel-release
yum update
yum -y install bind-utils yum-utils net-tools git htop iotop nmon pciutils sysfsutils sysstat mc nc rsync wget traceroute gzip unzip telnet

TĂ« gjitha konfigurimet dhe paketat e pĂ«rmendura mĂ« sipĂ«r – janĂ« çështje tĂ« preferencave personale, dhe ky set Ă«shtĂ« thjesht rekomandues.

Pasi host-i ynë do të veprojë si një hipervizor, do të aktivizojmë profilin e nevojshëm të performancës:

systemctl enable tuned 
systemctl start tuned 
systemctl status tuned 

tuned-adm profile 
tuned-adm profile virtual-host

Më shumë rreth profilit të performancës mund të lexoni këtu: "Kapitulli 4. tuned dhe tuned-adm«.

Pas instalimit tĂ« sistemit operativ, kalojmĂ« nĂ« pjesĂ«n tjetĂ«r – konfigurimi i ndĂ«rfaqeve rrjeti nĂ« host-et dhe grupit tĂ« switch-ave Cisco 2960X.

Konfigurimi i grupit të switch-ave Cisco 2960X

NĂ« projektin tonĂ« do tĂ« pĂ«rdoren numrat e mĂ«poshtĂ«m tĂ« VLAN-Ă«ve — ose domenet e gjerĂ«, tĂ« izoluar nga njĂ«ri-tjetri, me qĂ«llim tĂ« ndarjes sĂ« llojeve tĂ« ndryshme tĂ« trafikut:

VLAN 10 – Internet
VLAN 17 – Menaxhimi (iDRAC, magazina, menaxhimi i switches)
VLAN 32 – Rrjeti i prodhimit tĂ« VM
VLAN 33 – Rrjeti i ndĂ«rveprimit (me kontraktorĂ«t e jashtĂ«m)
VLAN 34 – Rrjeti testues i VM
VLAN 35 – Rrjeti zhvillues i VM
VLAN 40 – Rrjeti i monitorimit

Para fillimit të punëve, do të japim një diagram në nivel L2, të cilin duhet të arrijmë:

Krijimi i njĂ« infrastrukture IT tĂ« qĂ«ndrueshme. Pjesa 1 — pĂ«rgatitja pĂ«r nxjerrjen e klasterit oVirt 4.3

Për ndërveprimin rrjet të host-eve oVirt dhe makinave virtuale me njëra-tjetra, si dhe për menaxhimin e magazinës sonë, është e nevojshme konfigurimi i grupit të switch-ave Cisco 2960X.

Host-et Dell kanë karta rrjeti me 4 porta të integruara, kështu që është e arsyeshme të organizohet lidhja e tyre me Cisco 2960X përmes një lidhjeje rrjet për mbrojtje, duke përdorur grupimin e porteve fizike të rrjetit në një ndërfaqe logjike dhe protokollin LACP (802.3ad):

  • portat e para dy nĂ« host konfigurohen nĂ« mĂ«nyrĂ« bllokuese dhe lidhen me switch-in 2960X – nĂ« kĂ«tĂ« ndĂ«rfaqe logjike do tĂ« konfigurohet bridge me njĂ« adresĂ« pĂ«r menaxhimin e hostit, monitorimin dhe lidhjen me hostet e tjerĂ« nĂ« klasterin oVirt, gjithashtu do tĂ« pĂ«rdoret pĂ«r migrimin Live tĂ« makinave virtuale;
  • dy portat e dyta nĂ« host gjithashtu konfigurohen nĂ« modin bonding dhe lidhen me 2960X - nĂ« kĂ«tĂ« interfacing logjik, pĂ«rmes oVirt, mĂ« vonĂ« do tĂ« krijohen bridge (nĂ« VLAN tĂ« pĂ«rkatshĂ«m) nĂ« tĂ« cilat do tĂ« lidhen makinat virtuale.
  • tĂ« dy portat e rrjetit, brenda njĂ« interfacing logjik, do tĂ« jenĂ« aktive, dmth. trafiku mund tĂ« kalojĂ« nĂ« to njĂ«kohĂ«sisht, nĂ« modin e ekuilibrimit.
  • konfigurimet e rrjetit nĂ« nyjat e klasterit duhet tĂ« jenĂ« plotĂ«sisht TË NJËJTA, me pĂ«rjashtim tĂ« adresave IP.

Konfigurimi bazik i stakut të switch-eve 2960X dhe portet e tij

Paraprakisht, switch-et tona duhet të jenë:

  • tĂ« montuara nĂ« raft;
  • tĂ« lidhura pĂ«rmes dy kabllove specialĂ« tĂ« gjatĂ«si tĂ« nevojshme, pĂ«r shembull, CAB-STK-E-1M;
  • tĂ« lidhura me energjinĂ« elektrike;
  • tĂ« lidhura me stacionin e punĂ«s sĂ« administratorit pĂ«rmes portit konsol, pĂ«r konfigurimin e tyre fillestar.

Udhëzimi i nevojshëm për këtë është në dispozicion në faqja zyrtare i prodhuesit.

Pas kryerjes së veprimeve të lartpërmendura, kryejmë konfigurimin e switch-eve.
ÇfarĂ« do tĂ« thotĂ« çdo komandĂ«, shpjegimi brenda kĂ«tij artikulli nuk Ă«shtĂ« i parashikuar, nĂ«se Ă«shtĂ« e nevojshme, tĂ« gjitha informacionet mund tĂ« gjenden vetĂ«.
Qëllimi ynë është të konfigurojmë stakun e switch-eve sa më shpejt të jetë e mundur dhe të lidhim hostet dhe interfacing kontrolluese të të DSA-ve.

1) Lidhemi me switch-in kryesor, kalojmë në modin e privilegjuar, më pas kalojmë në modin e konfigurimit dhe kryejmë konfigurimet kryesore.

Konfigurimi bazik i switch-it:

 enable
 configure terminal

 hostname 2960X

 no service pad
 service timestamps debug datetime msec
 service timestamps log datetime localtime show-timezone msec
 no service password-encryption
 service sequence-numbers

 switch 1 priority 15
 switch 2 priority 14
 stack-mac persistent timer 0

 clock timezone MSK 3
 vtp mode transparent
 ip subnet-zero

 vlan 17
 name Management

 vlan 32
 name PROD 

 vlan 33
 name Interconnect

 vlan 34
 name Test

 vlan 35
 name Dev

 vlan 40
 name Monitoring

 spanning-tree mode rapid-pvst
 spanning-tree etherchannel guard misconfig
 spanning-tree portfast bpduguard default
 spanning-tree extend system-id
 spanning-tree vlan 1-40 root primary
 spanning-tree loopguard default
 vlan internal allocation policy ascending
 port-channel load-balance src-dst-ip

 errdisable recovery cause loopback
 errdisable recovery cause bpduguard
 errdisable recovery interval 60

line con 0
 session-timeout 60
 exec-timeout 60 0
 logging synchronous
line vty 5 15
 session-timeout 60
 exec-timeout 60 0
 logging synchronous

 ip http server
 ip http secure-server
 no vstack

interface Vlan1
 no ip address
 shutdown

 exit

Ruajmë konfigurimin me komandën «wr mem» dhe rindezim ngelin e komutatorëve me komandën «reload» në komutatorin kryesor switch 1.

2) Konfigurojmë portet e rrjetit të komutatorit në mënyrën access në VLAN 17, për lidhjen e ndërfaqeve menaxhuese të SAN dhe serverëve iDRAC.

Konfigurimi i porteve të menaxhimit:

interface GigabitEthernet1/0/5
 description iDRAC - host1
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge

interface GigabitEthernet1/0/6
 description Storage1 - Cntr0/Eth0
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge

interface GigabitEthernet2/0/5
 description iDRAC - host2
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge

interface GigabitEthernet2/0/6
 description Storage1 – Cntr1/Eth0
 switchport access vlan 17
 switchport mode access
 spanning-tree portfast edge
 exit

3) Pas rindezimit të ngelin, kontrollojmë që të funksionojë siç duhet:

Kontrollimi i funksionimit të ngelin:

2960X#show switch stack-ring speed

Stack Ring Speed        : 20G
Stack Ring Configuration: Full
Stack Ring Protocol     : FlexStack

2960X#show switch stack-ports
  Switch #    Port 1       Port 2
  --------    ------       ------
    1           Ok           Ok
    2           Ok           Ok

2960X#show switch neighbors
  Switch #    Port 1       Port 2
  --------    ------       ------
      1         2             2
      2         1             1

2960X#show switch detail
Switch/Stack Mac Address : 0cd0.f8e4.XXXX
Mac persistency wait time: Indefinite
                                           H/W   Current
Switch#  Role   Mac Address     Priority Version  State
----------------------------------------------------------
*1       Master 0cd0.f8e4.XXXX    15     4       Ready
 2       Member 0029.c251.XXXX     14     4       Ready

         Stack Port Status             Neighbors
Switch#  Port 1     Port 2           Port 1   Port 2
--------------------------------------------------------
  1        Ok         Ok                2        2
  2        Ok         Ok                1        1

4) Konfigurimi i aksesit SSH në ngelin 2960X

Për menaxhim të largët të ngelin përmes SSH, do të përdorim IP 172.20.1.10, e cila është e konfiguruar në SVI (switch virtual interface) VLAN17.

Megjithatë, për qëllime menaxhimi, është e preferueshme të përdorim një port të veçantë të dedikuar në komutator, por kjo është çështje preferencash dhe mundësish.

Konfigurimi i aksesit SSH në ngelin e komutatorëve:

ip default-gateway 172.20.1.2

interface vlan 17
 ip address 172.20.1.10 255.255.255.0

hostname 2960X
 ip domain-name hw.home-lab.ru
 no ip domain-lookup

clock set 12:47:04 06 Dec 2019

crypto key generate rsa

ip ssh version 2
ip ssh time-out 90

line vty 0 4
 session-timeout 60
 exec-timeout 60 0
 privilege level 15
 logging synchronous
 transport input ssh

line vty 5 15
 session-timeout 60
 exec-timeout 60 0
 privilege level 15
 logging synchronous
 transport input ssh

aaa new-model
aaa authentication login default local 
username cisco privilege 15 secret my_ssh_password

Konfigurojmë fjalëkalimin për hyrjen në modin e privilegjuar:

enable secret *myenablepassword*
service password-encryption

Konfigurojmë NTP:

ntp server 85.21.78.8 prefer
ntp server 89.221.207.113
ntp server 185.22.60.71
ntp server 192.36.143.130
ntp server 185.209.85.222

show ntp status
show ntp associations
show clock detail

5) Konfiguroni ndërfaqet logjike Etherchannel dhe portet fizike të lidhura me hostet. Për thjeshtësi në konfigurim, të gjitha VLAN-të ekzistuese do të jenë të lejuara në të gjitha ndërfaqet logjike, por zakonisht rekomandohet të konfiguroni vetëm ato që nevojiten:

Konfigurimi i ndërfaqeve Etherchannel:

interface Port-channel1
 description EtherChannel me Host1-menaxhim
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface Port-channel2
 description EtherChannel me Host2-menaxhim
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface Port-channel3
 description EtherChannel me Host1-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface Port-channel4
 description EtherChannel me Host2-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 spanning-tree portfast edge trunk

interface GigabitEthernet1/0/1
 description Host1-menaxhim
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 1 mode active

interface GigabitEthernet1/0/2
 description Host2-menaxhim
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 2 mode active

interface GigabitEthernet1/0/3
 description Host1-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 3 mode active

interface GigabitEthernet1/0/4
 description Host2-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 4 mode active

interface GigabitEthernet2/0/1
 description Host1-menaxhim
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 1 mode active

interface GigabitEthernet2/0/2
 description Host2-menaxhim
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 2 mode active

interface GigabitEthernet2/0/3
 description Host1-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 3 mode active

interface GigabitEthernet2/0/4
 description Host2-VM
 switchport trunk allowed vlan 10,17,30-40
 switchport mode trunk
 channel-protocol lacp
 channel-group 4 mode active

Konfigurimi fillestar i ndërfaqeve rrjet për makinat virtuale, në hoste Host1 dhe Host2

Kontrollojmë nëse modulet e nevojshme për funksionimin e bërjes së lidhjes janë në sistem, instalojmë modul për menaxhimin e urave:

modinfo bonding
modinfo 8021q
yum install bridge-utils

Konfigurimi në hostet e ndërfaqes logjike BOND1 për makinat virtuale, dhe ndërfaqet e saj fizike:

cat /etc/sysconfig/network-scripts/ifcfg-bond1
#PËRSHKRIMI - menaxhim
DEVICE=bond1
NAME=bond1
TYPE=Bond
IPV6INIT=no
ONBOOT=yes
USERCTL=no
NM_CONTROLLED=no
BOOTPROTO=none
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'

cat /etc/sysconfig/network-scripts/ifcfg-em2
#PËRSHKRIMI - menaxhim
DEVICE=em2
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no 

cat /etc/sysconfig/network-scripts/ifcfg-em3
#PËRSHKRIMI - menaxhim
DEVICE=em3
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes
MASTER=bond1
SLAVE=yes
USERCTL=no 
NM_CONTROLLED=no

Pas përfundimit të konfigurimeve në stek 2960X dhe hosteve, rinitizojmë rrjetin në hoste dhe kontrollojmë funksionalitetin e interfejsit logjik.

  • nĂ« hostin:

systemctl restart network

cat /proc/net/bonding/bond1
Ethernet Channel Bonding Driver: v3.7.1 (27 Prill 2011)

Bashkimi i Modit: IEEE 802.3ad Agregimi dinamik i lidhjeve
Politika e Hash Transmetimit: layer2+3 (2)
Statusi MII: up
Intervali i VĂ«zhgimit MII (ms): 100
Vonduar vonesën (ms): 0
Vonduar vonesën (ms): 0
...
info 802.3ad
Shkalla LACP: e shpejtë
Min lidhje: 0
Politika e selektimit të agregatorëve (ad_select): stabile
Prioriteti i sistemit: 65535
...
Interfejsi Slave: em2
Statusi MII: up
Shpejtësia: 1000 Mbps
Duplex: plote
...
Interfejsi Slave: em3
Statusi MII: up
Shpejtësia: 1000 Mbps
Duplex: plote

  • nĂ« grupe tĂ«_switch_ave 2960X:

2960X#show lacp internal
Flamuj:  S - Pajisja po kërkon LACPDUs të Ngadalta
        F - Pajisja po kërkon LACPDUs të Shpejta
        A - Pajisja është në mod aktiv       P - Pajisja është në mod pasiv

Grupi i kanalit 1
                            Porta LACP     Admin     Oper    Porta        Porta
Porta      Flamuj   Gjendja     Prioriteti      ÇelĂ«si       ÇelĂ«si     Numri i PortĂ«s      Gjendja
Gi1/0/1   SA      bndl      32768         0x1       0x1     0x102       0x3D
Gi2/0/1   SA      bndl      32768         0x1       0x1     0x202       0x3D

2960X#sh etherchannel summary
Flamuj:  D - poshtë        P - të bashkuar në port-channel
        I - të vetme s - suspenduar
        H - Nën mbështetje (LACP vetëm)
        R - Layer3      S - Layer2
        U - në përdorim      N - jo në përdorim, pa agregim
        f - dështoi për të alokuar agregator

        M - jo në përdorim, lidhjet minimale nuk u plotësuan
        m - jo në përdorim, porta nuk u agregua për shkak të lidhjeve minimale që nuk u plotësuan
        u - i papërshtatshëm për bashkim
        w - në pritje për t'u agreguar
        d - porta parazgjedhëse

        A - formuar nga Auto LAG

Numri i grupeve të kanaleve në përdorim: 11
Numri i agregatorëve:           11

Grupi  Port-channel  Protokolli    Portet
------+-------------+-----------+-----------------------------------------------
1      Po1(SU)         LACP      Gi1/0/1(P)  Gi2/0/1(P)

Konfigurimi fillestar i interfejsave rrjetërore për menaxhimin e burimeve të grupit, në hoste Host1 dhe Host2

Konfigurimi në hoste i interfejsit logjik BOND1 për menaxhimin dhe interfejsat e saj fizike:

cat /etc/sysconfig/network-scripts/ifcfg-bond0
#PËRSHKRIM - menaxhim
DEVICE=bond0
NAME=bond0
TIPI=Bond
BONDING_MASTER=po
IPV6INIT=jo
ONBOOT=po
USERCTL=jo
NM_CONTROLLED=jo
BOOTPROTO=asnjë
BONDING_OPTS='mode=4 lacp_rate=1 xmit_hash_policy=2'

cat /etc/sysconfig/network-scripts/ifcfg-em0
#PËRSHKRIM - menaxhim
DEVICE=em0
TIPI=Ethernet
BOOTPROTO=asnjë
ONBOOT=po
MASTER=bond0
SLAVE=po
USERCTL=jo 
NM_CONTROLLED=jo 

cat /etc/sysconfig/network-scripts/ifcfg-em1
#PËRSHKRIM - menaxhim
DEVICE=em1
TIPI=Ethernet
BOOTPROTO=asnjë
ONBOOT=po
MASTER=bond0
SLAVE=po
USERCTL=jo 
NM_CONTROLLED=jo

Pas përfundimit të konfigurimeve në stek 2960X dhe hosteve, rinitizojmë rrjetin në hoste dhe kontrollojmë funksionalitetin e interfejsit logjik.

systemctl restart network
cat /proc/net/bonding/bond1

2960X#show lacp internal
2960X#sh etherchannel summary

Konfigurimin e interfejsit rrjetërore menaxhues në çdo host në VLAN 17, dhe e lidhim atë me interfejsin logjik BOND1:

Konfigurimi i VLAN17 në Host1:

cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=asnjë
ONBOOT=po 
USERCTL=jo 
NM_CONTROLLED=jo 
VLAN=po
MTU=1500  
IPV4_FAILURE_FATAL=po
IPV6INIT=jo
IPADDR=172.20.17.163
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=po
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=publike

Konfigurimi i VLAN17 në Host2:

cat /etc/sysconfig/network-scripts/ifcfg-bond1.17
DEVICE=bond1.17
NAME=bond1-vlan17
BOOTPROTO=none
ONBOOT=yes 
USERCTL=no 
NM_CONTROLLED=no 
VLAN=yes
MTU=1500  
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
IPADDR=172.20.17.164
NETMASK=255.255.255.0
GATEWAY=172.20.17.2
DEFROUTE=yes
DNS1=172.20.17.8
DNS2=172.20.17.9
ZONE=public

Rinisim rrjetin në hoste dhe kontrollojmë dukshmërinë e tyre mes njëri-tjetrit.

Me këtë përfundojmë konfigurimin e grupeve të switch-eve Cisco 2960X, dhe nëse gjithçka është bërë siç duhet, tani kemi lidhje rrjeti të të gjitha elementeve të infrastrukturës mes tyre në nivelin L2.

Konfigurimi i sistemit të magazinimit Dell MD3820f

Para fillimit të punëve për konfigurimin e sistemit të magazinimit, ai duhet të jetë tashmë i lidhur me grupin e switch-eve Cisco 2960X me ndërfaqet menaxhuese, si dhe me hostet Host1 dhe Host2 përmes FC.

Skema e përgjithshme, sesi sistemi i magazinimit duhet të jetë i lidhur me grupin e switch-eve, u paraqit në kapitullin e mëparshëm.

Skema e lidhjes së sistemit të magazinimit me hostet përmes FC duhet të duket kështu:

Krijimi i njĂ« infrastrukture IT tĂ« qĂ«ndrueshme. Pjesa 1 — pĂ«rgatitja pĂ«r nxjerrjen e klasterit oVirt 4.3

GjatĂ« lidhjes, Ă«shtĂ« e nevojshme tĂ« shkruhen adresat WWPN tĂ« hosteve FC HBA tĂ« lidhur me portat FC nĂ« sistemin e magazinimit – kjo do tĂ« jetĂ« e nevojshme pĂ«r konfigurimin e lidhjes sĂ« hosteve me LUN-et nĂ« sistemin e magazinimit.

NĂ« stacionin e punĂ«s tĂ« administratorit shkarkojmĂ« dhe instalojmĂ« utilitarin pĂ«r menaxhimin e sistemit tĂ« magazinimit Dell MD3820f – PowerVault Modular Disk Storage Manager (MDSM).
Lidhuni me të përmes adresave të saj IP që janë të paracaktuara dhe pastaj konfiguroni adresat tona nga VLAN17, për menaxhimin e kontrolleve përmes TCP/IP:

Storage1:

ControllerA IP - 172.20.1.13, MASK - 255.255.255.0, Gateway - 172.20.1.2
ControllerB IP - 172.20.1.14, MASK - 255.255.255.0, Gateway - 172.20.1.2

Pas konfigurimit të adresave, hyjmë në ndërfaqen e menaxhimit të sistemit të magazinimit dhe vendosim fjalëkalimin, konfiguroni kohën, përditësojmë firmware për kontrollet dhe disqet, nëse është e nevojshme dhe kështu me radhë.
Si bĂ«het kjo – Ă«shtĂ« pĂ«rshkruar nĂ« udhĂ«zuesin pĂ«r administrimin e sistemit tĂ« magazinimit.

Pas përfundimit të konfigurimeve të mësipërme, na duhen vetëm disa veprime:

  1. Konfigurimi i identifikuesve tĂ« porteve FC tĂ« hosteve – Host Port Identifiers.
  2. Krijoni njĂ« grup hostesh – Host group dhe shtoni nĂ« tĂ« dy hostet tanĂ« Dell.
  3. Krijoni një grup disqesh dhe në të disqe virtuale (ose LUN-e), që do të prezantohen për hostet.
  4. Konfiguroni prezantimin e disqeve virtuale (ose LUN-eve) për hostet.

Shtimi i hosteve tĂ« rinj dhe lidhja me identifikuesit e porteve FC tĂ« hosteve, bĂ«het pĂ«rmes menusĂ« – Host Mappings -> Define -> Hosts

Adresat WWPN të hosteve FC HBA mund të gjenden, për shembull, në iDRAC të serverit.

Si rezultat, ne duhet të kemi një pamje të tillë:

Krijimi i njĂ« infrastrukture IT tĂ« qĂ«ndrueshme. Pjesa 1 — pĂ«rgatitja pĂ«r nxjerrjen e klasterit oVirt 4.3

Shtimi i njĂ« grupi tĂ« ri hostesh dhe lidhja e hosteve me tĂ«, bĂ«het pĂ«rmes menusĂ« – Host Mappings -> Define -> Grupi i Hosteve

PĂ«r hostet zgjidhni llojin e OS – Linux (DM-MP).

Pas krijimit tĂ« grupit tĂ« hosteve, pĂ«rmes seksionit ShĂ«rbimet e Ruajtjes dhe Kopjimit, krijojmĂ« grupin e diskut – Grupi i Diskut, me llojin qĂ« varet nga kĂ«rkesat pĂ«r qĂ«ndrueshmĂ«ri, pĂ«r shembull, RAID10, nĂ« tĂ« cilin disqet virtuale e kanĂ« madhĂ«sinĂ« e kĂ«rkuar:

Krijimi i njĂ« infrastrukture IT tĂ« qĂ«ndrueshme. Pjesa 1 — pĂ«rgatitja pĂ«r nxjerrjen e klasterit oVirt 4.3

Dhe pĂ«rfundimisht, faza finale — prezantimi i disqeve virtuale (ose LUN-Ă«ve) pĂ«r hostet.
PĂ«r kĂ«tĂ« pĂ«rmes menusĂ« – Host Mappings -> Hartimi i Lun-Ă«ve -> Shto
 bĂ«jmĂ« lidhjen e disqeve virtuale me hostet, duke u caktuar numra.

Kjo duhet të rezultojë siç është në këtë skrinshot:

Krijimi i njĂ« infrastrukture IT tĂ« qĂ«ndrueshme. Pjesa 1 — pĂ«rgatitja pĂ«r nxjerrjen e klasterit oVirt 4.3

Me këtë përfundon konfigurimi i SHT, dhe nëse gjithçka është bërë siç duhet, hostet duhet të shohin LUN-ët e prezantuar përmes FC HBA të tyre.
Të bëjmë që sistemi të përditësojë informacionin mbi disqet e lidhura:

ls -la /sys/class/scsi_host/
echo "- - -" > /sys/class/scsi_host/host[0-9]/scan

Le të shohim se cilat pajisje janë të dukshme në serverat tanë:

cat /proc/scsi/scsi
Dispozita e lidhura:
Host: scsi0 Channel: 02 Id: 00 Lun: 00
  Prodhuesi: DELL     Modeli: PERC H330 Mini   Rev: 4.29
  Lloji:   Qasje të Drejtpërdrejtë                    ANSI  Shikimi SCSI: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 00
  Prodhuesi: DELL     Modeli: MD38xxf          Rev: 0825
  Lloji:   Qasje të Drejtpërdrejtë                    ANSI  Shikimi SCSI: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 01
  Prodhuesi: DELL     Modeli: MD38xxf          Rev: 0825
  Lloji:   Qasje të Drejtpërdrejtë                    ANSI  Shikimi SCSI: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 04
  Prodhuesi: DELL     Modeli: MD38xxf          Rev: 0825
  Lloji:   Qasje të Drejtpërdrejtë                    ANSI  Shikimi SCSI: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 11
  Prodhuesi: DELL     Modeli: MD38xxf          Rev: 0825
  Lloji:   Qasje të Drejtpërdrejtë                    ANSI  Shikimi SCSI: 05
Host: scsi15 Channel: 00 Id: 00 Lun: 31
  Prodhuesi: DELL     Modeli: Universal Xport  Rev: 0825
  Lloji:   Qasje të Drejtpërdrejtë                    ANSI  Shikimi SCSI: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 00
  Prodhuesi: DELL     Modeli: MD38xxf          Rev: 0825
  Lloji:   Qasje të Drejtpërdrejtë                    ANSI  Shikimi SCSI: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 01
  Prodhuesi: DELL     Modeli: MD38xxf          Rev: 0825
  Lloji:   Qasje të Drejtpërdrejtë                    ANSI  Shikimi SCSI: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 04
  Prodhuesi: DELL     Modeli: MD38xxf          Rev: 0825
  Lloji:   Qasje të Drejtpërdrejtë                    ANSI  Shikimi SCSI: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 11
  Prodhuesi: DELL     Modeli: MD38xxf          Rev: 0825
  Lloji:   Qasje të Drejtpërdrejtë                    ANSI  Shikimi SCSI: 05
Host: scsi18 Channel: 00 Id: 00 Lun: 31
  Prodhuesi: DELL     Modeli: Universal Xport  Rev: 0825
  Lloji:   Qasje të Drejtpërdrejtë                    ANSI  Shikimi SCSI: 05

lsscsi
[0:2:0:0]    disk    DELL     PERC H330 Mini   4.29  /dev/sda
[15:0:0:0]   disk    DELL     MD38xxf          0825  -
[15:0:0:1]   disk    DELL     MD38xxf          0825  /dev/sdb
[15:0:0:4]   disk    DELL     MD38xxf          0825  /dev/sdc
[15:0:0:11]  disk    DELL     MD38xxf          0825  /dev/sdd
[15:0:0:31]  disk    DELL     Universal Xport  0825  -
 [18:0:0:0]   disk    DELL     MD38xxf          0825  -
[18:0:0:1]   disk    DELL     MD38xxf          0825  /dev/sdi
[18:0:0:4]   disk    DELL     MD38xxf          0825  /dev/sdj
[18:0:0:11]  disk    DELL     MD38xxf          0825  /dev/sdk
[18:0:0:31]  disk    DELL     Universal Xport  0825  -

Në host-e gjithashtu mund të konfigurohen multipath, dhe ndonëse gjatë instalimit të oVirt ai mund ta bëjë këtë vetë, është më mirë të kontrolloni korrektësinë e funksionimit të MP përpara.

Instalimi dhe konfigurimi i DM Multipath

yum install device-mapper-multipath
mpathconf --enable --user_friendly_names y

cat /etc/multipath.conf | egrep -v "^s*(#|$)"
defaults {
    user_friendly_names yes
            find_multipaths yes
}

blacklist {
  wwid 26353900f02796769
  devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"     
  devnode "^hd[a-z]"
 }

Aktivizojmë shërbimin MP për auto-start dhe e startojmë:

systemctl enable multipathd && systemctl restart multipathd

Kontrolli i informacionit mbi modulat e ngarkuara për funksionimin e MP:

lsmod | grep dm_multipath
dm_multipath           27792  6 dm_service_time
dm_mod                124407  139 dm_multipath,dm_log,dm_mirror

modinfo dm_multipath
filename:       /lib/modules/3.10.0-957.12.2.el7.x86_64/kernel/drivers/md/dm-multipath.ko.xz
license:        GPL
author:         Sistina Software 
description:    device-mapper multipath target
retpoline:      Y
rhelversion:    7.6
srcversion:     985A03DCAF053D4910E53EE
depends:        dm-mod
intree:         Y
vermagic:       3.10.0-957.12.2.el7.x86_64 SMP mod_unload modversions
signer:         CentOS Linux kernel signing key
sig_key:        A3:2D:39:46:F2:D3:58:EA:52:30:1F:63:37:8A:37:A5:54:03:00:45
sig_hashalgo:   sha256

Shikojmë informacionin përmbledhës mbi konfigurimin e ekzistueshëm të multipath:

mpathconf
multipath është aktivizuar
find_multipaths është çaktivizuar
user_friendly_names është çaktivizuar
moduli dm_multipath është ngarkuar
multipathd po funksionon

Pasi të keni shtuar një LUN të ri në san, dhe të keni paraqitur atë te hosti, duhet të kryeni një skanimin e HBA-ve të lidhur me hostin.

systemctl reload multipathd
multipath -v2

Dhe përfundimisht, kontrolloni nëse të gjitha LUN'ët janë paraqitur në san për hostet, dhe nëse të gjitha i drejtohen në dy rrugë.

Kontrolli i funksionit MP:

multipath -ll
3600a098000e4b4b3000003175cec1840 dm-2 DELL    ,MD38xxf
size=2.0T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:1  sdb 8:16  active ready running
`-+- policy='service-time 0' prio=9 status=enabled
  `- 18:0:0:1  sdi 8:128 active ready running
3600a098000e4b48f000002ab5cec1921 dm-6 DELL    ,MD38xxf
size=10T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 18:0:0:11 sdk 8:160 active ready running
`-+- policy='service-time 0' prio=9 status=enabled
  `- 15:0:0:11 sdd 8:48  active ready running
3600a098000e4b4b3000003c95d171065 dm-3 DELL    ,MD38xxf
size=150G features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
|-+- policy='service-time 0' prio=14 status=active
| `- 15:0:0:4  sdc 8:32  active ready running
`-+- policy='service-time 0' prio=9 status=enabled
  `- 18:0:0:4  sdj 8:144 active ready running

Siç shihet, tĂ« gjitha tre diskĂ«t virtualĂ« nĂ« san janĂ« tĂ« dukshĂ«m pĂ«rmes dy rrugĂ«ve. Pra, tĂ« gjitha punĂ«t pĂ«rgatitore janĂ« pĂ«rfunduar, dhe tani mund tĂ« kalojmĂ« nĂ« realizimin e pjesĂ«s kryesore – konfigurimin e klasterit oVirt, qĂ« do tĂ« shqyrtohet nĂ« artikullin e ardhshĂ«m.

Burimi: habr.com

Blini hosting tĂ« besueshĂ«m pĂ«r faqe interneti me mbrojtje nga DDoS, serverĂ« VPS VDS đŸ”„ Blini hosting tĂ« besueshĂ«m pĂ«r faqe interneti me mbrojtje nga DDoS, serverĂ« VPS VDS | ProHoster