Lihloohong tse peli tsa pele, ke ile ka hlahisa taba ea ho iketsetsa le ho thathamisa moralo oa eona, ka lekhetlo la bobeli ke ile ka khutlela morao ka har'a marang-rang a marang-rang, e le mokhoa oa pele oa ho iketsetsa tlhophiso ea litšebeletso.
Joale ke nako ea ho taka setšoantšo sa marang-rang a 'mele.
Haeba u sa tloaelane le ho theha marang-rang a setsi sa data, joale ke khothaletsa ka matla ho qala ka .
Litaba tsohle:
Mekhoa e hlalositsoeng letotong lena e lokela ho sebetsa ho mofuta ofe kapa ofe oa marang-rang, boholo leha e le bofe, le mefuta efe kapa efe ea barekisi (eseng). Leha ho le joalo, ho ke ke ha khoneha ho hlalosa mohlala oa bokahohle oa tšebeliso ea mekhoa ena. Ka hona, ke tla shebana le meralo ea sejoale-joale ea marang-rang a DC: .
Re tla etsa DCI ho MPLS L3VPN.
Marang-rang a Overlay a sebetsa ka holim'a marang-rang a 'mele ho tsoa ho moamoheli (ena e ka ba VXLAN ea OpenStack kapa Tungsten Fabric kapa eng kapa eng e hlokang khokahano ea IP ea mantlha ho tsoa marang-rang).
Tabeng ena, re fumana boemo bo batlang bo le bonolo bakeng sa ho iketsetsa, hobane re na le lisebelisoa tse ngata tse hlophisitsoeng ka mokhoa o ts'oanang.
Re tla khetha DC e chitja ka har'a vacuum:
- Mofuta o le mong oa moralo hohle.
- Bahoebi ba babeli ba etsang lifofane tse peli tsa marang-rang.
- DC e 'ngoe e tšoana le lierekisi tse peli ka har'a pod.
Tse ka hare
- Topology ea 'mele
- Ho tsamaisa tsela
- Morero oa IP
- Laba
- fihlela qeto e
- likhokahano tse sebetsang
Lumella Mofani oa Litšebeletso oa rona LAN_DC, mohlala, ho fana ka lifitio tsa koetliso mabapi le ho phela ka har'a lilifi tse thibang.
Ho megacities sena se tumme haholo, kahoo o hloka mechini e mengata ea 'mele.
Ntlha ea pele, ke tla hlalosa marang-rang hoo e batlang e le kamoo nka ratang hore e be kateng. 'Me joale ke tla e nolofatsa bakeng sa lab.
Topology ea 'mele
Libaka
LAN_DC e tla ba le 6 DCs:
- Russia (RU):
- Moscow (Mofumahali)
- Kazan (kzn)
- Spain (SP):
- Barcelona (bcn)
- Malaga (mlg)
- China (CN):
- Shanghai (sha)
- Xi'an (bobeli)
Ka hare ho DC (Intra-DC)
Li-DC kaofela li na le marang-rang a tšoanang a khokahanyo a kahare a ipapisitseng le Clos topology.
Ke marang-rang a mofuta ofe oa Clos mme ke hobane'ng ha ba arohane .
DC ka 'ngoe e na le liraka tse 10 tse nang le mechini, li tla baloa ka hore A, B, C Ho joalo joalo.
Reka e 'ngoe le e 'ngoe e na le mechini e 30. Li ke ke tsa re thahasella.
Hape ka rack e 'ngoe le e' ngoe ho na le phetoho eo mechine eohle e hokahaneng - sena ke Kaholimo ho sesebelisoa sa Rack - ToR kapa ho seng joalo, ho latela feme ea Clos, re tla e bitsa Leaf.
Setšoantšo se akaretsang sa feme.
Re tla ba bitsa XXX-lehlakuYkae XXX - khutsufatso ea litlhaku tse tharo DC, le Y - nomoro ea letoto. Ka mohlala, kzn-lekhasi11.
Lingoliloeng tsa ka ke tla itumella ho sebelisa mantsoe Leaf le ToR ka mokhoa o sa reng letho e le li-synonymes. Leha ho le joalo, re lokela ho hopola hore sena ha se joalo.
ToR ke sesebelisoa se kentsoeng ka har'a rack eo mechini e hokahaneng ho eona.
Leaf ke karolo ea sesebelisoa ho netweke ea 'mele kapa switch ea boemo ba pele ho latela Cloes topology.
Ke hore, Lekhasi != ToR.
Kahoo Leaf e ka ba sesebelisoa sa EndofRaw, mohlala.
Leha ho le joalo, ka har'a moralo oa sengoloa sena re ntse re tla li nka e le li-synonyms.
Sesebelisoa se seng le se seng sa ToR se hokahantsoe le li-switches tse 'ne tsa maemo a holimo - Mokokotlo. Rak e le 'ngoe ho DC e abetsoe Spines. Re tla e reha ka ho tšoana: XXX- mokokotloY.
Rack e tšoanang e tla ba le lisebelisoa tsa marang-rang bakeng sa khokahano lipakeng tsa li-routers tsa DC - 2 tse nang le MPLS ka sekepeng. Empa ka kakaretso, tsena ke li-ToR tse tšoanang. Ke hore, ho ea ka pono ea li-switches tsa Spine, ToR e tloaelehileng e nang le mechine e kopantsoeng kapa router bakeng sa DCI ha ho tsotellehe - lihele tse le 'ngoe tsa pele.
Li-ToR tse joalo tse khethehileng li bitsoa Lehlaku la moeli. Re tla ba bitsa XXX-mathokoY.
E tla shebahala tjena.
Setšoantšong se ka holimo, ke hlile ke beha bohale le lekhasi boemong bo tšoanang. Ba re rutile ho nahana ka uplinking (ka hona lentsoe) e le li-uplinks. 'Me mona ho hlaha hore "uplink" ea DCI e khutlela fatše, eo ho ba bang e senyang mohopolo o tloaelehileng. Tabeng ea marang-rang a maholo, ha litsi tsa data li arotsoe ka lihlopha tse nyenyane haholo - PODI's (Point Of Delivery), totobatsa motho ka mong Edge-POD's bakeng sa DCI le ho fihlella marang-rang a kantle.
Bakeng sa boiketlo ba maikutlo nakong e tlang, ke ntse ke tla hula Edge holim'a Spine, ha re ntse re tla hopola hore ha ho na bohlale ho Spine mme ha ho na phapang ha u sebetsa le Leaf le Edge-leaf le tloaelehileng (le hoja ho ka 'na ha e-ba le mefuta e mengata mona. , empa ka kakaretso Sena ke 'nete).
Sekema sa feme e nang le mahlaku a Edge.
Boraro-bo-bong ba Leaf, Spine le Edge bo theha marang-rang a Underlay kapa feme.
Mosebetsi oa feme ea marang-rang (bala Underlay), joalo ka ha re se re hlalositse ho , haholo, e bonolo haholo - ho fana ka khokahanyo ea IP pakeng tsa mechine ka bobeli ka har'a DC e le 'ngoe le pakeng tsa bona.
Ke ka lebaka leo marang-rang a bitsoang fektheri, joalo ka mohlala, fektheri e fetolang ka har'a mabokose a marang-rang a modular, ao u ka balang haholoanyane ka ona. .
Ka kakaretso, topology e joalo e bitsoa fektheri, hobane lesela ha le fetolela le bolela lesela. 'Me ho thata ho se lumellane:
Feme ke L3 ka ho felletseng. Ha ho VLAN, ha ho na Phatlalatso - re na le li-programmers tse babatsehang hakana ho LAN_DC, ba tseba ho ngola likopo tse phelang L3 paradigm, 'me mechine ea sebele ha e hloke Live Migration ka ho boloka aterese ea IP.
Hape hape: karabo ea potso ea hore na ke hobane'ng ha fektheri le hore na ke hobane'ng ha L3 e arohane .
DCI - Data Center Interconnect (Inter-DC)
DCI e tla hlophisoa ho sebelisoa Edge-Leaf, ke hore, ke sebaka sa rona sa ho tsoa tseleng e kholo.
Bakeng sa ho nolofatsa, re nka hore li-DC li hokahane ka lihokelo tse tobileng.
Ha re kenyeng khokahanyo ea kantle ho nahanoa.
Kea tseba hore nako le nako ha ke tlosa karolo, ke nolofatsa marang-rang haholo. 'Me ha re iketsetsa marang-rang a rona a sa bonahaleng, ntho e' ngoe le e 'ngoe e tla loka, empa ho ea sebele ho tla ba le lithupa.
Ke 'nete. Leha ho le joalo, ntlha ea letoto lena ke ho nahana le ho sebetsa ka mekhoa, eseng ho rarolla mathata a inahaneloang.
Ho Edge-Leafs, sekoaelo se behiloe ho VPN mme se fetisoa ka mokokotlo oa MPLS (sehokelo se tšoanang se tobileng).
Ena ke setšoantšo sa boemo bo holimo boo re bo fumanang.
Ho tsamaisa tsela
Bakeng sa ho tsamaisa ka har'a DC re tla sebelisa BGP.
Ka kutu ea MPLS OSPF+LDP.
Bakeng sa DCI, ke hore, ho hlophisa khokahano ka tlas'a lefatše - BGP L3VPN holim'a MPLS.
Sekema se akaretsang sa ho tsamaisa litsela
Ha ho na OSPF kapa ISIS (protocol ea routing e thibetsoeng Russia Federation) fekthering.
Sena se bolela hore ho ke ke ha e-ba le ho sibolloa ha Auto kapa lipalo tsa litsela tse khuts'oane - feela bukana (ha e le hantle e iketsang - re bua ka automation mona) ho theha protocol, tikoloho le maano.
BGP routing scheme ka hare ho DC
Ke hobane'ng ha BGP?
Tabeng ena ho na le e reheletsoeng ka Facebook le Arista, e bolelang mokhoa oa ho haha e kgolo haholo marang-rang a setsi sa data a sebelisang BGP. E bala hoo e batlang e le tšōmo, ke e khothaletsa haholo bakeng sa mantsiboea a lapiid.
Hape ho na le karolo e feletseng sehloohong sa ka se inehetseng ho sena. Ke u isa kae le .
Empa leha ho le joalo, ka bokhutšoanyane, ha ho na IGP e loketseng marang-rang a litsi tse kholo tsa data, moo palo ea lisebelisoa tsa marang-rang e kenang likete.
Ntle le moo, ho sebelisa BGP hohle ho tla u lumella hore u se ke oa senya nako ho ts'ehetsa liprothokholo tse fapaneng le ho hokahanya lipakeng tsa tsona.
Ha letsoho ka pelo, fekthering ea rona, eo ka tekanyo e phahameng ea monyetla e ke keng ea hōla ka potlako, OSPF e ne e tla ba e lekaneng bakeng sa mahlo. Ha e le hantle ana ke mathata a megascaler le cloud titans. Empa ha re nahaneng ka litokollo tse 'maloa tseo re li hlokang,' me re tla sebelisa BGP, joalo ka ha Pyotr Lapukhov a ile a re fa.
Maano a ho tsamaisa
Ho li-switches tsa Leaf, re kenya li-prefixes ho tsoa lihokelong tsa marang-rang tsa Underlay ho ea ho BGP.
Re tla ba le kopano ea BGP lipakeng tsa ka 'ngoe para ya Leaf-Spine, moo dihlongwapele tsena tsa Underlay di tla phatlalatsoa marangrang mona le mane.
Ka har'a setsi se le seng sa data, re tla aba lintlha tseo re li rometseng ho ToRe. Ho Edge-Leafs re tla li kopanya 'me re li phatlalatse ho li-DC tse hole ebe re li romela ho TORs. Ke hore, ToR e 'ngoe le e' ngoe e tla tseba hantle hore na u ka fihla joang ToR e 'ngoe ho DC e le' ngoe le moo ho kenang teng ho fihla ToR ho DC e 'ngoe.
Ho DCI, litsela li tla fetisoa joalo ka VPNv4. Ho etsa sena, ho Edge-Leaf, sebopeho se lebisang fekthering se tla kenngoa VRF, ha re e bitse UNDERLAY, 'me sebaka sa boahelani se nang le Spine on Edge-Leaf se tla phahama ka har'a VRF, le pakeng tsa Edge-Leafs ho VPNv4- lelapa.
Re tla thibela hape phatlalatso ea litsela tse amohetsoeng ho tloha mokokotlong ho khutlela ho tsona.
Ho Leaf le Spine re ke ke ra kenya li-Loopbacks. Re li hloka feela ho tseba ID ea router.
Empa ho Edge-Leafs re e kenya ho Global BGP. Pakeng tsa liaterese tsa Loopback, Edge-Leafs e tla theha seboka sa BGP ho IPv4 VPN-lelapa hammoho.
Re tla ba le mokokotlo oa OSPF + LDP pakeng tsa lisebelisoa tsa EDGE. Tsohle di sebakeng se le seng. Tlhophiso e bonolo haholo.
Sena ke setšoantšo se nang le routing.
BGP ASN
Edge-Leaf ASN
Ho Edge-Leafs ho tla ba le ASN e le 'ngoe ho li-DC tsohle. Ho bohlokoa hore ho be le iBGP lipakeng tsa Edge-Leafs, 'me re se ke ra ts'oaroa ke mefokolo ea eBGP. E ke e be 65535. Ha e le hantle, ena e ka ba palo ea AS ea sechaba.
Mokokotlo ASN
Ho Spine re tla ba le ASN e le 'ngoe ka DC. Ha re qaleng mona ka nomoro ea pele ho tloha mofuteng oa poraefete AS - 64512, 64513 Joalo joalo.
Hobaneng ha ASN ho DC?
A re aroleng potso ena likarolo tse peli:
- Hobaneng ha li-ASN li ts'oana ho li-spines tsohle tsa DC e le 'ngoe?
- Ke hobane'ng ha li fapane ho li-DC tse fapaneng?
Ke hobane'ng ha li-ASN tse tšoanang li le mokokotlong oa DC e le 'ngoe?
Sena ke tsela eo AS-Path ea tsela ea Underlay ho Edge-Leaf e tla shebahala ka eona:
[leafX_ASN, spine_ASN, edge_ASN]
Ha u leka ho e bapatsa hape ho Spine, e tla e lahla hobane AS (Spine_AS) ea eona e se e le lethathamong.
Leha ho le joalo, ka hare ho DC re khotsofetse ka ho feletseng hore litsela tsa Underlay tse nyolohelang Lebōpong li ke ke tsa khona ho theoha. Puisano eohle pakeng tsa mabotho a ka hare ho DC e tlameha ho etsahala ka har'a boemo ba mokokotlo.
Tabeng ena, litsela tse kopantsoeng tsa li-DC tse ling li tla fihla habonolo ho li-ToRs - AS-Path ea bona e tla ba le ASN 65535 feela - palo ea AS Edge-Leafs, hobane ke moo ba bōpiloeng teng.
Ke hobane'ng ha li fapane ho li-DC tse fapaneng?
Ka khopolo, re ka 'na ra hloka ho hula Loopback le mechine e meng ea litšebeletso pakeng tsa DCs.
Ka mohlala, ho moamoheli re tla tsamaisa Route Reflector kapa (Virtual Network Gateway), e tla notlela le TopR ka BGP le ho phatlalatsa loopback ea eona, e lokelang ho fumaneha ho tsoa ho li-DC tsohle.
Kahoo sena ke kamoo AS-Path ea eona e tla shebahala kateng:
[VNF_ASN, leafX_DC1_ASN, spine_DC1_ASN, edge_ASN, spine_DC2_ASN, leafY_DC2_ASN]
'Me ha hoa lokela ho ba le li-ASN tse kopitsoang kae kapa kae.
Ke hore, Spine_DC1 le Spine_DC2 li tlameha ho fapana, joalo ka leafX_DC1 le leafY_DC2, e leng sona seo re se atamelang.
Joalo ka ha o tseba, ho na le li-hacks tse u lumellang ho amohela litsela tse nang le li-ASN tse kopitsoang leha ho na le mochini oa thibelo ea loop (allowas-in on Cisco). Ebile e na le litšebeliso tse nepahetseng. Empa sena ke lekhalo le ka bang teng botsitsong ba marang-rang. Mme nna ka bonna ke ile ka wela ho yona ka makgetlo a mmalwa.
’Me haeba re e-na le monyetla oa ho se sebelise lintho tse kotsi, re tla sebelisa monyetla oo.
Lekhasi ASN
Re tla ba le ASN ka bomong ho switjha ka 'ngoe ea Leaf ho pholletsa le marang-rang.
Re etsa sena ka mabaka a fanoeng ka holimo: AS-Path ntle le loops, BGP tlhophiso ntle le li-bookmark.
E le hore litsela tse pakeng tsa Leafs li tsamaee hantle, AS-Path e lokela ho shebahala tjena:
[leafX_ASN, spine_ASN, leafY_ASN]
moo leafX_ASN le leafY_ASN li ka bang monate ho fapana.
Sena se hlokahala hape bakeng sa boemo ka phatlalatso ea VNF loopback lipakeng tsa DCs:
[VNF_ASN, leafX_DC1_ASN, spine_DC1_ASN, edge_ASN, spine_DC2_ASN, leafY_DC2_ASN]
Re tla sebelisa 4-byte ASN mme re e hlahise ho latela Spine's ASN le Leaf switch number, e leng, tjena: Mokokotlo_ASN.0000X.
Sena ke setšoantšo se nang le ASN.
Morero oa IP
Ha e le hantle, re hloka ho fana ka liaterese bakeng sa likhokahano tse latelang:
- Liaterese tsa marang-rang tse tlase pakeng tsa ToR le mochini. Li tlameha ho ikhetha ka har'a marang-rang kaofela e le hore mochine ofe kapa ofe o ka buisana le o mong. Ho lekana hantle 10/8. Bakeng sa rack e 'ngoe le e' ngoe ho na le / 26 e nang le polokelo. Re tla aba /19 ka DC le /17 sebakeng ka seng.
- Kopanya liaterese lipakeng tsa Leaf/Tor le Spine.
Ke kopa ho li abela ka mokhoa oa algorithm, ke hore, ho li bala ho tsoa mabitsong a lisebelisoa tse lokelang ho hokahanngoa.
E ke e be ... 169.254.0.0/16.
E leng hore 169.254.00X.Y/31kae X - Nomoro ea mokokotlo, Y — P2P marangrang /31.
Sena se tla u lumella ho qala li-racks tsa 128, le ho fihla ho 10 Spines ho DC. Liaterese tsa khokahano li ka ('me li tla) phetoa ho tloha DC ho ea ho DC. - Re hlophisa mateano a Spine-Edge-Leaf holim'a subnets 169.254.10X.Y/31, moo ho tšoanang hantle X - Nomoro ea mokokotlo, Y — P2P marangrang /31.
- Kopanya liaterese ho tloha Edge-Leaf ho ea mokokotlong oa MPLS. Mona boemo bo batla bo fapane - sebaka seo likotoana tsohle li hokahaneng ho pie e le 'ngoe, kahoo ho sebelisa liaterese tse tšoanang ho ke ke ha sebetsa - o hloka ho khetha subnet e latelang ea mahala. Ka hona, a re nkeng e le motheo 192.168.0.0/16 ’me re tla ntša ba lokolohileng ho eona.
- Liaterese tsa Loopback. Re tla fana ka mefuta eohle bakeng sa bona 172.16.0.0/12.
- Lekhasi - / 25 ka DC - li-racks tse tšoanang tsa 128. Re tla aba /23 sebakeng ka seng.
- Mokokotlo - / 28 ka DC - ho fihlela ho 16 Spine. Ha re abeng /26 sebakeng ka seng.
- Edge-Leaf - / 29 ka DC - ho fihla ho mabokose a 8. Ha re abeng /27 sebakeng ka seng.
Haeba re sena libaka tse lekaneng tse abetsoeng ho DC ('me ho ke ke ha e-ba le - re ipolela hore re li-hyperscaler), re khetha feela sebaka se latelang.
Sena ke setšoantšo se nang le aterese ea IP.
Loopbacks:
Sehlongoapele
Karolo ea sesebelisoa
Sebaka
ДЦ
172.16.0.0/23
bohale
172.16.0.0/27
ru
172.16.0.0/29
Mofumahali
172.16.0.8/29
kzn
172.16.0.32/27
sp
172.16.0.32/29
bcn
172.16.0.40/29
mlg
172.16.0.64/27
cn
172.16.0.64/29
sha
172.16.0.72/29
bobeli
172.16.2.0/23
lesapo la mokokotlo
172.16.2.0/26
ru
172.16.2.0/28
Mofumahali
172.16.2.16/28
kzn
172.16.2.64/26
sp
172.16.2.64/28
bcn
172.16.2.80/28
mlg
172.16.2.128/26
cn
172.16.2.128/28
sha
172.16.2.144/28
bobeli
172.16.8.0/21
lekhasi
172.16.8.0/23
ru
172.16.8.0/25
Mofumahali
172.16.8.128/25
kzn
172.16.10.0/23
sp
172.16.10.0/25
bcn
172.16.10.128/25
mlg
172.16.12.0/23
cn
172.16.12.0/25
sha
172.16.12.128/25
bobeli
Katlase:
Sehlongoapele
Sebaka
ДЦ
10.0.0.0/17
ru
10.0.0.0/19
Mofumahali
10.0.32.0/19
kzn
10.0.128.0/17
sp
10.0.128.0/19
bcn
10.0.160.0/19
mlg
10.1.0.0/17
cn
10.1.0.0/19
sha
10.1.32.0/19
bobeli
Laba
Barekisi ba babeli. Marang-rang a le mong. ADSM.
Junipere + Arista. Ubuntu. Hantle Eva.
Palo ea lisebelisoa ho seva sa rona sa Mirana e ntse e lekanyelitsoe, kahoo bakeng sa boikoetliso re tla sebelisa marang-rang a nolofalitsoeng ho isa moeling.
Litsi tse peli tsa data: Kazan le Barcelona.
- Ho na le li-spines tse peli: junipere le Arista.
- Torus e le 'ngoe (Lekhasi) ho e' ngoe le e 'ngoe - Juniper le Arista, ba nang le moamoheli a le mong ea hokahaneng (ha re nke Cisco IOL e bobebe bakeng sa sena).
- Node e le 'ngoe ea Edge-Leaf e' ngoe le e 'ngoe (hona joale ke junipere feela).
- Phetoho e le 'ngoe ea Cisco ho ba busa kaofela.
- Ho phaella ho mabokose a marang-rang, mochine oa ho laola o sebetsang o ntse o sebetsa. Ho tsamaisa Ubuntu.
E na le phihlello ea lisebelisoa tsohle, e tla tsamaisa lits'ebetso tsa IPAM/DCIM, sehlopha sa mangolo a Python, Ansible le eng kapa eng eo re ka e hlokang.
ea lisebelisoa tsohle tsa marang-rang, tseo re tla leka ho li hlahisa re sebelisa automation.
fihlela qeto e
Na seo le sona se amohetsoe? Na ke lokela ho ngola sephetho se sekhutšoane tlas’a sehlooho ka seng?
Kahoo re ile ra khetha Kloz marang-rang ka hare ho DC, kaha re lebeletse sephethephethe se seholo sa Bochabela-Bophirima 'me re batla ECMP.
Marang-rang a ne a arotsoe ka 'mele (ka tlas'a metsi) le virtual (overlay). Ka nako e ts'oanang, ho koahela ho qala ho tloha ho moamoheli - ka tsela eo ho nolofatsa litlhoko tsa underlay.
Re khethile BGP joalo ka protocol ea routing bakeng sa marang-rang bakeng sa scalability ea eona le ho fetoha ha leano.
Re tla ba le li-node tse arohaneng tsa ho hlophisa DCI - Edge-leaf.
Mokokotlo o tla ba le OSPF + LDP.
DCI e tla kengoa tšebetsong e ipapisitse le MPLS L3VPN.
Bakeng sa lihokelo tsa P2P, re tla bala liaterese tsa IP ka mokhoa o ikhethileng ho latela mabitso a sesebelisoa.
Re tla abela li-loopback ho latela karolo ea lisebelisoa le sebaka sa tsona ka tatellano.
Li-prefixes tse ka tlas'a maemo - ho li-switches tsa Leaf feela ka tatellano ho latela sebaka sa tsona.
Ha re nke hore hajoale ha re e-so be le thepa e kentsoeng.
Ka hona, mehato ea rona e latelang e tla ba ho li kenyelletsa ho litsamaiso (IPAM, inventory), ho hlophisa phihlello, ho hlahisa tlhophiso le ho e sebelisa.
Sehloohong se latelang re tla sebetsana le Netbox - lethathamo la thepa le tsamaiso ea sebaka sa IP ho DC.
kea leboha
- Andrey Glazkov aka @glazgoo bakeng sa ho bala le ho lokisa liphoso
- Alexander Klimenko aka @v00lk bakeng sa ho bala le ho hlophisa
- Artyom Chernobay bakeng sa KDPV
Source: www.habr.com