HiDC riešenie pre vybudovanie modernej ICT infraštruktúry pre dátové centrá na báze vybavenia Huawei Enterprise

Po pohľade na všetky moderné riešenia Huawei Enterprise predstavené v roku 2020 z vtáčej perspektívy prejdeme k cielenejším a podrobnejším príbehom o jednotlivých nápadoch a produktoch, ktoré môžu slúžiť ako základ pre digitálnu transformáciu veľkých podnikov aj vládnych agentúr. Dnes hovoríme o konceptoch a technológiách, na ktorých Huawei navrhuje stavať dátové centrá.

HiDC riešenie pre vybudovanie modernej ICT infraštruktúry pre dátové centrá na báze vybavenia Huawei Enterprise

V ére prepojeného sveta si výzvy ukladania a spracovania údajov vyžadujú nové prístupy vo všetkých fázach životného cyklu dátového centra. Zároveň sa musia stať jednoduchšími a inteligentnejšími, aby zvládli svoju úlohu ústredných prvkov infraštruktúry globálnej digitálnej ekonomiky.

V roku 2018 si ľudstvo uložilo 33 zettabajtov informácií, no do roku 2025 by sa ich celkový objem mal zvýšiť viac ako päťnásobne. Tri desaťročia skúseností s vývojom ICT infraštruktúr umožnili Huawei dobre sa pripraviť na rastúce „dátové tsunami“ a ponúknuť svojim partnerom a zákazníkom koncept inteligentného dátového centra vrátane všetkých fáz jeho výstavby, prevádzky a údržby. Prvky tohto konceptu sú zjednotené pod všeobecným názvom HiDC.

HiDC riešenie pre vybudovanie modernej ICT infraštruktúry pre dátové centrá na báze vybavenia Huawei Enterprise

Digitalizujte to

Internetom koluje čerstvý vtip: kto najviac urýchlil digitálnu transformáciu vašej spoločnosti – generálny riaditeľ, technický riaditeľ, predstavenstvo? Epidémia koronavírusu! Len ten lenivý nerobí webináre, nepíše články, nehovorí ľuďom, ako a čo majú robiť. Ale to všetko sú reaktívne akcie. Niektoré vopred pripravené.

Nie pre chvastanie sa – z objektívnych dôvodov uvedieme ako príklad našu spoločnosť, v ktorej sa pred niekoľkými rokmi vo veľkom rozbehla digitálna transformácia. V súčasnosti dokážeme takmer všetkých našich zamestnancov presunúť do práce z domu bez straty efektivity. Príbeh nemocnice postavenej v meste Wuhan za desať dní je orientačný. Tam sa digitálna transformácia prejavila tak, že všetky IT systémy boli nasadené do troch dní. Digitálna transformácia teda nie je o „kedy“ a „prečo“, ale o „ako“.

HiDC riešenie pre vybudovanie modernej ICT infraštruktúry pre dátové centrá na báze vybavenia Huawei Enterprise

Architektonický prístup namiesto spontánneho vývoja

Aké sú hlavné problémy, ktorým čelíme, keď začíname budovať určitý systém? Všetci naši zákazníci doteraz pracujú v režime kombinovania obchodných úloh s aplikačnými službami a IT riešeniami. Je dosť ťažké získať všeobecnú predstavu o fungovaní takéhoto komplexu, ak bol vytvorený jednoducho pridaním rôznych blokov. A na vybudovanie systému ako jediného organizmu je najprv potrebný architektonický prístup. To je to, čo sme stelesnili v ideológii nášho riešenia HiDC.

HiDC riešenie pre vybudovanie modernej ICT infraštruktúry pre dátové centrá na báze vybavenia Huawei Enterprise

Maximálna hodnota a minimálne náklady

Celá štruktúra HiDC sa skladá z dvoch hlavných častí. Prvým je to, na čo ste zvyknutí od Huawei – klasická infraštruktúra. Prvky druhého rezu sa najľahšie kombinujú s pojmom „inteligentné dáta“.

Prečo je to potrebné? V súčasnosti mnoho spoločností hromadí obrovské množstvo informácií, ktoré sú často rozptýlené alebo prístupné prostredníctvom rôznych typov „tesnenia“. Áno, vezmite si aspoň obyčajné databázy. Opýtajte sa svojich správcov databáz, ako tieto databázy do seba zapadajú a ako používať informácie z nich v systémoch BI na prijímanie obchodných rozhodnutí. Prekvapivo sú databázy často navzájom veľmi voľne prepojené a fungujú ako samostatné „ostrovy“. Preto sme sa v prvom rade zamysleli nad tým, aké architektonické prístupy by mohli tento problém odstrániť.

HiDC riešenie pre vybudovanie modernej ICT infraštruktúry pre dátové centrá na báze vybavenia Huawei Enterprise

Princípy dizajnu architektúry HiDC

Pozrime sa na základné princípy dizajnu HiDC. Bude to užitočné predovšetkým nie pre špecialistov v nejakej konkrétnej oblasti, ale pre architektov riešení, ktorí dokážu zachytiť celú panorámu.

Najbežnejšie sú blok konvergovaných sietí a blok správy dát. A tu prichádza koncept, o ktorom architekti riešení len zriedka premýšľajú: správa životného cyklu dát. Z klasických databáz migroval do mnohých iných systémov vrátane cloudu a edge computingu.

Edge computing sa stáva čoraz bežnejším. Najzrejmejším príkladom ich využitia je auto s autopilotom, ktoré je vhodné ovládať z jednej platformy. Okrem toho existuje trend smerom k „zeleným“ technológiám – energeticky efektívnejším, ktoré minimálne poškodzujú životné prostredie. Oboje môžete dosiahnuť prechodom na intelektuálne zdroje (viac o nich neskôr).

Je skvelé, že máme k dispozícii všetkých šesť blokov štruktúry HiDC. Je pravda, že zákazníci často pracujú v predtým vytvorenom prostredí. Použitie čo i len jedného bloku z vyššie uvedeného diagramu však môže priniesť ovocie. A ak pridáte druhý, tretí a tak ďalej, začne sa dostavovať synergický efekt. Samotná kombinácia siete a distribuovaného úložiska prinesie vyšší výkon a nižšiu latenciu. Blokový prístup nám umožňuje rozvíjať sa nie chaoticky, ako sa to často stáva v priemysle, ale pomocou integrovaného architektonického prístupu. No a otvorenosť samotných blokov poskytuje slobodu pri výbere optimálneho riešenia.

HiDC riešenie pre vybudovanie modernej ICT infraštruktúry pre dátové centrá na báze vybavenia Huawei Enterprise

Čas konvergovaných sietí

V poslednej dobe na globálnom a ruskom trhu čoraz viac presadzujeme koncept konvergentných sietí. Už dnes naši zákazníci využívajú konvergované riešenia založené na RoCEv2 (RDMA over Converged Ethernet v2) na vytváranie distribuovaných softvérovo definovaných úložných systémov. Hlavnou výhodou tohto prístupu je jeho otvorenosť a absencia potreby vytvárať neurčité množstvo nesúrodých sietí.

Prečo sa to nerobilo skôr? Pripomeňme, že štandard Ethernet bol vyvinutý v roku 1969. Za polstoročie sa v ňom nahromadilo veľa problémov, no Huawei sa ich naučil riešiť. Teraz, vďaka množstvu ďalších krokov, môžeme použiť Ethernet pre kritické aplikácie, riešenia s vysokou záťažou atď.

HiDC riešenie pre vybudovanie modernej ICT infraštruktúry pre dátové centrá na báze vybavenia Huawei Enterprise

Od DCN po DCI

Ďalším dôležitým trendom je synergický efekt z implementácie DCI (Data Center Interconnect). V Rusku na rozdiel od Číny niečo podobné nájdete len u telekomunikačných operátorov. Keď zákazníci zvažujú sieťové riešenia pre dátové centrum, zvyčajne nevenujú dostatočnú pozornosť hlbokej integrácii optických sietí a klasických IP riešení v rámci jedného bodu prítomnosti. Používajú známe riešenia, ktoré fungujú na IP vrstve, čo im stačí.

Načo je potom DCI? Predstavte si, že správca uzla DWDM a správca siete konajú nezávisle. V určitom bode môže zlyhanie ktoréhokoľvek z nich vážne znížiť vašu odolnosť. A ak použijeme princíp synergie, IP smerovanie sa vykonáva s prihliadnutím na to, čo sa deje v optickej sieti. Využitie takejto inteligentnej služby výrazne zvyšuje počet deviatakov v úrovni dostupnosti celého systému.

Ďalšou vážnou výhodou nášho DCI je jeho veľká výkonnostná rezerva. Zhrnutím možností radov C a L môžete získať približne 220 lambd. Takúto rezervu pravdepodobne rýchlo nevyčerpá ani veľký firemný zákazník, vzhľadom na to, že naše súčasné riešenie umožňuje prenášať cez každú lambdu až 400 Gbit/s. V budúcnosti bude možné na rovnakom zariadení dosiahnuť 800 Gbit/s.

Ďalšie pohodlie poskytuje celková ovládateľnosť, ktorú poskytujeme prostredníctvom klasicky otvorených rozhraní. NETCONF spravuje nielen prepínače, ale aj optické multiplexné zariadenia, čo vám umožňuje dosiahnuť konvergenciu na všetkých úrovniach a vnímať systém ako intelektuálny zdroj a nie ako „súbor boxov“.

HiDC riešenie pre vybudovanie modernej ICT infraštruktúry pre dátové centrá na báze vybavenia Huawei Enterprise

Edge computing je čoraz dôležitejší

Mnoho ľudí počulo o Edge Computing. A tí, ktorí sú zapojení do cloudových a klasických dátových centier, by mali mať na pamäti, že nedávno sme zaznamenali vážny posun smerom k edge computingu.

čo to spôsobuje? Pozrime sa na bežné modely nasadenia. V súčasnosti sa veľa hovorí o „inteligentných mestách“, „inteligentných domoch“ atď. Tento koncept umožňuje developerovi vytvárať pridanú hodnotu a zvyšovať cenu nehnuteľnosti. „Inteligentný dom“ identifikuje svojho obyvateľa, vpustí ho dnu a von a poskytne mu určité služby. Podľa štatistík takéto služby pridávajú približne 10–15 % k cene bytov a vo všeobecnosti môžu podnietiť rozvoj nových obchodných modelov. Tiež to už bolo povedané o konceptoch autopilota. Čoskoro vývoj technológií 5G a Wi-Fi 6 poskytne extrémne nízku latenciu pre prenos dát medzi inteligentnými domami, autami a hlavným dátovým centrom, ktoré vykonáva edge computing. To znamená, že bude možné vykonávať oveľa väčší počet operácií súvisiacich so serióznym spracovaním údajov. Na vyriešenie takýchto problémov je možné použiť najmä neurónové procesory, ktoré sú už dodávané do Ruska.

Prísľub práve načrtnutého trendu je nepopierateľný. Predstavme si napríklad inteligentný systém riadenia mestskej dopravy schopný prepínať semafory, regulovať dopravnú záťaž na konkrétnych uliciach, či dokonca prijímať adekvátne opatrenia počas mimoriadnych udalostí.

HiDC riešenie pre vybudovanie modernej ICT infraštruktúry pre dátové centrá na báze vybavenia Huawei Enterprise

Teraz prejdime k zdrojom, ktorými zabezpečujeme implementáciu konceptu HiDC.

Výpočty

Keď potrebujeme implementovať štandardný výpočtový systém, používajú sa v ňom samozrejme procesory s architektúrou x86. Akonáhle však vznikne potreba prispôsobenia, je čas premýšľať o rozmanitejších riešeniach.

Napríklad procesory ARM sú vďaka veľkému počtu jadier vynikajúce pre vysoko paralelné aplikácie. Viacvláknové spracovanie poskytuje zvýšenie výkonu približne o 30 %.

Keď je nízka latencia kritická, do popredia sa dostávajú programovateľné logické integrované obvody (FPGA).

Neurónové procesory sú primárne potrebné pri riešení problémov strojového učenia. Ak pre konkrétnu implementáciu potrebujeme 16 rackov s 8 servermi, každý s neurónovými procesormi, potom riešenie rovnakej úrovne založené na x86 architektúre by vyžadovalo (!) asi 128 rackov. Ako vidíte, široká škála typov výpočtov si vyžaduje starostlivý výber hardvérových platforiem.

HiDC riešenie pre vybudovanie modernej ICT infraštruktúry pre dátové centrá na báze vybavenia Huawei Enterprise

Ukladanie údajov

Huawei už druhý rok vyzýva partnerov, zákazníkov a kolegov z odvetvia, aby vytvorili systémy na ukladanie dát v súlade s princípom Flash Only. A väčšina našich zákazníkov používa mechanické vretenové pohony len v starších riešeniach alebo na zriedka používané archívne dáta.

Flash systémy sa tiež vyvíjajú. Na trhu sa objavujú systémy Storage Class Memory (SCM), ako je Intel Optane. Čínski a japonskí výrobcovia demonštrujú zaujímavý vývoj. V súčasnosti SCM prevyšuje všetky ostatné riešenia z hľadiska triedy spracovania. Zatiaľ len vysoká cena neumožňuje ich použitie všade.

Zároveň vidíme, že kvalitu úložných systémov treba zlepšiť nielen na klasickom backende, ale aj na frontende. Teraz de facto v nových implementáciách spravidla ponúkame a využívame mechanizmy priameho prístupu do pamäte cez Ethernet, no vidíme požiadavky zákazníkov a preto ku koncu roka začneme častejšie využívať NVMe over Fabrics. Navyše, end-to-end, aby sa zabezpečila spoločná architektúra, ktorá, samozrejme, musí byť vysoko výkonná a odolná voči zlyhaniu ovládača.

Úložný systém OceanStor Dorado je jedným z našich vlajkových produktov. Interné testovanie ukázalo, že poskytuje výkon 20 miliónov IOPS a zachováva funkčnosť, keď zlyhá sedem z ôsmich radičov.

Prečo toľko sily? Pozrime sa na súčasnú situáciu. Čínski obyvatelia už niekoľko mesiacov trávia v dôsledku blokády podstatne viac času doma. Internetová prevádzka sa v tom čase zvýšila v priemere o 30 % a v niektorých provinciách sa dokonca zdvojnásobila. Zvýšila sa spotreba rôznych sieťových služieb. A v určitom okamihu tie isté banky začali pociťovať vážne dodatočné zaťaženie, na ktoré ich úložné systémy neboli pripravené.

Je jasné, že nie každý teraz potrebuje 20 miliónov IOPS. Čo sa však stane zajtra? Naše inteligentné systémy maximalizujú plný potenciál neurónových procesorov s cieľom zabezpečiť kompaktnosť prevádzky, deduplikáciu, optimalizáciu a rýchlu obnovu dát.

Chrbtová sieť

Rok 2020, ako sme spomínali v predchádzajúcom článku, bude pre nás rokom core sietí. Mnohí zákazníci, najmä poskytovatelia aplikačných služieb (ASP) a banky, už premýšľajú o tom, ako budú ich aplikácie konkrétne fungovať z hľadiska komunikácie do dátových centier a medzi nimi. Tu nám prichádza na pomoc nová chrbticová sieť. Ako príklad si vezmime najväčšie čínske banky, ktoré prešli na zjednodušené chrbticové systémy využívajúce na komunikáciu medzi dátovými centrami nie tucet rôznych protokolov, ale relatívne povedané pár - OSPF a SRv6. Okrem toho organizácia dostáva rovnaký súbor služieb.

HiDC riešenie pre vybudovanie modernej ICT infraštruktúry pre dátové centrá na báze vybavenia Huawei Enterprise

Intelektuálne zdroje

Ako používať údaje? Donedávna existoval fragmentovaný systém heterogénnych databáz: Microsoft SQL, MySQL, Oracle atď. Na prácu s nimi sa využívali riešenia z oblasti veľkých dát, schopné tieto dáta kombinovať, brať, pracovať s nimi. To všetko spôsobilo vysoké zaťaženie zdrojov.

Zároveň neexistoval mechanizmus na vykonávanie operácií s údajmi pri výskyte nejakej udalosti. Riešením bol vývoj princípov správy životného cyklu dát (DLM).

Každý už počul o dátových jazerách. S prechodom od správy údajov k správe údajov sa „digitálne jazerá“ začali rýchlo stávať inteligentnejšími. Vrátane vďaka riešeniam Huawei. V nasledujúcich materiáloch si určite povieme o celej hromade softvérových technológií, ktoré sme použili. Teraz je dôležité poznamenať, že práve použitie inteligentného riadenia životného cyklu údajov nám umožnilo zjednodušiť používanie našej siete a serverov, ako aj naučiť sa budovať komplexné architektúry, aby sme lepšie pochopili princípy práce s údajmi. .

HiDC riešenie pre vybudovanie modernej ICT infraštruktúry pre dátové centrá na báze vybavenia Huawei Enterprise

Inžinierska infraštruktúra dátových centier

Budeme publikovať samostatné materiály venované inžinierskej infraštruktúre, no v kontexte dnešnej témy by sme chceli spomenúť tie zmeny, ktoré súvisia s konceptom HiDC.

Po dlhú dobu bolo používanie lítiových batérií v núdzových a záložných systémoch napájania (ESP) dátových centier zakázané z dôvodu ich vysokého nebezpečenstva požiaru. Akékoľvek mechanické poškodenie alebo porušenie integrity batérie môže viesť k jej požiaru a nepredvídateľným následkom. V tomto ohľade bol PSA vybavený zastaranými kyselinovými batériami, ktoré mali nízku špecifickú hustotu náboja a veľkú hmotnosť.

Nové núdzové a záložné napájacie systémy Huawei využívajú bezpečné lítium-železofosfátové (LFP) batérie s inteligentnou proaktívnou správou. Pri rovnakej kapacite zaberajú trikrát menší objem v porovnaní s kyselinovými batériami. Ich životný cyklus je 10–15 rokov, čo okrem iného znižuje záťaž, ktorú vytvárajú na životné prostredie. Patentovaný riadiaci systém v ekosystéme SmartLi umožňuje použitie hybridných systémov pozostávajúcich zo starých a nových typov batériových polí a spínací systém umožňuje „horúce“ zmeny štruktúry PSA pri zachovaní funkcie redundancie.

HiDC riešenie pre vybudovanie modernej ICT infraštruktúry pre dátové centrá na báze vybavenia Huawei Enterprise

Inteligentná prevádzka

Dôležitou súčasťou princípov fungovania HiDC infraštruktúry je ideológia smart self-healing. IN jeden Z našich predchádzajúcich publikácií sme spomenuli inteligentnú platformu O&M 1-3-5, ktorá je schopná nielen odhaliť a analyzovať nežiaducu udalosť v systéme, ale zároveň ponúknuť administrátorovi niekoľko možností na plne automatizované riešenie problému.

Funkcia samoanalýzy vám umožňuje odhaliť problémy približne za minútu. Analýzou sa strávia tri minúty a do piatich minút sa vytvoria návrhy na zmenu stavu systému.

Povedzme, že nejaká chyba operátora viedla k vytvoreniu uzavretej slučky procesov, čím sa znížil výkon virtualizačnej farmy zo 100 na 77 %. Správca dátového centra dostane na svoj dashboard zodpovedajúcu správu, ktorá obsahuje kompletnú vizualizáciu problému vrátane sieťového diagramu zdrojov ovplyvnených nechceným procesom. Ďalej môže správca pristúpiť k manuálnej náprave situácie alebo použiť jeden z niekoľkých automatických scenárov obnovy, ktoré sú mu ponúkané.


Systém pozná asi 75 takýchto scenárov, ktoré je možné implementovať za menej ako desať minút a navyše pokrývajú 90 % problémov v dátových centrách. V tomto čase môže technik pokojne odpovedať na hovory od znepokojených zákazníkov a je si istý, že služba bude obnovená každú minútu.

HiDC riešenie pre vybudovanie modernej ICT infraštruktúry pre dátové centrá na báze vybavenia Huawei Enterprise

Nové kľúčové produkty v HiDC

Okrem softvérových produktov by to malo zahŕňať kľúčové riešenia fungujúce na úrovni infraštruktúry. V prvom rade musíme spomenúť neurónové procesory používané v našej rodine klastrov AI Atlas, ako aj servery založené na NPU a GPU.

Okrem toho nemôžeme nespomenúť Dorado a jeho špičkový výkon vo svojej triede, ktorý vydrží dlhé roky. Platí to najmä v postsovietskom priestore, kde je až na zriedkavé výnimky zvykom niečo aktualizovať, až keď to úplne prestane fungovať. To vysvetľuje životnosť jednotlivých skladovacích systémov, ktorá dosahuje desať rokov. Pre spoločnosť Dorado je potrebná enormná produktivita na zabezpečenie vysokokvalitného poskytovania služieb o desať rokov.

HiDC riešenie pre vybudovanie modernej ICT infraštruktúry pre dátové centrá na báze vybavenia Huawei Enterprise

Inovácia v každom prvku

Pri výbere konkrétnych riešení infraštruktúry nesmieme zabúdať ani na architektúru a scenáre jej ďalšieho rozvoja. Rozdielne produkty od rôznych výrobcov nezaručujú očakávaný synergický efekt, ktorý poskytnú riešenia už optimalizované na spoločné použitie.

Infraštruktúra musí byť založená na správnej technológii. Medzi „správne“ patria otvorené, poskytujúce vysokú priepustnosť a stabilnú prevádzku pri vysokom zaťažení. Pre dátové centrá je dôležitý napríklad dobrý pomer celkovej spotreby energie k IT záťaži. Na dosiahnutie všetkých vyššie uvedených cieľov je potrebné vybrať prostredie a komponenty. V moderných podmienkach to znamená aj čoraz rozšírenejšie využívanie umelej inteligencie.

Podľa našich pozorovaní je medzi strategickými zákazníkmi Huawei čoraz menej tých, ktorí stále nepoužívajú systémy strojového učenia. Bez ML je jednoducho nemožné speňažiť nahromadené dáta čo najviac.

Systém monetizácie môže byť rôzny: pre banky – ponuka nových cielených produktov, pre telekomunikačných operátorov – poskytovanie individuálnych služieb a zabezpečenie lojality, pre zákazníkov z verejnej správy – kvalitná správa životného cyklu dát a vysoká úroveň interakcie s inými organizáciami. Modely správy údajov totiž už dávno presahujú rámec nastavenia brány firewall a zabezpečenia sieťovej viditeľnosti ich databáz.

Od nápadu k prevádzke dátového centra

Výstavba štandardného dátového centra trvá prinajlepšom rok až rok a pol. Náš výrobný cyklus nám to umožňuje oveľa rýchlejšie vďaka použitiu skupiny riešení zjednotených pod spoločným názvom FusionDC 2.0. Návrh, vývoj dizajnu na vysokej úrovni, montáž všetkých prvkov IT záťaže sa vykonáva priamo v továrni. V krátkom čase sa vybavenie dodáva námornými kontajnermi z Číny do Ruska. Výsledkom je, že vytvorenie dátového centra na kľúč je možné dosiahnuť doslova za štyri až päť mesiacov.

Myšlienka prefabrikovaného cloudového dátového centra je zaujímavá aj tým, že dátové centrum je možné rozvíjať po etapách a pridávať k nemu potrebné funkčné bloky. Tento prístup je zakotvený v samotnom koncepte HiDC.


Aby ste nepremenili recenzný materiál na dátový list, pre ďalšie informácie o HiDC odporúčame prejsť na na našu webovú stránku. Nájdete tam popis a príklady implementácie prístupov, produktov a riešení, o ktorých sme hovorili. Čím vyššia je vaša úroveň prístupu na stránku, tým viac materiálov tam bude. Ak vám bude pridelený status „partner“, budete si môcť stiahnuť cestovné mapy HiDC, technické prezentácie, videá.

Dovolili by sme si predpokladať, že väčšina z tých, ktorí čítajú tento článok, má kompetencie sieťových architektov. Určite budú mať záujem nás navštíviť dizajnová zóna. Tam podrobne hovoríme o tom, ako vybudovať sieťovú infraštruktúru podľa pravidiel Huawei Validated Design (HVD). Pokyny dostupné na stiahnutie vám pomôžu dôkladne pochopiť, ako fungujú riešenia spoločnosti. Nezabudnite, že bez povolenia budete mať k dispozícii menej materiálov.

***

Početné webináre vedené nielen v ruskom jazykovom segmente, ale aj na medzinárodnej úrovni vám tiež pomôžu orientovať sa. Na nich zdieľame informácie o našich produktoch a našich obchodných praktikách. Hovoríme tiež o tom, ako spoločnosť Huawei, napriek narušeniu mnohých servisných reťazcov, naďalej zabezpečuje nepretržité dodávky svojich produktov do rôznych krajín. Nedávno sa napríklad vyskytol prípad, keď sa novovyrobené zariadenia pre dátové centrum dostali k zákazníkovi z Moskvy len za tri týždne.

Zoznam webinárov na apríl je k dispozícii по ссылке.

Zdroj: hab.com

Pridať komentár