Čo je nové v Zabbix 5.0

V polovici mája bola vydaná verzia Zabbix 5.0 a zorganizovali sme sériu online stretnutí v rôznych jazykoch, aby sme komunite jasne ukázali všetky zmeny a inovácie. Pozývame vás, aby ste si prečítali správu Alexeyho Vladysheva, výkonného riaditeľa a tvorcu Zabbixu, v ktorej krok za krokom opísal, čo je nové v Zabbix 5.0.

Čo je nové v Zabbix 5.0

Zabbix 4.2 a Zabbix 4.4

Začnime zmenami, ktoré sa objavili vo verzii Zabbix 4.0 v súvislosti s používaním verzií LTS.
Vo verzii Zabbix 4.2, ktorá bola vydaná v apríli 2019, sa objavili nasledujúce funkcie:

  • Vysokofrekvenčné monitorovanie škrtenia, ktoré poskytuje škálovanie a vyššiu NVPS, čo znamená rýchlejšie zisťovanie problémov a varovanie bez veľkého zaťaženia Zabbixu.
  • Zhromažďovanie údajov pomocou agenta HTTP.
  • Podpora zberu údajov z Prometheus Pro.
  • Predspracovanie podporuje validáciu a JavaScript, ktorý vám umožňuje transformovať akékoľvek zozbierané údaje.
  • Predspracovanie na strane proxy, ktoré umožňuje efektívnejšie škálovanie pomocou serverov proxy.
  • Vylepšená správa tagov – metainformácií na úrovni udalostí a problémov, s ktorými sa pohodlne pracuje, pretože tagy sú podporované na úrovni šablóny aj na úrovni hostiteľa.

Minulý september bol vydaný Zabbix 4.4, ktorý ponúkal nasledujúce funkcie:

  • Nový agent Zabbix.
  • Podpora webhooku pre výstrahy a oznámenia, čo umožňuje integráciu s externými systémami.
  • TimescaleDB podpora.
  • Zabudovaná vedomostná základňa pre metriky a spúšťače sa stala viditeľnou pre používateľov Zabbix. Používatelia môžu napríklad používať popisy položiek a spúšťačov v Monitorovanie > Najnovšie údaje.
  • Nový štandard pre šablóny.

Zabbix 5.0

Dnes budeme hovoriť o vydaní LTS Zabbix 5.0, ktoré bude podporované 5 rokov. Podpora pre verziu 4.4 končí po jednom mesiaci. Vydanie LTS Zabbix 3.0 bude podporované ďalších 3,5 roka.

Zabbix poskytuje sledovanie mnohých vecí, ktorých zoznam je možné špecifikovať na stránke http://www.zabbix.com/integrations, kde sú prezentované monitorovacie šablóny a doplnky, a to aj pre nového agenta.

Čo je nové v Zabbix 5.0
Dostupné šablóny na monitorovanie a integráciu

Okrem toho existujú možnosti integrácie s rôznymi systémami, vrátane lístkových systémov, ITSM systémov a systémov doručovania správ pomocou Webhooku.

Čo je nové v Zabbix 5.0
Možnosti integrácie

Zabbix 5.0 má rozšírenú vstavanú podporu pre integráciu s rôznymi lístkovými systémami, ako aj výstražnými systémami:

Čo je nové v Zabbix 5.0
Integrácia s rôznymi systémami

Zoznam vstavaných šablón na monitorovanie aplikácií a zariadení bol rozšírený:

Čo je nové v Zabbix 5.0
Vstavané šablóny na monitorovanie aplikácií a zariadení

Všetky aktualizácie sú k dispozícii na stiahnutie na Úložisko Git.

Každý používateľ alebo vývojár sa môže zapojiť do Zabbix s hotovými produktmi - šablónami alebo pluginmi, a to pomocou jednoduchého postupu:

  1. Podpísanie zmluvy o príspevku Zabbix (ZCA) dňa https://www.zabbix.com/developers.
  2. Odoslanie žiadosti o stiahnutie na https://git.zabbix.com.
  3. Kontrola aplikácie vývojovým tímom. Ak plugin alebo šablóna vyhovuje štandardom Zabbix, je súčasťou produktu a práca takéhoto vývojára bude oficiálne podporovaná tímom Zabbix.

Zabbix je softvér s otvoreným zdrojovým kódom, ktorý je možné prezerať, študovať a upravovať. Používateľ má možnosť voľne používať produkt, podieľať sa na zdokonaľovaní programu alebo použiť kód pre svoje vlastné nové programy. Na druhej strane tím Zabbix vynakladá maximálne úsilie, aby zabezpečil, že Zabbix bude možné jednoducho nainštalovať na rôzne platformy.

Vývojári Zabbix ponúkajú balíčky pre takmer všetky najpopulárnejšie distribúcie a rôzne virtualizačné platformy. Zabbix je navyše možné nainštalovať do verejného cloudu jedným kliknutím. Zabbix je dostupný aj na platformách Red Hat Openshift alebo OpenStack.

Čo je nové v Zabbix 5.0
Balíky Zabbix pre distribúcie a platformy

Podpora Zabbix Agent 2 pre Windows a Linux

Nový Zabbix Agent 2 je jedným z najlepších riešení na trhu.

  • Ponúka štruktúru založenú na doplnkoch a podporuje skripty na zber údajov, ktoré môžu bežať hodiny.
  • Podporuje paralelné aktívne skenovanie a trvalé pripojenie k externým systémom, čo je užitočné napríklad pre efektívny monitoring databázy.
  • Podporuje pasce a udalosti, čo je dôležité pre monitorovanie napríklad zariadení MQTT.
  • Inštalácia novej verzie agenta je jednoduchá (keďže nový agent podporuje všetky predchádzajúce funkcie).

Okrem toho nový agent v Zabbix 5.0 ponúka podporu pre trvalé ukladanie dát. Predtým sa neodoslané informácie ukladali len do vyrovnávacej pamäte agenta, no v novej verzii je možné nakonfigurovať ukladanie takýchto informácií na disk.

Čo je nové v Zabbix 5.0
Trvalé ukladanie dát

Toto je dôležité v prípade monitorovania kritických systémov a nestabilnej komunikácie, pretože pred odoslaním na server Zabbix sa ukladá veľké množstvo kritických údajov. Táto možnosť je užitočná aj pre satelitné pripojenia, ktoré nemusia byť dostupné po dlhú dobu.
DÔLEŽITÉ! Zabbix 5.0 si zachováva podporu pre Zabbix Agent 1.

Zmeny zabezpečenia v Zabbix 5.0

1. Nová verzia podporuje HTTP proxy pre webhook, ktorý vám umožňuje vytvárať spojenia zo servera Zabbix s externými výstražnými systémami bezpečnejším a kontrolovanejším spôsobom.

Ak potrebujete integrovať server Zabbix do lokálnej siete s externým systémom, napríklad JIRA v cloude, môžete udržiavať pripojenie cez HTTP proxy, čo zlepšuje ovládateľnosť a spoľahlivosť pripojenia.

2. Pre starého aj nového agenta je možné vybrať, ktoré kontroly majú byť dostupné pre konkrétneho agenta. Môžete napríklad obmedziť počet kontrol, v podstate vytvárať biele a čierne listiny a definovať podporované kľúče.

  • Whitelist pre kontroly súvisiace s MySQL
    AllowKey=mysql[*] 
    DenyKey=*
  • Čierna listina na odmietnutie všetkých skriptov shellu
    DenyKey=system.run[*]
  • Čierna listina na odmietnutie prístupu k /etc/password
    DenyKey=vfs.file.contents[/etc/passwd,*]

3. Je možné zvoliť šifrovacie algoritmy pre všetky komponenty Zabbix, aby sa predišlo používaniu nezabezpečených šifier pre TLS spojenia. Je to dôležité pre monitorovacie prostredia, kde platia určité bezpečnostné štandardy.

Čo je nové v Zabbix 5.0
Výber šifrovacích algoritmov pre pripojenia TLS

4. Zabbix 5.0 zaviedol podporu pre šifrované pripojenia k databáze. V súčasnosti sú k dispozícii iba šifrované pripojenia k PostgreSQL a MySQL.

Čo je nové v Zabbix 5.0
Šifrované pripojenia k databáze

5. Zabbix 5.0 prešiel z MD5 na SHA256 na ukladanie hash používateľských hesiel do databázy, keďže ide o momentálne najbezpečnejší algoritmus.

6. Zabbix 5.0 podporuje tajné používateľské makrá na ukladanie akýchkoľvek citlivých informácií, ako sú heslá a tokeny API, ku ktorým koncoví používatelia nemajú prístup.

Čo je nové v Zabbix 5.0
Tajné makrá

7. Všetky pripojenia Zabbix k externým systémom a interné pripojenia k agentom sú zabezpečené. Šifrovanie je podporované pomocou certifikátov TLS alebo pomocou šifrovania pomocou vopred zdieľaného kľúča na pripojenie k agentom a serverom proxy alebo HTTPS. Bezpečnosť na strane agentov môže byť zvýšená prostredníctvom bielej a čiernej listiny. Rozhranie funguje cez HTTPS.

Čo je nové v Zabbix 5.0
Bezpečné spojenia

8. Podpora SAML na zabezpečenie jediného bodu overenia u dôveryhodného poskytovateľa služieb identity, takže poverenia používateľa neopustia bránu firewall.

Čo je nové v Zabbix 5.0
identita SAML

Podpora SAML vám umožňuje integrovať Zabbix s rôznymi lokálnymi a cloudovými poskytovateľmi služieb identity, ako sú Microsoft ADFS, OpenAM, SecurAuth, Okta, Auth0, ako aj Azure, AWS alebo Google Cloud Platform.

Jednoduché používanie Zabbix 5.0

1. Používateľské rozhranie optimalizované pre širokouhlé obrazovky. Ponuku z hornej časti, kde je vždy miesto, sme presunuli na ľavú stranu obrazovky. Menu sa stále zobrazuje v plnom, minimálnom a skrytom režime.

Čo je nové v Zabbix 5.0
Rozhranie optimalizované pre širokouhlú obrazovku

2. Kopírovanie widgetov z panelov umožňuje veľmi rýchlo vytvárať nové PANELY. Ak to chcete urobiť, musíte vybrať požadovanú miniaplikáciu na PANELI a kliknúť na položku Kopírovať

Čo je nové v Zabbix 5.0
Kopírovanie miniaplikácie

a vložte miniaplikáciu do požadovaného panela.

Čo je nové v Zabbix 5.0
Prilepenie skopírovanej miniaplikácie

3. Exportujte grafy. Ak chcete skopírovať graf a odoslať ho napríklad e-mailom, môžete získať graf vo formáte PNG výberom požadovaného widgetu a kliknutím Stiahnuť obrázok.

Čo je nové v Zabbix 5.0
Exportujte grafy

4. Filtrujte podľa značiek: Problém podľa závažnosti a Problémoví hostitelia. Napríklad bolo možné zbierať údaje o všetkých problémoch spojených s jedným sieťovým uzlom v jednom dátovom centre.

Čo je nové v Zabbix 5.0
Filtrujte podľa značiek

5. Podpora modulov na rozšírenie rozhrania Zabbix. Ak chcete nainštalovať nezávislý modul, musíte ho skopírovať do konkrétneho adresára. Moduly umožňujú rozširovať existujúcu funkcionalitu rozhrania, vytvárať nové stránky, meniť štruktúru menu, napríklad pridávať položky.

Každý používateľ môže napísať a integrovať modul. Za týmto účelom sa modul skopíruje do priečinka modulov, po ktorom sa stane viditeľným pre rozhranie, kde ho možno zapnúť a vypnúť.

Čo je nové v Zabbix 5.0
Pridanie nového modulu

6. Jednoduchosť navigácie prostredníctvom zdrojov spojených so sieťovými uzlami. V Monitorovanie > Hostitelia zobrazí sa zoznam zariadení, ktoré Zabbix monitoruje: hostitelia, služby, sieťové zariadenia atď. Okrem toho je k dispozícii rýchla navigácia na obrazovky, grafy a problémy konkrétnych zariadení.

Odstránili sme karty Monitorovanie > Grafy a monitorovanie > Webya všetka navigácia prebieha cez Monitorovanie > Hostitelia. Zobrazené informácie je možné filtrovať, a to aj podľa značiek, čo vám umožňuje zobraziť deaktivované zariadenia

Čo je nové v Zabbix 5.0
Navigácia v zdrojoch súvisiacich so sieťovými uzlami

Môžete napríklad vybrať zariadenia, ktoré sú klasifikované ako služby pre koncových používateľov, výberom možnosti „Služba sa“, ako aj stanovenie úrovne dôležitosti týchto problémov.

Čo je nové v Zabbix 5.0
Možnosti filtrovania

7. Nová operácia predbežného spracovania – „Nahradiť“ vám umožňuje robiť niekoľko užitočných vecí, ktoré sa predtým dali robiť iba pomocou regulárnych výrazov, ktoré sú pre mnohých používateľov dosť zložité.
vymeniť umožňuje skutočne nahradiť jeden reťazec alebo znak iným, čo vám umožňuje jednoducho previesť údaje prijaté v textovom formáte na číselnú reprezentáciu.

Čo je nové v Zabbix 5.0
Vymeňte operátora

8. Operátor JSONPath, ktorý vám umožňuje extrahovať názvy atribútov vo vhodnej forme

Čo je nové v Zabbix 5.0
Operátor pre JSONPath

9. Zobrazte e-mailové správy Zabbix. V predchádzajúcich verziách boli všetky e-maily zo Zabbixu v priečinku Doručená pošta boli zobrazené v zozname. Od Zabbix 5.0 budú správy zoskupené podľa vydania.

Čo je nové v Zabbix 5.0
Zoskupovanie e-mailových správ zo Zabbixu

10. Podpora vlastných makier pre IPMI pre používateľské meno a heslo. Ak sa pre používateľské meno a heslo použijú tajné makrá, prístup k ich hodnote bude odmietnutý.

Čo je nové v Zabbix 5.0
Podpora vlastných makier

11. Hromadná zmena užívateľských makier pre sieťové uzly. V novej verzii môžete otvoriť zoznam šablón, vybrať zoznam hostiteľov a pridať makrá alebo zmeniť hodnoty existujúcich makier,

Čo je nové v Zabbix 5.0
Pridávanie a úprava vlastných makier

a tiež odstrániť niektoré alebo všetky makrá z vybraných šablón pre sieťové uzly.

Čo je nové v Zabbix 5.0
Odstránenie jednotlivých alebo všetkých používateľských makier

12. Kontrola formátu správ na úrovni spôsobu oznamovania. V Typy médií objavila sa karta Mediálne šablóny so šablónami správ.

Čo je nové v Zabbix 5.0
Šablóny spôsobu oznamovania

Môžete definovať rôzne šablóny pre rôzne typy správ.

Čo je nové v Zabbix 5.0
Definovanie šablóny pre typ správy

V predchádzajúcich verziách ste museli spravovať tieto správy na úrovni akcií, pričom ste definovali predvolené správy a položky.

Čo je nové v Zabbix 5.0
Správa šablón na úrovni aktivity

V novej verzii je možné všetko definovať na globálnej úrovni a na úrovni správ je možné prepísať globálne nastavenia.

Čo je nové v Zabbix 5.0
Spravujte šablóny globálne

Väčšine používateľov stačí definovať formáty šablón na úrovni mediálnej metódy. Navyše, po importovaní nového spôsobu oznamovania sú už jeho súčasťou všetky zodpovedajúce formáty šablón.

13. Širšie využitie JavaScriptu. JavaScript sa používa na predbežné spracovanie skriptov, Webhook atď. Na príkazovom riadku nie je práca s JavaScriptom jednoduchá.
Zabbix 5.0 používa nový nástroj - zabbix_js, ktorý spúšťa JavaScript, ktorý prijíma údaje, spracováva ich a generuje výstupné hodnoty.

Čo je nové v Zabbix 5.0
nástroj zabbix_js

Čo je nové v Zabbix 5.0
Príklady použitia pomôcky zabbix_js

14. Podpora pre textové operácie so spúšťacími výrazmi umožňuje kontrolovať verzie nainštalovaných komponentov, porovnávať hodnoty s ľubovoľnými konštantami a konštanta môže byť vlastné makro,

{host:zabbix.version.last()}="5.0.0"
{host:zabbix.version.last()}="{$ZABBIX.VERSION}

porovnajte poslednú hodnotu s predchádzajúcou, napríklad pokiaľ ide o textové údaje,

{host:text.last()}<>{host.text.prev()}

alebo

{host:text.last(#1)}<>{host.text.prev(#2)}

alebo porovnajte textové hodnoty rôznych metrík.

{hostA:textA.last()}={hostB:textB.last()}

15. Automatizácia a objavovanie.

  • K dispozícii sú nové kontroly JMX na získanie a objavenie zoznamu počítadiel JMX, čo je veľmi užitočné napríklad pri monitorovaní Java aplikácií, ako aj pri automatizácii vytvárania monitorovacích položiek, metrík, spúšťačov a grafov.
    jmx.get[]

    и

    jmx.discovery[]

    Čo je nové v Zabbix 5.0
    JMX kontroly

  • Nová verzia má kľúč na sledovanie počítadiel výkonu Windows, ktorý podporujú starí aj noví agenti v ruštine a angličtine a umožňuje napríklad zisťovať počet procesorov, súborových systémov, služieb atď.

    Čo je nové v Zabbix 5.0
    Monitorovanie počítadiel výkonu systému Windows pomocou kľúča perf_counter

  • Monitorovanie ODBC sa stalo oveľa jednoduchším. Predtým museli byť všetky parametre pre monitorovanie ODBC popísané v externom súbore /etc/odbc.ini, ktorý nebol prístupný z rozhrania Zabbix. V novej verzii môžu byť súčasťou metrického kľúča takmer všetky parametre.

    Čo je nové v Zabbix 5.0
    Metrický kľúč s popisom parametrov

    V novej verzii môžete nastaviť názov servera a port na úrovni metrík a názov a heslo pre prístup pomocou tajných makier kvôli bezpečnosti.

    Čo je nové v Zabbix 5.0
    Používanie tajných makier

  • Pri použití protokolu IPMI na monitorovanie zariadení bolo možné vytvárať jednoduchšie šablóny pre automatizáciu ipmi.get.

    Čo je nové v Zabbix 5.0
    ipmi.get

16. Testovanie dátových prvkov z rozhrania. Zabbix 5.0 zaviedol možnosť testovať niektoré položky a čo je dôležitejšie, šablóny položiek z rozhrania.

Čo je nové v Zabbix 5.0
Testovanie dátových prvkov

Akékoľvek problémy, ktoré sa vyskytnú, sa zobrazia v rozhraní.

Čo je nové v Zabbix 5.0
Zobrazovanie problémov v rozhraní

Podobný algoritmus sa používa pre šablóny položiek. Okrem toho, ak niektorá údajová položka nie je podporovaná, môžete jednoduchým kliknutím zistiť, prečo zlyhala test.

17. Testovanie metód oznamovania, ktorý sa objavil v Zabbix 4.4, je zachovaný, čo je dôležité pri integrácii Zabbixu s inými systémami, napríklad lístkovými systémami.

Čo je nové v Zabbix 5.0
Testovanie metód oznamovania

18. Podpora vlastných makier pre prototypy položiek. Makrá LLD môžete použiť na definovanie vlastných hodnôt makier.

Čo je nové v Zabbix 5.0
Použitie makier LLD na definovanie vlastných hodnôt makier

19. Podpora údajov Float64, ktoré sú potrebné hlavne na monitorovanie veľmi veľkých hodnôt, sú v Zabbixe potrebné na podporu údajov získaných od agentov Prometheus.
Ak je nainštalovaný Zabbix 5.0, údaje sa automaticky nemigrujú na štandard Float64. Používateľ má stále možnosť používať staré typy údajov. Migračné skripty Float64 sa spúšťajú manuálne a menia typy údajov v historických tabuľkách. Automatická výmena sa nepoužíva, pretože trvá veľmi dlho.

20. Vylepšená škálovateľnosť Zabbix 5.0: optimalizácia rozhrania a odstránenie úzkych miest

  • Rozbaľovacie zoznamy, napríklad na výber hostiteľov, boli odstránené, pretože táto funkcia sa neškáluje.
  • Existujú „zabudované“ limity pre veľkosti tabuliek Prehľad.
  • Objavili sa nové príležitosti Monitorovanie > Hostitelia > Grafy.
  • Objavila sa funkcia stránkovania (Monitorovanie > Hostitelia > Web), kde to nebolo.

21. Vylepšená kompresia
Kompresia v Zabbix je založená na rozšírení pre PostgreSQL - TimescaleDB (od Zabbix 4.4). TimescaleDB poskytuje automatické rozdelenie databázy a zlepšuje výkon databázy, pretože výkon TimescaleDB je prakticky nezávislý od veľkosti databázy.

V Zabbix 5.0 Správa > Všeobecné > Upratovanie Môžete nakonfigurovať napríklad kompresiu údajov starších ako 7 dní. To výrazne znižuje potrebný priestor na disku (podľa používateľov takmer desaťnásobne), čo zlepšuje úsporu miesta na disku a zlepšuje výkon.

Čo je nové v Zabbix 5.0
Kompresia pomocou TimescaleDB

22. Konfigurácia SNMP na úrovni rozhrania. V Zabbix 5.0 sa namiesto troch typov dátových prvkov používa iba jeden – SNMP agent. Všetky atribúty SNMP boli presunuté na úroveň hostiteľského rozhrania, čo umožňuje zjednodušiť šablóny, prepínať medzi verziami SNMP atď.

Čo je nové v Zabbix 5.0
Konfigurácia SNMP na úrovni rozhrania

23. Závislosť monitorovania dostupnosti sieťových uzlov od dostupnosti proxy umožňuje zobraziť problém dostupnosti proxy ako prioritu v prípade nedostupnosti sieťových uzlov pri monitorovaní pomocou spúšťača s funkciou žiadne dáta:

{HostA:item.nodata(1m)}=1

Čo je nové v Zabbix 5.0
Dostupnosť sieťových uzlov je určená dostupnosťou proxy

Funkcia žiadne dáta štandardne zohľadňuje dostupnosť proxy. Pre prísnejšiu kontrolu, ktorá nezohľadňuje dostupnosť proxy, sa používa druhý parameter - prísny:

{HostA:item.nodata(1m,strict)}=1

24. Správa pravidiel zisťovania na nízkej úrovni. Zabbix 5.0 zaviedol filter LLD, ktorý vám umožňuje zobraziť nepodporované pravidlá detekcie

Čo je nové v Zabbix 5.0
LLD filter

25. Schopnosť nepriznať si problém (nepriznať sa) umožňuje opraviť chyby a je užitočný pri vytváraní pracovných postupov, ktoré závisia od potvrdenia problému.

Čo je nové v Zabbix 5.0
Nepriznať problém

26. Zmena pravidiel zisťovania na nízkej úrovni — možnosť pridávať výnimky pri zisťovaní objektov v dôsledku monitorovania súborových systémov, čo umožňuje nízkoúrovňovej detekcii vytvárať alebo nevytvárať určité objekty, spúšťače, dátové prvky atď., meniť závažnosť problémov, pridávať značky pre určité objekty , vylúčiť z vyhľadávania objekty, napríklad dočasné súborové systémy, zmeniť interval aktualizácie údajov atď.

Čo je nové v Zabbix 5.0
Vylúčenie z nízkoúrovňovej detekcie dočasných súborových systémov

Môžete napríklad zmeniť úroveň priority spúšťača pre objavené súborové systémy Oracle a ponechať úroveň priority spúšťača pre ostatné súborové systémy na rovnakej úrovni.

Čo je nové v Zabbix 5.0
Zmena úrovne priority spúšťačov pre jednotlivé súborové systémy

27. Nové makrá v Zabbix 5.0 umožňujú zlepšiť kvalitu monitorovania.

Čo je nové v Zabbix 5.0
Nové makrá v Zabbix 5.0

28. Ďalšie inovácie v Zabbix 5.0:

Čo je nové v Zabbix 5.0
Vylepšenia v Zabbix 5.0

29. Koniec podpory
Čo je nové v Zabbix 5.0
Nepodporovaná funkcia

Záver

Aktualizácia na Zabbix 5.0 je veľmi jednoduchá! Nainštalujte a spustite nové serverové binárne súbory a frontendové súbory a server automaticky aktualizuje vašu databázu.
Informácie o postupe aktualizácie Zabbix sú dostupné na:
https://www.zabbix.com/documentation/current/manual/installation/upgrade_notes_500

DÔLEŽITÉ!

  1. Aktualizácia historických údajov na formát Float64 je voliteľná.
  2. Údaje TimescaleDB sú len na čítanie.
  3. Minimálna požadovaná verzia PHP7.2.
  4. DB2 nie je podporovaný ako backend pre server Zabbix

(!) Videá a diapozitívy prezentácií Alexeja Vladysheva a ďalších rečníkov na Zabbix Meetup Online (ruština) si môžete pozrieť tu.

Zdroj: hab.com

Pridať komentár