Сёння мы б хацелі крыху пагаварыць аб VDI. У прыватнасці аб тым, што часам стварае значную праблему выбару для топ-менеджменту буйных кампаній: які варыянт аддаць перавагу - арганізаваць лакальнае рашэнне самастойна або падпісацца на сэрвіс у рамках публічнага аблокі? Калі рахунак ідзе не на сотні, а на тысячы супрацоўнікаў, асабліва важна падабраць аптымальнае рашэнне, паколькі ўсё можа абярнуцца як вялікімі дадатковымі выдаткамі, так і сур'ёзнай эканоміяй.
Нажаль, універсальнага адказу ніколі не існуе: кожнай кампаніі неабходна "прымяраць" кожны варыянт на сябе і дэталёва яго пралічваць. Але ў якасці магчымай дапамогі мы падзелімся цікавай аналітыкай ад Evaluator Group. Спецыялісты кампаніі ўжо больш за 20 гадоў займаюцца даследаваннямі ў галінах інфармацыйнага менеджменту, захоўвання і абароны даных, інфраструктурных IT-рашэнняў і сучасных дата-цэнтраў. У апублікаваным нядаўна даследаванні яны параўналі кошт лакальнага VDI-рашэнні на базе з падпіскай на публічнае воблака ў Amazon WorkSpaces і ацанілі эканамічную эфектыўнасць абодвух варыянтаў у даляглядзе трох гадоў. А мы пераклалі ўсё гэта спецыяльна для вас.
У нейкі момант лічылася, што воблака стане непазбежным пераемнікам традыцыйнай ІТ-інфраструктуры. Gmail, Dropbox і шматлікія іншыя хмарныя сэрвісы сталі штодзённай з'явай. Па меры таго, як кампаніі пачалі актыўна выкарыстоўваць публічныя аблокі, эвалюцыянавала і сама канцэпцыя аблокі. Замест толькі аблокі з'явілася гібрыднае воблака , і такую мадэль выкарыстоўвае ўсё больш карпарацый. Галоўным чынам бізнэс лічыць, што публічнае воблака добра падыходзіць для працы з вызначанымі дадзенымі і наборамі прыкладанняў, у той час як лакальная інфраструктура лепш падыходзіць для іншых.
Агульная прывабнасць публічнага аблокі і тое, ці падыходзіць яно канкрэтнай арганізацыі, залежыць ад некалькіх фактараў. Сярод іх наяўнасць IT-персанала і ўзровень яго экспертызы, заклапочанасць аб узроўні кантролю, абароны дадзеных і бяспекі ў цэлым, перавагі кампаніі адносна фінансавання (гаворка ідзе пра пастаянныя і зменныя выдаткі) і, вядома, кошт гатовага рашэння. Па дадзеных іншага праведзенага спецыялістамі Evaluator Group даследаванні («Гібрыднае хмарнае сховішча для прадпрыемства») ключавымі фактарамі выбару для рэспандэнтаў сталі бяспеку і кошт.
Як і іншыя якія працуюць у цэнтры апрацоўкі дадзеных прыкладання, інфраструктура VDI даступная ў якасці сэрвісу ў розных публічных хмарных правайдэраў. Для прадпрыемстваў, якія выбіраюць для VDI публічнае воблака, цана з'яўляецца важным фактарам прыняцця рашэння. У гэтым даследаванні параўноўваецца сукупны кошт валодання (TCO – Total Cost of Ownership) лакальным VDI-рашэннем і VDI, якія працуюць у рамках публічнага аблокі. У прыватнасці, гэтымі рашэннямі з'яўляюцца сістэма Dell EMC VxBlock 1000 з VMware Horizon і WorkSpaces у воблаку Amazon.
Мадэль TCO
Сукупны кошт валодання - канцэпцыя, якая звычайна выкарыстоўваецца пры ацэнцы закупак IT-абсталявання. TCO улічвае не толькі кошт набыцця, але яшчэ і выдаткі на разгортванне і эксплуатацыю абранага абсталявання. Канвергентныя інфраструктуры, такія як Dell EMC VxBlock 1000, спрасцілі традыцыйнае асяроддзе, каб знізіць выдаткі на праектаванне, набыццё і бягучае абслугоўванне. Акрамя таго, VMware Horizon дазваляе спрасціць аспекты злучаныя з эксплуатацыяй дзякуючы цеснай інтэграцыі з астатняй экасістэмай прадуктаў VMware, якая на сённяшні дзень стала паўсюднай у карпаратыўных IT.
У рамках гэтага рашэння для Dell EMC VxBlock 1000 будуць разглядацца два розных карыстацкіх профіля. Першы - Knowledge Worker - па сутнасці, прызначаны для звычайных офісных сцэнарыяў працы без павышаных патрабаванняў да вылічальных рэсурсаў. Другі - Power Worker - падыходзіць для работнікаў, якім патрабуюцца больш інтэнсіўныя вылічэнні. У AWS WorkSpaces яны могуць быць супастаўлены са стандартным пакетам і Performance Bundle адпаведна.
Канфігурацыі VDI для карыстацкіх профіляў
Лакальная інфраструктура
Канвергентная сістэма Dell EMC VxBlock уключае ў сябе сховішча Dell EMC, серверныя і сеткавыя рашэнні CISCO UCS, а таксама праграмную платформу VMware Horizon VDI. Для лакальнай інфраструктуры праграмны стэк VMware Horizon быў разгорнуты на стандартных серверах х86, якія маштабуюцца ў залежнасці ад колькасці карыстачоў. Ёмістасць сховішча для ПЗ і ўліковых запісаў карыстальнікаў забяспечваецца за кошт масіваў з флэш-памяццю, падлучаных з дапамогай Fibre Channel SAN. Кіраванне інфраструктурай ажыццяўлялася з дапамогай Dell EMC AMP, стандартнага кампанента VxBlock, які адказвае за менеджмент, маніторынг і аўтаматызацыю сістэмы.
Архітэктуру апісванай інфраструктуры можна ўбачыць на схеме ніжэй. Гэтае рашэнне першапачаткова было распрацавана для асяроддзя з 2500 віртуальных працоўных сталоў і можа маштабавацца да мяжы ў 50 000 працоўных сталоў за кошт дадання новых кампанентаў у рамках таго ж дызайну. За аснову ў гэтым даследаванні ўзята інфраструктура, якая ўключае 5000 віртуальных працоўных месцаў.
Архітэктурны дызайн Dell EMC VxBlock 1000
Кампаненты лакальнай інфраструктуры VDI
- Cisco UCS C240 M5 (2U) – два Intel Xeon Gold 6138 2 Ггц, Cisco Network Assistant, 768 ГБ памяці для профіляў Power Worker і 576 ГБ памяці для профіляў Knowledge Worker. У якасці сховішча карыстацкіх дадзеных выступіў вонкавы флэш-масіў, падлучаны з дапамогай SAN.
- Cisco UCS C220 M5 SX (1U) – два Intel Xeon Silver 4114 2,2 Ггц, CNA і 192 ГБ памяці. Гэтыя серверы падтрымліваюць платформу Dell EMC Advanced Manager і выкарыстоўваюць агульнае сховішча, якое прадстаўляецца сістэмай гарызантальнага маштабавання Dell EMC Unity.
- Cisco Nexus 2232PP (1U) - камутатар c 32 партамі, FCoE 10 Гбіт / c. Забяспечвае дастатковы ўзровень доступу для асяроддзяў з вялікай колькасцю сервераў.
- Cisco Nexus 9300 (1U) - камутатар з 36 партамі, забяспечвае падлучэнне да IP-сеткі канчатковых карыстачоў.
- Cisco Nexus 6454 (1U) - серверы, якія забяспечваюць канвергентнае сеткавае падлучэнне для вылічальных сервераў, IP-сеткі і сеткі Fibre Channel.
- Cisco 31108ЕС (1U) - камутатар з 48 партамі і 10/100 Гбіт Ethernet, які забяспечвае сувязь паміж серверамі AMP і сховішчам, а таксама астатняй часткай канвергентнай інфраструктуры.
- Cisco MDS 9396S (2U) - камутатар з 48 партамі Fibre Channel, забяспечвае падлучэнне SAN для масіваў XtremIO X2.
- Dell EMC XtremIO X2 (5U) - масіў флэш-памяці з двума актыўнымі кантролерамі, складаецца з 18 х 4 ТБ SSD. Забяспечваюць працу карыстацкіх працоўных сталоў і праграмнага забеспячэння VDI.
- Dell EMC Unity 300 (2U) - гібрыдны масіў для захоўвання дадзеных c SSD на 400/600 ГБ і 10К HDD. Дае магчымасці для падтрымкі праграмнага забеспячэння кіравання структурай AMP.
- VMware Horizon - праграмная платформа віртуалізацыі для кіравання віртуальнымі працоўнымі сталамі ў карпаратыўных асяроддзях. Гіпервізар vSphere ліцэнзуецца як частка VMware Horizon.
Для ацэнкі TCO у рамках гэтага даследавання выкарыстоўвалася простая трохгадовая амартызацыя без уліку працэнтаў. Прадугледжваецца, што арганізацыі, якія захочуць ацаніць мэтазгоднасць закупкі такога абсталявання, могуць без цяжкасцей дадаць у разлікі кошт лізінгу або капіталу з унутраных крыніц.
Кошт абслугоўвання ацэньвалася ў $2000 на 42U у месяц, і ўключае выдаткі на электраэнергію, астуджэнне і месца ў стойках. Было падлічана, што на адміністраванне кожнага сервера патрабуецца 0,2 гадзіны на тыдзень. Для кожнай сістэмы захоўвання дадзеных на абнаўленні і абслугоўванне запатрабуецца гадзіна ў тыдзень. Пагадзінная аплата часу адміністратараў была падлічана па наступнай формуле: «Пагадзінная аплата часу цалкам загружанага IT-адміністратара ў год ($150 000) / 2000 працоўных гадзін у год».
Разлік сукупнага кошту валодання
Нягледзячы на тое, што сістэма складаецца з дастаткова вялікай колькасці розных кампанентаў, разлікі кошту на практыцы аказваюцца даволі простымі. У якасці прыкладу было ўзятае асяроддзе, разлічанае на 5000 карыстачоў профіля Knowledge Worker. Такая ж метадалогія прымянялася і для атрымання параўнальнага кошту на графіках, якія будуць прыведзены далей. Гэтыя выдаткі на праграмнае і апаратнае забеспячэнне, а таксама выдаткі на падтрымку, у тым ліку стандартнае дыскантаванне, былі падсумаваныя разам з выдаткамі на абсталяванне і адміністрацыйнымі выдаткамі на перыядзе валодання ў 3 гады.
Выдаткі на інфраструктуру VDI для 5000 працаўнікоў профіля Knowledge Worker:
- Серверы (вылічэнні і менеджмент) - $ 1 813 859
- Захоўванне дадзеных (сістэма VDI, дадзеныя карыстальнікаў, сістэма кіравання) - $ 315 013
- Сеткі (LAN і SAN камутатары, а таксама іншае абсталяванне) $253 410
- Праграмнае забеспячэнне (платформа VDI, менеджмент, прывязаныя да апаратнай часткі ліцэнзіі) - $ 2 061 430
- Падтрымка (абслугоўванне і абнаўленне праграмнага забеспячэння і апаратнай часткі) – $224 293
- Паслугі (разгортванне апаратнага і праграмнага забеспячэння) – $78 664
- Выдаткі на ўтрыманне за 3 гады: $226 286
- Адміністрацыйныя выдаткі за 3 гады: $161 460
- У агульнай складанасці: $5 134 415
Калі агульны кошт віртуальных працоўных сталоў падзяліць на 5000 супрацоўнікаў і затым падзяліць на 36 месяцаў, то атрымліваецца кошт у $28,52 у месяц на аднаго карыстальніка профілю Knowledge Worker.
Інфраструктура публічнага аблокі
Amazon WorkSpaces – гэта прапанова тыпу "VDI як сэрвіс", у рамках якога ўсё працуе ўнутры аблокі AWS. Прадстаўляюцца працоўныя сталы як з Windows, так і з Linux, аплата можа ажыццяўляцца штомесяц ці па гадзінах. На момант правядзення даследавання прапаноўвалася 5 базавых пакетаў з рознымі сістэмнымі канфігурацыямі: ад 1 vCPU і 2 ГБ аператыўнай памяці да 8 vCPU і 32 ГБ RAM плюс сховішча дадзеных. У якасці асновы для гэтага параўнання TCO былі абраныя дзве канфігурацыі з працоўнымі сталамі на Linux. Гэты кошт таксама сапраўдная ў рамках канцэпцыі "прынясі сваё" (Bring Your Own) для ліцэнзавання Windows. Справа ў тым, што ў шматлікіх кампаній ужо ёсць вялікія доўгатэрміновыя дамовы аб ліцэнзаванні прадпрыемства з Microsoft (ELA – Enterprise Licensing Agreement).
- Стандартны пакет: 2vCPU, 4 ГБ RAM на дэсктоп, 80 ГБ у каранёвым томе і 10 ГБ на карыстацкім томе для сцэнара Knowledge Worker - $ 30,83 у месяц.
- Пакет з падвышанай прадукцыйнасцю: 2vCPU, 7,5 ГБ RAM на дэсктоп, 80 ГБ у каранёвым томе і 10 ГБ на карыстацкім томе для сцэнара Power Worker - $ 53,91 у месяц.
Абодва пакета ўключаюць каранёвай (80 ГБ для аперацыйнай сістэмы і звязаных файлаў) і карыстацкі (10 ГБ для дадзеных супрацоўнікаў) тома. Выкажам здагадку, што перабояў з працай не будзе, але варта памятаць, што Amazon спаганяе поплатак за кожны выкарыстаны гігабайт звыш ліміту. Акрамя таго, названыя цэны не ўключаюць кошт перадачы даных па інтэрнеце з AWS, а таксама кошт інтэрнета для карыстальнікаў. Для прастаты разлікаў мадэль разлікаў у рамках гэтага даследавання мяркуе адсутнасць выдаткаў на перадачу ўваходзяць і выходных дадзеных.
Указаныя вышэй тарыфныя планы не ўключаюць кошт навучання працы з сістэмай, але ўключаюць тэхнічную падтрымку AWS Business Support. Нягледзячы на тое, што паказаны вышэй кошт на карыстальніка з'яўляецца фіксаванай, кошт такой падтрымкі вар'іруецца ў межах ад прыкладна 7% на юзэра для пула з 2500 карыстальнікаў да прыкладна 3% на юзэра ў пуле з 50 000 карыстальнікаў. Гэта ўлічана ў разліках.
Таксама дадамо, што гэта мадэль коштаўтварэння "па патрабаванні" без перыяду дзеяння. Няма магчымасці ўнесці перадаплату больш, чым складае авансавы плацёж, як і няма працяглых падпісак, у якіх звычайна па меры павелічэння тэрміна зніжаецца кошт. Акрамя таго, для прастаты разлікаў гэтая мадэль TCO не ўлічвае кароткатэрміновыя скідкі і іншыя рэкламныя прапановы. Зрэшты, у рамках гэтага параўнання іх уплыў у любым выпадку было малаважным.
Вынікі
Профіль Knowledge Worker
На графіцы ніжэй відаць, што стартавы кошт лакальнага рашэння Dell EMC VxBlock 1000 для VDI абыйдзецца кампаніі прыкладна ў такую ж суму, як і хмарнае рашэнне AWS WorkSpaces пры ўмове, што пул карыстальнікаў не перавышае 2500 чалавек. Але ўсё мяняецца па меры павелічэння колькасці віртуальных працоўных сталоў. Для кампаніі з 5000 карыстачоў VxBlock ужо прыкладна на 7% танней, а для прадпрыемства, дзе неабходна разгарнуць 20 000 віртуальных працоўных сталоў, VxBlock эканоміць больш за 20% у параўнанні з воблакам AWS.
Параўнанне кошту VDI-рашэнняў на базе VxBlock і AWS WorkSpaces для профіля Knowledge Worker, кошт на адзін віртуальны працоўны стол у месяц
Профіль Power Worker
На наступным графіку параўноўваецца сукупны кошт валодання для профіля Power Worker у лакальным VDI на базе VxBlock з пакетам "Performance" у AWS WorkSpaces. Нагадаем, што тут, у адрозненне ад профіля Knowledge Worker, ёсць яшчэ і адрозненні ў апаратнай частцы: 4 vCPU і 8 ГБ памяці ў VxBlock і 2 vCPU з 7,5 ГБ памяці ў AWS. Тут рашэнне VxBlock аказваецца прыкметна больш выгадна нават у рамках пула з 2500 карыстальнікаў, а ў цэлым эканомія дасягае 30-45%.
Параўнанне кошту VDI-рашэнняў на базе VxBlock і AWS WorkSpaces для профіля Power Worker, кошт на адзін віртуальны працоўны стол у месяц
Перспектыва ў маштабе 3 гады
Апроч сярэдніх выдаткаў на карыстача карпарацыям таксама вельмі важна ацэньваць эканомію ад абраных інфраструктурных рашэнняў у маштабах некалькіх гадоў. Заключны графік паказвае як розніца ў сукупным кошце валодання за 36 месяцаў дае ўражлівы кумулятыўны эканамічны эфект. У сцэнары Power Worker для 10 000 віртуальных працоўных сталоў рашэнне AWS апыняецца прыкладна на $8,5 мільёнаў даражэй рашэнні на базе VxBlock. У сцэнары Knowledge Worker на такім жа часавым прамежку для такой жа колькасці карыстачоў назапашаная эканомія даходзіць да $2 мільёнаў.
Сукупныя выдаткі на абслугоўванне 10 000 віртуальных працоўных сталоў у лакальнай інфраструктуры на базе VxBlock і ў публічным воблаку AWS WorkSpaces для 10 000 карыстачоў профіля Power Worker
Чаму кошт лакальнага VDI-рашэнні аказваецца ніжэй?
Зніжэнне выдаткаў на лакальнае VDI-рашэнне на прыведзеных вышэй графіках адлюстроўвае два асноўныя прынцыпы: эфект маштабу і максімізацыя рэсурсаў. Як і ў выпадку з набыццём любой іншай інфраструктуры, у гэтым карпаратыўным вылічальным асяроддзі ёсць пачатковыя выдаткі на стварэнне сістэмы. Па меры пашырэння і размеркаванні першапачатковых выдаткаў на большую колькасць карыстачоў дадатковыя выдаткі змяншаюцца. VDI таксама аптымізуе выкарыстанне рэсурсаў, у дадзеным выпадку шляхам кіравання размеркаваннем ядраў CPU. Абстракцыя дадзеных, вылічэнняў і сетак дазваляе гэтым сістэмам "перападпісваць" фізічныя рэсурсы на пэўныя суадносіны і такім чынам зніжаць выдаткі на карыстальніка. У вялікіх асяроддзях, такіх як публічнае воблака, выкарыстоўваюцца многія з тых жа прынцыпаў эканоміі сродкаў, але яны не не вяртаюць гэтую эканомію сваім карыстальнікам.
Што наконт 5-гадовага тэрміна валодання?
Сапраўды, многія арганізацыі падтрымліваюць IT-сістэмы даўжэй за 3 гады: часта тэрмін дасягае 4-5 гадоў. Сістэма Dell EMC VxBlock 1000 пабудавана з улікам таго, каб архітэктура дазваляла абнаўляць асобныя кампаненты або мадэрнізаваць ужо існуючыя без неабходнасці рэзкага пераходу да зусім новай сістэмы.
Калі пастаянныя і пераменныя выдаткі з гэтай мадэлі выказаць на часовым адрэзку даўжынёй у 5 гадоў, то яны знізяцца прыкладна на 37% (за выключэннем двух дадатковых гадоў адміністравання і падтрымкі). І ў выніку лакальнае VDI-рашэнне на базе Dell EMC VxBlock 1000 для 5000 Knowledge Workers абыйшлося б не ў $28,52, а ў $17,98 на карыстача. Для 5000 Power Workers кошт бы знізілася з $34,38 да $21,66 на карыстача. Пры гэтым пры фіксаваным кошце хмарнага рашэння AWS WorkSpaces яго кошт на 5-летнім адрэзку часу засталася б нязменнай.
Карыстацкі досвед і рызыка
VDI з'яўляецца крытычна важным дадаткам, якое ўздзейнічае на кожнага супрацоўніка і забяспечвае доступ да самых высокіх узроўням кампаніі. Пры замене ўласнага працоўнага стала супрацоўніка на VDI (не важна - хмарны або лакальны) неабходна забяспечыць аднолькавы карыстацкі досвед, таму вельмі важна ацаніць патэнцыйныя рызыкі. Захаванне сістэмы VDI на месцы забяспечвае больш высокі ўзровень кантролю над інфраструктурай і патэнцыйна можа зменшыць такія рызыкі.
Абапіраючыся на магчымасці падключэння і прапускную здольнасць агульнадаступнага інтэрнэту для хмарных настольных службаў, можна дадаць яшчэ адзін узровень рызыкі для асяроддзя. Акрамя таго, супрацоўнікі часта выкарыстоўваюць USB-прылады для захоўвання дадзеных і перыферыйныя прылады, многія з якіх не падтрымліваюцца ў AWS WorkSpaces.
У якіх сітуацыях публічнае воблака падыдзе лепей?
Кошт прадукта AWS WorkSpaces ацэньваецца па колькасці карыстальнікаў у месяц ці па месяцах. Гэта можа быць зручна ў выпадку запуску кароткатэрміновых прыкладанняў або ў тых выпадках, калі справа датычыцца распрацоўкі і неабходна рэалізаваць усё ў самыя кароткія тэрміны. Акрамя таго, такі варыянт можа быць прывабным для кампаній, якія не валодаюць глыбокай экспертызай у галіне IT або жаданнем і магчымасцямі браць на сябе капітальныя выдаткі. І хоць VDI у публічным воблаку падыходзіць для малых і сярэдніх прадпрыемстваў, а таксама кароткатэрміновых прыкладанняў, для задач з вобласці якія адносяцца да асноўных IT-паслуг накшталт віртуалізацыі працоўных месцаў на вялікіх прадпрыемствах такі варыянт можа быць ужо не зусім падыходным.
Рэзюмэ і заключэнне
VDI - гэта тэхналогія, якая перамяшчае вылічальныя прыкладанні і інфраструктуру карыстальніка з настольнага кампутара ў цэнтр апрацоўкі дадзеных. У некаторым сэнсе яна забяспечвае некаторыя "хмарныя" перавагі, аб'ядноўваючы кіраванне настольным кампутарам і рэсурсы на выдзеленых серверах і ў агульным сховішчы. Гэта можа знізіць адміністрацыйныя выдаткі і аптымізаваць выкарыстанне рэсурсаў, што змяншае выдаткі. Фактычна большасць праектаў VDI як раз і абумоўлены (прынамсі, збольшага) неабходнасцю зніжэння выдаткаў для прадпрыемства.
Але як наконт запуску VDI у публічным воблаку? Ці можа гэта забяспечыць эканомію сродкаў у параўнанні з лакальным VDI? У выпадку з невялікімі арганізацыямі або кароткатэрміновымі разгортваннямі - магчыма, так. Але для арганізацыі, якая хоча падтрымаць некалькі тысяч ці дзясяткаў тысяч працоўных сталоў, адказам будзе "не". Для вялікіх карпаратыўных VDI-праектаў воблака аказваецца адчувальна даражэй.
У гэтым даследаванні сукупнага кошту валодання эксперты Evaluator Group параўналі кошт лакальнага VDI-рашэнні на базе Dell EMC VxBlock 1000 з VMware Horizon з коштам хмарнага VDI у рамках AWS WorkSpaces. Вынікі паказалі, што ў асяроддзях з 5000 або 10 000 работнікамі тыпу Knowledge Worker або больш эканомія за кошт маштабу знізіла кошт лакальнага VDI на адзін працоўны стол больш за на 20%, у той час як кошт хмарнага VDI практычна не змянілася па меры павелічэння колькасці карыстачоў . Для супрацоўнікаў тыпу Power Worker розніца ў кошце апынулася яшчэ вышэй: рашэнне на базе VxBlock апынулася на 30-45% эканамічней AWS.
Апроч розніцы ў кошце рашэнне на базе Dell EMC VxBlock 1000 прапануе лепшы досвед для карыстачоў і дае больш магчымасцяў для кантролю адміністратарам IT-інфраструктуры. У прыватнасці, рашэнне VDI для лакальных сетак дазваляе пазбегнуць шматлікіх патэнцыйных рызык, злучаных з бяспекай, прадукцыйнасцю і перадачай дадзеных.
Аўтар даследавання - , аналітык Evaluator Group.
На гэтым усё. Дзякуй, што дачыталі да канца! Даведацца больш пра сістэму можна тут. Калі ў вас узнікнуць пытанні датычна падбору канфігурацый і закупак абсталявання Dell EMC для вашых кампаній, то мы, як і заўсёды, будзем рады дапамагчы ў асабістых паведамленнях.
Крыніца: habr.com