Үйлчлүүлэгч VDI-г хүссэн. Би SimpliVity + VDI Citrix Virtual Desktop хослолыг үнэхээр харлаа. Бүх операторууд, хотын оффисын ажилтнууд гэх мэт. Зөвхөн шилжилт хөдөлгөөний эхний давалгаанд таван мянган хэрэглэгч байгаа тул ачааллын туршилт хийхийг шаардсан. VDI удааширч эхэлдэг, тайван хэвтэж чаддаг - сувагтай холбоотой асуудлаас болж энэ нь үргэлж тохиолддоггүй. Бид VDI-д тусгайлан зориулсан маш хүчирхэг туршилтын багцыг худалдан авч, диск болон процессор дээр хэтэрхий хүнд болтол дэд бүтцийг ачааллаа.
Тиймээс бидэнд нарийн VDI тест хийхэд хуванцар сав болон LoginVSI программ хангамж хэрэгтэй болно. Бидэнд 300 хэрэглэгчийн лицензтэй. Дараа нь бид HPE SimpliVity 380 техник хангамжийг нэг серверт ногдох хэрэглэгчийн хамгийн их нягтралд тохирсон багц болгон авч, сайн захиалгатай виртуал машинуудыг хайчилж, Win10 дээр оффисын программ хангамжийг суулгаж, туршиж эхэлсэн.
Явъя!
систем
Хоёр HPE SimpliVity 380 Gen10 зангилаа (сервер). Тус бүр дээр:
- 2 х Intel Xeon Platinum 8170 26c 2.1Ghz.
- RAM: 768GB, 12 x 64GB LRDIMMs DDR4 2666MHz.
- Үндсэн диск хянагч: HPE Smart Array P816i-a SR Gen10.
- Хатуу хөтчүүд: 9 x 1.92 TB SATA 6Gb/s SSD (RAID6 7+2 тохиргоонд, өөрөөр хэлбэл HPE SimpliVity-ийн хувьд энэ нь Дунд зэргийн загвар юм).
- Сүлжээний картууд: 4 x 1Gb Eth (хэрэглэгчийн өгөгдөл), 2 x 10Gb Eth (SimpliVity болон vMotion backend).
- Зангилаа бүрт давхардсан/шахалтын тусгай суурилуулсан FPGA картууд.
Зангилаанууд нь SimpliVity backend болон NFS-ээр виртуал машины өгөгдлийг дамжуулахад ашиглагддаг гадаад шилжүүлэгчгүйгээр 10Gb Ethernet холболтоор шууд холбогддог. Кластер дахь виртуал машины өгөгдөл нь хоёр зангилааны хооронд үргэлж толин тусгал байдаг.
Зангилаануудыг vCenter-ээр удирддаг Vmware vSphere кластерт нэгтгэсэн.
Туршилтын хувьд домэйн хянагч болон Citrix холболтын брокерийг байрлуулсан. Домэйн хянагч, брокер болон vCenter нь тусдаа кластер дээр байрладаг.
Туршилтын дэд бүтцийн хувьд Dedicated – Full Copy тохиргоонд 300 виртуал ширээний компьютерийг байрлуулсан, өөрөөр хэлбэл ширээний компьютер бүр нь виртуал машины анхны зургийн бүрэн хуулбар бөгөөд хэрэглэгчдийн хийсэн бүх өөрчлөлтийг хадгалдаг.
Виртуал машин бүр 2vCPU болон 4GB RAM-тай:
Виртуал машин дээр туршилт хийхэд шаардлагатай дараах программ хангамжийг суулгасан:
- Windows 10 (64 бит), 1809 хувилбар.
- Adobe Reader XI.
- Citrix Virtual Delivery Agent 1811.1.
- Доро PDF 1.82.
- Java 7 шинэчлэлт 13.
- Microsoft Office Professional Plus 2016.
Зангилааны хооронд - синхрон хуулбар. Кластер дахь өгөгдлийн блок бүр хоёр хувьтай байна. Өөрөөр хэлбэл, одоо зангилаа тус бүрийн мэдээллийн бүрэн багц байна. Гурав ба түүнээс дээш зангилаатай бол блокуудын хуулбар нь хоёр өөр газар байрладаг. Шинэ VM үүсгэх үед кластер зангилааны аль нэг дээр нэмэлт хуулбар үүсгэгддэг. Нэг зангилаа бүтэлгүйтвэл өмнө нь ажиллаж байсан бүх VM-ууд хуулбартай байгаа бусад цэгүүд дээр автоматаар дахин ачаалагдана. Хэрэв зангилаа удаан хугацаанд бүтэлгүйтсэн бол илүүдэл байдлыг аажмаар сэргээж эхлэх ба кластер нь N+1 илүүдэл рүү буцдаг.
Өгөгдлийн тэнцвэржүүлэлт, хадгалалт нь SimpliVity програм хангамжийн хадгалах түвшинд явагддаг.
Виртуал машинууд нь виртуалчлалын кластер ажиллуулдаг бөгөөд энэ нь мөн тэдгээрийг програм хангамжийн санд байрлуулдаг. Ширээнүүдийг өөрсдөө стандарт загварын дагуу авсан: санхүүч, үйл ажиллагааны ажилтнуудын ширээ шалгалтанд ирсэн (эдгээр нь хоёр өөр загвар).
Тест хийх
Туршилтын хувьд LoginVSI 4.1 програм хангамжийн тестийн багцыг ашигласан. Хяналтын сервер болон туршилтын холболтод зориулсан 12 машинаас бүрдсэн LoginVSI цогцолборыг тусдаа физик хост дээр байрлуулсан.
Туршилтыг гурван горимд явуулсан.
Жишиг горим - ачааллын тохиолдол 300 Мэдлэгийн ажилтан, 300 Хадгалах ажилтан.
Стандарт горим - ачааны хайрцаг 300 Эрчим хүчний ажилчид.
Эрчим хүчний ажилчдад ажиллах, ачааллын олон янз байдлыг нэмэгдүүлэхийн тулд Power Library нэмэлт файлуудын санг LoginVSI цогцолборт нэмсэн. Үр дүнгийн давталтыг баталгаажуулахын тулд бүх туршилтын вандан тохиргоог өгөгдмөл гэж үлдээсэн.
Мэдлэг ба Хүчний ажилчдын тест нь виртуал ажлын станц дээр ажиллаж байгаа хэрэглэгчдийн бодит ачааллыг дуурайдаг.
Хадгалах ажилчдын тест нь өгөгдөл хадгалах системийг турших зорилгоор бүтээгдсэн бөгөөд энэ нь бодит ачааллаас хол бөгөөд ихэвчлэн өөр өөр хэмжээтэй олон тооны файлуудтай ажилладаг хэрэглэгчийг хамардаг.
Туршилтын явцад хэрэглэгчид ойролцоогоор 48 секунд тутамд нэг хэрэглэгчийн хурдтайгаар 10 минутын турш ажлын станц руу нэвтэрдэг.
Результаты
LoginVSI тестийн гол үр дүн нь хэрэглэгчийн эхлүүлсэн янз бүрийн даалгавруудыг гүйцэтгэх хугацаанаас эмхэтгэсэн VSImax хэмжүүр юм. Жишээ нь: Notepad дээр файл нээх хугацаа, 7-Zip дээр файл шахах хугацаа гэх мэт.
Хэмжилтийн тооцооллын нарийвчилсан тайлбарыг албан ёсны баримт бичигт авах боломжтой .
Өөрөөр хэлбэл, LoginVSI нь ердийн ачааллын загварыг давтаж, оффисын багц дахь хэрэглэгчийн үйлдлийг дуурайж, PDF унших гэх мэтийг хийж, янз бүрийн хоцролтыг хэмждэг. "Бүх зүйл удааширч, ажиллах боломжгүй" гэсэн эгзэгтэй түвшний саатал байдаг), үүнээс өмнө хэрэглэгчдийн тоо дээд хэмжээнд хүрээгүй гэж үздэг. Хэрэв хариу өгөх хугацаа энэ "бүх зүйл удаашралтай" төлөвөөс 1 мс-ээр хурдан байвал систем хэвийн ажиллаж байна гэж үзэж, илүү олон хэрэглэгч нэмж болно.
Энд гол үзүүлэлтүүд байна:
Хэмжигдэхүүн
Авсан арга хэмжээ
Дэлгэрэнгүй тодорхойлолт
Ачаалагдсан бүрэлдэхүүн хэсгүүд
N.S.L.D.
Текст нээх цаг
1 КБ жинтэй файл
Тэмдэглэлийн дэвтэр нээгдэнэ
сангаас хуулсан санамсаргүй 1 KB баримтыг нээнэ
нөөц
CPU ба I/O
АББ
Хэлэлцүүлгийн нээлтийн цаг
тэмдэглэлийн дэвтэр дэх цонхнууд
VSI-Notepad файлыг нээж байна [Ctrl+O]
CPU, RAM болон I/O
ZHC*
Өндөр шахсан Zip файл үүсгэх цаг болжээ
Орон нутгийн шахалт
санамсаргүй 5MB .pst файлаас хуулсан
нөөцийн сан
CPU ба I/O
ZLC*
Сул шахагдсан Zip файл үүсгэх цаг болжээ
Орон нутгийн шахалт
санамсаргүй 5MB .pst файлаас хуулсан
нөөцийн сан
I / O
CPU-ийн
Том тооцоолж байна
санамсаргүй өгөгдлийн массив
Том массив үүсгэх
оролт/гаралтын таймерд ашиглагдах санамсаргүй өгөгдөл (Оролт/гаралтын таймер)
CPU-ийн
Туршилтыг хийх үед үндсэн VSIbase хэмжигдэхүүнийг анх тооцдог бөгөөд энэ нь системд ачаалалгүйгээр ажлуудыг гүйцэтгэх хурдыг харуулдаг. Үүний үндсэн дээр VSImax босгыг тодорхойлсон бөгөөд энэ нь VSIbase + 1ms-тэй тэнцүү байна.
Системийн гүйцэтгэлийн талаархи дүгнэлтийг хоёр хэмжигдэхүүн дээр үндэслэн хийдэг: системийн хурдыг тодорхойлдог VSIbase ба VSImax босго нь систем нь мэдэгдэхүйц доройтолгүйгээр ажиллах боломжтой хэрэглэгчдийн хамгийн их тоог тодорхойлдог.
300 Мэдлэгийн ажилчдын жишиг
Мэдлэгийн ажилчид нь санах ой, процессор, IO-г янз бүрийн жижиг оргилуудтай тогтмол ачаалдаг хэрэглэгчид юм. Програм хангамж нь эрэлт хэрэгцээтэй оффисын хэрэглэгчдийн ажлын ачааллыг дуурайдаг бөгөөд тэд ямар нэгэн зүйл рүү байнга нухаж байгаа мэт ажилладаг (PDF, Java, оффисын багц, зураг үзэх, 7-Zip). Хэрэглэгчдийг тэгээс 300 хүртэл нэмэх тусам тус бүрийн саатал аажмаар нэмэгддэг.
VSImax статистик өгөгдөл:
VSIbase = 986ms, VSI босгонд хүрч чадаагүй.
SimpliVity мониторингийн хадгалалтын системийн ачааллын статистик:
Энэ төрлийн ачааллын үед систем нь гүйцэтгэлийн хувьд бараг ямар ч доройтолгүйгээр нэмэгдсэн ачааллыг тэсвэрлэх чадвартай. Хэрэглэгчийн даалгаврыг гүйцэтгэхэд шаардагдах хугацаа жигд нэмэгдэж, системийн хариу өгөх хугацаа туршилтын явцад өөрчлөгддөггүй бөгөөд бичихэд 3 мс хүртэл, уншихад 1 мс хүртэл байдаг.
Дүгнэлт: Мэдлэгийн 300 хэрэглэгч одоогийн кластер дээр ямар ч асуудалгүй ажиллаж, бие биедээ саад учруулдаггүй, pCPU/vCPU хэт захиалгат 1-ээс 6-д хүрдэг. Ачаалал ихсэх тусам нийт саатал жигд өсдөг боловч заасан хязгаарт хүрээгүй байна.
300 агуулахын ажилчдын жишиг
Эдгээр нь 30-70 харьцаатай байнга бичиж, уншдаг хэрэглэгчид юм. Энэ туршилтыг илүү туршилтын зорилгоор хийсэн. VSImax статистик өгөгдөл:
VSIbase = 1673, VSI босго 240 хэрэглэгчдэд хүрсэн.
SimpliVity мониторингийн хадгалалтын системийн ачааллын статистик:
Энэ төрлийн ачаалал нь үндсэндээ хадгалах системийн стресс тест юм. Үүнийг гүйцэтгэх үед хэрэглэгч бүр өөр өөр хэмжээтэй санамсаргүй олон файлуудыг диск рүү бичдэг. Энэ тохиолдолд зарим хэрэглэгчдийн хувьд ачааллын тодорхой босгыг давсан тохиолдолд файл бичих ажлыг дуусгахад шаардагдах хугацаа нэмэгддэг болохыг харж болно. Үүний зэрэгцээ, хадгалах систем, процессор болон хостуудын санах ойн ачаалал тийм ч их өөрчлөгддөггүй тул яг юу саатал үүсгэж байгааг тодорхойлох боломжгүй байна.
Энэхүү туршилтыг ашиглан системийн гүйцэтгэлийн талаархи дүгнэлтийг зөвхөн бусад систем дээрх туршилтын үр дүнтэй харьцуулж үзэх боломжтой, учир нь ийм ачаалал нь синтетик бөгөөд бодитой бус юм. Гэсэн хэдий ч ерөнхийдөө шалгалт амжилттай болсон. 210 сесс хүртэл бүх зүйл сайн болсон бөгөөд дараа нь Login VSI-ээс өөр хаана ч хянаагүй хачирхалтай хариултууд эхэлсэн.
300 эрчим хүчний ажилтан
Эдгээр нь CPU, санах ой, өндөр IO-д дуртай хэрэглэгчид юм. Эдгээр "хүчирхэг хэрэглэгчид" шинэ программ хангамж суулгах, том архивыг задлах гэх мэт урт хугацааны туршид төвөгтэй ажлуудыг тогтмол гүйцэтгэдэг. VSImax статистик өгөгдөл:
VSIbase = 970, VSI босгонд хүрч чадаагүй.
SimpliVity мониторингийн хадгалалтын системийн ачааллын статистик:
Туршилтын явцад системийн зангилааны аль нэгэнд процессорын ачааллын босго хүрсэн боловч энэ нь түүний үйл ажиллагаанд мэдэгдэхүйц нөлөө үзүүлээгүй:
Энэ тохиолдолд систем нь гүйцэтгэлийн мэдэгдэхүйц доройтолгүйгээр их хэмжээний ачааллыг тэсвэрлэх чадвартай. Хэрэглэгчийн даалгаврыг гүйцэтгэхэд шаардагдах хугацаа жигд нэмэгдэж, системийн хариу өгөх хугацаа туршилтын явцад өөрчлөгддөггүй бөгөөд бичихэд 3 мс хүртэл, уншихад 1 мс хүртэл байдаг.
Үйлчлүүлэгчийн хувьд байнгын туршилтууд хангалтгүй байсан бөгөөд бид цаашаа явлаа: бид VM шинж чанарыг нэмэгдүүлж (хэт захиалгын өсөлт, дискний хэмжээг үнэлэхийн тулд vCPU-ийн тоо) нэмэлт ачааллыг нэмсэн.
Нэмэлт туршилтыг хийхдээ дараахь стендийн тохиргоог ашигласан.
300 виртуал ширээний компьютерийг 4vCPU, 4GB RAM, 80GB HDD тохиргоонд байрлуулсан.
Туршилтын машинуудын нэгний тохиргоо:
Машинуудыг Зориулалтын - Бүрэн хуулбар сонголтоор байрлуулсан:
300 Мэдлэгийн ажилчид захиалга хэтрүүлсэн 12
VSImax статистик өгөгдөл:
VSIbase = 921 мс, VSI босгонд хүрч чадаагүй.
SimpliVity мониторингийн хадгалалтын системийн ачааллын статистик:
Хүлээн авсан үр дүн нь өмнөх VM тохиргоог туршихтай төстэй.
300 Эрчим хүчний ажилтан 12 захиалга хэтрүүлсэн
VSImax статистик өгөгдөл:
VSIbase = 933, VSI босгонд хүрч чадаагүй.
SimpliVity мониторингийн хадгалалтын системийн ачааллын статистик:
Туршилтын явцад процессорын ачааллын босго хэмжээнд хүрсэн боловч энэ нь гүйцэтгэлд мэдэгдэхүйц нөлөө үзүүлээгүй:
Хүлээн авсан үр дүн нь өмнөх тохиргооны туршилттай төстэй юм.
Хэрэв та ачааллыг 10 цагийн турш ажиллуулбал юу болох вэ?
Одоо "хуримтлуулах нөлөө" байгаа эсэхийг харцгаая, 10 цаг дараалан туршилт явуулъя.
Хэсгийн урт хугацааны туршилт, тайлбар нь удаан хугацааны ачаалалтай фермийн сүлжээнд ямар нэгэн асуудал гарах эсэхийг шалгахад чиглэгдсэн байх ёстой.
300 Мэдлэгийн ажилчдын жишиг + 10 цаг
Нэмж дурдахад, 300 мэдлэгийн ажилчдын ачааллын тохиолдлыг туршиж, дараа нь хэрэглэгчийн 10 цагийн турш ажилласан.
VSImax статистик өгөгдөл:
VSIbase = 919 мс, VSI босгонд хүрч чадаагүй.
VSImax Нарийвчилсан статистик өгөгдөл:
Графикаас харахад туршилтын туршид гүйцэтгэлийн бууралт ажиглагдаагүй байна.
SimpliVity мониторингийн хадгалалтын системийн ачааллын статистик:
Хадгалах системийн гүйцэтгэл туршилтын туршид ижил хэвээр байна.
Синтетик ачааллыг нэмсэн нэмэлт туршилт
Үйлчлүүлэгч дискэнд зэрлэг ачаалал нэмэхийг хүссэн. Үүнийг хийхийн тулд хэрэглэгчийн виртуал машин бүрийн санах ойн системд хэрэглэгч системд нэвтрэх үед дискэн дээрх синтетик ачааллыг ажиллуулах даалгавар нэмэгдсэн. Ачааллыг fio хэрэгслээр хангасан бөгөөд энэ нь диск дээрх ачааллыг IOPS-ийн тоогоор хязгаарлах боломжийг олгодог. Машин бүрт 22 IOPS 70%/30% санамсаргүй унших/бичих хэмжээтэй нэмэлт ачааллыг эхлүүлэх ажлыг эхлүүлсэн.
300 Мэдлэгийн ажилтны жишиг үзүүлэлт + хэрэглэгч бүрт 22 IOPS
Анхны туршилтаар fio нь виртуал машинд CPU-ийн ихээхэн ачаалал өгдөг болохыг тогтоожээ. Энэ нь хостуудын CPU-ийн хэт ачаалалд хүргэж, системийн үйл ажиллагаанд ихээхэн нөлөөлсөн.
Хост CPU-ийн ачаалал:
Үүний зэрэгцээ, хадгалах системийн саатал нь аяндаа нэмэгддэг:
240 орчим хэрэглэгчдэд тооцоолох хүчин чадал дутагдаж байна.
Хүлээн авсан үр дүнгээс шалтгаалан CPU-ийн ачаалал багатай туршилт хийхээр шийдсэн.
230 оффисын ажилчдын жишиг үзүүлэлт + хэрэглэгч бүрт 22 IOPS
CPU-ийн ачааллыг багасгахын тулд оффисын ажилчдын ачааллын төрлийг сонгосон бөгөөд сесс бүрт 22 IOPS синтетик ачааллыг нэмсэн.
CPU-ийн ачааллын дээд хэмжээг хэтрүүлэхгүйн тулд туршилтыг 230 сессээр хязгаарласан.
Туршилтыг хэрэглэгчид 10 цагийн турш ажиллуулж, хамгийн их ачаалалтай үед удаан хугацааны туршид системийн тогтвортой байдлыг шалгасан.
VSImax статистик өгөгдөл:
VSIbase = 918 мс, VSI босгонд хүрч чадаагүй.
VSImax Нарийвчилсан статистик өгөгдөл:
Графикаас харахад туршилтын туршид гүйцэтгэлийн бууралт ажиглагдаагүй байна.
CPU ачааллын статистик:
Энэ туршилтыг хийх үед хостуудын CPU-ийн ачаалал бараг хамгийн их байсан.
SimpliVity мониторингийн хадгалалтын системийн ачааллын статистик:
Хадгалах системийн гүйцэтгэл туршилтын туршид ижил хэвээр байна.
Туршилтын явцад хадгалах системийн ачаалал 6/500 харьцаатай ойролцоогоор 60 IOPS (40 IOPS унших, 3 IOPS бичих) байсан бөгөөд энэ нь нэг ажлын станцад ойролцоогоор 900 IOPS байна.
Хариу өгөх хугацаа бичихэд дунджаар 3 мс, уншихад 1 мс хүртэл байна.
Үр дүн
HPE SimpliVity дэд бүтцийн бодит ачааллыг загварчлах үед SimpliVity хос зангилаанууд дээр дор хаяж 300 Full Clone машинуудын виртуал ширээний компьютерийг дэмжих системийг баталгаажуулсан үр дүн гарсан. Үүний зэрэгцээ, бүх туршилтын туршид хадгалах системийн хариу өгөх хугацааг оновчтой түвшинд байлгасан.
Хэрэгжүүлэхийн өмнө урт хугацааны туршилт, шийдлүүдийг харьцуулах арга барил бидэнд маш их сэтгэгдэл төрүүлж байна. Хэрэв та хүсвэл бид таны ажлын ачааллын гүйцэтгэлийг шалгах боломжтой. Бусад hyperconverged шийдлүүд орно. Дээрх үйлчлүүлэгч одоо зэрэгцээ өөр шийдлийн туршилтыг дуусгаж байна. Түүний одоогийн дэд бүтэц нь зүгээр л нэг компьютерийн флот, ажлын байр бүрт домэйн, програм хангамж юм. Туршилтгүйгээр VDI руу шилжих нь мэдээжийн хэрэг нэлээд хэцүү байдаг. Тодруулбал, VDI фермийн бодит боломжуудыг бодит хэрэглэгчдэд шилжүүлэхгүйгээр ойлгоход хэцүү байдаг. Мөн эдгээр туршилтууд нь энгийн хэрэглэгчдийг оролцуулахгүйгээр тодорхой системийн бодит чадавхийг хурдан үнэлэх боломжийг олгодог. Эндээс л энэ судалгаа гарсан.
Хоёрдахь чухал арга бол худалдан авагч нэн даруй зохих масштабыг тохируулах үүрэг хүлээсэн явдал юм. Энд та нэмэлт сервер худалдан авч, ферм нэмж болно, жишээлбэл, 100 хэрэглэгчийн хувьд бүх зүйл хэрэглэгчийн үнээр урьдчилан таамаглах боломжтой. Жишээлбэл, 300 хэрэглэгч нэмэх шаардлагатай үед тэд дэд бүтцээ бүхэлд нь шинэчлэх талаар бодохоос илүүтэйгээр аль хэдийн тодорхойлсон тохиргоонд хоёр сервер хэрэгтэй гэдгийг мэдэх болно.
HPE SimpliVity холбооны боломжууд нь сонирхолтой юм. Бизнес нь газарзүйн хувьд тусдаа байдаг тул алс холын оффист тусдаа VDI тоног төхөөрөмж суурилуулах нь зүйтэй юм. SimpliVity холбоонд виртуал машин бүрийг хуваарийн дагуу хуваарийн дагуу хуулбарлаж, суваг дээр ачаалалгүйгээр газарзүйн хувьд алслагдсан кластеруудын хооронд маш хурдан хуулбарлах чадвартай байдаг - энэ нь маш сайн түвшний нөөцлөлт юм. Сайтуудын хооронд VM-г хуулбарлахдаа сувгийг аль болох бага ашигладаг бөгөөд энэ нь нэг хяналтын төв болон олон тооны төвлөрсөн бус хадгалах сайтуудын дэргэд маш сонирхолтой DR архитектурыг бүтээх боломжийг олгодог.
Энэ бүхэн нь санхүүгийн талыг нарийвчлан үнэлэх, VDI-ийн зардлыг компанийн өсөлтийн төлөвлөгөөнд тусгах, шийдэл нь хэр хурдан үр дүнгээ өгөх, хэрхэн ажиллахыг ойлгох боломжийг олгодог. Учир нь аливаа VDI нь эцсийн дүндээ маш их нөөцийг хэмнэдэг, гэхдээ үүнтэй зэрэгцэн 5-7 жилийн дотор үүнийг өөрчлөх зардал багатай шийдэл юм.
Ерөнхийдөө, хэрэв танд тайлбар өгөх шаардлагагүй асуулт байвал над руу имэйлээр бичээрэй [имэйлээр хамгаалагдсан].
Эх сурвалж: www.habr.com