Баарына салам!
Биздин компания программалык камсыздоону иштеп чыгуу жана андан кийин техникалык колдоо көрсөтүү менен алектенет. Техникалык колдоо каталарды оңдоону гана эмес, биздин тиркемелерибиздин иштешин көзөмөлдөөнү талап кылат.
Мисалы, кызматтардын бири бузулуп калса, анда сиз бул көйгөйдү автоматтык түрдө жазып алып, аны чече башташыңыз керек жана нааразы болгон колдонуучулардын техникалык колдоо кызматына кайрылуусун күтпөстөн.
Бизде кичинекей компания бар, бизде тиркемелерди мониторингдөө үчүн татаал чечимдерди изилдөө жана колдоо үчүн ресурстарыбыз жок, биз жөнөкөй жана натыйжалуу чечимди табышыбыз керек болчу.
Мониторинг стратегиясы
Тиркеменин функционалдуулугун текшерүү оңой эмес, бул тапшырма анчалык деле маанилүү эмес, атүгүл чыгармачыл деп айтууга болот. Бул татаал көп шилтеме системасын текшерүү үчүн өзгөчө кыйын.
Пилди кантип жесе болот? Бөлүктөрүндө гана! Биз колдонмолорду көзөмөлдөө үчүн бул ыкманы колдонобуз.
Биздин мониторинг стратегиябыздын маңызы:
Колдонмоңузду компоненттерге бөлүңүз.
Ар бир компонент үчүн контролдук текшерүүлөрдү түзүңүз.
Эгерде анын бардык контролдук текшерүүлөрү катасыз аткарылса, компонент жакшы абалда деп эсептелет. Тиркеме, эгерде анын бардык компоненттери иштесе, дени сак деп эсептелет.
Ошентип, ар кандай система компоненттердин дарагы катары көрсөтүлүшү мүмкүн. Татаал компоненттер жөнөкөйлөргө бөлүнөт. Жөнөкөй компоненттерде текшерүүлөр бар.
Эталондор функционалдык тестирлөө жүргүзүү үчүн арналган эмес, алар бирдик тесттери эмес. Контролдук текшерүүлөр азыркы учурда компоненттин өзүн кандай сезип жатканын, анын иштеши үчүн зарыл болгон бардык ресурстардын бар-жоктугун жана кандайдыр бир көйгөйлөрдүн бар-жоктугун текшерүү керек.
Эч кандай керемет жок, көпчүлүк текшерүүлөр өз алдынча иштелип чыгышы керек. Бирок коркпоңуз, анткени көпчүлүк учурларда бир текшерүү 5-10 сап кодду талап кылат, бирок сиз каалаган логиканы ишке ашыра аласыз жана чек кандай иштээрин так түшүнөсүз.
Мониторинг системасы
Келгиле, биз тиркемени компоненттерге бөлдүк дейли, ар бир компонент үчүн текшерүүлөрдү ойлоп таап, ишке ашырдык, бирок бул текшерүүлөрдүн жыйынтыгы менен эмне кылуу керек? Кандайдыр бир текшерүү ишке ашпай калганын кантип билебиз?
Бизге мониторинг системасы керек болот. Ал төмөнкү милдеттерди аткарат:
- Сыноонун натыйжаларын алыңыз жана аларды компоненттердин абалын аныктоо үчүн колдонуңуз.
Визуалдык жактан алганда, бул компонент дарагын бөлүп көрсөтүү сыяктуу көрүнөт. Функционалдык компоненттер жашыл түскө, көйгөйлүүлөрү кызылга айланат. - Жалпы текшерүүлөрдү кутудан чыгарыңыз.
Мониторинг системасы кээ бир текшерүүлөрдү өзү аткара алат. Эмне үчүн дөңгөлөктү кайра ойлоп табалы, аларды колдонолу. Мисалы, сиз веб-сайттын барагы ачылып жатканын же сервер пинг кылып жатканын текшере аласыз. - Кызыккан тараптарга көйгөйлөр тууралуу билдирүүлөрдү жөнөтүү.
- Мониторинг маалыматтарын визуалдаштыруу, отчетторду, графиктерди жана статистиканы берүү.
ASMO системасынын кыскача баяндамасы
Мисал менен түшүндүргөн жакшы. Келгиле, ASMO системасынын иштешине мониторинг кантип уюштурулганын карап көрөлү.
ASMO автоматташтырылган метеорологиялык колдоо системасы болуп саналат. Система жол кызматынын адистерине жолду кайсы жерде жана качан муздан тазалоочу материалдар менен тазалоо керектигин түшүнүүгө жардам берет. Система жол көзөмөлдөө пункттарынан маалыматтарды чогултат. Жол диспетчердик пункту – жолдогу жабдуулар орнотулган жер: метеостанция, видеокамера ж.б. Кооптуу кырдаалдарды алдын ала айтуу үчүн система тышкы булактардан аба ырайынын болжолдоолорун алат.
Ошентип, системанын курамы абдан мүнөздүү: веб-сайт, агент, жабдуулар. Мониторингди баштайлы.
Системаны компоненттерге бөлүү
ASMO системасында төмөнкү компоненттерди бөлүүгө болот:
1. Жеке кабинет
Бул веб-тиркеме. Жок дегенде, сиз тиркеменин Интернетте бар экенин текшеришиңиз керек.
2. Маалыматтар базасы
Маалыматтар базасы отчет берүү үчүн маанилүү болгон маалыматтарды сактайт жана сиз маалымат базасынын резервдик көчүрмөлөрү ийгиликтүү түзүлгөнүн камсыз кылышыңыз керек.
3. Сервер
Сервер деп биз тиркемелерди иштеткен жабдыкты түшүнөбүз. Бул HDD, RAM, CPU абалын текшерүү керек.
4. Агент
Бул график боюнча ар кандай тапшырмаларды аткарган Windows кызматы. Жок дегенде, сиз кызмат иштеп жатканын текшерүү керек.
5. Агенттин тапшырмасы
Жөн гана агент иштеп жатканын билүү жетиштүү эмес. Агент иштей алат, бирок ага жүктөлгөн милдеттерди аткара албайт. Келгиле, агент компонентин тапшырмаларга бөлүп, ар бир агент тапшырмасы ийгиликтүү иштеп жатканын текшерели.
6. Жол көзөмөлдөө пункттары (бардык МДКнын контейнери)
Көптөгөн жол көзөмөлдөө пункттары бар, ошондуктан келгиле, бардык MPCтерди бир компонентке бириктирели. Бул мониторинг маалыматтарын окуу үчүн ыңгайлуу кылат. "ASMO системасы" компонентинин статусун карап жатканда, көйгөйлөр кайда экени дароо айкын болот: тиркемелерде, аппараттык камсыздоодо же максималдуу башкаруу тутумунда.
7. Жол көзөмөлдөө пункту (бир максималдуу чек)
Бул MPCдеги бардык түзмөктөр тейлөөгө жарамдуу болсо, биз бул компонентти тейлөөгө жарамдуу деп эсептейбиз.
8. Аппарат
Бул максималдуу концентрация чегинде орнотулган видеокамера же аба ырайы станциясы. Бул аппарат туура иштеп жатканын текшерүү зарыл.
Мониторинг системасында компонент дарагы төмөнкүдөй болот:
Веб колдонмо мониторинги
Ошентип, биз системаны компоненттерге бөлдүк, азыр ар бир компонент үчүн текшерүүлөрдү ойлоп табышыбыз керек.
Веб тиркемени көзөмөлдөө үчүн биз төмөнкү текшерүүлөрдү колдонобуз:
1. Башкы беттин ачылышын текшерүү
Бул текшерүү мониторинг системасы тарабынан жүзөгө ашырылат. Аны аткаруу үчүн биз баракчанын дарегин, күтүлгөн жооп фрагментин жана суроо-талапты аткаруунун максималдуу убактысын көрсөтөбүз.
2. Домендин төлөө мөөнөтүн текшерүү
Абдан маанилүү текшерүү. Домен төлөнбөгөн бойдон калса, колдонуучулар сайтты ача алышпайт. Маселени чечүү бир нече күнгө созулушу мүмкүн, анткени... DNS өзгөртүүлөр дароо колдонулбайт.
3. SSL сертификатын текшерүү
Бүгүнкү күндө дээрлик бардык веб-сайттар кирүү үчүн https протоколун колдонушат. Протокол туура иштеши үчүн жарактуу SSL сертификаты керек.
Төмөндө мониторинг системасында "Жеке эсеп" компоненти болуп саналат:
Жогорудагы текшерүүлөрдүн бардыгы көпчүлүк колдонмолор үчүн иштейт жана коддоону талап кылбайт. Бул абдан сонун, анткени сиз каалаган веб-тиркемени 5 мүнөттөн кийин көзөмөлдөй баштасаңыз болот. Төмөндө веб-тиркеме үчүн аткарыла турган кошумча текшерүүлөр бар, бирок аларды ишке ашыруу татаалыраак жана колдонмого мүнөздүү, ошондуктан биз бул макалада аларды чагылдырбайбыз.
Дагы эмнени текшере аласыз?
Веб колдонмоңузду толугураак көзөмөлдөө үчүн, төмөнкү текшерүүлөрдү аткара аласыз:
- Бир мезгилдеги JavaScript каталарынын саны
- Мезгил үчүн веб-тиркеме тарабындагы каталардын саны (back-end).
- Ийгиликсиз веб тиркеме жоопторунун саны (жооп коду 404, 500 ж.б.)
- Сурамдарды аткаруунун орточо убактысы
Windows кызматын көзөмөлдөө (агент)
ASMO системасында агент пландалган тапшырмаларды фондо аткарган тапшырмаларды пландаштыруучунун ролун ойнойт.
Эгерде бардык агент тапшырмалары ийгиликтүү аткарылса, анда агент туура иштеп жатат. Көрсө, агентти көзөмөлдөө үчүн анын милдеттерин көзөмөлдөө керек экен. Ошондуктан, биз "Агент" компонентин милдеттерге бөлөбүз. Ар бир тапшырма үчүн биз мониторинг системасында өзүнчө компонентти түзөбүз, анда “Агент” компоненти “ата-эне” болот.
Агент компонентин бала компоненттерге (милдеттерге) бөлөбүз:
Ошентип, биз татаал компонентти бир нече жөнөкөйлөргө бөлдүк. Эми биз ар бир жөнөкөй компонентти текшерүү менен чыгышыбыз керек. Көңүл буруңуз, "Агент" ата-энелик компонентинде эч кандай текшерүүлөр болбойт, анткени мониторинг системасы өзүнүн статусун өзүнүн бала компоненттеринин абалына жараша өз алдынча эсептейт. Башкача айтканда, бардык тапшырмалар ийгиликтүү аткарылса, агент ийгиликтүү иштеп жатат.
ASMO тутумунда жүздөн ашык тапшырмалар бар, чынында эле ар бир тапшырма үчүн уникалдуу текшерүүлөр керекпи? Албетте, эгерде биз ар бир агенттин тапшырмасы үчүн өзүбүздүн атайын текшерүүлөрдү ойлоп таап, ишке ашырсак, көзөмөл жакшы болот, бирок көпчүлүк учурда универсалдуу текшерүүлөрдү колдонуу жетиштүү.
ASMO системасы тапшырмалар үчүн универсалдуу текшерүүлөрдү гана колдонот жана бул системанын иштешин көзөмөлдөө үчүн жетиштүү.
Прогресс текшерилүүдө
Эң жөнөкөй жана эң эффективдүү текшерүү – бул аткарылышын текшерүү. Текшерүү тапшырманын катасыз аткарылгандыгын текшерет. Бардык тапшырмаларда бул текшерүү бар.
Текшерүү алгоритми
Ар бир тапшырма аткарылгандан кийин, тапшырма ийгиликтүү аткарылса, ИЙГИЛИК текшерүүнүн жыйынтыгын мониторинг системасына жөнөтүшүңүз керек, же ката менен аткарылса ERROR.
Бул текшерүү төмөнкү көйгөйлөрдү аныктай алат:
- Тапшырма иштейт, бирок ката менен ишке ашпай калат.
- Тапшырма иштебей калды, мисалы, ал катып калды.
Келгиле, бул көйгөйлөр кененирээк кантип чечилерин карап көрөлү.
1-маселе – тапшырма аткарылат, бирок ката менен ишке ашпай калды
Төмөндө тапшырма аткарылып, бирок 14:00 менен 16:00 ортосунда аткарылбай калган учур келтирилген.
Сүрөттө көрсөтүлгөндөй, тапшырма аткарылбай калганда, сигнал дароо мониторинг системасына жөнөтүлөт жана мониторинг системасындагы тиешелүү текшерүүнүн абалы сигналга айланат.
Мониторинг системасында компоненттин статусу текшерүү статусунан көз каранды экенин эске алыңыз. Текшерүүнүн сигнал статусу бардык жогорку деңгээлдеги компоненттерди сигналга өзгөртөт, төмөнкү сүрөттү караңыз.
Маселе 2 - тапшырма аткарылбай калды (тоңдурулган)
Мониторинг системасы тапшырманын токтоп калганын кантип түшүнөт?
Текшерүүнүн натыйжасынын жарактуу мөөнөтү бар, мисалы, 1 саат. Эгерде бир саат өтүп, жаңы тесттин жыйынтыгы жок болсо, мониторинг системасы тесттин статусун сигналга коет.
Жогорудагы сүрөттө саат 14:00дө жарык өчүрүлгөн. Саат 15:00дө мониторинг системасы тесттин жыйынтыгы (14:00дөн баштап) чиригенин аныктайт, анткени Тиешелүү убакыт бүттү (бир саат), бирок жаңы жыйынтык жок жана текшерүүнү сигнал абалына которот.
Саат 16:00дө жарыктар кайрадан күйгүзүлдү, программа тапшырманы аткарып, аткаруунун жыйынтыгын мониторинг системасына жөнөтөт, тесттин абалы кайрадан ийгиликтүү болот.
Кайсы текшерүү актуалдуу убактысын колдонушум керек?
Тиешелүү убакыт тапшырманы аткаруу мөөнөтүнөн көбүрөөк болушу керек. Мен тапшырманы аткаруу мөөнөтүнөн 2-3 эсе көп убакытты коюуну сунуштайм. Бул, мисалы, тапшырма адаттагыдан узакка созулганда же кимдир бирөө программаны кайра жүктөгөндө, жалган эскертмелерди алуудан качуу үчүн зарыл.
Прогресс текшерилүүдө
ASMO тутумунда саатына бир жолу тышкы булактан жаңы прогнозду жүктөп алууга аракет кылган "Жүк болжолдоо" тапшырмасы бар. Тышкы системада жаңы прогноз качан пайда болоору так белгисиз, бирок бул бир күндө 2 жолу болоору белгилүү. Көрсө, бир нече саатка жаңы прогноз болбосо, анда бул нормалдуу көрүнүш, ал эми бир суткадан ашык жаңы прогноз болбосо, анда бир жерден бир нерсе бузулган. Мисалы, тышкы болжолдоо тутумундагы маалымат форматы өзгөрүшү мүмкүн, ошондуктан ASMO жаңы прогноз чыгарууну көрбөйт.
Текшерүү алгоритми
Тапшырма ийгиликке жеткенде (жаңы аба ырайын жүктөө) ИЙГИЛИК текшерүүнүн жыйынтыгын мониторинг системасына жөнөтөт. эч кандай прогресс же ката пайда болсо, анда мониторинг системасына эч нерсе жөнөтүлөт.
Чектин актуалдуу интервалы болушу керек, бул убакыттын ичинде ал жаңы прогрессти алууга кепилдик берет.
Көйгөй жөнүндө биз кечигүү менен билебиз, анткени мониторинг системасы акыркы скандоочу натыйжанын жарактуу мөөнөтү аяктаганга чейин күтөт. Демек, чектин жарактуу мөөнөтү өтө көпкө созулбайт.
Маалыматтар базасынын мониторинги
ASMO системасындагы маалымат базасын көзөмөлдөө үчүн биз төмөнкү текшерүүлөрдү жүргүзөбүз:
- Камдык көчүрмөнү түзүү текшерилүүдө
- Бош диск мейкиндигин текшерүү
Камдык көчүрмөнү түзүү текшерилүүдө
Көпчүлүк тиркемелерде, сервер иштебей калса, программаны жаңы серверге жайгаштыруу үчүн, маалымат базасынын жаңыртылган резервдик көчүрмөлөрү болушу маанилүү.
ASMO камдык көчүрмөсүн жумасына бир жолу түзүп, аны сактоочу жайга жөнөтөт. Бул жол-жобосу ийгиликтүү аяктагандан кийин, ийгиликтүү текшерүүнүн натыйжасы мониторинг системасына жөнөтүлөт. Текшерүү натыйжасы 9 күн бою күчүндө болот. Ошол. Камдык көчүрмөлөрдү түзүүнү көзөмөлдөө үчүн биз жогоруда талкуулаган “прогрессти текшерүү” механизми колдонулат.
Бош диск мейкиндигин текшерүү
Эгерде дискте бош орун жетишсиз болсо, маалымат базасы туура иштей албайт, ошондуктан бош орундун көлөмүн көзөмөлдөө маанилүү.
Сандык параметрлерди текшерүү үчүн метрикаларды колдонуу ыңгайлуу.
Metrics сандык өзгөрмө болуп саналат, анын мааниси мониторинг системасына берилет. Мониторинг системасы чектик маанилерди текшерет жана метрикалык статусун эсептейт.
Төмөндө "Маалыматтар базасы" компоненти мониторинг системасында кандай көрүнүшү сүрөттөлөт:
Server мониторинги
Серверди көзөмөлдөө үчүн биз төмөнкү текшерүүлөрдү жана көрсөткүчтөрдү колдонобуз:
1. Бош диск мейкиндиги
Эгерде диск мейкиндиги түгөнүп калса, колдонмо иштей албайт. Биз 2 босого маанини колдонобуз: биринчи деңгээл - ЭСКЕРТҮҮ, экинчи деңгээл - АЛАРМ.
2. Саатына пайыз менен RAM орточо мааниси
Биз сааттык орточо эсепти колдонобуз, анткени... сейрек кездешүүчү расалар бизди кызыктырбайт.
3. Орточо CPU пайызы саатына
Биз сааттык орточо эсепти колдонобуз, анткени... сейрек кездешүүчү расалар бизди кызыктырбайт.
4. Пинг текшерүү
Сервер онлайн экенин текшерет. Мониторинг системасы бул текшерүүнү аткара алат, код жазуунун кереги жок.
Төмөндө "Сервер" компоненти мониторинг системасында кандай көрүнүшү сүрөттөлөт:
Жабдуулардын мониторинги
Маалыматтар кантип алынганын айтып берем. Ар бир жол диспетчердик пункту (ЖДП) үчүн тапшырма пландоочуда тапшырма бар, мисалы, “М2 км 200 МКК изилдөө”. Тапшырма ар бир 30 мүнөт сайын бардык MPC түзмөктөрүнөн маалыматтарды алат.
Байланыш каналынын көйгөйү
Жабдуулардын көбү шаардын сыртында жайгашкан, маалыматтарды берүү үчүн GSM тармагы колдонулат, ал туруктуу иштебейт (тармак бар же жок).
Тармактын үзгүлтүккө учурашынан улам, алгач мониторингде MPC сурамжылоосун текшерүү төмөнкүдөй болду:
Бул иштебей турган вариант экени айкын болду, анткени көйгөйлөр тууралуу көптөгөн жалган билдирүүлөр болгон. Андан кийин ар бир аппарат үчүн "прогресс текшерүүсүн" колдонуу чечими кабыл алынды, б.а. Аппарат катасыз суралганда, мониторинг системасына ийгилик сигналы гана жөнөтүлөт. Тиешелүү убакыт 5 саатка белгиленген.
Эми мониторинг аппаратты 5 сааттан ашык сурамжылоого мүмкүн болбогондо гана көйгөйлөр жөнүндө эскертмелерди жөнөтөт. Ыктымалдуулуктун жогорку даражасы менен бул жалган сигналдар эмес, реалдуу көйгөйлөр.
Төмөндө мониторинг системасында жабдуулардын көрүнүшү сүрөттөлөт:
Маанилүү!
GSM тармагы иштебей калганда, бардык MDC түзмөктөрү сурамжылоого алынбайт. Мониторинг системасынан электрондук каттардын санын азайтуу үчүн, биздин инженерлер "Түзмөккө" эмес, "MPC" тибиндеги компоненттердин көйгөйлөрү жөнүндө эскертмелерге жазылышат. Бул ар бир түзмөк үчүн өзүнчө эскертмени алуунун ордуна, ар бир MPC үчүн бир эскертме алууга мүмкүндүк берет.
ASMO мониторингинин акыркы схемасы
Баарын чогултуп, бизде кандай мониторинг схемасы бар экенин көрөлү.
жыйынтыктоо
Жыйынтыктап көрөлү.
АСМОнун иштешине мониторинг жүргүзүү бизге эмне берди?
1. Кемчиликти жоюу убактысы кыскарды
Биз буга чейин колдонуучулардын кемчиликтери жөнүндө укканбыз, бирок бардык колдонуучулар кемчиликтерди билдире бербейт. Системанын компонентинин бузулушу жөнүндө ал пайда болгондон бир жумадан кийин билдик. Азыр мониторинг системасы көйгөй аныкталганда эле көйгөйлөр тууралуу бизге кабарлайт.
2. Системанын туруктуулугу жогорулады
Кемчиликтер эртерээк жоюла баштагандыктан, система жалпысынан кыйла туруктуу иштей баштады.
3. Техникалык колдоого чалуулардын санын азайтуу
Көптөгөн көйгөйлөр азыр колдонуучулар алар жөнүндө биле электе чечилет. Колдонуучулар техникалык колдоо көрсөтүүгө азыраак кайрыла башташты. Мунун баары биздин аброюбузга жакшы таасирин тийгизет.
4. Кардарлардын жана колдонуучулардын лоялдуулугун жогорулатуу
Кардар системанын туруктуулугунда оң өзгөрүүлөрдү байкаган. Колдонуучулар системаны колдонууда азыраак көйгөйлөргө туш болушат.
5. Техникалык колдоо көрсөтүүгө кеткен чыгымдарды кыскартуу
Биз кол менен текшерүүнү токтоттук. Азыр бардык текшерүүлөр автоматташтырылган. Мурда биз колдонуучулардан көйгөйлөр тууралуу билчүбүз; көбүнчө колдонуучу кайсы көйгөй жөнүндө айтып жатканын түшүнүү кыйынга турду. Азыр көйгөйлөрдүн көбү мониторинг системасы тарабынан билдирилет; эскертмелерде техникалык маалыматтар камтылган, алар ар дайым эмнеден ката кетиргенин жана кайда кеткенин ачык көрсөтүп турат.
Маанилүү!
Мониторинг тутумун тиркемелериңиз иштеген серверге орното албайсыз. Сервер иштебей калса, тиркемелер иштебей калат жана бул тууралуу билдире турган эч ким болбойт.
Мониторинг системасы башка маалымат борборунда өзүнчө серверде иштеши керек.
Жаңы маалымат борборунда атайын серверди колдонгуңуз келбесе, булуттун мониторинг системасын колдоно аласыз. Биздин компания Zidium булут мониторинг системасын колдонот, бирок сиз каалаган башка мониторинг системасын колдоно аласыз. Булуттун мониторинг системасынын баасы жаңы серверди ижарага алуудан төмөн.
сунуштар:
- Компоненттердин дарагы түрүндөгү тиркемелерди жана системаларды мүмкүн болушунча майда-чүйдөсүнө чейин сындырыңыз, андыктан кайда жана эмне бузулганын түшүнүү ыңгайлуу болот жана башкаруу толугураак болот.
- Компоненттин иштешин текшерүү үчүн тесттерди колдонуңуз. Бир татаал текшерүүгө караганда көп жөнөкөй текшерүүлөрдү колдонуу жакшы.
- Метрикалык босоголорду код менен жазуудан көрө, мониторинг тутумунун тарабында конфигурациялаңыз. Бул колдонмону кайра компиляциялоодон, конфигурациялоодон же кайра иштетүүдөн куткарат.
- Ыңгайлаштырылган текшерүүлөр үчүн, кээ бир текшерүүлөр адаттагыдан бир аз көбүрөөк убакытка созулуп кеткендиктен, жалган эскертмелерди алуудан качуу үчүн тиешелүү убакыттын чегин колдонуңуз.
- Мониторинг тутумундагы компоненттерди сөзсүз көйгөй пайда болгондо гана кызылга айлантууга аракет кылыңыз. Эгерде алар бекер кызарып кетсе, анда сиз мониторинг системасынын билдирүүлөрүнө көңүл бурбай каласыз, анын мааниси жоголот.
Эгер сиз мониторинг тутумун колдонбосоңуз, баштаңыз! Бул көрүнгөндөй кыйын эмес. Өзүңүз өстүргөн жашыл ингредиенттер дарагын карап чыгуудан шыктаныңыз.
Негизинен жакшы болду.
Source: www.habr.com