Hammaga salom!
Kompaniyamiz dasturiy ta'minotni ishlab chiqish va keyingi texnik yordam bilan shug'ullanadi. Texnik qo'llab-quvvatlash nafaqat xatolarni tuzatishni, balki ilovalarimiz ishlashini kuzatishni ham talab qiladi.
Misol uchun, agar xizmatlardan biri ishdan chiqqan bo'lsa, siz ushbu muammoni avtomatik ravishda yozib olishingiz va uni hal qilishni boshlashingiz kerak va norozi foydalanuvchilarning texnik yordamga murojaat qilishini kutmang.
Bizning kichik kompaniyamiz bor, bizda ilovalarni monitoring qilish uchun murakkab echimlarni o'rganish va saqlash uchun resurslarimiz yo'q, biz oddiy va samarali yechim topishimiz kerak edi.
Monitoring strategiyasi
Ilovaning funksionalligini tekshirish oson emas, bu vazifa ahamiyatsiz emas, hatto ijodiy deyish mumkin. Murakkab ko'p bo'g'inli tizimni tekshirish ayniqsa qiyin.
Qanday qilib filni yeyish mumkin? Faqat qismlarda! Biz ilovalarni kuzatish uchun ushbu yondashuvdan foydalanamiz.
Monitoring strategiyamizning mohiyati:
Ilovangizni komponentlarga ajrating.
Har bir komponent uchun nazorat tekshiruvlarini yarating.
Agar uning barcha nazorat tekshiruvlari xatosiz amalga oshirilsa, komponent operatsion hisoblanadi. Ilova, agar uning barcha komponentlari funktsional bo'lsa, sog'lom hisoblanadi.
Shunday qilib, har qanday tizim komponentlar daraxti sifatida ifodalanishi mumkin. Murakkab komponentlar oddiyroq qismlarga bo'linadi. Oddiy komponentlarda tekshiruvlar mavjud.
Benchmarklar funktsional testlarni o'tkazish uchun mo'ljallanmagan, ular birlik testlari emas. Nazorat tekshiruvlari komponentning hozirgi vaqtda o'zini qanday his qilishini, uning ishlashi uchun zarur bo'lgan barcha resurslar mavjudligini va muammolar mavjudligini tekshirishi kerak.
Hech qanday mo''jiza yo'q, aksariyat tekshiruvlar mustaqil ravishda ishlab chiqilishi kerak. Lekin qo'rqmang, chunki ko'p hollarda bitta tekshiruv 5-10 qator kodni oladi, lekin siz har qanday mantiqni amalga oshirishingiz mumkin va siz tekshirish qanday ishlashini aniq tushunasiz.
Monitoring tizimi
Aytaylik, biz dasturni tarkibiy qismlarga ajratdik, har bir komponent uchun tekshirishlarni o'ylab topdik va amalga oshirdik, ammo bu tekshiruvlar natijalari bilan nima qilish kerak? Ba'zi tekshiruv muvaffaqiyatsiz bo'lganligini qanday bilamiz?
Bizga monitoring tizimi kerak bo'ladi. U quyidagi vazifalarni bajaradi:
- Sinov natijalarini oling va ulardan komponentlarning holatini aniqlash uchun foydalaning.
Vizual ravishda, bu komponentlar daraxtini ta'kidlashga o'xshaydi. Funktsional komponentlar yashil rangga, muammolilar qizil rangga aylanadi. - Umumiy tekshiruvlarni qutidan tashqarida bajaring.
Monitoring tizimi ba'zi tekshiruvlarni o'zi amalga oshirishi mumkin. Nima uchun g'ildirakni qaytadan ixtiro qilish kerak, keling, ulardan foydalanamiz. Misol uchun, veb-sayt sahifasi ochilayotganini yoki server ping o'tkazayotganini tekshirishingiz mumkin. - Muammolar haqida manfaatdor tomonlarga xabarlar yuboring.
- Monitoring ma'lumotlarini vizualizatsiya qilish, hisobotlarni, grafiklarni va statistikani taqdim etish.
ASMO tizimining qisqacha tavsifi
Misol bilan tushuntirish yaxshidir. Keling, ASMO tizimining ishlashi monitoringi qanday tashkil etilganligini ko'rib chiqaylik.
ASMO - avtomatlashtirilgan meteorologik yordam tizimi. Tizim yo‘l xizmati mutaxassislariga yo‘lni qayerda va qachon muzdan tozalash materiallari bilan ishlov berish zarurligini tushunishga yordam beradi. Tizim yo'l nazorat punktlaridan ma'lumotlarni to'playdi. Yo'l nazorat punkti - bu yo'lda uskunalar o'rnatiladigan joy: ob-havo stantsiyasi, videokamera va boshqalar. Xavfli vaziyatlarni bashorat qilish uchun tizim tashqi manbalardan ob-havo ma'lumotlarini oladi.
Shunday qilib, tizimning tarkibi juda odatiy: veb-sayt, agent, uskunalar. Monitoringni boshlaylik.
Tizimni tarkibiy qismlarga bo'lish
ASMO tizimida quyidagi komponentlarni ajratish mumkin:
1. Shaxsiy hisob
Bu veb-ilova. Hech bo'lmaganda, dasturning Internetda mavjudligini tekshirishingiz kerak.
2. Ma'lumotlar bazasi
Ma'lumotlar bazasi hisobot uchun muhim bo'lgan ma'lumotlarni saqlaydi va siz ma'lumotlar bazasining zaxira nusxalari muvaffaqiyatli yaratilganiga ishonch hosil qilishingiz kerak.
3. Server
Server deganda biz ilovalar ishlaydigan apparatni nazarda tutamiz. HDD, RAM, CPU holatini tekshirish kerak.
4. Agent
Bu jadval bo'yicha juda ko'p turli vazifalarni bajaradigan Windows xizmati. Hech bo'lmaganda, xizmat ishlayotganligini tekshirishingiz kerak.
5. Agent vazifasi
Agent ishlayotganini bilishning o'zi etarli emas. Agent ishlashi mumkin, lekin o'ziga yuklangan vazifalarni bajara olmaydi. Keling, agent komponentini vazifalarga ajratamiz va har bir agent vazifasi muvaffaqiyatli ishlayotganligini tekshiramiz.
6. Yo'l nazorat punktlari (barcha MPC konteynerlari)
Ko'plab yo'llarni boshqarish punktlari mavjud, shuning uchun barcha MPC-larni bitta komponentda birlashtiramiz. Bu monitoring ma'lumotlarini o'qishni yanada qulayroq qiladi. ASMO tizim komponentining holatini ko'rib chiqishda muammolar qaerda ekanligi darhol aniq bo'ladi: ilovalarda, apparatda yoki maksimal boshqaruv tizimida.
7. Yo'l nazorat punkti (bir maksimal chegara)
Agar ushbu MPCdagi barcha qurilmalar xizmat ko'rsatishga yaroqli bo'lsa, biz ushbu komponentni xizmat ko'rsatishga yaroqli deb hisoblaymiz.
8. Qurilma
Bu maksimal konsentratsiya chegarasida o'rnatilgan videokamera yoki ob-havo stantsiyasi. Qurilmaning to'g'ri ishlashini tekshirish kerak.
Monitoring tizimida komponentlar daraxti quyidagicha ko'rinadi:
Veb ilovalar monitoringi
Shunday qilib, biz tizimni tarkibiy qismlarga ajratdik, endi har bir komponent uchun tekshirishlarni o'ylab topishimiz kerak.
Veb-ilovani kuzatish uchun biz quyidagi tekshiruvlardan foydalanamiz:
1. Asosiy sahifaning ochilishini tekshirish
Ushbu tekshirish monitoring tizimi tomonidan amalga oshiriladi. Uni amalga oshirish uchun biz sahifa manzilini, kutilgan javob fragmentini va so'rovni bajarishning maksimal vaqtini ko'rsatamiz.
2. Domen uchun to'lov muddatini tekshirish
Juda muhim tekshiruv. Domen to'lanmagan bo'lsa, foydalanuvchilar saytni ocholmaydi. Muammoni hal qilish bir necha kun davom etishi mumkin, chunki... DNS o'zgarishlari darhol qo'llanilmaydi.
3. SSL sertifikatini tekshirish
Hozirgi kunda deyarli barcha veb-saytlar kirish uchun https protokolidan foydalanadi. Protokol to'g'ri ishlashi uchun sizga tegishli SSL sertifikati kerak bo'ladi.
Quyida monitoring tizimidagi “Shaxsiy hisob” komponenti keltirilgan:
Yuqoridagi barcha tekshiruvlar aksariyat ilovalar uchun ishlaydi va kodlashni talab qilmaydi. Bu juda zo'r, chunki 5 daqiqada istalgan veb-ilovani kuzatishni boshlashingiz mumkin. Quyida veb-ilova uchun bajarilishi mumkin bo'lgan qo'shimcha tekshiruvlar mavjud, ammo ularni amalga oshirish murakkabroq va dasturga xosdir, shuning uchun biz ularni ushbu maqolada ko'rib chiqmaymiz.
Yana nimani tekshirishingiz mumkin?
Veb-ilovangizni to'liqroq kuzatish uchun siz quyidagi tekshiruvlarni bajarishingiz mumkin:
- Davradagi JavaScript xatolar soni
- Davr uchun veb-ilova tomonidagi xatolar soni (back-end).
- Muvaffaqiyatsiz veb-ilova javoblari soni (javob kodi 404, 500 va boshqalar)
- O'rtacha so'rovni bajarish vaqti
Windows xizmatini kuzatish (agent)
ASMO tizimida agent rejalashtirilgan vazifalarni fonda bajaradigan vazifalarni rejalashtiruvchi rolini o'ynaydi.
Agar barcha agent vazifalari muvaffaqiyatli bajarilsa, agent to'g'ri ishlayapti. Ma'lum bo'lishicha, agentni kuzatish uchun uning vazifalarini kuzatish kerak. Shuning uchun biz "Agent" komponentini vazifalarga ajratamiz. Har bir vazifa uchun biz monitoring tizimida alohida komponent yaratamiz, bu erda "Agent" komponenti "ota-ona" bo'ladi.
Agent komponentini kichik komponentlarga (vazifalar) ajratamiz:
Shunday qilib, biz murakkab komponentni bir nechta oddiy qismlarga ajratdik. Endi biz har bir oddiy komponent uchun tekshiruvlar bilan chiqishimiz kerak. E'tibor bering, "Agent" asosiy komponentida hech qanday tekshiruv bo'lmaydi, chunki monitoring tizimi o'z holatini o'zining yordamchi komponentlari holatiga qarab mustaqil ravishda hisoblab chiqadi. Boshqacha qilib aytganda, agar barcha vazifalar muvaffaqiyatli bajarilgan bo'lsa, demak agent muvaffaqiyatli ishlaydi.
ASMO tizimida yuzdan ortiq vazifalar mavjud, haqiqatan ham har bir vazifa uchun noyob tekshiruvlar o'ylab topish kerakmi? Albatta, agar biz har bir agent vazifasi uchun o'zimizning maxsus tekshiruvlarimizni o'ylab topsak va amalga oshirsak, nazorat yaxshiroq bo'ladi, lekin ko'p hollarda universal tekshiruvlardan foydalanish kifoya.
ASMO tizimi vazifalar uchun faqat universal tekshiruvlardan foydalanadi va bu tizimning ishlashini kuzatish uchun etarli.
Jarayon tekshirilmoqda
Eng oddiy va eng samarali tekshirish bu ijro tekshiruvidir. Tekshirish topshiriqning xatosiz bajarilganligini tasdiqlaydi. Barcha vazifalarda bu tekshiruv mavjud.
Tekshirish algoritmi
Har bir topshiriq bajarilgandan so'ng, agar topshiriq muvaffaqiyatli bajarilgan bo'lsa, siz monitoring tizimiga SUCCESS tekshiruvi natijasini yoki bajarilish xato bilan yakunlangan bo'lsa, ERROR xabarini yuborishingiz kerak.
Ushbu tekshiruv quyidagi muammolarni aniqlashi mumkin:
- Vazifa ishlaydi, lekin xato bilan muvaffaqiyatsiz tugadi.
- Vazifa ishlashni to'xtatdi, masalan, u muzlatib qo'ydi.
Keling, ushbu muammolar qanday hal qilinishini batafsil ko'rib chiqaylik.
1-muammo - Vazifa bajariladi, lekin xato bilan bajarilmaydi
Quyida topshiriq bajarilgan, lekin soat 14:00 dan 16:00 gacha bajarilmaydigan holat keltirilgan.
Rasmda ko'rinib turibdiki, vazifa bajarilmasa, signal darhol monitoring tizimiga yuboriladi va monitoring tizimidagi tegishli tekshiruv holati signalga aylanadi.
E'tibor bering, monitoring tizimida komponentning holati tekshirish holatiga bog'liq. Tekshirishning signal holati barcha yuqori darajadagi komponentlarni signalga o'zgartiradi, quyidagi rasmga qarang.
2-muammo - vazifani bajarish to'xtatildi (muzlatilgan)
Monitoring tizimi vazifa qolib ketganini qanday tushunadi?
Tekshirish natijasi amal qilish muddatiga ega, masalan, 1 soat. Agar bir soat o'tsa va yangi test natijasi bo'lmasa, monitoring tizimi sinov holatini signalga o'rnatadi.
Yuqoridagi rasmda yorug'lik soat 14:00 da o'chirilgan. Soat 15:00 da monitoring tizimi test natijasi (14:00 dan) chiriganligini aniqlaydi, chunki Muvofiqlik muddati tugadi (bir soat), lekin yangi natija yo'q va chekni signal holatiga o'tkazadi.
Soat 16:00 da chiroqlar yana yoqildi, dastur topshiriqni bajaradi va bajarilish natijasini monitoring tizimiga yuboradi, test holati yana muvaffaqiyatli bo'ladi.
Qaysi tekshiruv vaqtini ishlatishim kerak?
Muvofiqlik vaqti vazifani bajarish davridan kattaroq bo'lishi kerak. Men vazifani bajarish muddatidan 2-3 barobar ko'proq vaqtni belgilashni tavsiya qilaman. Bu, masalan, topshiriq odatdagidan ko'proq vaqt talab qilganda yoki kimdir dasturni qayta yuklaganida noto'g'ri bildirishnomalarni olmaslik uchun kerak.
Jarayon tekshirilmoqda
ASMO tizimida soatiga bir marta tashqi manbadan yangi prognozni yuklab olishga harakat qiladigan "Yuklash prognozi" vazifasi mavjud. Tashqi tizimda yangi prognoz paydo bo'lishining aniq vaqti noma'lum, ammo bu kuniga 2 marta sodir bo'lishi ma'lum. Ma'lum bo'lishicha, agar bir necha soat davomida yangi prognoz bo'lmasa, bu normal holat, lekin bir kundan ko'proq vaqt davomida yangi prognoz bo'lmasa, biror joyda biror narsa buzilgan. Masalan, tashqi prognoz tizimidagi ma'lumotlar formati o'zgarishi mumkin, shuning uchun ASMO prognozning yangi versiyasini ko'rmaydi.
Tekshirish algoritmi
Vazifa muvaffaqiyatga erishganida (yangi ob-havo ma'lumotlarini yuklab olish) MUVAFFAQIYAT tekshiruvi natijasini monitoring tizimiga yuboradi. Hech qanday taraqqiyot bo'lmasa yoki xatolik yuzaga kelsa, monitoring tizimiga hech narsa yuborilmaydi.
Tekshiruv tegishli intervalga ega bo'lishi kerak, shunda bu vaqt ichida u yangi yutuqlarni olish kafolatlanadi.
E'tibor bering, biz kechikish bilan muammo haqida bilib olamiz, chunki monitoring tizimi oxirgi skanerlash natijasining amal qilish muddati tugaguncha kutadi. Shuning uchun, chekning amal qilish muddati juda uzoq bo'lishi shart emas.
Ma'lumotlar bazasi monitoringi
ASMO tizimidagi ma'lumotlar bazasini boshqarish uchun biz quyidagi tekshiruvlarni o'tkazamiz:
- Zaxira yaratilishi tekshirilmoqda
- Bo'sh disk maydoni tekshirilmoqda
Zaxira yaratilishi tekshirilmoqda
Aksariyat ilovalarda ma'lumotlar bazasining yangilangan zahira nusxalariga ega bo'lish muhim, shunda server muvaffaqiyatsiz bo'lsa, dasturni yangi serverga o'rnatishingiz mumkin.
ASMO haftada bir marta zaxira nusxasini yaratadi va uni saqlashga yuboradi. Ushbu protsedura muvaffaqiyatli yakunlangach, muvaffaqiyatni tekshirish natijasi monitoring tizimiga yuboriladi. Tekshirish natijasi 9 kun davomida amal qiladi. Bular. Zaxira nusxalarini yaratishni nazorat qilish uchun biz yuqorida muhokama qilgan "progressni tekshirish" mexanizmi qo'llaniladi.
Bo'sh disk maydoni tekshirilmoqda
Agar diskda bo'sh joy etarli bo'lmasa, ma'lumotlar bazasi to'g'ri ishlay olmaydi, shuning uchun bo'sh joy miqdorini nazorat qilish muhimdir.
Raqamli parametrlarni tekshirish uchun ko'rsatkichlardan foydalanish qulay.
Ko'rsatkichlar raqamli o'zgaruvchi bo'lib, uning qiymati monitoring tizimiga uzatiladi. Monitoring tizimi chegara qiymatlarini tekshiradi va metrik holatini hisoblab chiqadi.
Quyida "Ma'lumotlar bazasi" komponentining monitoring tizimida qanday ko'rinishi tasvirlangan:
Server monitoringi
Serverni kuzatish uchun biz quyidagi tekshiruvlar va ko'rsatkichlardan foydalanamiz:
1. Bo'sh disk maydoni
Diskdagi joy tugasa, dastur ishlay olmaydi. Biz 2 ta chegara qiymatidan foydalanamiz: birinchi daraja - OGOHLANTIRISH, ikkinchi daraja - ALARM.
2. O'rtacha RAM qiymati soatiga foizda
Biz soatlik o'rtachadan foydalanamiz, chunki... bizni kamdan-kam irqlar qiziqtirmaydi.
3. Soatiga o'rtacha protsessor foizi
Biz soatlik o'rtachadan foydalanamiz, chunki... bizni kamdan-kam irqlar qiziqtirmaydi.
4. Ping tekshiruvi
Serverning onlayn ekanligini tekshiradi. Monitoring tizimi bu tekshiruvni amalga oshirishi mumkin, kod yozishning hojati yo'q.
Quyida "Server" komponentining monitoring tizimida qanday ko'rinishi tasvirlangan:
Uskunalar monitoringi
Ma'lumotlar qanday olinishini sizga aytaman. Har bir yo'l nazorat punkti (MPC) uchun vazifani rejalashtiruvchida vazifa mavjud, masalan, "MPC M2 km 200 tadqiqoti". Vazifa har 30 daqiqada barcha MPC qurilmalaridan ma'lumotlarni oladi.
Aloqa kanali muammosi
Uskunalarning aksariyati shahar tashqarisida joylashgan, ma'lumotlarni uzatish uchun GSM tarmog'idan foydalaniladi, u barqaror ishlamaydi (tarmoq bor yoki yo'q).
Tez-tez tarmoqdagi nosozliklar tufayli, dastlab MPC so'rovini monitoringda tekshirish quyidagicha ko'rinardi:
Bu ish varianti emasligi aniq bo'ldi, chunki muammolar haqida ko'plab noto'g'ri xabarlar bor edi. Keyin har bir qurilma uchun "progress tekshiruvi" dan foydalanishga qaror qilindi, ya'ni. Qurilma xatosiz so'ralganda monitoring tizimiga faqat muvaffaqiyat signali yuboriladi. Tegishli vaqt 5 soat qilib belgilandi.
Endi monitoring faqat qurilmani 5 soatdan ko'proq vaqt davomida so'roq qilish mumkin bo'lmaganda muammolar haqida bildirishnomalarni yuboradi. Yuqori ehtimollik bilan bu noto'g'ri signallar emas, balki haqiqiy muammolar.
Quyida uskunaning monitoring tizimida qanday ko'rinishi tasvirlangan:
Muhim!
GSM tarmog'i ishlashni to'xtatganda, barcha MDC qurilmalari so'ralgan emas. Monitoring tizimidan elektron pochta xabarlari sonini kamaytirish uchun muhandislarimiz "Qurilma" emas, balki "MPC" tipidagi komponentlar bilan bog'liq muammolar haqida bildirishnomalarga obuna bo'lishadi. Bu har bir qurilma uchun alohida bildirishnoma olish o‘rniga, har bir MPC uchun bitta bildirishnoma olish imkonini beradi.
Yakuniy ASMO monitoring sxemasi
Keling, hamma narsani birlashtiramiz va bizda qanday monitoring sxemasi borligini ko'rib chiqamiz.
xulosa
Keling, xulosa qilaylik.
ASMO faoliyatini monitoring qilish bizga nima berdi?
1. Kamchiliklarni bartaraf etish vaqti qisqardi
Biz avvalroq foydalanuvchilar tomonidan nuqsonlar haqida eshitgan edik, lekin hamma foydalanuvchilar ham nuqsonlar haqida xabar bermaydilar. Tizim komponentining noto'g'ri ishlashi haqida u paydo bo'lganidan bir hafta o'tgach bilib oldik. Endi monitoring tizimi muammo aniqlangandan so'ng bizga muammolar haqida xabar beradi.
2. Tizim barqarorligi oshdi
Kamchiliklar avvalroq bartaraf etila boshlaganligi sababli, tizim umuman ancha barqaror ishlay boshladi.
3. Texnik yordamga qo'ng'iroqlar sonini kamaytirish
Ko'pgina muammolar endi foydalanuvchilar ular haqida bilishdan oldin hal qilinadi. Foydalanuvchilar texnik yordamga kamroq murojaat qila boshladilar. Bularning barchasi bizning obro'-e'tiborimizga yaxshi ta'sir qiladi.
4. Mijozlar va foydalanuvchilarning sodiqligini oshirish
Mijoz tizim barqarorligida ijobiy o'zgarishlarni sezdi. Foydalanuvchilar tizimdan foydalanishda kamroq muammolarga duch kelishadi.
5. Texnik qo'llab-quvvatlash xarajatlarini kamaytirish
Biz qo'lda tekshirishni to'xtatdik. Endi barcha tekshiruvlar avtomatlashtirilgan. Ilgari biz foydalanuvchilardan muammolar haqida bilib oldik, ko'pincha foydalanuvchi qaysi muammo haqida gapirayotganini tushunish qiyin edi. Endi muammolarning aksariyati monitoring tizimi tomonidan xabar qilinadi; bildirishnomalar texnik ma'lumotlarni o'z ichiga oladi, bu har doim nima noto'g'ri va qayerda ekanligini aniq ko'rsatadi.
Muhim!
Siz monitoring tizimini ilovalaringiz ishlaydigan serverga o'rnatolmaysiz. Agar server ishlamay qolsa, ilovalar ishlashni to'xtatadi va bu haqda xabar beradigan hech kim bo'lmaydi.
Monitoring tizimi boshqa ma'lumotlar markazidagi alohida serverda ishlashi kerak.
Agar siz yangi ma'lumotlar markazida maxsus serverdan foydalanishni xohlamasangiz, bulutli monitoring tizimidan foydalanishingiz mumkin. Kompaniyamiz Zidium bulutli monitoring tizimidan foydalanadi, ammo siz boshqa har qanday monitoring tizimidan foydalanishingiz mumkin. Bulutli monitoring tizimining narxi yangi serverni ijaraga olishdan past.
Tavsiyalar:
- Komponentlar daraxti ko'rinishidagi ilovalar va tizimlarni iloji boricha batafsilroq ajratib oling, shunda qaerda va nima buzilganligini tushunish qulay bo'ladi va nazorat yanada to'liq bo'ladi.
- Komponentning funksionalligini tekshirish uchun testlardan foydalaning. Bitta murakkab tekshiruvdan ko'ra ko'plab oddiy tekshiruvlardan foydalanish yaxshiroqdir.
- Metrik chegaralarni kodda yozishdan ko'ra, monitoring tizimining yon tomonida sozlang. Bu sizni ilovani qayta kompilyatsiya qilish, qayta sozlash yoki qayta ishga tushirishdan qutqaradi.
- Shaxsiy tekshiruvlar uchun, noto‘g‘ri bildirishnomalarni olmaslik uchun tegishli vaqt chegarasidan foydalaning, chunki ba’zi tekshiruvlar odatdagidan biroz ko‘proq vaqt oladi.
- Monitoring tizimidagi komponentlarni faqat muammo yuzaga kelganda qizil rangga aylantirishga harakat qiling. Agar ular behuda qizil rangga aylansa, siz monitoring tizimining bildirishnomalariga e'tibor berishni to'xtatasiz, uning ma'nosi yo'qoladi.
Agar siz hali monitoring tizimidan foydalanmasangiz, boshlang! Bu ko'rinadigan darajada qiyin emas. O'zingiz o'stirgan yashil ingredientlar daraxtiga qarashdan zavqlaning.
Omad tilaymiz.
Manba: www.habr.com