د اوکر هایبرډ نظارت سیسټم عمومي کتنه

دوه کاله دمخه ما یو پوسټ جوړ کړ د ویب پاڼې لپاره ساده ناکامي په اړه اوکر. اوس د پروژې یو څه پرمختګ دی، او ما هم خپور کړ د okerr سرور اړخ سرچینې کوډ لاندې خلاص جواز، له همدې امله ما پریکړه وکړه چې دا لنډ بیاکتنه په هابر کې ولیکم.

د اوکر هایبرډ نظارت سیسټم عمومي کتنه
[ بشپړ اندازه ]

هغه چا ته چې علاقه لري

دا ممکن ستاسو لپاره په زړه پوري وي که تاسو په کوچني ټیم کې کار کوئ یا یوازې. تاسو څارنه نلرئ او تاسو ډاډه نه یاست چې تاسو واقعیا ورته اړتیا لرئ. یا تاسو د "لویو هلکانو لپاره" یو څه مشهور جدي څارنې هڅه کړې ، مګر دا یو څه ستاسو لپاره "نه دی خلاص شوی" ، یا دا په نږدې ډیفالټ ترتیب کې کار کوي او ستاسو ژوند یې ډیر نه دی بدل کړی. او همدارنګه - که تاسو حتما پلان نلرئ چې په ورځ کې لږترلږه څو ساعته د څارنې ډشبورډ نظارت کولو لپاره ټول کارمند (یا حتی یوه څانګه) تخصیص کړئ یا یې تنظیم کړئ.

ولې اوکر غیر معمولي دی

بیا به زه د اوکیرا په زړه پورې ځانګړتیاوې وښیم چې دا د نورو نظارت سیسټمونو څخه توپیر کوي.

Okerr یو هایبرډ څارنه ده

د داخلي څارنې په جریان کې، یو "اجنټ" په څارل شوي ماشینونو کې روان دی، کوم چې د څارنې سرور ته ډاټا لیږدوي (د بیلګې په توګه، د ډیسک وړیا ځای). کله چې بهرنی وي، سرور په شبکه کې چکونه ترسره کوي (د بیلګې په توګه، پینګ یا د ویب پاڼې شتون). هره طریقه خپل محدودیتونه لري. اوکر دواړه اختیارونه کاروي. د سرورونو دننه چیکونه د خورا سپک (30Kb) اجنټ یا ستاسو خپل سکریپټ او غوښتنلیکونو لخوا ترسره کیږي ، او د شبکې چیکونه په مختلف هیوادونو کې د اوکر سینسرونو له لارې ترسره کیږي.

okerr نه یوازې سافټویر دی، بلکې یو خدمت هم دی

د هرې څارنې د سرور برخه لویه او پیچلې ده، دا نصب او تنظیم کول ستونزمن دي، او سرچینو ته اړتیا لري. د اوکر سره تاسو کولی شئ خپل د څارنې سرور نصب کړئ (دا وړیا او خلاص سرچینه ده) ، یا تاسو کولی شئ یوازې د پیرودونکي برخه وکاروئ او زموږ د سرور خدمت وکاروئ. همدارنګه وړیا.

که نظارت تاسو ته اجازه درکوي چې په سرورونو او غوښتنلیکونو کې د اعتبار نشتوالی جبران او پوښ کړئ ، نو بیا یوه فلسفي پوښتنه راپورته کیږي - ساتونکی څوک دی؟ نظارت به څنګه موږ ته د یوې ستونزې په اړه ووایی که چیرې دا پخپله د کوم دلیل لپاره "مړ" وي ، په جلا توګه یا ستاسو د نورو سرچینو سره یوځای (د مثال په توګه ، د معلوماتو مرکز ته چینل راوتلی)؟ کله چې د بهرني خدمت اوکر کاروئ - دا ستونزه حل شوې - تاسو به یو خبرتیا ترلاسه کړئ حتی که ستاسو د سرورونو سره د ډیټا ټول مرکز بریښنا پرته وي یا د زومبیانو لخوا برید شوی وي.

البته، یو خطر شتون لري چې د اوکر سرور به پخپله شتون ونلري، دا ریښتیا ده (لکه څنګه چې تاسو پوهیږئ، 90٪ اعتبار تل په ساده او "وړیا" ترلاسه کیږي، 99٪ د لږ تر لږه هڅو سره، او هر راتلونکی نهه دی. په چټکۍ سره ډیر ستونزمن). مګر، لومړی، د دې پیښې امکانات کم دي، او دویم، ستونزه ممکن یوازې د پام وړ نه وي که دا زموږ په سرورونو کې د ستونزو سره سمون ولري. که موږ 99.9٪ اعتبار ولرو، او تاسو 99.9٪ لرئ (ډېرې لوړې شمېرې نه وي)، نو د ناڅرګندې ناکامۍ چانس د 0.1٪ = 0.1٪ 0.0001٪ دی. ستاسو اعتبار ته د دریو نونونو اضافه کول تقریبا پرته له هڅې او لګښت څخه خورا ښه دي!

د خدمت په توګه د نظارت بله ګټه دا ده چې د کوربه توب چمتو کونکی یا ویب سټوډیو کولی شي د اوکر سرور نصب کړي او پیرودونکو ته د تادیې یا وړیا اضافي خدمت په توګه لاسرسی چمتو کړي. ستاسو سیالي یوازې کوربه او ویب پاڼې لري، مګر تاسو د څارنې سره د باور وړ کوربه توب لرئ.

Okerr د شاخصونو په اړه دی

شاخص یو "رڼا بلب" دی. دا دوه اصلي حالتونه لري - شنه (OK) یا سور (ERR). په پروژه کې ډیری ګروپ شوي (د مثال په توګه، د سرور لخوا) شاخصونه شامل دي. د پروژې په اصلي پاڼه کې، تاسو سمدلاسه وګورئ چې یا هرڅه شنه دي (او تاسو کولی شئ دا بند کړئ)، یا یو څه سور روښانه شوی او باید سم شي. کله چې د دې ایالتونو تر مینځ لیږد ، یو خبرتیا لیږل کیږي. په ورځ کې یو ځل کله چې تاسو یې تنظیم کوئ، د پروژې لنډیز لیږل کیږي.

د اوکر هایبرډ نظارت سیسټم عمومي کتنه

د اوکر هر شاخص جوړ شوي شرایط لري چې له مخې یې حالت بدلوي (په زبکس کې دې ته محرک ویل کیږي). د مثال په توګه، د بار اوسط باید له 2 څخه زیات نه وي (البته، دا د ترتیب وړ دی). او د هر داخلي چک لپاره (لوډ اوسط، ډیسک وړیا، ...) یو څارونکی شتون لري. که د کوم دلیل لپاره موږ په ټاکل شوي وخت کې بریالي تایید ترلاسه نه کړو، یوه تېروتنه ثبت شوې او یو خبرتیا لیږل کیږي.

زموږ د معمول کار نمونه دا ده چې په سهار کې بریښنالیکونه وګورئ، او د نورو بریښنالیکونو په مینځ کې لنډیز وګورئ (موږ یې د کار په پیل کې مهالویش کوو). که په دې کې هرڅه سم وي، موږ نور مهم کارونه ترسره کوو (مګر د خوندي کیدو لپاره، موږ کولی شو ژر تر ژره د اوکرا ډشبورډ وګورو او ډاډ ترلاسه کړو چې پدې وخت کې هرڅه شنه دي). که یو خبرتیا راشي، موږ غبرګون کوو.

البته، دا ممکنه ده چې په ساده ډول "معلوماتي" شاخصونه وساتئ (د څارنې څخه د شبکې انځور وګورئ)، مګر هرڅه په ساده، اسانۍ او چټکۍ سره د شاخصونو رامینځته کولو لپاره په ځانګړي ډول د اتوماتیک څارنې او الرښوونو لیږلو لپاره ترسره کیږي.

د کوم هدف لپاره چې تاسو okerr ترتیب کوئ په خبرتیاو کې دی، نو تاسو کولی شئ په یوه دقیقه کې یو شاخص جوړ کړئ، دا د یو کال لپاره "خوب" کولی شي، یوازې تازه معلومات ومني، او کله چې یو کال وروسته یو څه مات شي، دا رڼا کوي او لیږل کیږي. یو خبرتیا هغه دقیقه چې تاسو یو ځل د یو شاخص په جوړولو کې مصرف کړې وه تادیه شوې؛ تاسو د بل چا دمخه د ستونزې په اړه سمدلاسه زده کړل. دا ممکنه ده چې مخکې له دې چې څوک یې پام وکړي دا یې حل کړي. هغه څه چې په چټکۍ سره پورته کیږي هغه نه ګڼل کیږي چې رالویږي!

امنیت

دا به د شرم خبره وي که تاسو د اعتبار زیاتوالي لپاره نظارت تنظیم کړئ ، مګر په پایله کې ، تاسو د دې له لارې په شبکه برید کوئ ، او د څارنې په بیلابیلو وسیلو کې د شبکې ډیری زیانونه شتون لري)زبیبکس, نګیاس).

اجنټ (okerrmod د کڅوړې څخه okerrupdate) په سیسټم کې چلول د شبکې سرور ندی، مګر یو مراجع دی. له همدې امله ، په څارل شوي سرور کې اضافي خلاص بندرونه شتون نلري ، پیرودونکي په اسانۍ سره د فایر وال یا NAT شاته کار کوي او د شبکې هیک کول خورا ستونزمن دي (زه به ووایم "ناممکن") ، ځکه چې په اصل کې دا شبکې ته غوږ نه نیسي. ساکټ

د بشپړ څارنې پوښښ

اوس زموږ قاعده دا ده چې موږ د ټولو تخنیکي ستونزو په اړه له اوکر څخه زده کوو. که چیرې ناڅاپه قاعده سرغړونه وشي (اوکر د خپل نږدې پیښې په اړه خبرداری نه دی ورکړی (که دا ممکن وي) یا دا چې دا دمخه پیښ شوی وي) - موږ اوکر ته چکونه اضافه کوو.

بهرنۍ چکونه

یو ډیر عام سیټ:

  • پنگ
  • د http حالت
  • د SSL سند اعتبار او تازهتوب چک کول (به خبرداری ورکړي که دا د پای ته رسیدو په حال کې وي)
  • د TCP بندر او بینر یې پرانیزئ
  • http grep (پاڼه [باید نه وي] ځانګړی متن ولري)
  • sha1 هش د پاڼې بدلونونو د نیولو لپاره.
  • DNS (DNS ریکارډ باید یو ځانګړی ارزښت ولري)
  • WHOIS (به خبرداری ورکړي که چیرې ډومین خراب شي)
  • د انټي سپیم DNSBL (په یوځل کې د 50+ انټي سپیم تور لیستونو پروړاندې کوربه چیک)

داخلي چکونه

همچنان ، یو کافي معیاري سیټ (مګر په اسانۍ سره د پراخیدو وړ).

  • df (د ډیسک وړیا ځای)
  • اوسط بار کول
  • opentcp (د TCP اوریدلو ساکټونه خلاص کړئ - به خبرتیا ورکړي که چیرې یو څه پیل یا ټکر شوی وي)
  • اپټایم - یوازې په سرور کې اپټایم. به خبر کړي که چیرې دا بدل شوی وي (د مثال په توګه سرور ډیر بار شوی دی)
  • client_ip
  • dirsize - موږ دا د تعقیب کولو لپاره کاروو کله چې زموږ د مجازی ماشین روټ ایفس د اجازه ورکړل شوي اندازې څخه ډیر وي ، پرته له دې چې سخت محدودیتونه معرفي کړي ، او د کارونکي کور لارښود اندازه
  • خالي او بې نومه - د فایلونو څارنه چې باید خالي وي (یا خالي نه وي). د مثال په توګه ، د اوکر سرور غلطی لاګ پخپله باید خالي وي ، او که چیرې پدې کې حتی کرښه شتون ولري ، زه به یو خبرتیا ترلاسه کړم او چیک به یې کړم. مګر د میل سرور کې mail.log باید خالي نه وي (د گردش وروسته N دقیقې). او ځینې وختونه دا زموږ لپاره د سیسټم تازه کولو وروسته خالي و ، کله چې لوګروټ نشي کولی په سمه توګه rsyslog بیا پیل کړي.
  • linecount - په فایل کې د لینونو شمیر (لکه wc -l). موږ دا د خالي لپاره د نرم بدیل په توګه کاروو، کله چې د تېروتنې لاګ لاهم وده کولی شي، مګر یوازې ورو ورو (د مثال په توګه، ګوګل بوټ ځینې تړل شوي پاڼې وهي). په 2 دقیقو کې د 20 لینونو حد شتون لري. که دا لوړ وي، نو خبرداری به وي

په زړه پوري داخلي چکونه

که تاسو تر دې وخته "اختطاف" لوستلی وي، اوس به دا ډیر په زړه پورې وي چې په ډیر احتیاط سره ولولئ.

backups

په لارښود کې بیک اپ څارنه کوي. زموږ بیک اپ فایلونه د "ServerName-20200530.tar.gz" په څیر نومونه لري. په okerr کې د هر سرور لپاره، شاخص ServerName-DATE.tar.gz جوړ شوی (حقیقي نیټه "DATE" ته بدلیږي). د تازه بیک اپ شتون او د هغې اندازه هم څارل کیږي (د مثال په توګه، دا د تیر بیک اپ 90٪ څخه کم نه وي).

د نوي بیک اپ لپاره څه کولو ته اړتیا ده ترڅو تعقیب پیل شي وروسته له دې چې موږ یې رامینځته کول او پدې لارښود کې یې ایښودل پیل کړل؟ هیڅ نه! دا یو خورا اسانه لاره ده کله چې تاسو اړتیا لرئ "هیڅ شی" ونه کړئ ځکه چې:

  • د "هیڅ شی" نه کول خورا ګړندي دي ، دا وخت خوندي کوي
  • د "هیڅ شی" کولو هیر کول سخت دي
  • دا ستونزمنه ده چې "هیڅ شی" غلط نه کړئ، د یوې تېروتنې سره. هیڅ شی ترټولو معتبر میتود ندی

که ناڅاپه د تازه بیک اپ فایلونو څرګندیدل ودروي، نو یو خبرتیا به وي. که ، د مثال په توګه ، تاسو یو له سرورونو څخه غیر فعال کړی وي ، او نور باید بیک اپ نه وي ، تاسو اړتیا لرئ شاخص حذف کړئ (د ویب انٹرفیس له لارې یا د API له لارې شیل څخه).

maxfilesz

د لویو فایلونو اندازه تعقیبوي (عموما: /var/log/*). دا تاسو ته اجازه درکوي غیر متوقع ستونزې ونیسئ، د بیلګې په توګه، د ځواک ځواک پاسورډونه یا د سرور له لارې سپیم لیږل.

runstatus/runline

دا په سرور کې د نورو برنامو چلولو لپاره دوه مهم پراکسي ماډلونه دي. Runstatus شاخص ته د پروګرام د وتلو کوډ راپور ورکوي. د بیلګې په توګه، okerr د دې لپاره ماډل (اړتیا) نلري ترڅو وګوري چې سیسټم شوي خدمتونه روان دي. دا د runstatus له لارې ترسره کیږي (لاندې وګورئ). رن لاین - سرور ته هغه کرښه راپور ورکوي چې برنامه یې تولیدوي. د مثال په ډول، temp_RUN="cat /sys/class/thermal/thermal_zone0/temp" زموږ په سرور کې د رن لاین ترتیب کې د شاخص سرور نوم رامینځته کوي: د پروسیسر د تودوخې سره temp.

sql

MySQL ته یوه عددي پوښتنه اجرا کوي او پایله یې شاخص ته راپوروي. په یوه ساده قضیه کې، تاسو کولی شئ، د بیلګې په توګه، "1 انتخاب کړئ" - دا به وګوري چې DBMS په ټولیزه توګه کار کوي.

مګر یو ډیر په زړه پوری غوښتنلیک دی ، د مثال په توګه ، په آنلاین پلورنځي کې د امرونو شمیر تعقیب کول. که تاسو پوهیږئ چې تاسو په یو ساعت کې 100 یا ډیر فرمایشونه لرئ، تاسو کولی شئ لږترلږه حد 100 یا 80 ته وټاکئ. بیا که ستاسو پلور ناڅاپه راټیټ شي، تاسو به یو خبرتیا ترلاسه کړئ او تاسو یې معلومولی شئ.

په یاد ولرئ چې دا مهمه نده چې د کوم غیر متوقع دلیل لپاره دا پیښ شوي:

  • سرور په ساده ډول شتون نلري (د انرژی یا شبکې پرته)، او خبرداری د دې حقیقت څخه راغلی چې شاخص "سړی" و.
  • سرور د یو څه سره ډیر بار شوی ، دا ورو کار کوي یا پاکټونه ورک شوي ، دا د کاروونکو لپاره ناشونی دی او دوی پرته له پیرودلو څخه پریږدي
  • سرور د سپیم لیستونو کې شامل دی او له دې څخه بریښنالیک نه منل کیږي ، کارونکي نشي کولی راجستر شي
  • د اعلاناتو کمپاین بودیجه پای ته رسیدلې، بینرونه نه ګرځي.

هر ډول دلیلونه کیدی شي، او دا ټول مخکې له مخکې اټکل کیدی نشي، او تخنیکي پلوه یې تعقیب ستونزمن دی. مګر تاسو کولی شئ په اسانۍ سره وروستی پیرامیټر (احکام) وڅارئ او له دوی څخه معلومه کړئ چې وضعیت شکمن دی او د چلند وړ دی.

منطقي شاخصونه

د ماډل له لارې د بولین څرګندونو (پیتون ترکیب) کارولو ته اجازه ورکوي ارزول(د Habré په اړه مقاله). د پروژې څخه ډاټا او د هغې شاخصونه د بیان لپاره شتون لري. د مثال په توګه، د پورته SQL چک کولو په اړه فصل کې، تاسو ممکن یو ضعیف ټکی لیدلی وي - د ورځې په جریان کې موږ کولی شو په ساعت کې 100 پلور ولرو، مګر په شپه کې - 20، او دا عام دی، کومه ستونزه نده. زه باید څه وکړم؟ شاخص به په دوامداره توګه د شپې ویره ولري.

تاسو کولی شئ دوه شاخصونه جوړ کړئ، شپه او ورځ. دواړه "خاموش" کړئ (دوی به خبرتیاوې نه واستوي). او یو منطقي شاخص جوړ کړئ چې اړتیا لري د ورځې شاخص د 20:00 څخه مخکې سم وي، او د 20:00 څخه وروسته دا د شپې شاخص لپاره کافي وي.

د منطقي شاخص کارولو بله بیلګه ده زیاتوالی. د مثال په توګه ، د پروژې مدیر د خبرتیاو څخه غړیتوب لغوه کوي (هغه دې کولو ته اړتیا نلري ، مدیران باید نورمال ستونزو ته ځواب ووایی) ، مګر منطقي شاخص ته ګډون کوي ​​چې سور کیږي که چیرې په پروژه کې کوم شاخص په ټاکل شوي وخت کې سم نه شي.

همچنان ، دا امکان لري چې د کار لپاره اجازه ورکړل شوی وخت وټاکئ ، د مثال په توګه ، له 3 څخه تر 5 بجو پورې. موږ پروا نلرو که چیرې سرورونه او سایټونه پدې وخت کې خراب شي. مګر په 5:00 بجو دوی باید کار وکړي. که دوی په بل وخت کې کار ونکړي - خبرتیا. منطقي شاخص تاسو ته اجازه درکوي چې د سرور بې ځایه کیدل په پام کې ونیسئ. که تاسو 5 ویب سرورونه لرئ، نو مدیران کولی شي په هر وخت کې 1-2 سرورونه بند کړي. مګر که چیرې په جګړه کې د 3 سرورونو څخه 5 څخه لږ وي ، نو خبرداری به وي.

پورته مثالونه اوکر فعالیتونه ندي، نه ځینې ځانګړتیاوې چې فعال او ترتیب ته اړتیا لري. اوکرا دا ټولې دندې نه لري، مګر یو منطقي ماډل شتون لري چې تاسو ته اجازه درکوي چې دا فعالیت پلي کړئ (نږدې لکه څنګه چې د پروګرامینګ ژبه کې - که موږ د ریاضیاتو چلونکي لرو، نو موږ د 20٪ VAT محاسبه کولو لپاره ځانګړي فعالیت ته اړتیا نلرو. د ژبې څخه، تاسو تل کولی شئ دا پخپله وکړئ چې ستاسو اړتیاو سره سم جوړ کړئ).

د منطق شاخص شاید په اوکر کې یو له څو نسبتا پیچلو موضوعاتو څخه وي، مګر ښه خبر دا دی چې تاسو اړتیا نلرئ تر هغه وخته پورې چې تاسو ورته اړتیا لرئ ماسټر نه کړئ. مګر په ورته وخت کې، دوی وړتیاوې خورا پراخوي، پداسې حال کې چې سیسټم پخپله خورا ساده ساتي.

خپل چکونه اضافه کول

زه واقعیا غواړم دا نظر وړاندې کړم چې اوکر د ټولو فرصتونو لپاره د زرګونو چمتو شوي چیکونو سیټ ندی ، مګر برعکس - لومړی - یو ساده انجن چې ستاسو د چیکونو رامینځته کولو ساده وړتیا سره. په okerr کې ستاسو د چکونو رامینځته کول د هیکرانو ، سیسټم همکارانو ، یا لږترلږه پرمختللي اوکر کاروونکو لپاره کار ندی ، مګر د هر هغه مدیر لپاره چې یوه میاشت دمخه د لومړي ځل لپاره لینکس نصب کړی د امکان وړ کار دی.

د لږترلږه معاشونو چک د ماډل له لارې ترسره کیږي روان حالت:

دا کرښه په ترتیب کې روان حالت تاسو ته به خبر درکړي که /bin/true ناڅاپه پیل نه کړي یا د 0 پرته بل څه بیرته راوباسي.

true_OK=/bin/true

یوازې یوه کرښه - او دلته موږ دمخه یو څه یو پراخ شوی فعالیت okerr.

حتی دا ډول چیک لا دمخه خپل ارزښت لري: که چیرې ناڅاپه ستاسو سرور خراب شي ، د اوکر سرور اړوند شاخص به په خپل وخت سره تازه نشي ، او د وخت تیریدو وروسته به یو خبرتیا څرګند شي.

دا چک به خبر کړي چې د apache2 سرور خراب شوی (ښه، تاسو هیڅکله نه پوهیږئ ...):

apache_OK="systemctl is-active --quiet apache2"

نو، که تاسو د پروګرام کولو کومه ژبه خبرې کوئ، او لږترلږه د شیل سکریپټ لیکلی شئ، نو تاسو کولی شئ مخکې له دې خپل چکونه اضافه کړئ.

ډیر ستونزمن - تاسو کولی شئ د okerrmod لپاره خپل ماډل (په هره ژبه کې) ولیکئ. په ساده قضیه کې دا داسې ښکاري:

#!/usr/bin/python3

print("STATUS: OK")

ایا دا ډیره سخته نه ده؟ ماډل باید پخپله چک وکړي او پایلې یې STDOUT ته ورسوي. یو ډیر پیچلی ماډل ورکوي، د بیلګې په توګه، دا:

$ okerrmod --dump df
NAME: pi:df-/
TAGS: df
METHOD: numerical|maxlim=90
DETAILS: 49.52%, 13.9G/28.2G used, 13.0G free
STATUS: 49.52

NAME: pi:df-/boot
TAGS: df
METHOD: numerical|maxlim=90
DETAILS: 84.32%, 53.1M/62.9M used, 9.9M free
STATUS: 84.32

دا په یوځل کې ډیری شاخصونه تازه کوي (د خالي کرښې لخوا جلا شوي)، دوی رامینځته کوي که اړتیا وي، د تایید توضیحات او یو ټاګ په ګوته کوي چې په ډشبورډ کې د اړین شاخصونو موندل اسانه دي.

Telegram

د ټیلیګرام بوټ شتون لري @OkerrBot. تاسو اړتیا نلرئ خپل تلیفون د جلا غوښتنلیکونو سره ګډوډ کړئ (زه دا نه خوښوم چې د پیټروچکا لپاره تاسو د نقشې سره یو غوښتنلیک ته اړتیا لرئ ، بل د لینټا لپاره ، د MTS دریم لپاره ، او داسې نور د هرچا لپاره ، ټول ، ټول). یو ټیلګرام کافي دی. د ټیلیګرام له لارې تاسو کولی شئ سمدلاسه خبرتیاوې ترلاسه کړئ، د پروژې وضعیت وګورئ او د ټولو ستونزمن شاخصونو بیاکتنې لپاره امر ورکړئ. موږ تیاتر / الوتکه پریښوده، د دوه ساعتونو لپاره مو په نبض باندې ګوتې ونه ساتلې، تلیفون مو وګرځاوه، په چیټ بوټ کې یې یوه تڼۍ کیښوده، او ډاډ ترلاسه کړ چې هرڅه سم دي.

د وضعیت پاڼې

نن ورځ، د وضعیت پاڼې تقریبا د هرې سوداګرۍ لپاره اړین دي چې معلوماتي معلومات لري، د اعتبار په اړه مسؤل چلند او د خپلو پیرودونکو / کاروونکو سره په درناوي چلند کوي.

د یو حالت تصور وکړئ - یو کاروونکي غواړي یو څه وکړي، معلومات وګوري یا امر ورکړي، او یو څه کار نه کوي. هغه نه پوهیږي چې څه تیریږي، ستونزه د چا په لوري ده او کله به حل شي. شاید ستاسو شرکت په ساده ډول غیر فعال ویب پاڼه ولري؟ یا شپږ میاشتې مخکې مات شوی او په دوو کلونو کې به یې تصفیه شي؟ مګر تاسو اړتیا لرئ اوس یو یخچال واخلئ ، دا دمخه په کارټ کې دی ... او دا په بشپړ ډول مختلف مسله ده کله چې یو څوک وګوري چې ستاسو سره یو څه غلط دی (لږترلږه دا روښانه ده چې ستونزه د هغه په ​​​​غاړه نه ده) ، چې ستونزه وموندل شوه، چې تاسو دمخه په دې کار کوئ، او ممکن حتی د سمون لپاره نږدې وخت لیکلی وي. کارونکی کولی شي ګډون وکړي او د بریښنالیک خبرتیا ترلاسه کړي کله چې ستونزه حل شي او هغه کولی شي هغه څه وکړي چې هغه غواړي (یخچال واخلي).

د اوکر هایبرډ نظارت سیسټم عمومي کتنه

ستونزې او نیمګړتیا هرچا ته پیښیږي. مګر کارونکي او شریکان په ډیرو هغو باور لري چې پدې اړه د دوی چلند کې ډیر شفاف او مسؤل دي.

دلته د 10 نورو پروژو بیاکتنه چې تاسو ته اجازه درکوي د حالت پاڼې جوړې کړئ. دلته مثالونه دي چې د دې پروژې پاڼې څه ډول ښکاري Python и Dropbox. د اوکر وضعیت پاڼه.

ناکامي

د دې لپاره چې دا مقاله نوره هم اوږده نه کړم، زه به یو ځل بیا زما پخوانۍ مقالې ته مراجعه وکړم - د ویب پاڼې لپاره ساده ناکامي . که تاسو کولی شئ یو نقل سرور جوړ کړئ، نو د ناکامۍ په کارولو سره، تاسو به اساسا اوږد وخت ونه لرئ - هرڅومره ژر چې ستونزه وموندل شي، کاروونکي به په اتوماتيک ډول د کار بیک اپ سرور ته لیږل کیږي. او ماته داسې ښکاري چې دا خورا په زړه پورې، روښانه ځانګړتیا ده چې په ندرت سره هرچیرې شتون لري.

د ټیټ سیسټم اړتیاوې

د اوکر سرورونو لپاره، موږ د 2Gb څخه رام سره ماشینونه کاروو. د شبکې سینسرونو لپاره، حتی 512Mb کافی دی. د پیرودونکي برخه عموما صفر ده. (پلاستیکي کڅوړه okerrupdate 26 Kb وزن لري، مګر د Python3 او معیاري کتابتونونو ته اړتیا لري). پیرودونکي د کرون سکریپټ څخه تیریږي، نو دا د صفر دوامداره حافظې مصرف لري. د هغو ماشینونو په منځ کې چې موږ یې څارنه کوله، موږ سینسرونه لرو (د 512Mb رام سره خورا ارزانه VPS) او یو راسبیري پای. دا حتی د پیرودونکي برخې پرته امکان لري د curl له لارې تازه معلومات ولېږئ! (لاندې وګورئ)

دا په پام کې نیولو سره - okerr، شاید تر ټولو وړیا د موجودو څخه د څارنې سیسټم، ځکه چې حتی د بل وړیا خلاصې سرچینې سیسټم لکه زبیکس یا ناګیوس کارولو لپاره، تاسو اړتیا لرئ چې سرچینې (سرور) ورته تخصیص کړئ، او دا دمخه پیسې دي. برسېره پردې، د سرور ځینې ساتنه لاهم اړینه ده. د اوکر سره، دا برخه لرې کیدی شي. یا تاسو اړتیا نلرئ دا لرې کړئ او خپل سرور وکاروئ ، پدې پورې اړه لري چې تاسو غوره خوښوئ.

API او د ملکیت سافټویر کې ادغام

ساده او خلاص جوړښت. oker یو ډیر ساده دی API، کوم چې کار کول اسانه دي. د 1000 شاخصونو جوړولو ته اړتیا لرئ؟ د 3-4 لینونو یو شیل سکریپټ به دا کار وکړي. د 1000 شاخصونو بیا تنظیم کولو ته اړتیا لرئ؟ دا هم خورا اسانه ده. د مثال په توګه، موږ غواړو خپل ټول HTTPS سندونه د روسیې سینسر څخه دوه ځله وګورو:

#!/bin/sh

for indicator in `okerrclient --api-filter sslcert`
do
    echo set location for $indicator
    okerrclient --api-set location=ru retest=1 --name $indicator
done

تاسو کولی شئ شاخص زموږ د پیرودونکي ماډل په کارولو سره تازه کړئ، حتی پرته له دې، یوازې د curl له لارې.

# short and nice (using okerrupdate and config file)
$ okerrupdate MyIndicator OK

# only curl is enough!
$ curl -d 'textid=MyProject&name=MyIndicator&secret=MySecret&status=OK' https://bravo.okerr.com/

تاسو کولی شئ شاخصونه مستقیم ستاسو د برنامه څخه تازه کړئ. د مثال په توګه، د زړه د ټکان سیګنالونه لیږل ترڅو اوکر پوه شي چې دا روانه ده او د غورځیدو یا کنګل کیدو په صورت کې الارم راپورته کوي. د لارې په توګه، د اوکر اجزا یوازې دا کوي - okerr پخپله څارنه کوي، او نږدې هر ماډل کې ستونزې به کشف شي او د ستونزې په اړه خبرتیا رامنځته کړي. (او د دې "تقریبا" په حالت کې - دوی د بل سرور څخه کراس چیک شوي)

دلته زموږ په ټیلیګرام بوټ کې کوډ (ساده شوی) دی:

from okerrupdate import OkerrProject, OkerrExc

op = OkerrProject()
uptimei = op.indicator("{}:telebot_uptime".format(hostname))
...
uptimei.update('OK', 'pid: {} Uptime: {} cmds: {}'.format(
        os.getpid(), dhms(uptime), commands_cnt))

د Python پروګرامونو څخه د شاخصونو تازه کولو لپاره یو کتابتون شتون لري okerrupdate، د نورو ژبو لپاره هیڅ کتابتون شتون نلري ، مګر تاسو کولی شئ یا د okerrupdate سکریپټ ته زنګ ووهئ یا د okerr سرور ته د HTTP غوښتنه وکړئ.

اوکر څنګه زموږ سره مرسته کوي

اوکر زموږ ژوند بدل کړ. په حقیقت کی. شاید د نظارت بل سیسټم هم ورته کار وکړي ، مګر د اوکر سره کار کول زموږ لپاره اسانه او ساده دي او دا ټول هغه دندې لري چې موږ ورته اړتیا لرو (موږ هغه څه اضافه کړل چې دا یې نه درلودل). په هرصورت، که چیرې ځینې ځانګړتیاوې شتون ولري، پوښتنه وکړئ او زه به یې اضافه کړم (زه ژمنه نه کوم، مګر زه غواړم چې د وړو منځنیو پروژو لپاره د څارنې غوره سیسټم وي). یا لا تر اوسه غوره، دا پخپله اضافه کړئ - دا اسانه ده.

موږ د اصولو سره سم ژوند وکړو "د کیرا څخه د ټولو ستونزو په اړه زده کړه." که ناڅاپه کومه ستونزه رامنځ ته شي چې موږ د اوکر څخه نه زده کړي، موږ په اوکر کې چک اضافه کوو. (په دې حالت کې، د "موږ" لخوا زما مطلب موږ د سیسټم کاروونکو په توګه، نه د شریک پراختیا کونکو په توګه). په لومړي سر کې دا عام و، مګر اوس دا خورا نادره شوې ده.

څارنه

د اوکر له لارې موږ په ټولو سرورونو کې د لاګ اندازې څارنه کوو. البته، دا ناشونې ده چې ستاسو د سترګو سره د لاګ هره کرښه په فکر سره ولولئ، مګر په ساده ډول د ودې کچه څارنه لا دمخه ډیر څه ورکوي. د دې له لارې، موږ د سپیم میلینګ او د وحشي ځواک پټنوم لټونونه وموندل، او کله چې ځینې غوښتنلیکونه "لیونی شي،" یو څه د دوی لپاره کار نه کوي او دوی بیا بیا تکراروي (هر ځل په لاګ کې یو څو کرښې اضافه کوي. ).

د ایس ایس ایل سندونه. نږدې سمدلاسه د لانچ وروسته اجازه راکړئ چې کوډ کړئ زموږ پیرودونکي خپلو پیرودونکو ته د وړیا SSL سندونو چمتو کول پیل کړل (د دوی شاوخوا زر). او دا یوازې د ادارې لپاره دوزخ وګرځید! حقیقت دا دی چې سایټونه "ژوندۍ" دي، پیرودونکي په وخت سره له دوی څخه د یو څه کولو غوښتنه کوي، پروګرام کونکي یې کوي. دوی کولی شي په آزاده توګه سایټ بل DocumentRoot ته انتقال کړي، د بیلګې په توګه. یا د مجازی هوسټ تشکیل ته غیر مشروط بیا لیکل اضافه کړئ. په طبیعي ډول ، له دې وروسته ، د سندونو اتوماتیک تجدید ماتیږي. اوس موږ ټول SSL کوربه لرو چې په اتوماتيک ډول د کڅوړې څخه زموږ د نورو ګټورو اسانتیاوو له لارې په اوکر کې اضافه شوي a2conf. راځئ چې یوازې پیل کړو a2okerr.py - او که څو نوي سایټونه په سرور کې ښکاره شي، دوی به په اتوماتيک ډول په اوکر کې ښکاره شي. که ناڅاپه د کوم دلیل لپاره سند نوي نه شي، د سند له پای ته رسیدو څخه درې اونۍ وړاندې، موږ پوهیږو، او موږ به معلومه کړو چې ولې دا تازه نه دی، دا ډول سپی. a2certbot.py د ورته کڅوړې څخه - دا د دې سره ډیره مرسته کوي (دا سمدلاسه ډیری احتمالي ستونزې ګوري - او لیکي چې څه ښه چیک شوي ، او چیرې چې احتمال شتون لري ستونزه وي).

موږ د خپلو ټولو ډومینونو د ختمیدو نیټه څارو. او زموږ ټول بریښنالیک سرورونه چې بریښنالیک لیږي هم د 50+ مختلف تور لیستونو پروړاندې چیک شوي. (او کله کله دوی په دوی کې راښکته کیږي). په لاره کې، ایا تاسو پوهیږئ چې د ګوګل میل سرورونه هم تور لیست شوي دي؟ یوازې د ځان ازموینې لپاره، موږ څارل شوي سرورونو ته میل-wr1-f54.google.com اضافه کړل، او دا لاهم د SORBS تور لیست کې دی! (دا د "سپیمر ضد" ارزښت په اړه دی)

بیک اپ - ما دمخه پورته لیکلي چې د اوکر سره د دوی څارنه څومره اسانه ده. مګر موږ په خپل سرور کې دواړه وروستي بیک اپونه څارو او (د یو جلا کارونې په کارولو سره چې okerr کاروي) هغه بیک اپ چې موږ ایمیزون ګلیشیر ته اپلوډ کوو. او، هو، ستونزې په وخت سره پیښیږي. د حیرانتیا خبره نده چې دوی ګوري.

موږ د زیاتوالي شاخص کاروو. دا ښیې چې که ځینې ستونزې د اوږدې مودې لپاره نه وي حل شوي. او زه پخپله، کله چې زه ځینې ستونزې حل کړم، ځینې وختونه زه د دوی په اړه هیر کوم. تېښته یو ښه یادونه ده، حتی که تاسو خپل ځان څارنه کوئ.

په ټوله کې، زه باور لرم چې زموږ د کار کیفیت د اندازې په ترتیب سره لوړ شوی دی. تقریبا هیڅ وخت کم شوی نه دی (یا پیرودونکي وخت نلري چې ورته پام وکړي. یوازې شش!)، پداسې حال کې چې د کار اندازه کمه شوې او کاري شرایط آرام شوي دي. موږ د ټیپ سره د پیچ ​​کولو سوراخونو سره د بیړني کار څخه آرام او اندازه شوي کار ته حرکت کړی ، کله چې ډیری ستونزې دمخه وړاندوینه کیږي او د مخنیوي لپاره یې وخت شتون لري. حتی هغه ستونزې چې پیښ شوي دي حل کول یې هم اسانه شوي دي: لومړی ، موږ د پیرودونکو ویره دمخه د دوی په اړه پوهیږو ، او دوهم ، ډیری وختونه داسې پیښیږي چې ستونزه په وروستي کار پورې اړه لري (په داسې حال کې چې ما یو کار کاوه ، ما بل مات کړ) - نو دا ګرمه ده د نښو لپاره د هغې سره معامله کول اسانه دي.

مګر بله قضیه وه ...

ایا تاسو پوهیږئ چې په مشهور ډیبیان 9 (سټریچ) کې د phpmyadmin په څیر مشهور بسته لاهم (د ډیرو میاشتو لپاره!) په زیان منونکي حالت کې ده؟ ((CVE-2019-6798). کله چې زیانمنتیا راڅرګنده شوه، موږ په چټکۍ سره په مختلفو لارو پوښلي. مګر ما په اوکر کې د امنیت ټریکر پاڼې څارنه جوړه کړه ترڅو پوه شي چې کله "ښکلی" حل راشي (د مینځپانګې د SHA1 مجموعې له لارې). شاخص ما څو ځله وګرځاوه، پاڼه بدله شوه، مګر لکه څنګه چې تاسو لیدلی شئ، دا لاهم (د جنوري 2019 راهیسې!) دا نه په ګوته کوي چې ستونزه حل شوې. شاید، په لاره کې، یو څوک پوهیږي چې ستونزه څه ده چې دا ډول مهم بسته لاهم د یو کال څخه ډیر زیانمن کیږي؟

بل ځل په ورته حالت کې: په SSH کې د زیان مننې وروسته، دا اړینه وه چې ټول سرورونه تازه کړي. او کله چې تاسو دنده تنظیم کړئ، تاسو اړتیا لرئ چې اجرا کول کنټرول کړئ. ( ماتحتان د غلط فهمۍ ، هیرولو ، مغشوش کیدو او خطا کولو ته اړتیا لري). له همدې امله ، لومړی موږ په ټولو سرورونو کې okerr ته د SSH نسخه چیک اضافه کړ ، او د okerr له لارې موږ ډاډ ترلاسه کړ چې تازه معلومات په ټولو سرورونو کې راپورته شوي. (آرامه! ما دا ډول شاخص غوره کړ، او تاسو کولی شئ سمدلاسه وګورئ چې کوم سرور کومه نسخه لري). کله چې موږ ډاډه شو چې کار په ټولو سرورونو کې بشپړ شوی، موږ شاخصونه لرې کړل.

یو څو ځله داسې وضعیت شتون درلود چې یو څه ستونزه رامینځته کیږي، او بیا پخپله له منځه ځي. (شاید د هر چا سره آشنا وي؟). په هغه وخت کې چې تاسو ګورئ، په هغه وخت کې چې تاسو یې وګورئ - او د چک کولو لپاره هیڅ شی شتون نلري - هرڅه دمخه ښه کار کوي. مګر بیا بیا ماتیږي. موږ دا پیښه درلوده، د بیلګې په توګه، د محصولاتو سره چې موږ د ایمیزون مارکیټ پلیس (MWS) ته اپلوډ کړی. په ځینو وختونو کې، بار شوي لیست غلط و (د توکو غلط مقدار او غلط قیمتونه). موږ دا معلومه کړه. مګر د دې معلومولو لپاره ، دا اړینه وه چې سمدلاسه د ستونزې په اړه ومومئ. له بده مرغه، MWS، لکه د ټولو ایمیزون خدماتو په څیر، یو څه ورو دی، نو تل یو ځنډ شتون درلود، مګر بیا هم، موږ لږ تر لږه د دې توان درلود چې د ستونزې او سکریپټونو ترمنځ اړیکه درک کړو چې د دې لامل کیږي (موږ یو چک ترسره کړ، ودرول شو. اوکر ته یې ولیکل، او سمدلاسه یې د خبرتیا ترلاسه کولو سره چیک کړ).

یوه په زړه پوري قضیه پدې وروستیو کې د لوی او ګران اروپایی کوربه لخوا ټولګه کې اضافه شوې ، کوم چې زموږ پیرودونکي کاروي. ناڅاپه، زموږ ټول سرورونه د رادار څخه ورک شول! لومړی، پیرودونکي پخپله (د اوکرا په پرتله ګړندي!) ولیدل چې هغه سایټ چې هغه ورسره کار کوي خلاص نه و او د دې په اړه یې ټکټ جوړ کړ. مګر نه یوازې یو سایټ ښکته شو، مګر ټول یې! (نتاشا، موږ هرڅه پریښودل!). دلته اوکر د ټولو شاخصونو سره چې د هغه لپاره روښانه شوي د پښو اوږد لپاسه لیږل پیل کړل. ویره، ویره، موږ په حلقو کې منډې وهو (موږ نور څه کولی شو؟). بیا هرڅه پورته شول. دا معلومه شوه چې د معلوماتو په مرکز کې معمول ساتنه وه (یو ځل په هرو څو کلونو کې) او البته، موږ باید خبرداری ورکړی وای. مګر دوی ته یو ډول ستونزه پیښ شوه او دوی موږ ته خبرداری ورنکړ. ښه، ډیر د زړه حملې، لږ د زړه حملې. مګر وروسته له دې چې هرڅه بحال شي ، تاسو اړتیا لرئ هرڅه دوه ځله چیک کړئ! زه تصور نشم کولی چې زه به دا د خپلو لاسونو سره څنګه وکړم. اوکر په څو دقیقو کې هرڅه ازموینه وکړه. دا معلومه شوه چې ډیری سرورونه په لنډمهاله توګه شتون نلري، مګر دوی کار کاوه. ځینې ​​یې ډیر بار شوي وو، مګر لکه څنګه چې باید ودریږي. د ټولو زیانونو څخه ، موږ دوه بیک اپ له لاسه ورکړ ، کوم چې د تاج په وینا باید رامینځته شوي او بار شوي وي پداسې حال کې چې دا بشپړ کیله روانه وه. ما حتی د دوی رامینځته کولو زحمت هم نه و کړی ، یوازې یوه ورځ وروسته خبرتیاوې راورسیدې چې هرڅه سم دي ، بیک اپ څرګند شوی و. زه واقعیا دا مثال خوښوم ځکه چې اوکر په داسې حالت کې خورا ګټور وګرځید چې موږ یې دمخه فکر هم نه و کړی ، مګر دا د نظارت هدف دی - د غیر متوقع مقاومت لپاره.

د اوکر سینسرونو لپاره، موږ ارزانه ممکنه کوربه توب کاروو (چیرې چې کیفیت او اعتبار مهم نه وي، دوی یو بل بیمه کوي). نو ، موږ پدې وروستیو کې خورا ښه کوربه توب او خورا ارزانه وموندله ، بنچمارکونه په زړه پوري دي. مګر ... کله ناکله دا معلومه شوه چې د مجازی ماشین څخه وتلې اړیکې د بل (ګاونډي) IP څخه جوړ شوي. معجزې. د Client_ip ماډل سره https://diagnostic.opendns.com/myip غلط IP ترلاسه کوي. او د شاخص د سرور لاګونو څخه دا روښانه ده چې اوسمهال هم د دې ګاونډي IP څخه راغلی. راځئ چې اوس د ملاتړ سره معامله وکړو. دا ښه ده چې موږ دا د سولې په وخت کې ولیدل. مګر، د بیلګې په توګه، دا ډیری وختونه پیښیږي چې لاسرسی د IP سپینې لیست سره سم راجستر شوی وي - او که چیرې سرور ځینې وختونه د لنډ وخت لپاره دا ډول راښکاره شي - تاسو کولی شئ دا ستونزه د ډیر وخت لپاره ونیسئ.

ښه، یو بل شی - ځکه چې موږ د VPS کوربه توب په اړه خبرې کوو - موږ تل ارزانه کاروو (هیټزنر، ovh، سکیل وی). زه واقعیا دا د بنچمارک او ثبات په شرایطو کې خوښوم. موږ د نورو پروژو لپاره خورا ګران ایمیزون EC2 هم کاروو. نو، د اوکر څخه مننه، موږ خپل باخبره نظر لرو. دوی دواړه سقوط کوي. او زه به ونه وایم چې زموږ د لیدنو په اوږدو کې ، ارزانه کوربه توب لکه هټزنر د EC2 په پرتله د پام وړ کم مستحکم و. له همدې امله، که تاسو د ایمیزون نورو ځانګړتیاو سره تړلي نه یاست، ولې نور پیسې ورکړئ؟ 🙂

څه راتلونکو؟

که پدې مرحله کې ما تاسو تر دې دمه له اوکر څخه نه ویره کړې ، نو بیا یې هڅه وکړئ! تاسو کولی شئ مستقیم دې لینک ته لاړ شئ okerr demo حساب (اوس کلیک وکړئ!) مګر په یاد ولرئ چې د هرچا لپاره یوازې یو ډیمو حساب شتون لري، نو که تاسو یو څه کوئ، په ورته حساب کې بل څوک کولی شي په ورته وخت کې ستاسو سره مداخله وکړي. یا (غوره) د لینک له لارې راجستر کړئ offsite okerr - هرڅه ساده دي ، پرته له SMS. که تاسو نه غواړئ خپل ریښتیني بریښنالیک وکاروئ ، تاسو کولی شئ د ضایع کیدو وړ بریښنالیک وکاروئ ، لکه میلینټر (زه وړاندیز کوم getnada.com). دا ډول حسابونه ممکن د وخت په تیریدو سره حذف شي ، مګر دوی به د ازموینې لپاره ښه وي.

د نوم لیکنې وروسته، تاسو څخه به وغوښتل شي چې روزنه ترلاسه کړئ (ډیری ډیر ستونزمن روزنیز کارونه ترسره کړئ). لومړني محدودیتونه خورا کوچني دي ، مګر د روزنې یا یو سرور لپاره دوی کافي دي. د روزنې بشپړولو وروسته، حدود (د مثال په توګه، د شاخصونو اعظمي شمیر) به زیات شي.

د اسنادو څخه - لومړی ويکي د سرور لوري او په پیرودونکي کې (okerrupdate wiki). مګر که یو څه روښانه نه وي، د ملاتړ (at) okerr.com ته ولیکئ یا ټکټ پریږدئ - موږ به هڅه وکړو چې هرڅه ژر تر ژره حل کړو.

که تاسو دا په جدي توګه وکاروئ او دا زیات شوي محدودیتونه کافي ندي، ملاتړ ته ولیکئ او موږ به یې (وړیا لپاره) زیات کړو.

ایا تاسو غواړئ په خپل سرور کې د اوکر سرور نصب کړئ؟ دلته د okerr-dev ذخیره. موږ وړاندیز کوو چې په پاک مجازی ماشین کې نصب کړئ، بیا تاسو کولی شئ دا په ساده ډول د نصب کولو سکریپټ سره ترسره کړئ. ستاسو په مجازی ماشین کې - هیڅ بندیز نشته :-). ښه، بیا، که څه پیښ شي، موږ به تل د مرستې هڅه وکړو.

موږ غواړو چې دا پروژه پیل شي، ترڅو نړۍ زموږ څخه ډیره د باور وړ شي. د وړیا سافټویر او خدماتو څخه مننه، نړۍ دوستانه شوې او په متحرک ډول وده کوي. سرچینې په وړیا ګیتوب کې زیرمه کیدی شي ، د بریښنالیک لپاره تاسو کولی شئ وړیا جی میل وکاروئ. موږ وړیا کاروو تازه کار د ملاتړ لپاره. د دې هر یو لپاره ، تاسو اړتیا نلرئ د سرورونو لپاره تادیه وکړئ ، تاسو اړتیا نلرئ ډاونلوډ او تنظیم کړئ ، او تاسو اړتیا نلرئ مختلف عملیاتي ستونزې حل کړئ. هره نوې پروژه، هر ټیم سمدلاسه میل، ذخیره او CRM لري. او دا ټول خورا لوړ کیفیت او وړیا او سمدستي دي. موږ غواړو چې دا د څارنې لپاره ورته وي - کوچني شرکتونه او پروژې کولی شي اوکرر وړیا وکاروي او حتی د زیږون او ودې په مرحله کې د لویو جدي پروژو اعتبار ولري.

سرچینه: www.habr.com