نئون سال ويجهو اچي رهيو هو. سڄي ملڪ ۾ ٻارن اڳ ۾ ئي سانتا کلاز ڏانهن خط موڪليا هئا يا پاڻ لاء تحفا ٺاهيا هئا، ۽ انهن جو مکيه عمل ڪندڙ، هڪ وڏي پرچون فروش، وڪرو جي apotheosis جي تياري ڪري رهيو هو. ڊسمبر ۾، ان جي ڊيٽا سينٽر تي لوڊ ڪيترائي ڀيرا وڌي ٿو. تنهن ڪري، ڪمپني ڊيٽا سينٽر کي جديد ڪرڻ جو فيصلو ڪيو ۽ سامان جي بدران ڪيترن ئي درجن نوان سرورز کي هلائڻ جو فيصلو ڪيو جيڪو ان جي سروس جي زندگي جي آخر تائين پهچي رهيو هو. هي ڪهاڻي ختم ٿئي ٿي ٻرندڙ برفاني ڦڙن جي پس منظر ۾، ۽ ٿرلر شروع ٿئي ٿو.
سامان وڪرو جي چوٽي کان ڪيترائي مهينا اڳ سائيٽ تي پهتو. آپريشن سروس، يقينا، ڄاڻي ٿو ته سرور تي ڪيئن ۽ ڇا ترتيب ڏيڻ لاء انهن کي پيداوار جي ماحول ۾ آڻڻ لاء. پر اسان کي هن کي خودڪار ڪرڻ ۽ انساني عنصر کي ختم ڪرڻ جي ضرورت آهي. ان کان علاوه، سرورز کي SAP سسٽم جي سيٽ جي لڏپلاڻ کان اڳ تبديل ڪيو ويو جيڪي ڪمپني لاء نازڪ هئا.
نون سرورن جي ڪميشن کي سختي سان آخري وقت سان ڳنڍيل هو. ۽ ان کي منتقل ڪرڻ جو مطلب آهي هڪ ارب تحفن جي ترسيل ۽ نظام جي لڏپلاڻ ٻنهي کي خطرو ڪرڻ. ايستائين جو فادر فراسٽ ۽ سانتا کلاز تي مشتمل ٽيم به تاريخ تبديل نه ڪري سگهي آهي - توهان سال ۾ صرف هڪ ڀيرو گودام جي انتظام لاءِ SAP سسٽم منتقل ڪري سگهو ٿا. 31 ڊسمبر کان 1 جنوري تائين، پرچون فروش جا وڏا گودام، مجموعي طور تي 20 فوٽ بال فيلڊز جي سائيز، 15 ڪلاڪن لاءِ پنهنجو ڪم روڪيو. ۽ سسٽم کي منتقل ڪرڻ لاء اهو ئي وقت آهي. اسان وٽ غلطي جي ڪا به گنجائش نه هئي جڏهن سرور متعارف ڪرايو.
مون کي صاف ڪرڻ ڏيو: منهنجي ڪهاڻي اوزار ۽ ترتيب جي انتظام جي عمل کي ظاهر ڪري ٿي جيڪا اسان جي ٽيم استعمال ڪري ٿي.
ٺاھ جوڙ جو انتظام پيچيده ڪيترن ئي سطحن تي مشتمل آهي. اهم حصو CMS سسٽم آهي. صنعتي آپريشن ۾، هڪ سطح جي غير موجودگي ناگزير طور تي ناپسنديده معجزات کي ڏسندي.
OS تنصيب جو انتظام
پهرين سطح جسماني ۽ مجازي سرور تي آپريٽنگ سسٽم جي تنصيب کي منظم ڪرڻ لاء هڪ نظام آهي. اهو بنيادي او ايس ترتيب ٺاهي ٿو، انساني عنصر کي ختم ڪري ٿو.
هن سسٽم کي استعمال ڪندي، اسان حاصل ڪيو معياري سرور مثالون OS سان گڏ وڌيڪ آٽوميشن لاءِ موزون. "اڙڻ" دوران انهن کي مقامي استعمال ڪندڙن جو گهٽ ۾ گهٽ سيٽ ۽ عوامي SSH چابيون حاصل ڪيون ويون آهن، انهي سان گڏ هڪ مسلسل او ايس ترتيب. اسان سي ايم ايس ذريعي سرورز کي منظم ڪرڻ جي ضمانت ڏئي سگهون ٿا ۽ پڪ ٿي سگهي ٿي ته او ايس سطح تي "هيٺ هيٺ" ڪو به تعجب نه هو.
تنصيب مينيجمينٽ سسٽم لاءِ "وڌ کان وڌ" ڪم BIOS/Firmware سطح کان OS تائين سرورز کي خودڪار طريقي سان ترتيب ڏيڻ آهي. گهڻو ڪري هتي سامان ۽ سيٽنگ جي ڪمن تي منحصر آهي. heterogeneous سامان لاء، توهان غور ڪري سگهو ٿا . جيڪڏهن سڀ هارڊويئر هڪ وينڊر وٽان آهي، ته پوءِ اڪثر ڪري تيار ڪيل انتظام جا اوزار استعمال ڪرڻ وڌيڪ آسان آهي (مثال طور، HP ILO Amplifier، DELL OpenManage، وغيره).
OS کي فزيڪل سرورز تي انسٽال ڪرڻ لاءِ، اسان استعمال ڪيو مشهور ڪوبلر، جيڪو آپريشن سروس سان اتفاق ڪيل انسٽاليشن پروفائلز جو هڪ سيٽ بيان ڪري ٿو. جڏهن انفراسٽرڪچر ۾ نئون سرور شامل ڪيو ويو، انجنيئر سرور جي ميڪ ايڊريس کي ڪوبلر ۾ گهربل پروفائل سان ڳنڍيو. جڏهن پهريون ڀيرو نيٽ ورڪ تي بوٽنگ، سرور حاصل ڪيو هڪ عارضي پتو ۽ هڪ تازو OS. پوءِ ان کي ھدف VLAN/IP ايڊريسنگ ڏانھن منتقل ڪيو ويو ۽ اتي ڪم جاري رکيو. ها، VLAN کي تبديل ڪرڻ وقت وٺندو آهي ۽ تعاون جي ضرورت آهي، پر اهو سرور جي حادثاتي تنصيب جي خلاف اضافي تحفظ فراهم ڪري ٿو پيداوار جي ماحول ۾.
اسان ورچوئل سرور ٺاهيا آهن ٽيمپليٽس جي بنياد تي جيڪي HashiSorp Packer استعمال ڪندي تيار ڪيا ويا آهن. اهو ئي سبب هو: او ايس کي نصب ڪرڻ وقت ممڪن انساني غلطين کي روڪڻ لاء. پر، جسماني سرور جي برعڪس، پيڪر PXE، نيٽ ورڪ بوٽنگ، ۽ VLAN تبديلين جي ضرورت کي ختم ڪري ٿو. اهو مجازي سرور ٺاهڻ کي آسان ۽ آسان بڻائي ڇڏيو آهي.
چانور. 1. آپريٽنگ سسٽم جي تنصيب کي منظم ڪرڻ.
راز جو انتظام
ڪنهن به ٺاھ جوڙ مينيجمينٽ سسٽم ڊيٽا تي مشتمل آھي جيڪا عام استعمال ڪندڙن کان لڪائي وڃي، پر سسٽم تيار ڪرڻ جي ضرورت آھي. اهي پاسورڊ آهن مقامي صارفين ۽ سروس اڪائونٽس، سرٽيفڪيٽ ڪي، مختلف API ٽوڪن وغيره. انهن کي عام طور تي ”راز“ چئبو آهي.
جيڪڏهن توهان شروعات کان ئي نه ٿا ڄاڻو ته انهن رازن کي ڪٿي ۽ ڪيئن ذخيرو ڪرڻو آهي، پوء، معلومات جي حفاظت جي ضرورتن جي شدت تي منحصر ڪري، هيٺيان اسٽوريج طريقا ممڪن آهن:
- سڌو سنئون ترتيب واري ڪنٽرول ڪوڊ ۾ يا مخزن ۾ فائلن ۾؛
- خاص ترتيب واري انتظام جي اوزار ۾ (مثال طور، جوابي والٽ)؛
- CI/CD سسٽم ۾ (Jenkins/TeamCity/GitLab/etc.) يا ڪنفيگريشن مئنيجمينٽ سسٽم ۾ (Ansible Tower/Ansible AWX)؛
- راز پڻ "دستي طور" منتقل ڪري سگھجي ٿو. مثال طور، اھي ھڪڙي مخصوص جڳھ تي رکيا ويا آھن، ۽ پوء اھي استعمال ڪيا ويندا آھن ٺاھ جوڙ مينيجمينٽ سسٽم؛
- مٿي ڏنل مختلف مجموعا.
هر طريقو ان جي پنهنجي نقصان آهي. بنيادي راز رازن تائين رسائي لاءِ پاليسين جو فقدان آهي: اهو طئي ڪرڻ ناممڪن يا مشڪل آهي ته ڪير ڪجهه رازن کي استعمال ڪري سگهي ٿو. ٻيو نقصان رسائي آڊيٽنگ ۽ مڪمل زندگي چڪر جي کوٽ آهي. ڪيئن تڪڙو تبديل ڪرڻ لاء، مثال طور، هڪ عوامي چيڪ جيڪو ڪوڊ ۾ لکيل آهي ۽ ڪيترن ئي لاڳاپيل سسٽم ۾؟
اسان استعمال ڪيو مرڪزي رازداري اسٽوريج HashiCorp Vault. هن اسان کي اجازت ڏني:
- رازن کي محفوظ رکڻ. اهي انڪريپٽ ٿيل آهن، ۽ جيتوڻيڪ جيڪڏهن ڪو ماڻهو Vault ڊيٽابيس تائين رسائي حاصل ڪري ٿو (مثال طور، ان کي بيڪ اپ مان بحال ڪندي)، اهي اتي محفوظ ڪيل رازن کي پڙهڻ جي قابل نه هوندا؛
- رازن تائين رسائي لاءِ پاليسيون ترتيب ڏيو. صرف راز "مختص ڪيل" انهن کي استعمال ڪندڙن ۽ ايپليڪيشنن لاء دستياب آهن؛
- آڊٽ رازن تائين رسائي. رازن سان گڏ ڪو به عمل Vault آڊٽ لاگ ۾ رڪارڊ ٿيل آهي؛
- رازن سان ڪم ڪرڻ جي مڪمل "زندگي چڪر" کي منظم ڪريو. اهي ٺاهي سگھجن ٿيون، رد ڪري سگهجن ٿيون، ختم ٿيڻ جي تاريخ مقرر ڪريو، وغيره.
- ٻين سسٽم سان ضم ڪرڻ ۾ آسان جيڪي رازن تائين رسائي جي ضرورت آهي؛
- ۽ پڻ استعمال ڪريو آخر کان آخر تائين انڪرپشن، OS ۽ ڊيٽابيس لاءِ هڪ وقت جا پاسورڊ، بااختيار مرڪزن جا سرٽيفڪيٽ وغيره.
هاڻي اچو ته مرڪزي تصديق ۽ اختيار واري نظام ڏانهن. اهو ان کان سواء ڪرڻ ممڪن هو، پر ڪيترن ئي لاڳاپيل سسٽم ۾ صارفين کي منظم ڪرڻ تمام غير معمولي آهي. اسان LDAP سروس ذريعي تصديق ۽ اختيار کي ترتيب ڏنو آهي. ٻي صورت ۾، والٽ کي مسلسل جاري رکڻو پوندو ۽ استعمال ڪندڙن لاءِ تصديق ٽوڪن جو ٽريڪ رکڻو پوندو. ۽ صارفين کي حذف ڪرڻ ۽ شامل ڪرڻ هڪ جستجو ۾ تبديل ٿي ويندو "ڇا مون هن صارف اڪائونٽ کي هر جڳهه ٺاهي / حذف ڪيو؟"
اسان پنهنجي سسٽم ۾ هڪ ٻي سطح شامل ڪريون ٿا: رازن جو انتظام ۽ مرڪزي تصديق/اختيار:
چانور. 2. راز جو انتظام.
ترتيب ڏيڻ جو انتظام
اسان بنيادي طور تي حاصل ڪيو - CMS سسٽم. اسان جي صورت ۾، هي جوابي ۽ ريڊ هيٽ جوابي AWX جو هڪ ميلاپ آهي.
جوابي جي بدران، شيف، پپٽ، سالٽ اسٽيڪ استعمال ڪري سگھجي ٿو. اسان ڪيترن ئي معيارن جي بنياد تي جوابي چونڊيو.
- سڀ کان پهرين، اها versatility آهي. ڪنٽرول لاء تيار ڪيل ماڊلز جو هڪ سيٽ . ۽ جيڪڏهن توهان وٽ ڪافي نه آهي، توهان ڳولي سگهو ٿا GitHub ۽ Galaxy تي.
- ٻيو، منظم سامان تي ايجنٽ کي انسٽال ڪرڻ ۽ سپورٽ ڪرڻ جي ڪا ضرورت ناهي، ثابت ڪريو ته اهي لوڊ سان مداخلت نٿا ڪن، ۽ "بڪ مارڪ" جي غير موجودگي جي تصديق ڪن ٿا.
- ٽيون، جوابي داخل ٿيڻ ۾ گهٽ رڪاوٽ آهي. هڪ قابل انجنيئر پراڊڪٽ سان ڪم ڪرڻ جي پهرين ڏينهن تي لفظي طور تي ڪم ڪندڙ راند جو ڪتاب لکندو.
پر پيداواري ماحول ۾ اڪيلو جواب ڏيڻ اسان لاءِ ڪافي نه هو. ٻي صورت ۾، رسائي کي محدود ڪرڻ ۽ منتظمين جي عملن جي آڊيٽنگ سان ڪيترائي مسئلا پيدا ٿيندا. رسائي کي ڪيئن محدود ڪجي؟ آخرڪار، اهو ضروري هو ته هر ڊپارٽمينٽ کي منظم ڪرڻ (پڙهو: جواب ڏيڻ وارو پلے بڪ هلائي) "پنهنجي" سرور جو سيٽ. صرف ڪجهه ملازمن کي مخصوص جوابي راند بڪ هلائڻ جي اجازت ڪيئن ڏني وڃي؟ يا ڪيئن ٽريڪ ڪيو وڃي ته ڪنهن پلے بڪ لانچ ڪيو بغير سرورز ۽ سامان تي تمام گهڻي مقامي ڄاڻ قائم ڪرڻ کان سواءِ جوابي هلائيندڙ؟
اهڙن مسئلن جو وڏو حصو Red Hat ذريعي حل ڪيو ويندو آهي ، يا سندس اوپن سورس اپ اسٽريم پروجيڪٽ . ان ڪري اسان ان کي ڪسٽمر لاءِ ترجيح ڏني.
۽ اسان جي CMS سسٽم جي پورٽريٽ ڏانهن هڪ وڌيڪ رابطو. جوابي راند جو ڪتاب ڪوڊ ريپوزٽري مئنيجمينٽ سسٽم ۾ محفوظ ڪيو وڃي. اسان وٽ آهي .
تنهن ڪري، ترتيبون پاڻ کي جوابي/Ansible AWX/GitLab جي ميلاپ سان منظم ڪيون وينديون آهن (ڏسو تصوير 3). يقينن، AWX/GitLab هڪ واحد تصديق واري نظام سان ضم ٿيل آهي، ۽ جوابي راند بڪ HashiCorp Vault سان ضم ٿيل آهي. ترتيبون صرف جوابي AWX ذريعي پيداوار واري ماحول ۾ داخل ٿين ٿيون، جنهن ۾ سڀ ”راند جا ضابطا“ بيان ڪيا ويا آهن: ڪير ترتيب ڏئي سگهي ٿو ڇا، ڪٿي حاصل ڪرڻ لاءِ ترتيب واري انتظام جو ڪوڊ CMS لاءِ، وغيره.
چانور. 3. ٺاھ جوڙ جو انتظام.
ٽيسٽ انتظام
اسان جي تشڪيل ڪوڊ فارم ۾ پيش ڪئي وئي آهي. تنهن ڪري، اسان سافٽ ويئر ڊولپرز جي طور تي ساڳئي قاعدن سان راند ڪرڻ تي مجبور آهيون. اسان کي ترقي جي عمل کي منظم ڪرڻ جي ضرورت آهي، مسلسل جانچ، ترسيل ۽ ترتيب واري ڪوڊ جي ايپليڪيشن سرورز تي.
جيڪڏهن اهو فوري طور تي نه ڪيو ويو، ته پوءِ ترتيب ڏيڻ لاءِ لکيل ڪردار يا ته سپورٽ ۽ تبديل ٿيڻ بند ٿي ويندا، يا پيداوار ۾ شروع ٿيڻ بند ٿي ويندا. هن درد جو علاج معلوم ٿئي ٿو، ۽ اهو پاڻ کي هن منصوبي ۾ ثابت ڪيو آهي:
- هر ڪردار يونٽ ٽيسٽ سان ڍڪيل آهي؛
- ٽيسٽ پاڻمرادو هلندا آهن جڏهن به ڪوڊ ۾ ڪا به تبديلي آهي جيڪا ترتيبن کي منظم ڪري ٿي؛
- ڪنفيگريشن مئنيجمينٽ ڪوڊ ۾ تبديليون صرف سڀني ٽيسٽن ۽ ڪوڊ جي جائزي کي ڪاميابيءَ سان پاس ڪرڻ کان پوءِ ئي پيداواري ماحول ۾ جاري ڪيون وينديون آهن.
ڪوڊ ڊولپمينٽ ۽ ٺاھ جوڙ جو انتظام وڌيڪ پرسڪون ۽ وڌيڪ پيش گوئي ٿي چڪو آھي. مسلسل جانچ کي منظم ڪرڻ لاء، اسان استعمال ڪيو GitLab CI/CD ٽول ڪٽ، ۽ ورتو .
جڏهن به ترتيب جي انتظام جي ڪوڊ ۾ ڪا تبديلي آهي، GitLab CI/CD سڏين ٿا ماليڪيول:
- اهو ڪوڊ نحو چيڪ ڪري ٿو،
- ڊاڪر ڪنٽينر کي وڌائي ٿو،
- تبديل ٿيل ڪوڊ ٺاهيل ڪنٽينر تي لاڳو ٿئي ٿو،
- Idempotency لاءِ ڪردار کي چيڪ ڪري ٿو ۽ هن ڪوڊ لاءِ ٽيسٽ هلائي ٿو (هتي گرينولرٽي جوابي ڪردار جي سطح تي آهي، تصوير 4 ڏسو).
اسان جوابي AWX استعمال ڪندي پيداوار جي ماحول ۾ ترتيبن کي پهچايو. آپريشن انجنيئرز اڳواٽ طئي ٿيل ٽيمپليٽ ذريعي ترتيب واري تبديلين کي لاڳو ڪيو. AWX آزاد طور تي "درخواست ڪئي" ڪوڊ جو جديد نسخو GitLab ماسٽر برانچ کان هر وقت استعمال ڪيو ويو. هن طريقي سان اسان پيداوار جي ماحول ۾ اڻ آزمائشي يا پراڻي ڪوڊ جي استعمال کي خارج ڪيو. قدرتي طور، ڪوڊ صرف ٽيسٽ، جائزو ۽ منظوري کان پوء ماسٽر برانچ ۾ داخل ٿيو.
چانور. 4. GitLab CI/CD ۾ ڪردار جي خودڪار جاچ.
پيداوار جي نظام جي آپريشن سان لاڳاپيل هڪ مسئلو پڻ آهي. حقيقي زندگي ۾، صرف CMS ڪوڊ ذريعي ترتيب ڏيڻ ۾ تبديليون ڪرڻ تمام ڏکيو آهي. ايمرجنسي حالتون پيدا ٿينديون آهن جڏهن هڪ انجنيئر کي ڪوڊ ايڊيٽنگ، ٽيسٽنگ، منظوري وغيره جو انتظار ڪرڻ کان سواءِ، ”هتي ۽ هاڻ“ ترتيب تبديل ڪرڻ گهرجي.
نتيجي طور، دستي تبديلين جي ڪري، تڪرار ساڳئي قسم جي سامان تي ترتيبن ۾ ظاهر ٿيندا آهن (مثال طور، sysctl سيٽنگون HA ڪلستر نوڊس تي مختلف طرح سان ترتيب ڏنل آهن). يا سامان تي حقيقي ترتيب CMS ڪوڊ ۾ بيان ڪيل ھڪڙي کان مختلف آھي.
تنهن ڪري، مسلسل جانچ جي اضافي ۾، اسان جانچ ڪريون ٿا پيداوار جي ماحول کي ترتيب جي تضاد لاءِ. اسان سڀ کان آسان اختيار چونڊيو آهي: CMS ترتيب واري ڪوڊ کي ”ڊائي رن“ موڊ ۾ هلائڻ، يعني تبديليون لاڳو ڪرڻ کان سواءِ، پر رٿيل ۽ حقيقي ترتيب جي وچ ۾ سڀني اختلافن جي اطلاع سان. اسان وقتي طور تي سڀني جوابي پلے بڪز کي پروڊڪشن سرورز تي ”-چڪ“ اختيار سان هلائڻ سان لاڳو ڪيو. هميشه وانگر، جوابي AWX پلے بڪ کي لانچ ڪرڻ ۽ ان کي تازه ڪاري ڪرڻ جو ذميوار آهي (ڏسو تصوير 5):
چانور. 5. جوابي AWX ۾ ٺاھ جوڙ جي اختلافن جي چڪاس.
چيڪن کان پوء، AWX منتظمين کي هڪ تڪرار رپورٽ موڪلي ٿو. اهي مشڪلاتي ترتيبن جو مطالعو ڪن ٿا ۽ پوء ان کي ترتيب ڏنل راند بڪ ذريعي درست ڪن ٿا. اهو ڪيئن آهي اسان پيداوار جي ماحول ۾ ترتيب کي برقرار رکون ٿا ۽ سي ايم ايس هميشه تازه ڪاري ۽ هم وقت سازي آهي. هي ناپسنديده "معجزات" کي ختم ڪري ٿو جڏهن CMS ڪوڊ استعمال ڪيو ويندو آهي "پيداوار" سرورز تي.
اسان وٽ ھاڻي ھڪ اھم ٽيسٽنگ پرت آھي جنھن ۾ جوابي AWX/GitLab/Molecule شامل آھي (شڪل 6).
چانور. 6. ٽيسٽ جو انتظام.
مشڪل؟ مان بحث نٿو ڪريان. پر ترتيب جي انتظام جي اهڙي پيچيده سرور جي ترتيب جي خودڪار سان لاڳاپيل ڪيترن ئي سوالن جو هڪ جامع جواب بڻجي چڪو آهي. ھاڻي ھڪڙي پرچون ڪندڙ جي معياري سرورن کي ھميشه ھڪڙي سختي سان ٺھيل ٺاھ جوڙ آھي. CMS، هڪ انجنيئر جي برعڪس، ضروري سيٽنگون شامل ڪرڻ، صارفين ٺاهڻ ۽ درجنين يا سوين گهربل سيٽنگون انجام ڏيڻ نه وساريندو.
اڄ سرور ۽ ماحول جي سيٽنگن ۾ ڪو به "ڳجهو علم" ناهي. سڀئي ضروري خاصيتون راند جي ڪتاب ۾ ظاهر ٿيل آهن. وڌيڪ تخليقيت ۽ غير واضح هدايتون نه آهن: "ان کي باقاعده Oracle وانگر انسٽال ڪريو، پر توھان کي ڪجھ sysctl سيٽنگون بيان ڪرڻ جي ضرورت آھي ۽ صارفين کي گهربل UID سان شامل ڪريو. آپريشن ۾ ماڻھن کان پڇو، اھي ڄاڻن ٿا».
تشڪيل جي اختلافن کي ڳولڻ ۽ انهن کي درست ڪرڻ جي صلاحيت ذهني طور تي امن فراهم ڪري ٿي. بغير ترتيب جي انتظام واري نظام جي، اهو عام طور تي مختلف نظر اچي ٿو. مسئلا گڏ ٿين ٿا جيستائين هڪ ڏينهن اهي پيداوار ۾ ”شٽ“ ٿين. ان کان پوء هڪ بيان ڪيو ويندو آهي، ترتيبن جي چڪاس ڪئي وئي آهي ۽ درست ڪيو ويو آهي. ۽ چڪر ٻيهر ورجائي ٿو
۽ يقينا، اسان ڪيترن ئي ڏينهن کان ڪلاڪن تائين آپريشن ۾ سرورز جي لانچ کي تيز ڪيو.
خير، پاڻ نئين سال جي شام تي، جڏهن ٻار خوشيءَ سان تحفا لفافي ڪري رهيا هئا ۽ بالغ خواهشون ڪري رهيا هئا جيئن چائنيز جو زور ٽٽي پيو، اسان جي انجنيئرن SAP سسٽم کي نئين سرور ڏانهن منتقل ڪيو. جيتوڻيڪ سانتا کلاز چوندو ته بهترين معجزا اهي آهن جيڪي چڱي طرح تيار ڪيا ويا آهن.
PS اسان جي ٽيم اڪثر ڪري ان حقيقت کي منهن ڏئي ٿي ته گراهڪ ڪنفيگريشن مئنيجمينٽ جي مسئلن کي جيترو ممڪن ٿي سگهي حل ڪرڻ چاهين ٿا. مثالي طور، ڄڻ ته جادو جي ذريعي - هڪ اوزار سان. پر زندگيءَ ۾ سڀ ڪجهه وڌيڪ پيچيده آهي (ها، چاندي جون گوليون ٻيهر نه پهچايا ويا): توهان کي اوزار استعمال ڪندي هڪ مڪمل عمل ٺاهڻو پوندو جيڪي ڪسٽمر جي ٽيم لاءِ آسان آهن.
ليکڪ: سرجي Artemov، کاتي جي معمار "جيٽ انفو سسٽم"
جو ذريعو: www.habr.com