جئين توهان IT ۾ ڪم ڪريو ٿا، توهان کي نوٽيس ڪرڻ شروع ڪيو ته سسٽم جو پنهنجو ڪردار آهي. اهي لچڪدار، خاموش، سنسڪرت ۽ سخت ٿي سگهن ٿا. اهي متوجه يا واپس ڪري سگهن ٿا. هڪ طريقو يا ٻيو، توهان کي انهن سان "گفتگو" ڪرڻو پوندو، "نقصان" جي وچ ۾ مداخلت ۽ انهن جي رابطي جي زنجيرن کي ٺاهيو.
تنهن ڪري اسان کي ڪلائوڊ پليٽ فارم ٺاهڻ جو اعزاز حاصل هو، ۽ ان لاءِ اسان کي ”قائل“ ڪرڻ جي ضرورت هئي اسان سان گڏ ڪم ڪرڻ لاءِ ڪجهه سب سسٽم. خوشقسمتيءَ سان، اسان وٽ ”API ٻولي“، سڌو هٿ ۽ تمام گهڻو جوش آهي.
هي آرٽيڪل ٽيڪنيڪل طور تي سخت نه هوندو، پر انهن مسئلن کي بيان ڪندو جيڪي اسان کي ڪلائوڊ ٺاهڻ دوران پيش آيون. مون فيصلو ڪيو ته اسان جي رستي کي هڪ هلڪي ٽيڪنيڪل تصور جي صورت ۾ بيان ڪيو وڃي ته ڪيئن اسان سسٽم سان گڏ هڪ عام ٻولي ڳولي رهيا آهيون ۽ ان مان ڇا نڪتو.
ٻلي ۾ ڀليڪار.
رستي جو آغاز
ڪجهه وقت اڳ، اسان جي ٽيم کي اسان جي گراهڪن لاءِ ڪلائوڊ پليٽ فارم لانچ ڪرڻ جو ڪم سونپيو ويو. اسان وٽ انتظامي مدد، وسيلا، هارڊويئر اسٽيڪ ۽ آزادي هئي ٽيڪنالاجي چونڊڻ ۾ سروس جي سافٽ ويئر جي حصي کي لاڳو ڪرڻ لاء.
اتي پڻ ڪيترائي گهرجون ھئا:
- خدمت کي هڪ آسان ذاتي اڪائونٽ جي ضرورت آهي؛
- پليٽ فارم کي موجوده بلنگ سسٽم ۾ ضم ٿيڻ گهرجي؛
- سافٽ ويئر ۽ هارڊويئر: OpenStack + Tungsten Fabric (Open Contrail)، جنهن کي اسان جي انجنيئرن چڱيءَ طرح ”ڪڪ“ ڪرڻ سکيو آهي.
اسان توهان کي ٻي دفعي ٻڌائينداسين ته ٽيم کي ڪيئن گڏ ڪيو ويو، ذاتي اڪائونٽ انٽرفيس ٺاهيا ويا ۽ ڊزائن جا فيصلا ڪيا ويا، جيڪڏهن هيبرا برادري دلچسپي رکي ٿي.
اوزار جيڪي اسان استعمال ڪرڻ جو فيصلو ڪيو:
- Python + Flask + Swagger + SQLAlchemy - هڪ مڪمل طور تي معياري پٿون سيٽ؛
- فرنٽ اينڊ لاءِ Vue.js؛
- اسان AMQP مٿان Celery استعمال ڪندي اجزاء ۽ خدمتن جي وچ ۾ رابطو ڪرڻ جو فيصلو ڪيو.
پٿون چونڊڻ بابت سوالن جي توقع، مان وضاحت ڪندس. ٻوليءَ کي اسان جي ڪمپنيءَ ۾ پنهنجي جاءِ ملي آهي ۽ ان جي چوڌاري هڪ ننڍڙي، پر اڃا به ثقافت، ترقي ڪئي آهي. تنهن ڪري، ان تي سروس تعمير ڪرڻ شروع ڪرڻ جو فيصلو ڪيو ويو. ان کان سواء، اهڙن مسئلن ۾ ترقي جي رفتار اڪثر ڪري فيصلو ڪندڙ آهي.
سو، اچو ته اسان جي واقفيت شروع ڪريون.
خاموش بل - بلنگ
اسان هن شخص کي ڊگهي عرصي کان سڃاڻون ٿا. هو هميشه منهنجي ڀرسان ويهي رهيو ۽ خاموشيءَ سان ڪجهه ڳڻيندو رهيو. ڪڏهن ڪڏهن هن اسان ڏانهن صارف جي درخواستن کي اڳتي وڌايو، ڪلائنٽ انوائس جاري ڪيو، ۽ منظم ڪيل خدمتون. هڪ عام محنتي ماڻهو. سچ پچ، مشڪلاتون هيون. هو خاموش آهي، ڪڏهن سوچيندو آهي ۽ اڪثر پنهنجي ذهن تي.
بلنگ پهريون سسٽم آهي جنهن سان اسان دوست بڻائڻ جي ڪوشش ڪئي. ۽ پهرين ڏکيائي جيڪا اسان سامهون آئي هئي جڏهن پروسيسنگ سروسز.
مثال طور، جڏهن ٺاهي يا ڊاهي، هڪ ڪم اندروني بلنگ قطار ۾ وڃي ٿو. اهڙيء طرح، خدمتن سان هم وقت سازي ڪم جو هڪ نظام لاڳو ڪيو ويو آهي. اسان جي خدمت جي قسمن کي پروسيس ڪرڻ لاءِ، اسان کي اسان جي ڪمن کي هن قطار ۾ ”رڪڻ“ جي ضرورت آهي. ۽ هتي اسان هڪ مسئلو ۾ ڀڄي ويا: دستاويز جي کوٽ.
سافٽ ويئر API جي وضاحت سان، اهو اڃا تائين ممڪن آهي ته هن مسئلي کي حل ڪرڻ، پر اسان وٽ وقت نه هو ريورس انجنيئرنگ ڪرڻ لاء، تنهنڪري اسان منطق کي ٻاهر ڪڍيو ۽ RabbitMQ جي چوٽي تي هڪ ٽاسڪ قطار منظم ڪيو. هڪ خدمت تي هڪ آپريشن ڪلائنٽ طرفان پنهنجي ذاتي اڪائونٽ مان شروع ڪيو ويندو آهي، پس منظر تي سيلري ”ٽاسڪ“ ۾ بدلجي ويندو آهي ۽ بلنگ ۽ اوپن اسٽيڪ پاسي تي ڪيو ويندو آهي. Cerery اهو ڪافي آسان بڻائي ٿو ڪمن کي منظم ڪرڻ، ورهاڱي کي منظم ڪرڻ ۽ صورتحال جي نگراني ڪرڻ. توھان وڌيڪ پڙھي سگھو ٿا "سيلري" بابت، مثال طور، .
انهي سان گڏ، بلنگ هڪ منصوبي کي روڪي نه ڇڏيو جيڪو پئسا ختم ٿي ويو. ڊولپرز سان ڳالھ ٻولھ ڪندي، اسان کي معلوم ٿيو ته انگن اکرن جي حساب سان (۽ اسان کي لازمي طور تي ھن قسم جي منطق کي لاڳو ڪرڻ جي ضرورت آھي)، اتي ھڪڙو پيچيده لاڳاپو آھي روڪڻ جي ضابطن جو. پر اهي ماڊل اسان جي حقيقتن سان چڱيءَ ريت نه ٿا ٺهن. اسان ان کي Celery تي ڪمن ذريعي پڻ لاڳو ڪيو، سروس مئنيجمينٽ منطق کي پس منظر واري پاسي وٺي.
مٿين ٻنهي مسئلن جي ڪري ڪوڊ ٿورڙو ڦٽو ٿي ويو ۽ مستقبل ۾ اسان کي ڪم سان ڪم ڪرڻ لاءِ منطق کي الڳ خدمت ۾ منتقل ڪرڻ لاءِ ريفيڪٽر ڪرڻو پوندو. هن منطق جي حمايت ڪرڻ لاءِ اسان کي اسان جي جدولن ۾ صارفين ۽ انهن جي خدمتن بابت ڪجهه معلومات پڻ رکڻ جي ضرورت آهي.
ٻيو مسئلو خاموشي آهي.
بلي خاموشيءَ سان جواب ڏئي ٿو ”ٺيڪ“ ڪجهه API درخواستن تي. اهو معاملو هو، مثال طور، جڏهن اسان ٽيسٽ دوران واعدو ڪيل ادائگي جي ادائيگي ڪئي (وڌيڪ بعد ۾). درخواستون صحيح طور تي جاري ڪيون ويون آهن ۽ اسان کي ڪا به غلطي نظر نه آئي.
UI ذريعي سسٽم سان ڪم ڪرڻ دوران مون کي لاگز جو مطالعو ڪرڻو پيو. اهو ظاهر ٿيو ته بلنگ پاڻ کي ساڳيون درخواستون انجام ڏئي ٿو، دائري کي مخصوص صارف ڏانهن تبديل ڪري ٿو، مثال طور، منتظم، ان کي su پيٽرولر ۾ پاس ڪرڻ.
عام طور تي، دستاويزن ۾ خالن ۽ ننڍڙن API خامين جي باوجود، هر شيء بلڪل ٺيڪ ٿي وئي. لاگز پڙهي سگھجن ٿا بھترين بوجھ ھيٺ جيڪڏھن توھان سمجھو ٿا ته اھي ڪيئن ٺھيل آھن ۽ ڪھڙي شيءِ کي ڏسڻ گھرجي. ڊيٽابيس جي جوڙجڪ آرائشي آهي، پر ڪافي منطقي ۽ ڪجهه طريقن سان پڻ پرڪشش آهي.
تنهن ڪري، اختصار ڪرڻ لاء، مکيه مسئلا جيڪي اسان کي رابطي واري مرحلي ۾ سامهون آيا آهن، انهن سان لاڳاپيل آهن هڪ مخصوص سسٽم جي نفاذ جي خاصيتن سان:
- غير دستاويزي "خصوصيت" جيڪي اسان کي ڪنهن نه ڪنهن طريقي سان متاثر ڪن ٿا؛
- بند ٿيل ذريعو (بلنگ C++ ۾ لکيل آهي)، نتيجي طور - اهو ناممڪن آهي ته مسئلو 1 حل ڪرڻ کان سواء "آزمائشي ۽ غلطي" کان سواء.
خوشقسمتيءَ سان، پراڊڪٽ وٽ ڪافي وسيع API آهي ۽ اسان هيٺين سب سسٽم کي پنهنجي ذاتي اڪائونٽ ۾ ضم ڪيو آهي:
- ٽيڪنيڪل سپورٽ ماڊل - توهان جي ذاتي اڪائونٽ مان درخواستون "پراڪسڊ" آهن بلنگ لاءِ شفاف طور تي سروس ڪلائنٽ لاءِ؛
- مالي ماڊل - توهان کي موجوده گراهڪن کي انوائس جاري ڪرڻ جي اجازت ڏئي ٿو، لکت بند ڪرڻ ۽ ادائيگي جا دستاويز ٺاهي؛
- service control module - هن لاءِ اسان کي پنهنجو هينڊلر لاڳو ڪرڻو پوندو. سسٽم جي وسعت اسان جي هٿن ۾ کيڏيو ۽ اسان بلي کي نئين قسم جي خدمت “سيکاريو”.
اها ٿوري پريشاني هئي، پر هڪ طريقو يا ٻيو، مان سمجهان ٿو ته بلي ۽ مان گڏ ٿي وينداسين.
ٽنگسٽن جي ميدانن ذريعي هلڻ - ٽنگسٽن ڪپڙو
ٽنگسٽن جا ميدان سوين تارن سان جڙيل آهن، انهن ذريعي معلومات جا هزارين بٽ گذري رهيا آهن. معلومات گڏ ڪئي وئي آهي "پيڪٽس" ۾، تجزيو ڪيو ويو، پيچيده رستن جي تعمير، ڄڻ ته جادو جي ذريعي.
هي ٻئي سسٽم جو ڊومين آهي جنهن سان اسان کي دوست بڻائڻو هو - Tungsten Fabric (TF)، اڳوڻو OpenContrail. ان جو ڪم نيٽورڪ سامان کي منظم ڪرڻ آهي، اسان کي صارفين جي طور تي هڪ سافٽ ويئر تجزيه مهيا ڪرڻ. TF - SDN، نيٽ ورڪ سامان سان ڪم ڪرڻ جي پيچيده منطق کي شامل ڪري ٿو. ٽيڪنالاجي پاڻ بابت هڪ سٺو مضمون آهي، مثال طور، .
سسٽم نيوٽران پلگ ان ذريعي OpenStack (هيٺ بحث ڪيل) سان ضم ٿيل آهي.
OpenStack خدمتن جو رابطو.
آپريشن ڊپارٽمينٽ جي ماڻهن اسان کي هن سسٽم سان متعارف ڪرايو. اسان اسان جي خدمتن جي نيٽ ورڪ اسٽيڪ کي منظم ڪرڻ لاء سسٽم جي API استعمال ڪندا آهيون. اهو اسان کي اڃا تائين ڪنهن به سنگين مسئلن يا تڪليفن جو سبب نه بڻيو آهي (مان OE جي ماڻهن لاءِ نٿو ڳالهائي سگهان)، پر ڳالهه ٻولهه ۾ ڪجهه بيچيني پيدا ٿي آهي.
پهريون ڀيرو هن طرح نظر آيو: حڪم جيڪي گهربل ڊيٽا جي وڏي مقدار کي مثال ڪنسول ڏانهن ڪڍڻ جي ضرورت آهي جڏهن SSH ذريعي ڳنڍيندي ڪنيڪشن کي صرف "hanged up" ڪيو ويو، جڏهن VNC ذريعي سڀ ڪجهه صحيح ڪم ڪيو.
انهن لاءِ جيڪي هن مسئلي کان واقف نه آهن، اهو ڪافي مضحکہ خیز نظر اچي ٿو: ls/root صحيح ڪم ڪري ٿو، جڏهن ته، مثال طور، مٿين ”منجمد“ مڪمل طور تي. خوشقسمتيءَ سان، اسان اڳي به ساڳيون مشڪلاتون محسوس ڪيون آهن. اهو فيصلو ڪيو ويو MTU کي ترتيب ڏيڻ جي رستي تي ڪمپيوٽ نوڊس کان روٽرز تائين. رستي جي ذريعي، هي هڪ TF مسئلو ناهي.
ايندڙ مسئلو صرف ڪنڊ جي ڀرسان هو. ھڪڙي "خوبصورت" لمحي ۾، رستي جو جادو غائب ٿي ويو، بلڪل ائين. TF سامان تي رستن کي منظم ڪرڻ بند ڪري ڇڏيو آهي.
اسان ڪم ڪيو Openstack سان منتظم جي سطح کان ۽ ان کان پوء ضروري صارف جي سطح تي منتقل ڪيو ويو. SDN ظاهر ٿئي ٿو "هائيجيڪ" صارف جي دائري کي جنهن جي ذريعي عمل ڪيا ويا آهن. حقيقت اها آهي ته ساڳيو منتظم اڪائونٽ استعمال ڪيو ويندو آهي ڳنڍڻ لاءِ TF ۽ OpenStack. صارف کي تبديل ڪرڻ جي قدم تي، "جادو" غائب ٿي ويو. اهو فيصلو ڪيو ويو ته سسٽم سان ڪم ڪرڻ لاء هڪ الڳ اڪائونٽ ٺاهيو وڃي. هي اسان کي انضمام جي ڪارڪردگي کي ٽوڙڻ کان سواء ڪم ڪرڻ جي اجازت ڏني.
Silicon Lifeforms - OpenStack
ٽنگسٽن جي ميدانن جي ويجهو هڪ عجيب شڪل وارو سلڪون جاندار رهندو آهي. سڀ کان وڌيڪ، اهو هڪ وڏو ٻار وانگر ڏسڻ ۾ اچي ٿو جيڪو اسان کي هڪ جھولي سان ڪٽي سگهي ٿو، پر هن کان ڪا به واضح جارحيت نه آهي. اهو خوف جو سبب ناهي، پر ان جي سائيز خوف کي متاثر ڪري ٿو. جيئن چوڌاري ڇا ٿي رهيو آهي ان جي پيچيدگي.
OpenStack اسان جي پليٽ فارم جو بنيادي آهي.
OpenStack ۾ ڪيترائي سبسسٽم آھن، جن مان اسان في الحال نووا، Glance ۽ Cinder استعمال ڪريون ٿا. انهن مان هر هڪ پنهنجي API آهي. نووا وسيلا حساب ڪرڻ ۽ مثالن جي تخليق جو ذميوار آهي، Cinder حجم ۽ انهن جي تصويرن کي منظم ڪرڻ جو ذميوار آهي، Glance هڪ تصويري خدمت آهي جيڪا منظم ڪري ٿي OS ٽيمپليٽس ۽ انهن تي ميٽانفارميشن.
هر خدمت هڪ ڪنٽينر ۾ هلندي آهي، ۽ پيغام بروکر آهي "سفيد خرگوش" - RabbitMQ.
هن نظام اسان کي سڀ کان غير متوقع مصيبت ڏني.
۽ پهريون مسئلو اچڻ ۾ ڊگهو نه هو جڏهن اسان سرور سان اضافي حجم ڳنڍڻ جي ڪوشش ڪئي. Cinder API هن ڪم کي انجام ڏيڻ کان صاف انڪار ڪيو. وڌيڪ واضح طور تي، جيڪڏهن توهان OpenStack پاڻ کي مڃيندا آهيو، ڪنيڪشن قائم آهي، پر مجازي سرور جي اندر ڪا به ڊسڪ ڊيوائس ناهي.
اسان هڪ چڪر وٺڻ جو فيصلو ڪيو ۽ نووا API کان ساڳئي عمل جي درخواست ڪئي. نتيجو اهو آهي ته ڊوائيس صحيح طور تي ڳنڍيندو آهي ۽ سرور جي اندر رسائي لائق آهي. اهو ظاهر ٿئي ٿو ته مسئلو ٿئي ٿي جڏهن بلاڪ-اسٽوريج Cinder کي جواب نه ڏيندو آهي.
هڪ ٻي مشڪل اسان جي انتظار ۾ هئي جڏهن ڊسڪ سان ڪم ڪندي. سسٽم جو مقدار سرور کان ڌار نه ٿي سگهيو.
ٻيهر، OpenStack پاڻ کي "قسم" چوي ٿو ته اهو ڪنيڪشن کي تباهه ڪري ڇڏيو آهي ۽ هاڻي توهان صحيح طور تي ڪم ڪري سگهو ٿا حجم سان الڳ الڳ. پر API واضح طور تي ڊسڪ تي آپريشن ڪرڻ نه چاهيو.
هتي اسان خاص طور تي جنگ نه ڪرڻ جو فيصلو ڪيو، پر خدمت جي منطق جي اسان جي نظر کي تبديل ڪرڻ لاء. جيڪڏهن هڪ مثال آهي، اتي پڻ سسٽم حجم هجڻ گهرجي. تنهن ڪري، صارف اڃا تائين "سرور" کي ختم ڪرڻ کان سواء سسٽم "ڊسڪ" کي ختم يا غير فعال نٿو ڪري سگهي.
OpenStack سسٽم جو ھڪڙو پيچيده سيٽ آھي جيڪو پنھنجي رابطي واري منطق ۽ آرائشي API سان. اسان کي ڪافي تفصيلي دستاويزن جي مدد ڪئي وئي آهي ۽، يقينا، آزمائش ۽ غلطي (اسان ان کان سواء ڪٿي هوندا).
ٽيسٽ هلائڻ
اسان گذريل سال ڊسمبر ۾ هڪ ٽيسٽ لانچ ڪيو. بنيادي ڪم اسان جي پروجيڪٽ کي ٽيڪنيڪل پاسي ۽ UX پاسي کان جنگي موڊ ۾ جانچڻ هو. سامعين کي چونڊيل دعوت ڏني وئي ۽ جاچ بند ڪئي وئي. تنهن هوندي، اسان اسان جي ويب سائيٽ تي جاچ تائين رسائي جي درخواست ڪرڻ جو اختيار پڻ ڇڏيو آهي.
امتحان پاڻ، يقينا، ان جي مضحکہ خیز لمحن کان سواء نه هو، ڇاڪاڻ ته هي آهي جتي اسان جي مهمات صرف شروعات آهي.
پهرين، اسان ڪجهه حد تائين غلط طور تي منصوبي ۾ دلچسپي جو جائزو ورتو ۽ ٽيسٽ دوران صحيح طور تي ڪمپيوٽ نوڊس کي شامل ڪرڻو پيو. هڪ ڪلستر لاء هڪ عام ڪيس، پر هتي پڻ ڪجهه nuances هئا. TF جي مخصوص ورزن لاءِ دستاويز ڏيکاري ٿو ڪنييل جو مخصوص ورزن جنهن تي vRouter سان ڪم آزمايو ويو. اسان نوڊس کي وڌيڪ تازو ڪنلن سان لانچ ڪرڻ جو فيصلو ڪيو. نتيجي طور، TF نوڊس مان رستا حاصل نه ڪيو. مون کي فوري طور تي دانا کي واپس آڻڻو پيو.
هڪ ٻيو تجسس توهان جي ذاتي اڪائونٽ ۾ "پاسورڊ تبديل ڪريو" بٽڻ جي ڪارڪردگي سان لاڳاپيل آهي.
اسان JWT استعمال ڪرڻ جو فيصلو ڪيو اسان جي ذاتي اڪائونٽ تائين رسائي کي منظم ڪرڻ لاءِ جيئن سيشن سان ڪم نه ڪيو وڃي. جيئن ته سسٽم متنوع ۽ وڏي پيماني تي پکڙيل آهن، اسان پنهنجي پنهنجي ٽوڪن کي منظم ڪندا آهيون، جنهن ۾ اسان بلنگ کان سيشن کي "لفٽ" ڪندا آهيون ۽ OpenStack کان هڪ ٽوڪن. جڏهن پاسورڊ تبديل ڪيو ويندو آهي، ٽوڪن، يقينا، "خراب ٿي وڃي ٿو"، ڇاڪاڻ ته صارف ڊيٽا هاڻي صحيح ناهي ۽ ان کي ٻيهر جاري ڪرڻ جي ضرورت آهي.
اسان هن نقطي جي نظر کي وڃائي ڇڏيو، ۽ هن ٽڪرا کي جلدي ختم ڪرڻ لاء ڪافي وسيلا نه هئا. اسان کي صرف ٽيسٽ شروع ڪرڻ کان پهريان ڪارڪردگي کي ختم ڪرڻو پوندو.
في الحال اسان لاگ آئوٽ ڪندا آهيون صارف کي جيڪڏهن پاسورڊ تبديل ڪيو ويو آهي.
انهن nuances جي باوجود، جاچ چڱي طرح ٿي ويا. ٻن هفتن ۾، اٽڪل 300 ماڻهو روڪيا ويا. اسان صارفين جي اکين ذريعي پراڊڪٽ کي ڏسڻ جي قابل هئا، ان کي عمل ۾ آزمائي ۽ اعلي معيار جي موٽ گڏ ڪري.
جاري رکڻ لاء
اسان مان ڪيترن ئي لاء، هي هن پيماني جو پهريون منصوبو آهي. اسان ڪيترائي قيمتي سبق سکيو ته ڪيئن ٽيم طور ڪم ڪجي ۽ تعميراتي ۽ ڊيزائن جا فيصلا ڪجي. ٿورڙي وسيلن سان پيچيده سسٽم کي ڪيئن ضم ڪيو وڃي ۽ انهن کي پيداوار ۾ رول ڪيو وڃي.
يقينن، ڪوڊ جي لحاظ کان ۽ سسٽم جي انضمام جي انٽرنيٽ تي ڪم ڪرڻ لاء ڪجهه آهي. پروجيڪٽ ڪافي نوجوان آهي، پر اسان ان کي هڪ قابل اعتماد ۽ آسان خدمت ۾ وڌائڻ جي خواهشن سان ڀرپور آهيون.
اسان اڳ ۾ ئي سسٽم کي قائل ڪرڻ جي قابل ٿي چڪا آهيون. بل پنهنجي الماري ۾ ڳڻپ، بلنگ، ۽ صارف جي درخواستن کي احتياط سان سنڀاليندو آهي. tungsten شعبن جي "جادو" اسان کي مستحڪم رابطي سان مهيا ڪري. ۽ صرف OpenStack ڪڏهن ڪڏهن موهيندڙ ٿي ويندو آهي، ڪجهه شي کي سڏيندو آهي جهڙوڪ "'WSREP اڃا تائين ايپليڪيشن استعمال لاء نوڊ تيار نه ڪيو آهي." پر اها هڪ مڪمل طور تي مختلف ڪهاڻي آهي ...
اسان تازو ئي خدمت شروع ڪئي.
توهان اسان جي ويب سائيٽ تي سڀ تفصيل ڳولي سگهو ٿا .
CLO ترقياتي ٽيم
ڪارآمد لنڪ
OpenStack
ٽنگسٽن ڪپڙو
جو ذريعو: www.habr.com