گذريل هفتي مان يڪاترينبرگ ۾ ڊمپ آئي ٽي ڪانفرنس (https://dump-ekb.ru/) ڏانهن ويو ۽ مان توهان کي ٻڌائڻ چاهيان ٿو ته ڇا بحث ڪيو ويو پس منظر ۽ ڊيوپس سيڪشن ۾، ۽ ڇا علائقائي آئي ٽي ڪانفرنس ڌيان جي لائق آهن.
Nikolay Sverchkov کان Evil Martians بابت Serverless بابت
تنهن هوندي به ڇا هو؟
مجموعي طور تي، ڪانفرنس ۾ 8 سيڪشن هئا: پس منظر، فرنٽ اينڊ، موبائيل، ٽيسٽنگ ۽ QA، Devops، ڊيزائن، سائنس ۽ انتظام.
سڀ کان وڏو هال، رستي ۾، سائنس ۽ انتظام ۾ آهن)) هر هڪ لاء ~ 350 ماڻهن لاء. Backend ۽ Frontend تمام ننڍا نه آهن. ڊيوپس جو ڪمرو ننڍو، پر چالو هو.
مون ڊيوپس ۽ پس منظر سيڪشن ۾ رپورٽون ٻڌيون ۽ ڳالهائيندڙن سان ٿورو ڳالهايو. مان انهن موضوعن بابت ڳالهائڻ چاهيان ٿو جيڪي ڍڪيل آهن ۽ ڪانفرنس ۾ انهن حصن جو جائزو وٺو.
SKB-Kontur، DataArt، Evil Martians، Ekaterinburg web studio Flag، Miro (RealTimeBoard) جي نمائندن Devops ۽ Backend حصن ۾ ڳالھايو. موضوع CI/CD ڍڪيل آهن، قطار جي خدمتن سان ڪم ڪرڻ، لاگنگ؛ سرور کان سواءِ موضوع ۽ Go ۾ PostgreSQL سان ڪم ڪرڻ چڱي طرح ڍڪيل هئا.
Avito، Tinkoff، Yandex، Jetstyle، Megafon، Ak Bars Bank پاران پڻ رپورٽون آيون، پر مون وٽ جسماني طور تي انهن ۾ شرڪت ڪرڻ جو وقت نه هو (ويڊيو رڪارڊنگ ۽ رپورٽن جي سلائيڊ اڃا تائين موجود نه آهن، اهي 2 هفتن اندر پوسٽ ڪرڻ جو واعدو ڪن ٿا. dump-ekb.ru تي).
ڊويزن سيڪشن
حيرت جي ڳالهه اها هئي ته اهو سيڪشن تمام ننڍي هال ۾ رکيل هو، جنهن ۾ اٽڪل 50 سيٽون هيون. ماڻهو ايستائين بيٺا هئا گلي ۾ :) مان توهان کي انهن رپورٽن جي باري ۾ ٻڌايان ٿو جيڪي مون ٻڌو.
لچڪدار هڪ پيٽابائيٽ وزن
سيڪشن هڪ رپورٽ سان شروع ٿيو ولاديمير ليل (SKB-Kontur) Kontur ۾ Elasticsearch بابت. انهن وٽ ڪافي وڏو ۽ لوڊ ٿيل لچڪدار آهي (~ 800 ٽي بي ڊيٽا، ~ 1.3 پيٽابيٽس فالٽ جي حساب سان). سڀني Kontur خدمتن لاء Elasticsearch واحد آهي، 2 ڪلسٽرن تي مشتمل آهي (7 ۽ 9 سرورز جو)، ۽ ايترو ضروري آهي ته Kontur ۾ هڪ خاص Elasticsearch انجنيئر آهي (حقيقت ۾، ولاديمير پاڻ).
ولاديمير پڻ Elasticsearch جي فائدن ۽ ان سان پيدا ٿيندڙ مسئلن تي پنهنجا ويچار ونڊيا.
فائدا:
- سڀئي لاگ هڪ جڳهه تي آهن، انهن تائين آسان رسائي
- هڪ سال لاءِ لاگ محفوظ ڪرڻ ۽ آسانيءَ سان انهن جو تجزيو ڪرڻ
- لاگن سان ڪم ڪرڻ جي تيز رفتار
- دٻي کان ٻاهر ٿڌي ڊيٽا بصري
مسئلا:
- پيغام بروکر هڪ لازمي آهي (ڪنتور لاءِ اهو ڪردار ڪافڪا ادا ڪيو آهي)
- Elasticsearch ڪيورٽر سان ڪم ڪرڻ جون خاصيتون (ڪوريٽر ۾ باقاعده ڪمن مان وقتي طور تي وڌيڪ لوڊ پيدا ٿيل)
- ڪابه بلٽ ان اختيار نه آهي (صرف الڳ، ڪافي وڏي پئسن لاءِ، يا پيداوار لاءِ تياري جي مختلف درجي جي اوپن سورس پلگ ان جي طور تي)
اتي صرف مثبت جائزو هئا Open Distro for Elasticsearch :) اختيار جو ساڳيو مسئلو اتي حل ڪيو ويو آهي.
پيٽابائيٽ ڪٿان اچي ٿو؟انهن جا نوڊس 12*8 Tb SATA + 2*2 Tb SSD سان سرورن تي مشتمل آهن. SATA تي ٿڌي اسٽوريج، SSD صرف گرم ڪيش لاءِ (گرم اسٽوريج).
7+9 سرور، (7 + 9) * 12 * 8 = 1536 Tb.
جڳھ جو حصو رزرو ۾ آھي، بيڪاريءَ لاءِ ڌار ڪيو ويو، وغيره.
لڳ ڀڳ 90 ايپليڪيشنن جا لاگ موڪليا ويا آهن Elasticsearch ڏانهن، بشمول Kontur، Elba وغيره جون سڀ رپورٽنگ خدمتون.
سرور بيس تي ترقي جون خاصيتون
اڳيون هڪ رپورٽ آهي Ruslan Serkin پاران DataArt کان سرور بيس بابت.
Ruslan جي باري ۾ ڳالهه ٻولهه ڪئي ته ڪهڙي ترقيءَ سان سرور بي ترتيب انداز ۾ آهي، ۽ ان جون خاصيتون ڇا آهن.
سرور بيس ترقي جو هڪ طريقو آهي جنهن ۾ ڊولپرز ڪنهن به طريقي سان انفراسٽرڪچر کي هٿ نه ٿا ڏين. مثال - AWS Lambda Serverless، Kubeless.io (Serverless within Kubernetes)، Google Cloud Functions.
هڪ مثالي سرور لیس ايپليڪيشن صرف هڪ فنڪشن آهي جيڪو هڪ خاص API گيٽ وي ذريعي بغير سرور فراهم ڪندڙ کي درخواست موڪلي ٿو. هڪ مثالي مائڪرو سروس، جڏهن ته AWS Lambda پڻ جديد پروگرامنگ ٻولين جي وڏي تعداد کي سپورٽ ڪري ٿو. انفراسٽرڪچر کي برقرار رکڻ ۽ ترتيب ڏيڻ جي قيمت ڪلاؤڊ فراهم ڪندڙن جي صورت ۾ صفر ٿي ويندي آهي، ننڍڙن ايپليڪيشنن کي سپورٽ ڪرڻ پڻ تمام سستا هوندا (AWS Lambda - $0.2 / 1 ملين سادي درخواستون).
اهڙي سسٽم جي اسڪيلبلٽي تقريبن مثالي آهي - ڪلائوڊ فراهم ڪندڙ پاڻ کي سنڀاليندو آهي، ڪوبيليس اسڪيل خود بخود ڪبرنيٽس ڪلستر ۾.
اتي نقصان آهن:
- وڏي ايپليڪيشن کي ترقي ڪرڻ وڌيڪ ڏکيو ٿي رهيو آهي
- پروفائلنگ ايپليڪيشنن سان مشڪل آھي (صرف لاگز توھان وٽ موجود آھن، پر عام معنى ۾ پروفائلنگ نه آھي)
- ڪوبه نسخو نه
ايماندار ٿيڻ لاء، مون ڪجهه سال اڳ سرور بيس جي باري ۾ ٻڌو، پر انهن سڀني سالن کان اهو واضح نه هو ته ان کي ڪيئن استعمال ڪجي. رسلان جي رپورٽ کان پوء، سمجھ ظاهر ٿيو، ۽ پس منظر واري حصي مان نڪولائي سورچڪوف (Evil Martians) جي رپورٽ کان پوء، ان کي مضبوط ڪيو ويو. اهو بيڪار نه هو ته مان ڪانفرنس ۾ ويو :)
CI غريبن لاءِ آهي، يا ڇا اهو لکڻ جي لائق آهي توهان جو پنهنجو CI ويب اسٽوڊيو لاءِ؟
ميخائل ريڊيونوف، يڪاترينبرگ کان فليگ ويب اسٽوڊيو جو سربراهه، خود لکيل CI/CD بابت ڳالهايو.
هن جو اسٽوڊيو ”دستي CI/CD“ (SSH ذريعي سرور ۾ لاگ ان ٿيو، هڪ گيٽ پل ڪريو، ڏينهن ۾ 100 ڀيرا ورجايو) جينڪنز ڏانهن ويو آهي ۽ هڪ خود لکيل ٽول ڏانهن جيڪو توهان کي ڪوڊ مانيٽر ڪرڻ ۽ رليز ڪرڻ جي اجازت ڏئي ٿو پلڪنز. .
جينڪنز ڪم ڇو نه ڪيو؟ اهو ڊفالٽ طور ڪافي لچڪ فراهم نه ڪيو ۽ ترتيب ڏيڻ ڏاڍو ڏکيو هو.
"پرچم" Laravel (PHP فريم ورڪ) ۾ ترقي ڪري ٿو. جڏهن هڪ CI/CD سرور ٺاهيندي، ميخائل ۽ سندس ساٿين Laravel جي بلٽ ان ميڪانيزم کي استعمال ڪيو جنهن کي ٽيلي اسڪوپ ۽ ايلچي سڏيو ويندو آهي. نتيجو PHP ۾ هڪ سرور آهي (مهرباني ڪري نوٽ ڪريو) جيڪو ايندڙ ويب هِڪ درخواستن تي عمل ڪري ٿو، فرنٽ اينڊ ۽ پس منظر ٺاهي سگھي ٿو، مختلف سرورز تي ترتيب ڏئي ٿو، ۽ سليڪ کي رپورٽ ڪري ٿو.
پوءِ ، نيري / سائي ترتيب ڏيڻ جي قابل ٿيڻ ۽ ڊيو-اسٽيج-پروڊ ماحول ۾ يونيفارم سيٽنگون حاصل ڪرڻ لاءِ ، اهي ڊڪر ڏانهن تبديل ٿي ويا. فائدا ساڳيا رهيا، ماحول کي هڪجهڙائي ڪرڻ جا امڪان شامل ڪيا ويا ۽ بيحد ترتيب ڏيڻ، ۽ Docker کي سکڻ جي ضرورت ان سان صحيح طريقي سان ڪم ڪرڻ لاءِ شامل ڪئي وئي.
ڪيئن اسان سرور رليز رول بيڪ جو تعداد 99 سيڪڙو گھٽايو
Devops سيڪشن ۾ آخري رپورٽ Viktor Eremchenko کان هئي، Miro.com تي ليڊ ڊيوپس انجنيئر (اڳوڻي RealTimeBoard).
RealTimeBoard، ميرو ٽيم جي پرچم بردار پيداوار، هڪ واحد جاوا ايپليڪيشن تي ٻڌل آهي. ان کي گڏ ڪرڻ، جانچڻ ۽ ترتيب ڏيڻ بغير وقت جي هڪ ڏکيو ڪم آهي. انهي حالت ۾، اهو ضروري آهي ته ڪوڊ جي اهڙي نسخي کي ترتيب ڏيو ته جيئن ان کي واپس نه ڪيو وڃي (اهو هڪ ڳري مونولٿ آهي).
هڪ سسٽم ٺاهڻ جي رستي تي جيڪو توهان کي اهو ڪرڻ جي اجازت ڏئي ٿو، ميرو هڪ رستي مان گذريو جنهن ۾ فن تعمير تي ڪم ڪرڻ، استعمال ٿيل اوزار (Atlassian Bamboo، Ansible، وغيره)، ۽ ٽيمن جي جوڙجڪ تي ڪم ڪرڻ (اهي هاڻي آهن. هڪ وقف Devops ٽيم + مختلف پروفائلز جي ڊولپرز کان ڪيتريون ئي الڳ اسڪرم ٽيمون).
رستو مشڪل ۽ ڪنڊن وارو نڪتو، ۽ وڪٽر گڏ ٿيل درد ۽ اميدن کي ورهايو جيڪو اتي ختم نه ٿيو.
سوال پڇڻ لاءِ ڪتاب کٽيو
پسمانده سيڪشن
مان 2 رپورٽن ۾ شرڪت ڪرڻ ۾ ڪامياب ٿيس - نڪولائي سورچڪوف (Evil Martians) کان، پڻ سرور جي باري ۾، ۽ گريگوري ڪوشيليف (ڪنٽر ڪمپني) کان ٽيلي ميٽري بابت.
صرف انسانن لاءِ بي پرواهه
جيڪڏهن Ruslan Sirkin ان بابت ڳالهايو ته سرور لیس ڇا آهي، نيڪولي سرور لیس استعمال ڪندي سادي ايپليڪيشنون ڏيکاريون، ۽ انهن تفصيلن بابت ڳالهايو جيڪي AWS Lambda ۾ ايپليڪيشنن جي قيمت ۽ رفتار کي متاثر ڪن ٿا.
هڪ دلچسپ تفصيل: گهٽ ۾ گهٽ ادا ڪيل عنصر 128 ايم بي ميموري ۽ 100 ايم ايس سي پي يو آهي، ان جي قيمت $0,000000208 آهي. ان کان علاوه، 1 ملين اهڙيون درخواستون هر مهيني مفت آهن.
نيڪولائي جا ڪجھ ڪم اڪثر ڪري 100 ايم ايس جي حد کان وڌي ويا (مکيه ايپليڪيشن روبي ۾ لکيل هئي)، تنهنڪري انهن کي گو ۾ ٻيهر لکڻ سان بهترين بچت ڏني وئي.
Vostok Hercules - ٽيلي ميٽري کي ٻيهر عظيم بڻايو!
ٽيليميٽري بابت گريگوري ڪوشيليف (ڪنٽر ڪمپني) کان پس منظر واري حصي جي تازي رپورٽ. ٽيليميٽري جو مطلب آهي لاگس، ميٽرڪس، ايپليڪيشن جا نشان.
هن مقصد لاء، Contour Github تي پوسٽ ڪيل خود لکيل اوزار استعمال ڪري ٿو. رپورٽ مان اوزار - Hercules, ، ٽيلي ميٽري ڊيٽا پهچائڻ لاءِ استعمال ڪيو ويندو آهي.
ڊيوپس سيڪشن ۾ ولاديمير ليلا جي رپورٽ Elasticsearch ۾ لاگز کي اسٽوريج ۽ پروسيسنگ ڪرڻ تي بحث ڪيو، پر اڃا تائين ڪيترن ئي هزارين ڊوائيسز ۽ ايپليڪيشنن مان لاگز پهچائڻ جو ڪم آهي، ۽ اوزار جهڙوڪ Vostok Hercules انهن کي حل ڪن ٿا.
سرڪٽ ھڪڙي رستي تي عمل ڪيو جيڪو گھڻن کي سڃاتو وڃي ٿو - RabbitMQ کان Apache Kafka تائين، پر سڀ ڪجھ ايترو سادو نه آھي)) انھن کي سرڪٽ ۾ Zookeeper، Cassandra ۽ Graphite شامل ڪرڻو پيو. مان هن رپورٽ تي معلومات مڪمل طور تي ظاهر نه ڪندس (منهنجو پروفائل نه)، جيڪڏهن توهان دلچسپي رکو ٿا، توهان ڪانفرنس جي ويب سائيٽ تي سلائڊ ۽ وڊيوز جو انتظار ڪري سگهو ٿا.
اهو ٻين ڪانفرنسن سان ڪيئن مقابلو ڪري ٿو؟
مان ان جو مقابلو ماسڪو ۽ سينٽ پيٽرسبرگ ۾ ڪانفرنسن سان نٿو ڪري سگهان، مان ان جو مقابلو يورالز جي ٻين واقعن ۽ سامارا ۾ 404fest سان ڪري سگهان ٿو.
DAMP 8 حصن ۾ منعقد ڪئي وئي آهي، هي يورال ڪانفرنس لاء هڪ رڪارڊ آهي. تمام وڏو سائنس ۽ انتظام سيڪشن، اهو پڻ غير معمولي آهي. Yekaterinburg ۾ سامعين ڪافي منظم آهي - شهر ۾ Yandex، Kontur، Tinkoff لاء وڏي ترقياتي ڊپارٽمينٽ آهن، ۽ اهو رپورٽن تي پنهنجو نشان ڇڏي ٿو.
هڪ ٻيو دلچسپ نقطو اهو آهي ته ڪيتريون ئي ڪمپنيون ڪانفرنس ۾ 3-4 ڳالهائيندڙ آهن هڪ ڀيرو (اهو معاملو Kontur، Evil Martians، Tinkoff سان هو). انهن مان ڪيترائي اسپانسرز هئا، پر رپورٽون ٻين سان برابر آهن، اهي اشتهاري رپورٽون نه آهن.
وڃڻو آهي يا نه وڃڻو؟ جيڪڏهن توهان Urals يا ڀرسان رهندا آهيو، توهان وٽ موقعو آهي ۽ عنوانن ۾ دلچسپي رکو ٿا - ها، يقينا. جيڪڏهن توهان هڪ ڊگهي سفر بابت سوچي رهيا آهيو، آئون گذريل سالن کان رپورٽون ۽ وڊيو رپورٽن جي عنوانن تي نظر ڪندس ۽ فيصلو ڪيو.
خطن ۾ ڪانفرنس جو هڪ ٻيو فائدو، ضابطي جي طور تي، اهو آهي ته رپورٽن کان پوء اسپيڪر سان رابطو ڪرڻ آسان آهي؛ اهڙي رابطي لاء صرف گهٽ درخواست ڏيندڙ آهن.
ڊمپ ۽ ايڪٽرينبرگ جي مهرباني! )
جو ذريعو: www.habr.com