O'tgan hafta men Yekaterinburgdagi DUMP IT konferentsiyasiga (https://dump-ekb.ru/) bordim va sizga Backend va Devops bo'limlarida nimalar muhokama qilingani va mintaqaviy IT konferentsiyalari e'tiborga loyiqmi yoki yo'qligini aytmoqchiman.
Yovuz marsliklardan Nikolay Sverchkov Serversiz haqida
Nima bo'lgan edi?
Umuman olganda, konferentsiya 8 ta bo'limdan iborat edi: Backend, Frontend, Mobile, Testing and QA, Devops, Design, Science and Management.
Aytgancha, eng katta zallar Fan va menejmentda)) Har biri ~ 350 kishiga mo'ljallangan. Backend va Frontend unchalik kichik emas. Devops xonasi eng kichik, ammo faol edi.
Men Devops va Backend bo'limlaridagi hisobotlarni tingladim va ma'ruzachilar bilan biroz suhbatlashdim. Men konferentsiyada yoritilgan mavzular haqida gapirib, ushbu bo'limlarni ko'rib chiqmoqchiman.
Devops va Backend bo'limlarida SKB-Kontur, DataArt, Evil Martians, Ekaterinburg veb-studiyasi Flag, Miro (RealTimeBoard) vakillari so'zga chiqdilar. Mavzular CI/CD, navbat xizmatlari bilan ishlash, jurnalga yozish; Serversiz mavzular va Go'da PostgreSQL bilan ishlash yaxshi yoritilgan.
Avito, Tinkoff, Yandex, Jetstyle, Megafon, Ak Bars Bank tomonidan ham hisobotlar bor edi, lekin men ularga jismoniy tashrif buyurishga vaqtim yo'q edi (video yozuvlar va hisobotlarning slaydlari hali mavjud emas, ular ularni 2 hafta ichida joylashtirishga va'da berishadi. dump-ekb.ru saytida).
Devops bo'limi
Ajablanarlisi shu ediki, bo'lim eng kichik zalda, taxminan 50 o'rinli bo'lgan. Odamlar hatto yo'laklarda turishardi :) Men tinglashga muvaffaq bo'lgan hisobotlar haqida aytib beraman.
Petabayt og'irlikdagi elastik
Bo'lim Vladimir Lilning (SKB-Kontur) Konturdagi Elasticsearch haqidagi ma'ruzasi bilan boshlandi. Ular juda katta va yuklangan Elastikga ega (~800 TB ma'lumot, ortiqchalikni hisobga olgan holda ~ 1.3 petabayt). Barcha Kontur xizmatlari uchun Elasticsearch yagona boʻlib, 2 ta klasterdan (7 va 9 ta serverdan) iborat va shu qadar muhimki, Kontur maxsus Elasticsearch muhandisiga ega (aslida Vladimirning oʻzi).
Vladimir, shuningdek, Elasticsearch-ning afzalliklari va u keltiradigan muammolar haqida o'z fikrlari bilan o'rtoqlashdi.
Foyda:
- Barcha jurnallar bir joyda, ularga oson kirish
- Jurnallarni bir yil davomida saqlash va ularni osongina tahlil qilish
- Jurnallar bilan ishlashning yuqori tezligi
- Qutidan tashqarida ajoyib ma'lumotlarni vizualizatsiya qilish
Muammolar:
- xabar brokeri bo'lishi kerak (Kontur uchun uning rolini Kafka o'ynaydi)
- Elasticsearch Curator bilan ishlash xususiyatlari (Curator-dagi muntazam vazifalardan vaqti-vaqti bilan yaratilgan yuqori yuk)
- o'rnatilgan avtorizatsiya yo'q (faqat alohida, juda katta pul uchun yoki ishlab chiqarishga turli darajadagi ochiq kodli plaginlar uchun)
Elasticsearch uchun Open Distro haqida faqat ijobiy sharhlar bor edi :) Xuddi shu avtorizatsiya masalasi u erda hal qilindi.
Petabayt qayerdan keladi?Ularning tugunlari 12*8 Tb SATA + 2*2 Tb SSDli serverlardan iborat. SATA-da sovuq saqlash, faqat issiq kesh uchun SSD (issiq saqlash).
7+9 serverlar, (7 + 9) * 12 * 8 = 1536 Tb.
Bo'sh joyning bir qismi zaxirada, ortiqcha uchun ajratilgan va hokazo.
90 ga yaqin ilovalarning jurnallari Elasticsearch-ga yuboriladi, shu jumladan Kontur, Elba va boshqalarning barcha hisobot xizmatlari.
Serverless-da rivojlanish xususiyatlari
Keyingi - DataArt-dan Ruslan Serkinning Serversiz haqidagi hisoboti.
Ruslan umuman Serversiz yondashuv bilan ishlanma nima va uning qanday xususiyatlari borligi haqida gapirdi.
Serversiz - bu ishlab chiquvchilar hech qanday tarzda infratuzilmaga tegmaydigan rivojlanishga yondashuv. Misol - AWS Lambda Serverless, Kubeless.io (Kubernetes ichida serversiz), Google Cloud Functions.
Ideal Serversiz ilova oddiygina maxsus API shlyuzi orqali Serversiz provayderga so'rov yuboradigan funksiyadir. Ideal mikroservis, AWS Lambda ko'plab zamonaviy dasturlash tillarini ham qo'llab-quvvatlaydi. Bulutli provayderlar uchun infratuzilmani saqlash va joylashtirish qiymati nolga teng bo'ladi, kichik ilovalarni qo'llab-quvvatlash ham juda arzon bo'ladi (AWS Lambda - $ 0.2 / 1 million oddiy so'rov).
Bunday tizimning miqyosi deyarli ideal - bulutli provayder buni o'zi hal qiladi, Kubeless Kubernetes klasterida avtomatik ravishda o'lchaydi.
Kamchiliklari bor:
- katta ilovalarni ishlab chiqish yanada qiyinlashmoqda
- ilovalarni profillashda qiyinchiliklar mavjud (siz faqat jurnallarga kirishingiz mumkin, lekin odatiy ma'noda profillashtirmaysiz)
- versiya yo'q
Rostini aytsam, men bir necha yil oldin Serverless haqida eshitganman, lekin bu yillar davomida uni qanday qilib to'g'ri ishlatish menga tushunarsiz edi. Ruslanning ma'ruzasidan so'ng, tushunish paydo bo'ldi va Nikolay Sverchkovning (Yovuz marsliklar) "Backend" bo'limidagi hisobotidan so'ng, u birlashtirildi. Konferentsiyaga bejiz borganim yo'q :)
CI kambag'allar uchunmi yoki veb-studiya uchun shaxsiy CI yozishga arziydimi?
Yekaterinburgdagi Flag veb-studiyasining rahbari Mixail Radionov o'z-o'zidan yozilgan CI/CD haqida gapirdi.
Uning studiyasi "qo'lda CI/CD" dan (SSH orqali serverga kiring, git pullni bajaring, kuniga 100 marta takrorlang) Jenkinsga va kodni kuzatish va Pullkins deb nomlangan relizlarni bajarish imkonini beruvchi o'z-o'zidan yozilgan vositaga o'tdi. .
Nega Jenkins ishlamadi? U sukut boʻyicha yetarlicha moslashuvchanlikni taʼminlamadi va uni sozlash juda qiyin edi.
"Bayroq" Laravelda (PHP framework) ishlab chiqiladi. CI/CD serverini ishlab chiqishda Mixail va uning hamkasblari Laravelning Teleskop va Elchi deb nomlangan o'rnatilgan mexanizmlaridan foydalanganlar. Natijada kiruvchi webhook so'rovlarini qayta ishlovchi, frontend va backend yaratish, turli serverlarga joylashtirish va Slack-ga hisobot berish mumkin bo'lgan PHP serveri (iltimos, diqqat qiling).
Keyin, ko'k/yashil joylashtirishni amalga oshirish va dev-stage-prod muhitlarida yagona sozlamalarga ega bo'lish uchun ular Docker-ga o'tdilar. Afzalliklar bir xil bo'lib qoldi, atrof-muhitni homogenlashtirish va muammosiz joylashtirish imkoniyatlari qo'shildi va Docker bilan to'g'ri ishlashni o'rganish zarurati qo'shildi.
Qanday qilib biz server relizlarini qaytarish sonini 99% ga kamaytirdik
Devops bo'limidagi so'nggi hisobot Miro.com (sobiq RealTimeBoard) da ishlab chiqarish bo'yicha yetakchi muhandis Viktor Eremchenkodan edi.
Miro jamoasining flagman mahsuloti RealTimeBoard monolit Java ilovasiga asoslangan. Uni to'xtatmasdan to'plash, sinovdan o'tkazish va joylashtirish qiyin ishdir. Bunday holda, kodning bunday versiyasini orqaga qaytarish kerak bo'lmasligi uchun joylashtirish muhimdir (bu og'ir monolit).
Buni amalga oshirishga imkon beradigan tizimni yaratish yo'lida Miro arxitektura, ishlatiladigan asboblar (Atlassian Bamboo, Ansible va boshqalar) ustida ishlash va jamoalar tuzilishi ustida ishlashni o'z ichiga olgan yo'lni bosib o'tdi (hozir ular bor. bag'ishlangan Devops jamoasi + turli profillarni ishlab chiquvchilardan ko'plab alohida Scrum jamoalari).
Yo'l qiyin va tikonli bo'lib chiqdi va Viktor to'plangan og'riq va nekbinlikni baham ko'rdi, bu bilan tugamaydi.
Savol berish uchun kitob yutib oldi
Orqa tomon bo'limi
Men ikkita reportajda qatnashishga muvaffaq bo'ldim - Nikolay Sverchkovdan (Yovuz marsliklar), shuningdek, Serverless haqida va Grigoriy Koshelevdan (Kontur kompaniyasi) telemetriya haqida.
Oddiy odamlar uchun serversiz
Agar Ruslan Sirkin Serverless nima ekanligi haqida gapirgan bo'lsa, Nikolay Serverless yordamida oddiy ilovalarni ko'rsatdi va AWS Lambda'dagi ilovalarning narxi va tezligiga ta'sir qiluvchi tafsilotlar haqida gapirdi.
Qiziqarli tafsilot: minimal pullik element - 128 Mb xotira va 100 ms protsessor, uning narxi $0,000000208. Bundan tashqari, oyiga 1 million bunday so'rovlar bepul.
Nikolayning ba'zi funktsiyalari ko'pincha 100 ms chegarasidan oshib ketdi (asosiy dastur Ruby-da yozilgan), shuning uchun ularni Go-da qayta yozish juda yaxshi tejash imkonini berdi.
Vostok Gerkules - telemetriyani yana ajoyib qiling!
Grigoriy Koshelevdan (Kontur kompaniyasi) telemetriya haqida Backend bo'limining so'nggi hisoboti. Telemetriya jurnallar, o'lchovlar, dastur izlarini anglatadi.
Shu maqsadda Contour Github-da joylashtirilgan o'z-o'zidan yoziladigan vositalardan foydalanadi. Hisobotdan vosita - Gerkules, , telemetriya ma'lumotlarini yetkazib berish uchun ishlatiladi.
Vladimir Lilaning Devops bo'limidagi ma'ruzasi Elasticsearch-da jurnallarni saqlash va qayta ishlashni muhokama qildi, ammo minglab qurilmalar va ilovalardan jurnallarni etkazib berish vazifasi hali ham mavjud va Vostok Hercules kabi vositalar ularni hal qiladi.
Sxema ko'pchilikka ma'lum bo'lgan yo'ldan bordi - RabbitMQ dan Apache Kafkagacha, lekin hamma narsa unchalik oddiy emas)) Ular sxemaga Zookeeper, Cassandra va Graphite qo'shishlari kerak edi. Men ushbu hisobotdagi ma'lumotlarni to'liq oshkor qilmayman (mening profilim emas), agar sizni qiziqtirsa, konferentsiya veb-saytida slaydlar va videolarni kutishingiz mumkin.
Boshqa konferentsiyalar bilan solishtirganda qanday?
Men uni Moskva va Sankt-Peterburgdagi konferentsiyalar bilan taqqoslay olmayman, uni Uralsdagi boshqa tadbirlar va Samaradagi 404fest bilan solishtirishim mumkin.
DAMP 8 bo'limda o'tkaziladi, bu Ural konferentsiyalari uchun rekorddir. Fan va boshqaruv bo'limlari juda katta, bu ham g'ayrioddiy. Ekaterinburgdagi tomoshabinlar juda tuzilgan - shaharda Yandex, Kontur, Tinkoff uchun yirik rivojlanish bo'limlari mavjud va bu hisobotlarda o'z izini qoldiradi.
Yana bir qiziq jihat shundaki, ko'pgina kompaniyalar konferentsiyada bir vaqtning o'zida 3-4 ta ma'ruzachilarga ega (bu Kontur, Evil Martians, Tinkoff bilan bo'lgan). Ularning ko'pchiligi homiylar edi, ammo hisobotlar boshqalar bilan bir xil, bu reklama hisobotlari emas.
Ketish yoki bormaslik? Agar siz Uralsda yoki yaqin atrofda yashasangiz, sizda imkoniyat bor va mavzularga qiziqasiz - ha, albatta. Agar siz uzoq safar haqida o'ylayotgan bo'lsangiz, men o'tgan yillardagi hisobotlar va video hisobotlar mavzularini ko'rib chiqaman va qaror qabul qildi.
Hududlarda o'tkaziladigan konferentsiyalarning yana bir afzalligi, qoida tariqasida, ma'ruzachilar bilan ma'ruzalardan so'ng muloqot qilish oson, bunday muloqotga ariza beruvchilar kamroq.
Dump va Ekaterinburgga rahmat! )
Manba: www.habr.com