Keçən həftə Yekaterinburqda keçirilən DUMP IT konfransına (https://dump-ekb.ru/) getdim və sizə Backend və Devops bölmələrində nələrin müzakirə edildiyini və regional İT konfranslarının diqqətə layiq olub-olmadığını demək istəyirəm.
Evil Martians-dan Nikolay Sverchkov Serverless haqqında
Onsuz da nə var idi?
Ümumilikdə konfrans 8 bölmədən ibarət idi: Backend, Frontend, Mobile, Testing and QA, Devops, Design, Science and Management.
Ən böyük zallar, yeri gəlmişkən, Elm və İdarəetmədədir)) Hər biri ~350 nəfər üçün. Backend və Frontend daha kiçik deyil. Devops otağı ən kiçik, lakin aktiv idi.
Devops və Backend bölmələrində hesabatları dinlədim və məruzəçilərlə bir az söhbət etdim. Konfransda əhatə olunan mövzular haqqında danışmaq və bu bölmələri nəzərdən keçirmək istərdim.
Devops və Backend bölmələrində SKB-Kontur, DataArt, Evil Martians, Ekaterinburq veb-studiyasının Flag, Miro (RealTimeBoard) nümayəndələri çıxış ediblər. Mövzular CI/CD, növbə xidmətləri ilə işləmə, giriş; Serversiz mövzular və Go-da PostgreSQL ilə işləmək yaxşı işıqlandırıldı.
Avito, Tinkoff, Yandex, Jetstyle, Megafon, Ak Bars Bank tərəfindən də hesabatlar var idi, lakin fiziki olaraq onlara qatılmağa vaxtım olmadı (hesabatların video yazıları və slaydları hələ mövcud deyil, 2 həftə ərzində onları yerləşdirməyə söz verirlər. dump-ekb.ru saytında).
Devops bölməsi
Təəccüblü olan o idi ki, bölmə ən kiçik, təxminən 50 yerlik zalda keçirilirdi. İnsanlar hətta koridorlarda dayanırdılar :) Dinləyə bildiyim reportajları sizə danışacağam.
Bir petabayt ağırlığında elastik
Bölmə Vladimir Lilin (SKB-Kontur) Konturda Elasticsearch haqqında məruzəsi ilə başladı. Onlar kifayət qədər böyük və yüklənmiş Elastikə malikdirlər (~800 TB məlumat, ehtiyat nəzərə alınmaqla ~1.3 petabayt). Bütün Kontur xidmətləri üçün Elasticsearch təkdir, 2 klasterdən (7 və 9 serverdən) ibarətdir və o qədər vacibdir ki, Konturun xüsusi Elasticsearch mühəndisi var (əslində Vladimir özü).
Vladimir Elasticsearch-in faydaları və gətirdiyi problemlər haqqında da fikirlərini bölüşdü.
Faydaları:
- Bütün qeydlər bir yerdədir, onlara asanlıqla daxil olmaq
- Günlükləri bir il saxlamaq və onları asanlıqla təhlil etmək
- Günlüklərlə işləməyin yüksək sürəti
- Qutudan sərin məlumat vizualizasiyası
Problemlər bunlardır:
- mesaj brokeri olmalıdır (Kontur üçün onun rolunu Kafka oynayır)
- Elasticsearch Curator ilə işləmək xüsusiyyətləri (Curator-da müntəzəm tapşırıqlardan vaxtaşırı yaradılmış yüksək yük)
- daxili icazə yoxdur (yalnız ayrıca, kifayət qədər böyük pullar üçün və ya istehsal üçün müxtəlif səviyyələrdə açıq mənbə plaginləri kimi)
Elasticsearch üçün Open Distro haqqında yalnız müsbət rəylər var idi :) Eyni avtorizasiya məsələsi orada həll edildi.
Petabayt haradan gəlir?Onların qovşaqları 12*8 Tb SATA + 2*2 Tb SSD olan serverlərdən ibarətdir. SATA-da soyuq saxlama, yalnız isti keş (isti saxlama) üçün SSD.
7+9 serverlər, (7 + 9) * 12 * 8 = 1536 Tb.
Məkanın bir hissəsi ehtiyatdadır, artıqlıq üçün ayrılır və s.
Kontur, Elba və s.-nin bütün hesabat xidmətləri daxil olmaqla, 90-a yaxın tətbiqdən olan qeydlər Elasticsearch-ə göndərilir.
Serverless-də inkişaf xüsusiyyətləri
Sonra DataArt-dan Ruslan Serkinin Serverless haqqında hesabatıdır.
Ruslan ümumiyyətlə Serversiz yanaşma ilə inkişafın nə olduğunu və onun xüsusiyyətlərinin nə olduğunu danışdı.
Serversiz, inkişaf etdiricilərin heç bir şəkildə infrastruktura toxunmadığı bir inkişaf yanaşmasıdır. Nümunə - AWS Lambda Serverless, Kubeless.io (Kubernetes daxilində serversiz), Google Bulud Funksiyaları.
İdeal Serversiz proqram sadəcə xüsusi API Gateway vasitəsilə Serversiz provayderə sorğu göndərən funksiyadır. İdeal mikroservis, AWS Lambda da çoxlu sayda müasir proqramlaşdırma dillərini dəstəkləyir. Bulud provayderləri vəziyyətində infrastrukturun saxlanması və yerləşdirilməsinin dəyəri sıfıra enir, kiçik proqramları dəstəkləmək də çox ucuz olacaq (AWS Lambda - $0.2 / 1 milyon sadə sorğu).
Belə bir sistemin miqyası demək olar ki, idealdır - bulud provayderi bununla özü məşğul olur, Kubeless Kubernetes klasterində avtomatik olaraq miqyaslanır.
Mənfi cəhətləri var:
- böyük proqramların hazırlanması daha da çətinləşir
- proqramların profilləşdirilməsində çətinlik var (yalnız qeydlər sizin üçün mövcuddur, lakin adi mənada profil yaratmır)
- versiya yoxdur
Düzünü desəm, Serverless haqqında bir neçə il əvvəl eşitmişdim, lakin bütün bu illər ərzində ondan necə düzgün istifadə edəcəyim mənə aydın deyildi. Ruslanın məruzəsindən sonra anlayış yarandı və Nikolay Sverçkovun (Şər Marslılar) Backend bölməsindən məruzəsindən sonra birləşdi. Konfransa getməyim əbəs deyildi :)
CI yoxsullar üçündür, yoxsa veb studiyası üçün öz CI yazmağa dəyərmi?
Yekaterinburqdan olan “Flag” veb-studiyasının rəhbəri Mixail Radionov özünün yazdığı CI/CD haqqında danışıb.
Onun studiyası “əllə CI/CD”dən (SSH vasitəsilə serverə daxil olun, git pull edin, gündə 100 dəfə təkrarlayın) Jenkins-ə və kodu izləməyə və Pullkins adlı buraxılışları yerinə yetirməyə imkan verən öz-özünə yazılmış alətə keçdi. .
Jenkins niyə işləmədi? Defolt olaraq kifayət qədər çeviklik təmin etmədi və fərdiləşdirmək çox çətin idi.
“Bayraq” Laraveldə (PHP çərçivəsi) inkişaf edir. CI/CD serverini hazırlayarkən Mixail və onun həmkarları Laravelin Teleskop və Elçi adlı daxili mexanizmlərindən istifadə etdilər. Nəticə, daxil olan webhook sorğularını emal edən, frontend və backend qura, müxtəlif serverlərə yerləşdirə və Slack-ə hesabat verə bilən PHP-də serverdir (qeyd edin).
Sonra, mavi/yaşıl yerləşdirməni həyata keçirmək və dev-stage-prod mühitlərində vahid parametrlərə sahib olmaq üçün Docker-ə keçdilər. Üstünlüklər eyni qaldı, ətraf mühitin homojenləşdirilməsi və qüsursuz yerləşdirmə imkanları əlavə edildi və onunla düzgün işləmək üçün Docker-i öyrənmək ehtiyacı əlavə edildi.
Server buraxılışlarının geri qaytarılma sayını 99% necə azaltdıq
Devops bölməsindəki son hesabat Miro.com-da (keçmiş RealTimeBoard) aparıcı devops mühəndisi Viktor Eremçenkodan idi.
Miro komandasının qabaqcıl məhsulu olan RealTimeBoard monolit Java proqramına əsaslanır. Onun yığılması, sınaqdan keçirilməsi və fasiləsiz yerləşdirilməsi çətin işdir. Bu vəziyyətdə kodun belə bir versiyasını yerləşdirmək vacibdir ki, onu geri qaytarmaq lazım deyil (bu, ağır monolitdir).
Bunu etməyə imkan verən bir sistem qurmaq yolunda Miro, memarlıq üzərində işləmək, istifadə olunan alətlər (Atlassian Bamboo, Ansible və s.) və komandaların strukturu üzərində işləmək (indi onlar var xüsusi Devops komandası + müxtəlif profillərin tərtibatçılarından bir çox ayrı Scrum komandaları).
Yol çətin və tikanlı oldu və Viktor yığılan ağrı və nikbinliyi bölüşdü, bununla da bitmədi.
Suallara görə kitab qazandı
Backend bölməsi
Mən 2 reportajda iştirak edə bildim - Nikolay Sverçkovdan (Şər Marslılar), həmçinin Serverless haqqında və Qriqori Koşelevdən (Kontur şirkəti) telemetriya haqqında.
Sadəcə fanilər üçün serversizdir
Ruslan Sirkin Serverless-in nə olduğu haqqında danışdısa, Nikolay Serverless-dən istifadə edərək sadə proqramları göstərdi və AWS Lambda-da tətbiqlərin qiymətinə və sürətinə təsir edən detallardan danışdı.
Maraqlı bir detal: minimum ödənişli element 128 Mb yaddaş və 100 ms CPU-dur, onun qiyməti $0,000000208 təşkil edir. Üstəlik, ayda 1 milyon belə sorğu pulsuzdur.
Nikolayın bəzi funksiyaları tez-tez 100 ms həddini aşırdı (əsas proqram Ruby-də yazılmışdır), ona görə də onları Go-da yenidən yazmaq əla qənaət təmin etdi.
Vostok Hercules - telemetriyanı yenidən möhtəşəm edin!
Telemetriya haqqında Qriqori Koşelevdən (Kontur şirkəti) Backend bölməsinin son hesabatı. Telemetriya loglar, ölçülər, tətbiq izləri deməkdir.
Bu məqsədlə Contour Github-da yerləşdirilən öz-özünə yazılmış vasitələrdən istifadə edir. Hesabatdan alət - Hercules, , telemetriya məlumatlarını çatdırmaq üçün istifadə olunur.
Vladimir Lilanın Devops bölməsindəki hesabatı Elasticsearch-də qeydlərin saxlanması və işlənməsini müzakirə etdi, lakin hələ də minlərlə cihaz və proqramdan qeydləri çatdırmaq vəzifəsi var və Vostok Hercules kimi alətlər onları həll edir.
Sxem çoxlarına məlum olan yolla getdi - RabbitMQ-dan Apache Kafkaya qədər, amma hər şey o qədər də sadə deyil)) Onlar dövrəyə Zookeeper, Cassandra və Graphite əlavə etməli oldular. Bu hesabatdakı məlumatları tam açıqlamayacam (profilimi yox), əgər maraqlanırsınızsa, konfransın saytında slayd və videoları gözləyə bilərsiniz.
Digər konfranslarla müqayisədə necədir?
Mən bunu Moskva və Sankt-Peterburqdakı konfranslarla müqayisə edə bilmərəm, Uraldakı digər tədbirlərlə və Samaradakı 404fest ilə müqayisə edə bilərəm.
DAMP 8 bölmədə keçirilir, bu Ural konfransları üçün rekorddur. Çox böyük Elm və İdarəetmə bölmələri, bu da qeyri-adidir. Yekaterinburqdakı tamaşaçılar kifayət qədər strukturlaşdırılmışdır - şəhərdə Yandex, Kontur, Tinkoff üçün böyük inkişaf şöbələri var və bu, hesabatlarda öz izini buraxır.
Digər maraqlı məqam isə odur ki, bir çox şirkətlərin konfransda eyni anda 3-4 məruzəçi var (bu Kontur, Evil Martians, Tinkoff-da belə idi). Onların bir çoxu sponsor idi, lakin hesabatlar digərləri ilə kifayət qədər bərabərdir, bunlar reklam hesabatları deyil.
Getmək yoxsa getməmək? Uralsda və ya yaxınlıqda yaşayırsınızsa, imkanınız var və mövzularla maraqlanırsınız - bəli, əlbəttə. Əgər uzun səfər haqqında düşünürsünüzsə, mən əvvəlki illərdən reportajlar və video reportajların mövzularına baxardım və qərar verdi.
Regionlarda keçirilən konfransların digər üstünlüyü, bir qayda olaraq, məruzələrdən sonra məruzəçi ilə ünsiyyətin asan olmasıdır, sadəcə olaraq, belə ünsiyyət üçün müraciət edənlərin sayı azdır.
Dump və Ekaterinburqa təşəkkürlər! )
Mənbə: www.habr.com