DUMP konferencija | grep ‘backend|devops’

Prošli tjedan sam posjetio IT konferenciju DUMP (https://dump-ekb.ru/) u Ekaterinburgu i želim podijeliti o čemu se govorilo u sekcijama Backend i Devops, te vrijede li regionalne IT konferencije pažnje.

DUMP konferencija | grep ‘backend|devops’
Nikola Sverchkov iz Evil Martians o Serverless

Što se tamo uopće događalo?

Na konferenciji je ukupno bilo 8 sekcija: Backend, Frontend, Mobile, Testiranje i QA, Devops, Dizajn, Nauka i Menadžment.

Najveće dvorane su, usput, bile u sekcijama Nauka i Menadžment, svaka za ~350 ljudi. Backend i Frontend su malo manji. Dvorana Devops bila je najmanja, ali vrlo aktivna.

Slušao sam izlaganja u sekcijama Devops i Backend i malo razgovarao s predavačima. Želim podijeliti o temama koje su bile obrađene i dati pregled ovih sekcija na konferenciji.

U sekcijama Devops i Backend govorili su predstavnici SKB-Kontur, DataArt, Evil Martians, ekaterinburške web-studije Flag, Miro (RealTimeBoard). Tematski su se bavili CI/CD-om, radom s uslugama reda, logiranjem, a dobro su obradili teme Serverless i rad s PostgreSQL u Go.

Također su bila izlaganja Avita, Tinkoffa, Yandexa, Jetstylea, Megafona, banke Ak Bars, ali fizički nisam uspio prisustvovati (video snimke i slajdovi izlaganja još nisu dostupni, obećali su ih objaviti unutar 2 tjedna na dump-ekb.ru).

Sekcija Devops

Ono što je iznenadilo — sekcija se održavala u najmanjoj dvorani, otprilike 50 mjesta. Ljudi su čak stajali i u prolazima 🙂 Ispričat ću o izlaganjima koja sam uspio poslušati.

Elastična težina u petabajtima

Sekciju je otvorio Vladimir Lilo (SKB-Kontur) sa izlaganjem o Elasticsearchu u Konturu. Imaju prilično veliki i opterećeni Elasticsearch (~800 TB podataka, ~1.3 petabajta računajući redundanciju). Elasticsearch za sve usluge Kontura je jedinstven, sastoji se od 2 klastera (od 7 i 9 servera), i toliko je važan da u Konturu postoji poseban inženjer za Elasticsearch (u stvari, sam Vladimir).

Vladimir je također podijelio misli o koristima Elasticsearcha i problemima koje on donosi.

Koristi:

  • Sve logove na jednom mjestu, jednostavan pristup njima
  • Pohrana logova tijekom godine i njihova jednostavna analiza
  • Visoka brzina rada s logovima
  • Izvrsna vizualizacija podataka 'iz kutije'

Problemi:

  • posrednik poruka — must-have (u Konturu, tu ulogu ima Kafka)
  • karakteristike rada s Elasticsearch Curator (povremeno stvorena visoka opterećenja od redovitih zadataka u Curatoru)
  • nema ugrađene autorizacije (samo za dodatne, prilično velike novce, ili kao open-source dodaci različitih razina spremnosti za produkciju)

O Open Distro for Elasticsearchu nismo čuli ništa osim pozitivnih komentara 🙂 Isti problem s autentifikacijom je riješen.

Odakle petabajt?Njihovi čvorovi se sastoje od servera s 12*8 Tb SATA + 2*2 Tb SSD. Hladno spremište na SATA, SSD isključivo za vrući keš (hot storage).
7+9 servera, (7 + 9) * 12 * 8 = 1536 Tb.
Dio prostora je rezervisan, predviđen je za redundanciju itd.
U Elasticsearch se šalje logovi oko 90 aplikacija, uključujući sve usluge izvještavanja Konte i Elbe itd.

Značajke razvoja na Serverless

Sljedeće je predstavljanje Ruslana Serkina iz DataArta o Serverless.

Ruslan je govorio o tome što je zapravo razvoj u Serverless pristupu i koje su njegove karakteristike.

Serverless je pristup razvoju gdje programeri nisu u kontaktu s infrastrukturom. Primjer — AWS Lambda Serverless, Kubeless.io (Serverless unutar Kubernetes-a), Google Cloud Functions.

Idealna Serverless aplikacija je jednostavna funkcija koja šalje zahtjev Serverless pružatelju putem specijalnog API Gateway-a. To je savršen mikroservis, a istovremeno se u AWS Lambda podržava veliki broj modernih programskih jezika. Troškovi podrške i postavljanja infrastrukture postaju nulti u slučaju cloud pružatelja, podrška malih aplikacija također će biti vrlo jeftina (AWS Lambda — 0.2$ / 1 milijun jednostavnih zahtjeva).

Skalabilnost takvog sistema je praktički savršena — cloud pružatelj se brine o tome sam.

Postoje nedostaci:

  • razvoj velikih aplikacija postaje složeniji
  • ima problema s profiliranjem aplikacija (imati ćete samo logove, ali ne i profiliranje u uobičajenom smislu)
  • nema verzioniranja

Iskreno, sa Serverless-om sam prvi put čuo prije nekoliko godina, ali sve te godine nisam znao kako ga pravilno primeniti. Nakon Ruslanovog izlaganja sam stekao razumevanje, a nakon izlaganja Nikolaja Sverčkova (Evil Martians) iz Backend sekcije se to razumijevanje učvrstilo. Nije bilo uzalud što sam otišao na konferenciju 🙂

CI za siromašne, ili da li je potrebno pisati vlastiti CI za web studio

Mikhail Radionov, vođa web studija Flag iz Jekaterinburga, govorio je o vlastitom CI/CD.

Njegov studio prošao je put od 'ručnog CI/CD' (prijava na server putem SSH, git pull, ponoviti 100 puta dnevno) do Jenkins-a i vlastitog alata koji omogućava kontrolu koda i izvođenje izdanja pod nazivom Pullkins.

Zašto Jenkins nije zadovoljio? Nije pružao dovoljno fleksibilnosti prema zadanim postavkama i bio je prekompliciran za prilagodbu.

“Flag” se razvija na Laravelu (PHP okvir). Tijekom razvoja CI/CD poslužitelja, Mihail i njegovi kolege iskoristili su ugrađene mehanizme Laravela pod nazivom Telescope i Envoy. Kao rezultat toga, nastao je server na PHP-u (primijetite to), koji obrađuje dolazne webhook zahtjeve, može izvršavati gradnju frontend-a, backend-a, implementirati na različite poslužitelje i izvještavati u Slack.

Nadalje, kako bi omogućili blue/green implementaciju, imali jedinstvene postavke u dev-stage-prod okruženjima, prešli su na Docker. Prednosti su ostale iste, dodane su mogućnosti homogenizacije okruženja i neprimjetne implementacije, a pojavila se i potreba za učenjem Dockera za pravilno radu s njim.

Projekt je dostupan na Githubu.

Kako smo smanjili broj povrataka poslužiteljskih izdanja za 99%

Zadnje izlaganje u DevOps sekciji dao je Viktor Jeremčenko, vodeći DevOps inženjer u Miro.com (bivši RealTimeBoard).

Osnova RealTimeBoard-a, glavnog proizvoda tima Miro, je monolitna aplikacija na Javi. Prikupiti, testirati i implementirati je bez zastoja — težak zadatak. Pri tome je važno izvršiti implementaciju takve verzije koda da je ne treba vraćati (težak monolit).

Na putu do uspostavljanja sustava koji to omogućuje, Miro je prošao kroz put koji uključuje rad na arhitekturi, korištenim alatima (Atlassian Bamboo, Ansible, itd.), i rad na formiranju timova (trenutno imaju odvojeni DevOps tim + mnogo zasebnih Scrum timova koji se sastoje od programera različitih profila).

Put se pokazao teškim i trnovitim, a Viktor je podijelio akumuliranu bol i neizgubljeni optimizam.

DUMP konferencija | grep ‘backend|devops’
Osvojio sam knjigu za pitanja.

Backend sekcija

Uspeo sam na 2 izlaganja — od Nikolaja Sverčkova (Evil Martians), također o Serverlessu, i od Grigorija Košeleva (kompanija Kontur) o telemetriji.

Serverless za obične smrtnike.

Ako je Ruslan Sirkin govorio o tome što je Serverless, Nikolaj je pokazao jednostavne aplikacije koristeći Serverless i ispričao o detaljima koji utječu na cijenu i brzinu rada aplikacija u AWS Lambdi.

Zanimljiva pojedinost: minimalna naplaćena jedinica — 128 Mb memorije i 100 ms CPU, košta 0,000000208$. Uz to, 1 milijun takvih zahtjeva mjesečno je besplatan.

Neke funkcije kod Nikolaja često su prelazile limit od 100 ms (glavna aplikacija bila je napisana u Rubyju), stoga je prepisivanje na Go donijelo značajnu uštedu.

Vostok Hercules — ponovo postanite veliki u telemetriji!

Zadnje izlaganje Backend sekcije od Grigorija Košeleva (tvrtka Kontur) o telemetriji. Telemetrija uključuje logove, metrike, i tragove aplikacija.

Kontur koristi vlastite alate napisane od nule, dostupne na Githubu. Alat iz izlaganja — Hercules, github.com/vostok/hercules, koristi se za dostavu podataka telemetrije.

U izlaganju Vladimira Lile u sekciji DevOps raspravljalo se o pohrani i obradi logova u Elasticsearchu, ali postoji još zadatak isporuke logova s tisuća uređaja i aplikacija, što se rješava alatima poput Vostok Herculesa.

Kontur je prošao poznati put — od RabbitMQ do Apache Kafke, ali nije sve tako jednostavno )) Morali su dodati Zookeeper, Cassandru i Graphite u shemu. Informacije o ovom izlaganju neću u potpunosti otkriti (nije moja specijalnost), ako ste zainteresirani — možete čekati slajdove i video na stranici konferencije.

Kako se uspoređuje s drugim konferencijama?

Ne mogu usporediti s konferencijama u Moskvi i Sankt Peterburgu, mogu usporediti s drugim događanjima na Uralu i s 404festa u Samari.

DAMP se odvija u 8 sekcija, što je rekord za uralske konferencije. Veće sekcije su Science i Menadžment, što također nije uobičajeno. Publika u Jekaterinburgu je dovoljno strukturirana — u gradu postoje veliki razvojni odjeli Yandexa, Kontura, Tinkoffa, što utječe i na izlaganja.

Još jedna zanimljiva stvar — mnoge tvrtke imaju po 3-4 izlagatelja na konferenciji (tako je bilo s Konturom, Evil Martians, Tinkoffom). Mnogi od njih su bili sponzori, ali su izlaganja bila na razini s drugim, nisu bila reklamna.

Ići ili ne? Ako živite na Uralu ili u blizini, imate mogućnost i zanimljive teme — da, naravno. Ako razmišljate o daljnjem putovanju — ja bih pogledao teme izlaganja i video iz prošlih godina. www.youtube.com/user/videoitpeople/videos i donio odluku.
Još jedna prednost konferencija u regijama je u tome što je obično lako razgovarati sa govornikom nakon izlaganja, jednostavno je manje kandidata za takvo druženje.

DUMP konferencija | grep ‘backend|devops’

Hvala DAMP-u i Jekaterinburgu! )

Izvor: habr.com

Kupite pouzdan hosting za web stranice s DDoS zaštitom, VPS VDS servere 🔥 Kupite pouzdan hosting za web stranice s DDoS zaštitom, VPS VDS servere | ProHoster