DUMP konferencija | grep ā€˜backend|devops’

ProŔle nedelje sam otiŔao na IT konferenciju DUMP (https://dump-ekb.ru/) u Jekaterinburgu i želim da podelim o čemu se govorilo u sekcijama Backend i Devops, kao i da li regionalne IT konferencije zaslužuju pažnju.

DUMP konferencija | grep ā€˜backend|devops’
Nikolaj Sverčkov iz Evil Martians o Serverless

Šta se zapravo događalo?

Na konferenciji je bilo ukupno 8 sekcija: Backend, Frontend, Mobile, Testiranje i QA, Devops, Design, Science i Management.

Najveće sale su, inače, bile u sekcijama Science i Management, svaka prilikom ~350 ljudi. Backend i Frontend nisu mnogo manje. Sala Devops je bila najmanja, ali veoma aktivna.

SluÅ”ao sam izlaganja u sekcijama Devops i Backend i malo razgovarao sa izlagačima. Želim da podelim teme koje su bile obrađene i napravim pregled ovih sekcija na konferenciji.

U sekcijama Devops i Backend su nastupili predstavnici SKB-Kontur, DataArt, Evil Martians, ekaterinburÅ”ke web-studije Flag, Miro (RealTimeBoard). Teme su se odnosile na CI/CD, rad sa servisima za redove, logovanje, a dobro su obrađene i teme Serverless i rad sa PostgreSQL u Go.

Takođe su bila izlaganja iz Avita, Tinkoff, Yandex, Jetstyle, Megafon, banke Ak Bars, ali ih nisam mogao fizički prisustvovati (snimci i slajdovi izlaganja joÅ” nisu dostupni, obećavaju da će ih objaviti u roku od 2 nedelje na dump-ekb.ru).

Devops sekcija

Å to je iznenadilo — sekcija se održavala u najmanjoj sali, sa oko 50 mesta. Ljudi su stajali čak i u prolazima šŸ™‚ Pripremam se da podelim o izlaganjima koja sam uspeo da čujem.

Elastična pohrana težine petabajt

Sekcija je počela izlaganjem Vladimira Lila (SKB-Kontur) o Elasticsearch-u u Konturu. Imaju prilično veliki i opterećeni Elastic (~800 Tb podataka, ~1.3 petabajt s obzirom na redundantnost). Elasticsearch za sve servise Kontura je jedinstven, sastoji se od 2 klastera (od 7 i 9 servera), i toliko je važan da u Konturu postoji poseban Elasticsearch inženjer (sama Vladimir).

Vladimir je takođe podelio misli o koristima Elasticsearch-a i problemima koje donosi.

Koristi:

  • Svi logovi na jednom mestu, lak pristup njima
  • Čuvanje logova tokom godine i njihov lak analizu
  • Visoka brzina rada sa logovima
  • Sjajna vizualizacija podataka "iz kutije"

Problemi:

  • broker poruka — must have (u Konturu tu ulogu ispunjava Kafka)
  • karakteristike rada sa Elasticsearch Curator (periodično stvorena visoka opterećenja od redovnih zadataka u Curator-u)
  • nema ugrađene autorizacije (samo za dodatne, dovoljno velike novčane iznose, ili kao open-source dodaci različitih stepeni spremnosti za produkciju)

O Open Distro for Elasticsearch suđenje su bila samo pozitivna šŸ™‚ Isti problem autorizacije je tamo reÅ”en.

Odakle petabajt?Njihovi čvorovi se sastoje od servera sa 12*8 Tb SATA + 2*2 Tb SSD. Hladna pohrana je na SATA, SSD se koristi samo za vrući keÅ” (hot storage).
7+9 servera, (7 + 9) * 12 * 8 = 1536 Tb.
Deo prostora je u rezervi, predviđen za redundanciju itd.
Na Elasticsearch se Å”alju logovi oko 90 aplikacija, uključujući sve servise izveÅ”tavanja Kontura, Elba itd.

Karakteristike razvoja na Serverless

Dalje, izlaganje Ruslana Serkina iz DataArt o Serverless.

Ruslan je govorio o tome Ŕta je razvoj sa Serverless pristupom uopŔte i koje su njegove karakteristike.

Serverless je pristup razvoju gde se programeri nikako ne dotiču infrastrukture. Primeri — AWS Lambda Serverless, Kubeless.io (Serverless unutar Kubernetes-a), Google Cloud Functions.

Idealna Serverless aplikacija je jednostavna funkcija koja Å”alje zahtev Serverless provajderu putem posebnog API Gateway-a. Idealna mikroslužba, pri čemu se u AWS Lambda podržava veliki broj modernih programskih jezika. TroÅ”kovi podrÅ”ke i implementacije infrastrukture postaju nulti kod pružatelja usluga oblaka, dok podrÅ”ka malih aplikacija takođe postaje veoma jeftina (AWS Lambda — 0.2$ / 1 milion jednostavnih zahteva).

Skalabilnost takvog sistema je praktično idealna — oblak provajder brine o tome sam, Kubeless se automatski skalira unutar Kubernetes klastera.

Postoje nedostaci:

  • razvoj velikih aplikacija postaje složeniji
  • ima problema sa profiliranjem aplikacija (dostupni su vam samo logovi, ali ne i profilisanje u uobičajenom smislu)
  • nema verzionisanja

Iskreno ću reći, o Serverless-u sam čuo pre nekoliko godina, ali svih ovih godina mi nije bilo jasno kako ga pravilno primeniti. Nakon izlaganja Ruslana, razumevanje se pojavilo, a nakon izlaganja Nikolaja Sverchkova (Evil Martians) iz Backend sekcije je postalo jasno. Već nije bilo uzalud Å”to sam otiÅ”ao na konferenciju šŸ™‚

CI za siromaŔne, ili da li treba pisati svoj CI za web-studio

Mihail Radionov, vođa web-studija Flag iz Jekaterinburga, govorio je o svom CI/CD reÅ”enju.

Njegov studio je proÅ”ao put od 'ručne CI/CD' (pristupio serveru preko SSH, uradio git pull, ponovio 100 puta dnevno) do Jenkins-a i do sopstvenog alata koji omogućava kontrolu koda i izvrÅ”enje izdanja pod nazivom Pullkins.

ZaÅ”to Jenkins nije zadovoljavao? Nije pružao dovoljno fleksibilnosti po defaultu i bio je previÅ”e složen za prilagođavanje.

ā€˜Flag’ razvija na Laravelu (PHP okvir). Tokom razvoja CI/CD servera, Mihail i njegovi kolege su iskoristili ugrađene mehanizme Laravel-a pod nazivom Telescope i Envoy. Rezultat je server napisan u php (obratite pažnju) koji obrađuje dolazne webhook pozive, može izvrÅ”avati izgradnju frontend-a, backend-a, deploy-ati na različite servere i slati izveÅ”taje u Slack.

Zatim, kako bi imali mogućnost izvrÅ”avanja blue/green deploy-a i jedinstvenih postavki u dev-stage-prod okruženjima, preÅ”li su na Docker. Prednosti su ostale iste, dodane su mogućnosti homogenizacije okruženja i beÅ”avnog deploy-a, a takođe je bila potrebna i dodatna obuka za rad s Docker-om.

Projekat se može pronaći na Github-u

Kako smo smanjili broj povrataka servernih izdanja za 99%

Poslednje izlaganje u Devops sekciji imalo je Viktor Jeremčenko, Lead devops engineer u Miro.com (bivŔi RealTimeBoard).

U osnovi RealTimeBoard-a, glavnog proizvoda tima Miro, leži monolitna aplikacija na Javi. Skupljanje, testiranje i deploy-anje bez downtime-a je složen zadatak. Važno je izvrÅ”iti deploy takve verzije koda da ne mora biti vraćena (težak monolit, zapravo).

Na putu ka izgradnji sistema koji to omogućava, Miro je proÅ”ao kroz put koji uključuje rad na arhitekturi, koriŔćenim alatima (Atlassian Bamboo, Ansible, itd.), i rad na formiranju timova (trenutno imaju posvećen Devops tim + mnoge pojedinačne Scrum timove sa programerima različitih profila).

Put se pokazao teŔkim i trnovitim, a Viktor je podelio nagomilanu bol i nesmanjeni optimizam.

DUMP konferencija | grep ā€˜backend|devops’
Osvojio sam knjigu za pitanja

Backend sekcija

Stigao sam na 2 izlaganja — od Nikolaja Sverčkova (Evil Martians), takođe o Serverless-u, i od Grigoria KoÅ”eljeva (kompanija Kontur) o telemetriji.

Serverless za obične smrtnike

Dok je Ruslan Sirkin govorio o tome Å”ta je Serverless, Nikolaj je pokazao jednostavne aplikacije koristeći Serverless, i govorio o detaljima koji utiču na cenu i brzinu rada aplikacija u AWS Lambda.

Zanimljiva informacija: minimalni naplaćeni element — 128 Mb memorije i 100 ms CPU, koÅ”ta 0,000000208$. Pri tome, 1 milion takvih poziva mesečno je besplatan.

Neke funkcije kod Nikolaja često su prelazile limit od 100 ms (glavna aplikacija je napisana na Ruby-u), pa je prepisivanje tih funkcija na Go donelo izvrsnu uŔtedu.

Vostok Hercules — ponovo učinimo telemetriju sjajnom!

Poslednje izlaganje Backend sekcije od Grigorija KoŔejeva (kompanija Kontur) o telemetriji. Telemetrija su logovi, metrike, tragovi aplikacija.

Kontur koristi za to sopstveno napisane alate, objavljene na Github-u. Alat iz izlaganja — Hercules, github.com/vostok/hercules, koristi se za isporuku telemetrijskih podataka.

U izlaganju Vladimira Lile u sekciji Devops razmatrano je skladiÅ”tenje i obrada logova u Elasticsearch-u, ali postoji joÅ” zadatak da se isporuče logovi sa mnogih hiljada uređaja i aplikacija, a to reÅ”avaju alati poput Vostok Hercules.

Kontur je proÅ”ao poznati put — od RabbitMQ do Apache Kafka, ali nije sve tako jednostavno )) Morali su dodati u shemu Zookeeper, Cassandra i Graphite. Informacije o ovom izlaganju neću potpuno otkriti (nije moj profil), ako vas zanima — možete sačekati slajdove i video na sajtu konferencije.

Kako u poređenju sa drugim konferencijama?

Ne mogu uporediti sa konferencijama u Moskvi i SPM-u, mogu uporediti sa drugim događajima na Uralsu i 404fest-u u Samari.

DAMP se održava u 8 sekcija, to je rekord za uralske konferencije. Veoma velike sekcije Nauka i Menadžment, to je takođe neobično. Publika u Jekaterinburgu je dovoljno strukturirana — u gradu postoje veliki odeljenja razvijanja kao Å”to su Yandex, Kontur, Tinkoff, to ostavlja trag i na izlaganjima.

JoÅ” jedan zanimljiv trenutak — mnogo kompanija ima odmah 3–4 predavače na konferenciji (tako je bilo kod Kontura, Evil Martians, Tinkoff). Mnogi od njih su bili sponzori, ali izlaganja su bila na nivou drugih, nisu to reklamna izlaganja.

Ići ili ne ići? Ako živite na Uralsu ili u blizini, imate mogućnost i zanimljive teme — da, naravno. Ako razmiÅ”ljate o daljem putovanju — pogledao bih teme izlaganja i video izlaganja iz prethodnih godina. www.youtube.com/user/videoitpeople/videos i donosio odluku.
JoÅ” jedna prednost konferencija u regionima je obično — lako je razgovarati sa govornikom nakon izlaganja, jednostavno je manje kandidata za takvu interakciju.

DUMP konferencija | grep ā€˜backend|devops’

Hvala DAMP-u i Jekaterinburgu! )

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaÅ”titu od DDoS, VPS VDS servere šŸ”„ Kupite pouzdan hosting za sajtove uz zaÅ”titu od DDoS, VPS VDS servere | ProHoster