ProÅ”le nedelje sam otiÅ”ao na IT konferenciju DUMP (https://dump-ekb.ru/) u Jekaterinburgu i želim da podelim o Äemu se govorilo u sekcijama Backend i Devops, kao i da li regionalne IT konferencije zaslužuju pažnju.

Nikolaj SverÄkov iz Evil Martians o Serverless
Å ta se zapravo dogaÄalo?
Na konferenciji je bilo ukupno 8 sekcija: Backend, Frontend, Mobile, Testiranje i QA, Devops, Design, Science i Management.
NajveÄe sale su, inaÄe, bile u sekcijama Science i Management, svaka prilikom ~350 ljudi. Backend i Frontend nisu mnogo manje. Sala Devops je bila najmanja, ali veoma aktivna.
SluÅ”ao sam izlaganja u sekcijama Devops i Backend i malo razgovarao sa izlagaÄima. Želim da podelim teme koje su bile obraÄene i napravim pregled ovih sekcija na konferenciji.
U sekcijama Devops i Backend su nastupili predstavnici SKB-Kontur, DataArt, Evil Martians, ekaterinburÅ”ke web-studije Flag, Miro (RealTimeBoard). Teme su se odnosile na CI/CD, rad sa servisima za redove, logovanje, a dobro su obraÄene i teme Serverless i rad sa PostgreSQL u Go.
TakoÄe su bila izlaganja iz Avita, Tinkoff, Yandex, Jetstyle, Megafon, banke Ak Bars, ali ih nisam mogao fiziÄki prisustvovati (snimci i slajdovi izlaganja joÅ” nisu dostupni, obeÄavaju da Äe ih objaviti u roku od 2 nedelje na dump-ekb.ru).
Devops sekcija
Å to je iznenadilo ā sekcija se održavala u najmanjoj sali, sa oko 50 mesta. Ljudi su stajali Äak i u prolazima š Pripremam se da podelim o izlaganjima koja sam uspeo da Äujem.
ElastiÄna pohrana težine petabajt
Sekcija je poÄela izlaganjem Vladimira Lila (SKB-Kontur) o Elasticsearch-u u Konturu. Imaju priliÄno veliki i optereÄeni Elastic (~800 Tb podataka, ~1.3 petabajt s obzirom na redundantnost). Elasticsearch za sve servise Kontura je jedinstven, sastoji se od 2 klastera (od 7 i 9 servera), i toliko je važan da u Konturu postoji poseban Elasticsearch inženjer (sama Vladimir).
Vladimir je takoÄe podelio misli o koristima Elasticsearch-a i problemima koje donosi.
Koristi:
- Svi logovi na jednom mestu, lak pristup njima
- Äuvanje logova tokom godine i njihov lak analizu
- Visoka brzina rada sa logovima
- Sjajna vizualizacija podataka "iz kutije"
Problemi:
- broker poruka ā must have (u Konturu tu ulogu ispunjava Kafka)
- karakteristike rada sa Elasticsearch Curator (periodiÄno stvorena visoka optereÄenja od redovnih zadataka u Curator-u)
- nema ugraÄene autorizacije (samo za dodatne, dovoljno velike novÄane iznose, ili kao open-source dodaci razliÄitih stepeni spremnosti za produkciju)
O Open Distro for Elasticsearch suÄenje su bila samo pozitivna š Isti problem autorizacije je tamo reÅ”en.
Odakle petabajt?Njihovi Ävorovi se sastoje od servera sa 12*8 Tb SATA + 2*2 Tb SSD. Hladna pohrana je na SATA, SSD se koristi samo za vruÄi keÅ” (hot storage).
7+9 servera, (7 + 9) * 12 * 8 = 1536 Tb.
Deo prostora je u rezervi, predviÄen za redundanciju itd.
Na Elasticsearch se Å”alju logovi oko 90 aplikacija, ukljuÄujuÄi sve servise izveÅ”tavanja Kontura, Elba itd.
Karakteristike razvoja na Serverless
Dalje, izlaganje Ruslana Serkina iz DataArt o Serverless.
Ruslan je govorio o tome Ŕta je razvoj sa Serverless pristupom uopŔte i koje su njegove karakteristike.
Serverless je pristup razvoju gde se programeri nikako ne dotiÄu infrastrukture. Primeri ā AWS Lambda Serverless, Kubeless.io (Serverless unutar Kubernetes-a), Google Cloud Functions.
Idealna Serverless aplikacija je jednostavna funkcija koja Å”alje zahtev Serverless provajderu putem posebnog API Gateway-a. Idealna mikroslužba, pri Äemu se u AWS Lambda podržava veliki broj modernih programskih jezika. TroÅ”kovi podrÅ”ke i implementacije infrastrukture postaju nulti kod pružatelja usluga oblaka, dok podrÅ”ka malih aplikacija takoÄe postaje veoma jeftina (AWS Lambda ā 0.2$ / 1 milion jednostavnih zahteva).
Skalabilnost takvog sistema je praktiÄno idealna ā oblak provajder brine o tome sam, Kubeless se automatski skalira unutar Kubernetes klastera.
Postoje nedostaci:
- razvoj velikih aplikacija postaje složeniji
- ima problema sa profiliranjem aplikacija (dostupni su vam samo logovi, ali ne i profilisanje u uobiÄajenom smislu)
- nema verzionisanja
Iskreno Äu reÄi, o Serverless-u sam Äuo pre nekoliko godina, ali svih ovih godina mi nije bilo jasno kako ga pravilno primeniti. Nakon izlaganja Ruslana, razumevanje se pojavilo, a nakon izlaganja Nikolaja Sverchkova (Evil Martians) iz Backend sekcije je postalo jasno. VeÄ nije bilo uzalud Å”to sam otiÅ”ao na konferenciju š
CI za siromaŔne, ili da li treba pisati svoj CI za web-studio
Mihail Radionov, voÄa web-studija Flag iz Jekaterinburga, govorio je o svom CI/CD reÅ”enju.
Njegov studio je proÅ”ao put od 'ruÄne CI/CD' (pristupio serveru preko SSH, uradio git pull, ponovio 100 puta dnevno) do Jenkins-a i do sopstvenog alata koji omoguÄava kontrolu koda i izvrÅ”enje izdanja pod nazivom Pullkins.
ZaÅ”to Jenkins nije zadovoljavao? Nije pružao dovoljno fleksibilnosti po defaultu i bio je previÅ”e složen za prilagoÄavanje.
āFlagā razvija na Laravelu (PHP okvir). Tokom razvoja CI/CD servera, Mihail i njegovi kolege su iskoristili ugraÄene mehanizme Laravel-a pod nazivom Telescope i Envoy. Rezultat je server napisan u php (obratite pažnju) koji obraÄuje dolazne webhook pozive, može izvrÅ”avati izgradnju frontend-a, backend-a, deploy-ati na razliÄite servere i slati izveÅ”taje u Slack.
Zatim, kako bi imali moguÄnost izvrÅ”avanja blue/green deploy-a i jedinstvenih postavki u dev-stage-prod okruženjima, preÅ”li su na Docker. Prednosti su ostale iste, dodane su moguÄnosti homogenizacije okruženja i beÅ”avnog deploy-a, a takoÄe je bila potrebna i dodatna obuka za rad s Docker-om.
Kako smo smanjili broj povrataka servernih izdanja za 99%
Poslednje izlaganje u Devops sekciji imalo je Viktor JeremÄenko, Lead devops engineer u Miro.com (bivÅ”i RealTimeBoard).
U osnovi RealTimeBoard-a, glavnog proizvoda tima Miro, leži monolitna aplikacija na Javi. Skupljanje, testiranje i deploy-anje bez downtime-a je složen zadatak. Važno je izvrÅ”iti deploy takve verzije koda da ne mora biti vraÄena (težak monolit, zapravo).
Na putu ka izgradnji sistema koji to omoguÄava, Miro je proÅ”ao kroz put koji ukljuÄuje rad na arhitekturi, koriÅ”Äenim alatima (Atlassian Bamboo, Ansible, itd.), i rad na formiranju timova (trenutno imaju posveÄen Devops tim + mnoge pojedinaÄne Scrum timove sa programerima razliÄitih profila).
Put se pokazao teŔkim i trnovitim, a Viktor je podelio nagomilanu bol i nesmanjeni optimizam.

Osvojio sam knjigu za pitanja
Backend sekcija
Stigao sam na 2 izlaganja ā od Nikolaja SverÄkova (Evil Martians), takoÄe o Serverless-u, i od Grigoria KoÅ”eljeva (kompanija Kontur) o telemetriji.
Serverless za obiÄne smrtnike
Dok je Ruslan Sirkin govorio o tome Å”ta je Serverless, Nikolaj je pokazao jednostavne aplikacije koristeÄi Serverless, i govorio o detaljima koji utiÄu na cenu i brzinu rada aplikacija u AWS Lambda.
Zanimljiva informacija: minimalni naplaÄeni element ā 128 Mb memorije i 100 ms CPU, koÅ”ta 0,000000208$. Pri tome, 1 milion takvih poziva meseÄno je besplatan.
Neke funkcije kod Nikolaja Äesto su prelazile limit od 100 ms (glavna aplikacija je napisana na Ruby-u), pa je prepisivanje tih funkcija na Go donelo izvrsnu uÅ”tedu.
Vostok Hercules ā ponovo uÄinimo telemetriju sjajnom!
Poslednje izlaganje Backend sekcije od Grigorija KoŔejeva (kompanija Kontur) o telemetriji. Telemetrija su logovi, metrike, tragovi aplikacija.
Kontur koristi za to sopstveno napisane alate, objavljene na Github-u. Alat iz izlaganja ā Hercules, , koristi se za isporuku telemetrijskih podataka.
U izlaganju Vladimira Lile u sekciji Devops razmatrano je skladiÅ”tenje i obrada logova u Elasticsearch-u, ali postoji joÅ” zadatak da se isporuÄe logovi sa mnogih hiljada ureÄaja i aplikacija, a to reÅ”avaju alati poput Vostok Hercules.
Kontur je proÅ”ao poznati put ā od RabbitMQ do Apache Kafka, ali nije sve tako jednostavno )) Morali su dodati u shemu Zookeeper, Cassandra i Graphite. Informacije o ovom izlaganju neÄu potpuno otkriti (nije moj profil), ako vas zanima ā možete saÄekati slajdove i video na sajtu konferencije.
Kako u poreÄenju sa drugim konferencijama?
Ne mogu uporediti sa konferencijama u Moskvi i SPM-u, mogu uporediti sa drugim dogaÄajima na Uralsu i 404fest-u u Samari.
DAMP se održava u 8 sekcija, to je rekord za uralske konferencije. Veoma velike sekcije Nauka i Menadžment, to je takoÄe neobiÄno. Publika u Jekaterinburgu je dovoljno strukturirana ā u gradu postoje veliki odeljenja razvijanja kao Å”to su Yandex, Kontur, Tinkoff, to ostavlja trag i na izlaganjima.
JoÅ” jedan zanimljiv trenutak ā mnogo kompanija ima odmah 3ā4 predavaÄe na konferenciji (tako je bilo kod Kontura, Evil Martians, Tinkoff). Mnogi od njih su bili sponzori, ali izlaganja su bila na nivou drugih, nisu to reklamna izlaganja.
IÄi ili ne iÄi? Ako živite na Uralsu ili u blizini, imate moguÄnost i zanimljive teme ā da, naravno. Ako razmiÅ”ljate o daljem putovanju ā pogledao bih teme izlaganja i video izlaganja iz prethodnih godina. i donosio odluku.
JoÅ” jedna prednost konferencija u regionima je obiÄno ā lako je razgovarati sa govornikom nakon izlaganja, jednostavno je manje kandidata za takvu interakciju.

Hvala DAMP-u i Jekaterinburgu! )
Izvor: habr.com
