PagÄjuÅ”ajÄ nedÄÄ¼Ä biju uz DUMP IT konferenci (https://dump-ekb.ru/) JekaterinburgÄ un vÄlos pastÄstÄ«t, kas tika apspriests Backend un Devops sadaļÄs un vai reÄ£ionÄlÄs IT konferences ir uzmanÄ«bas vÄrtas.
Nikolajs SverÄkovs no Ä»aunie marsieÅ”i par bez serveriem
Kas tur vispÄr bija?
KopumÄ konferencÄ bija 8 sadaļas: Backend, Frontend, Mobile, Testing and QA, Devops, Design, Science and Management.
LielÄkÄs zÄles, starp citu, ir ZinÄtnÄ un menedžmentÄ)) Pa ~350 cilvÄkiem katrÄ. Backend un Frontend nav daudz mazÄki. Devops istaba bija mazÄkÄ, bet aktÄ«va.
Es klausÄ«jos ziÅojumus sadaļÄs Devops un Backend un nedaudz runÄju ar runÄtÄjiem. VÄlos runÄt par aplÅ«kotajÄm tÄmÄm un aplÅ«kot Ŕīs sadaļas konferencÄ.
Devops un Backend sadaļÄs uzstÄjÄs SKB-Kontur, DataArt, Evil Martians, Jekaterinburgas tÄ«mekļa studijas Flag, Miro (RealTimeBoard) pÄrstÄvji. TÄmas aptvÄra CI/CD, darbu ar rindu pakalpojumiem, reÄ£istrÄÅ”anu; bezservera tÄmas un darbs ar PostgreSQL programmÄ Go bija labi apskatÄ«ts.
Bija arÄ« ziÅojumi no Avito, Tinkoff, Yandex, Jetstyle, Megafon, Ak Bars Bank, bet man nebija laika fiziski tos apmeklÄt (video ieraksti un atskaiÅ”u slaidi vÄl nav pieejami, sola ievietot 2 nedÄļu laikÄ vietnÄ dump-ekb.ru).
Devops sadaļa
PÄrsteidza tas, ka sekcija notika mazÄkajÄ zÄlÄ, aptuveni 50 sÄdvietÄs. CilvÄki pat stÄvÄja ejÄs :) PastÄstÄ«Å”u par reportÄžÄm, kuras man izdevÄs noklausÄ«ties.
Elastīga, kas sver petabaitu
Sadaļa sÄkÄs ar Vladimira Lila (SKB-Kontur) ziÅojumu par Elasticsearch in Kontur. ViÅiem ir diezgan liels un noslogots Elastic (~800 TB datu, ~ 1.3 petabaiti, Åemot vÄrÄ dublÄÅ”anos). Elasticsearch visiem Kontur pakalpojumiem ir viens, sastÄv no 2 klasteriem (no 7 un 9 serveriem), un tas ir tik svarÄ«gs, ka Konturam ir Ä«paÅ”s Elasticsearch inženieris (patiesÄ«bÄ pats Vladimirs).
Vladimirs arÄ« dalÄ«jÄs pÄrdomÄs par Elasticsearch priekÅ”rocÄ«bÄm un problÄmÄm, ko tas rada.
Ieguvumi:
- Visi žurnÄli ir vienuviet, tiem Ärti piekļūt
- Baļķu glabÄÅ”ana gadu un vienkÄrÅ”a to analÄ«ze
- Liels darba Ätrums ar baļķiem
- ForÅ”a datu vizualizÄcija no kastes
ProblÄmas:
- ziÅu brokerim ir jÄbÅ«t (Konturam tÄ lomu spÄlÄ Kafka)
- funkcijas darbam ar Elasticsearch Curator (periodiski radÄ«ta liela slodze no regulÄriem uzdevumiem programmÄ Curator)
- bez iebÅ«vÄtas autorizÄcijas (tikai par atseviŔķu, diezgan lielu naudu vai kÄ atvÄrtÄ pirmkoda spraudÅiem ar dažÄdu gatavÄ«bas pakÄpi ražoÅ”anai)
Par Open Distro for Elasticsearch bija tikai pozitÄ«vas atsauksmes :) Tur ir atrisinÄts tas pats autorizÄcijas jautÄjums.
No kurienes nÄk petabaits?ViÅu mezgli sastÄv no serveriem ar 12 * 8 Tb SATA + 2 * 2 Tb SSD. AukstÄ uzglabÄÅ”ana SATA, SSD tikai karstajai keÅ”atmiÅai (karstÄ krÄtuve).
7+9 serveri, (7 + 9) * 12 * 8 = 1536 Tb.
Daļa vietas ir rezervÄ, atvÄlÄta atlaiÅ”anai utt.
Uz Elasticsearch tiek nosÅ«tÄ«ti aptuveni 90 pieteikumu žurnÄli, tostarp visi Kontur, Elba utt.
Attīstības iezīmes bez servera
NÄkamais ir Ruslana Serkina ziÅojums no DataArt par bez servera.
Ruslans runÄja par to, kas vispÄr ir attÄ«stÄ«ba ar bezserveru pieeju un kÄdas ir tÄs funkcijas.
Bez servera ir pieeja attÄ«stÄ«bai, kurÄ izstrÄdÄtÄji nekÄdÄ veidÄ nepieskaras infrastruktÅ«rai. PiemÄrs ā AWS Lambda Serverless, Kubeless.io (Serverless iekÅ”Ä Kubernetes), Google Cloud Functions.
IdeÄla bezserveru lietojumprogramma ir vienkÄrÅ”i funkcija, kas nosÅ«ta pieprasÄ«jumu bezservera pakalpojumu sniedzÄjam, izmantojot Ä«paÅ”u API vÄrteju. IdeÄls mikropakalpojums, savukÄrt AWS Lambda atbalsta arÄ« lielu skaitu modernu programmÄÅ”anas valodu. MÄkoÅpakalpojumu sniedzÄju gadÄ«jumÄ infrastruktÅ«ras uzturÄÅ”anas un izvietoÅ”anas izmaksas kļūst par nulli, arÄ« mazu lietojumprogrammu atbalsts bÅ«s ļoti lÄts (AWS Lambda ā 0.2 $ / 1 miljons vienkÄrÅ”u pieprasÄ«jumu).
Å Ädas sistÄmas mÄrogojamÄ«ba ir gandrÄ«z ideÄla - mÄkoÅa nodroÅ”inÄtÄjs par to parÅ«pÄjas pats, Kubeless automÄtiski mÄrogojas Kubernetes klasterÄ«.
Ir trūkumi:
- lielu lietojumprogrammu izstrÄde kļūst arvien grÅ«tÄka
- ir grÅ«tÄ«bas ar lietojumprogrammu profilÄÅ”anu (jums ir pieejami tikai žurnÄli, bet ne profilÄÅ”ana parastajÄ nozÄ«mÄ)
- nav versiju veidoŔanas
Ja godÄ«gi, es dzirdÄju par Serverless pirms dažiem gadiem, taÄu visus Å”os gadus man nebija skaidrs, kÄ to pareizi lietot. PÄc Ruslana ziÅojuma parÄdÄ«jÄs sapratne, un pÄc Nikolaja SverÄkova (Ä»aunie marsieÅ”i) ziÅojuma no Backend sadaļas tÄ tika konsolidÄta. Ne velti biju uz konferenci :)
CI ir paredzÄts nabadzÄ«gajiem, vai arÄ« ir vÄrts uzrakstÄ«t savu CI tÄ«mekļa studijai?
Mihails Radionovs, Karoga tÄ«mekļa studijas vadÄ«tÄjs no Jekaterinburgas, stÄstÄ«ja par paÅ”rakstÄ«to CI/CD.
ViÅa studija ir pÄrgÄjusi no āmanuÄlÄs CI/CDā (piesakieties serverÄ«, izmantojot SSH, veiciet git pull, atkÄrtojiet 100 reizes dienÄ) uz Dženkinsu un paÅ”rakstÄ«tu rÄ«ku, kas ļauj pÄrraudzÄ«t kodu un izpildÄ«t izlaidumus ar nosaukumu Pullkins. .
KÄpÄc Dženkinss nestrÄdÄja? PÄc noklusÄjuma tas nenodroÅ”inÄja pietiekamu elastÄ«bu, un to bija pÄrÄk grÅ«ti pielÄgot.
āKarogsā tiek izstrÄdÄts programmÄ Laravel (PHP ietvars). IzstrÄdÄjot CI/CD serveri, Mihails un viÅa kolÄÄ£i izmantoja Laravel iebÅ«vÄtos mehÄnismus ar nosaukumu Telescope and Envoy. RezultÄts ir PHP serveris (lÅ«dzu, Åemiet vÄrÄ), kas apstrÄdÄ ienÄkoÅ”os tÄ«mekļa aizÄ·eres pieprasÄ«jumus, var izveidot priekÅ”galu un aizmugursistÄmu, izvietot dažÄdos serveros un ziÅot Slack.
PÄc tam, lai varÄtu veikt zilo/zaļo izvietoÅ”anu un nodroÅ”inÄt vienotus iestatÄ«jumus dev-stage-prod vidÄs, viÅi pÄrgÄja uz Docker. PriekÅ”rocÄ«bas palika nemainÄ«gas, tika pievienotas vides homogenizÄcijas un netraucÄtas izvietoÅ”anas iespÄjas, kÄ arÄ« tika pievienota nepiecieÅ”amÄ«ba iemÄcÄ«ties Docker pareizi strÄdÄt ar to.
KÄ mÄs samazinÄjÄm servera laidienu atcelÅ”anas skaitu par 99%
PÄdÄjais ziÅojums sadaÄ¼Ä Devops bija no Viktora EremÄenko, Miro.com (iepriekÅ” RealTimeBoard) vadoÅ”Ä devops inženiera.
RealTimeBoard, Miro komandas vadoÅ”ais produkts, ir balstÄ«ts uz monolÄ«tu Java lietojumprogrammu. TÄ apkopoÅ”ana, pÄrbaude un izvietoÅ”ana bez dÄ«kstÄves ir grÅ«ts uzdevums. Å ajÄ gadÄ«jumÄ ir svarÄ«gi izvietot Å”Ädu koda versiju, lai tÄ nebÅ«tu jÄatgriež (tas ir smags monolÄ«ts).
Veidojot sistÄmu, kas ļauj to izdarÄ«t, Miro veica ceļu, kas ietvÄra darbu pie arhitektÅ«ras, izmantotajiem rÄ«kiem (Atlassian Bamboo, Ansible utt.) un darbu pie komandu struktÅ«ras (tagad tÄm ir Ä«paÅ”a Devops komanda + daudzas atseviŔķas Scrum komandas no dažÄdu profilu izstrÄdÄtÄjiem).
CeļŔ izrÄdÄ«jÄs grÅ«ts un ÄrkŔķains, un Viktors dalÄ«jÄs ar uzkrÄtajÄm sÄpÄm un optimismu, kas ar to nebeidzÄs.
LaimÄja grÄmatu par jautÄjumu uzdoÅ”anu
AizmugurÄjÄ sadaļa
Man izdevÄs apmeklÄt 2 reportÄžas - no Nikolaja SverÄkova (Ä»aunie marsieÅ”i), arÄ« par Serverless, un no Grigorija KoÅ”eļeva (kompÄnija Kontur) par telemetriju.
Bez servera vienkÄrÅ”iem mirstÄ«gajiem
Ja Ruslans Sirkins runÄja par to, kas ir Serverless, Nikolajs parÄdÄ«ja vienkÄrÅ”as lietojumprogrammas, izmantojot Serverless, un runÄja par detaļÄm, kas ietekmÄ AWS Lambda lietojumprogrammu izmaksas un Ätrumu.
Interesanta detaļa: minimÄlais apmaksÄtais elements ir 128 Mb atmiÅas un 100 ms CPU, tas maksÄ 0,000000208 $. TurklÄt 1 miljons Å”Ädu pieprasÄ«jumu mÄnesÄ« ir bezmaksas.
Dažas Nikolaja funkcijas bieži pÄrsniedza 100 ms robežu (galvenÄ lietojumprogramma tika rakstÄ«ta rubÄ«nÄ), tÄpÄc to pÄrrakstÄ«Å”ana programmÄ Go nodroÅ”inÄja lielisku ietaupÄ«jumu.
Vostok Hercules ā padariet telemetriju atkal lielisku!
JaunÄkais Backend sadaļas ziÅojums no Grigorija KoÅ”eļeva (kompÄnija Kontur) par telemetriju. Telemetrija nozÄ«mÄ Å¾urnÄlus, metriku, lietojumprogrammu pÄdas.
Å im nolÅ«kam Contour izmanto paÅ”rakstÄ«tus rÄ«kus, kas publicÄti vietnÄ Github. RÄ«ks no ziÅojuma ā Hercules, , tiek izmantots telemetrijas datu piegÄdei.
Vladimira Lilas ziÅojumÄ sadaÄ¼Ä Devops tika apspriesta žurnÄlu glabÄÅ”ana un apstrÄde pakalpojumÄ Elasticsearch, taÄu joprojÄm ir uzdevums piegÄdÄt žurnÄlus no daudziem tÅ«kstoÅ”iem ierÄ«Äu un lietojumprogrammu, un tÄdi rÄ«ki kÄ Vostok Hercules tos atrisina.
Trase gÄja pa daudziem zinÄmu ceļu - no RabbitMQ lÄ«dz Apache Kafka, taÄu ne viss ir tik vienkÄrÅ”i)) ViÅiem bija jÄpievieno Ä·Ädei Zookeeper, Cassandra un Graphite. InformÄciju par Å”o ziÅojumu (nav mans profils) pilnÄ«bÄ neatklÄÅ”u, ja ir interese, varat gaidÄ«t slaidus un video konferences mÄjaslapÄ.
KÄ tas atŔķiras ar citÄm konferencÄm?
Es to nevaru salÄ«dzinÄt ar konferencÄm MaskavÄ un SanktpÄterburgÄ, es to varu salÄ«dzinÄt ar citiem pasÄkumiem UrÄlos un ar 404fest SamarÄ.
DAMP notiek 8 sekcijÄs, tas ir UrÄlu konferenÄu rekords. Ä»oti lielas zinÄtnes un vadÄ«bas sadaļas, tas arÄ« ir neparasti. Jekaterinburgas auditorija ir diezgan strukturÄta - pilsÄtÄ ir lielas Yandex, Kontur, Tinkoff attÄ«stÄ«bas nodaļas, un tas atstÄj zÄ«mi pÄrskatos.
VÄl viens interesants moments ir tas, ka daudzÄm kompÄnijÄm konferencÄ ir uzreiz 3-4 runÄtÄji (tÄ bija Kontur, Evil Martians, Tinkoff). Daudzi no viÅiem bija sponsori, bet ziÅojumi ir diezgan lÄ«dzvÄrtÄ«gi citiem, tie nav reklÄmas ziÅojumi.
Iet vai neiet? Ja tu dzÄ«vo UrÄlos vai tuvumÄ, tev ir iespÄja un interesÄ tÄmas - jÄ, protams. Ja domÄ par garu ceļojumu, ieskatÄ«Å”os iepriekÅ”Äjo gadu reportÄžu un videoreportÄžu tÄmÄs un pieÅÄma lÄmumu.
VÄl viena konferenÄu priekÅ”rocÄ«ba reÄ£ionos, kÄ likums, ir tÄ, ka pÄc referÄtiem ir viegli sazinÄties ar runÄtÄju, vienkÄrÅ”i ir mazÄk pretendentu uz Å”Ädu saziÅu.
Paldies Dumpam un Jekaterinburgai! )
Avots: www.habr.com