PagÄjuÅ”ajÄ nedÄÄ¼Ä es apmeklÄju IT konferenci DUMP (https://dump-ekb.ru/) JekaterinburÄ£Ä un gribu pastÄstÄ«t, par ko tika runÄts sekcijÄs Backend un Devops, un vai ir vÄrts pievÄrst uzmanÄ«bu reÄ£ionÄlajÄm IT konferencÄm.
Nikolajs SverÄkovs no Evil Martians par Serverless
Kas tur vispÄr notika?
KopumÄ konferencÄ bija 8 sekcijas: Backend, Frontend, Mobile, TestÄÅ”ana un QA, Devops, Dizains, ZinÄtne un VadÄ«ba.
VislielÄkÄs zÄles, starp citu, bija ZinÄtnes un VadÄ«bas sekcijÄm, katrÄ ~350 cilvÄku. Backend un Frontend bija nedaudz mazÄkas. Devops zÄle bija vismazÄkÄ, bet aktÄ«vÄkÄ.
Es klausÄ«jos ziÅojumus Devops un Backend sekcijÄs un nedaudz parunÄju ar ziÅotÄjiem. Gribu pastÄstÄ«t par atklÄtajÄm tÄmÄm un sniegt pÄrskatu par Ŕīm sekcijÄm konferencÄ.
Devops un Backend sekcijÄs uzstÄjÄs pÄrstÄvji no SKB-Kontur, DataArt, Evil Martians, Jekaterinburgas tÄ«mekļa studijas Flag, Miro (RealTimeBoard). TÄmas skÄra CI/CD, darbu ar rindas pakalpojumiem, žurnÄlfailu, labi tika atklÄtas tÄmas par Serverless un darbu ar PostgreSQL Go valodÄ.
TurklÄt bija ziÅojumi no Avito, Tinkoff, Yandex, Jetstyle, MegaFon, Ak Bars bankas, bet tos es fiziski nepaspÄju apmeklÄt (videoklipi un ziÅojumu slaidi vÄl nav pieejami, sola augÅ”upielÄdÄt nÄkamo 2 nedÄļu laikÄ uz dump-ekb.ru).
Devops sekcija
Kas pÄrsteidza ā sekcija notika paÅ”Ä mazÄkajÄ zÄlÄ, apmÄram 50 vietas. CilvÄki stÄvÄja pat ejÄs š PastÄstÄ«Å”u par ziÅojumiem, kurus paspÄju noklausÄ«ties.
Elastiks, kas sver petabaitu
Sekcijas sÄkumÄ bija Vladimira Lila (SKB-Kontur) ziÅojums par Elasticsearch KontÅ«rÄ. ViÅiem ir pietiekami liels un noslogots Elasti (~800 TB datu, ~1.3 petabaiti, Åemot vÄrÄ redundanci). Elasticsearch visiem KontÅ«ra pakalpojumiem ir kopÄ«gs, sastÄv no 2 klasteriem (no 7 un 9 serveriem), un ir tik svarÄ«gs, ka KontÅ«rÄ ir Ä«paÅ”s Elasticsearch inženieris (Ä«paÅ”i Vladimirs).
Vladimirs arÄ« dalÄ«jÄs pÄrdomÄs par Elasticsearch lietderÄ«bu un problÄmÄm, ko tas rada.
Lietderība:
- Visi žurnÄli vienÄ vietÄ, viegla piekļuve tiem
- ŽurnÄlu glabÄÅ”ana gada garumÄ un to viegla analÄ«ze
- Augsta darba Ätrums ar žurnÄliem
- ForÅ”a datu vizualizÄcija āno kasteā
ProblÄmas:
- ziÅojumu brokers ā obligÄts (KontÅ«rÄ tÄ lomu spÄlÄ Kafka)
- Ä«paŔības darba ar Elasticsearch Curator (periodiski radÄ«tas augstas slodzes no regulÄriem uzdevumiem Curator)
- nav iebÅ«vÄtas autorizÄcijas (tikai par atseviŔķÄm, pietiekami lielÄm naudas summÄm, vai kÄ opensource spraudÅi dažÄdas gatavÄ«bas pakÄpes ražoÅ”anai)
Par Open Distro for Elasticsearch ir bijuÅ”as tikai pozitÄ«vas atsauksmes š Tas pats autentifikÄcijas jautÄjums tur ir atrisinÄts.
No kurienes petabaitus?To mezgli sastÄv no serveriem ar 12*8 Tb SATA + 2*2 Tb SSD. Aukstais krÄjums ir SATA, SSD tikai karstajam keÅ”am (hot storage).
7+9 serveri, (7 + 9) * 12 * 8 = 1536 Tb.
Daļa vietas ir rezervÄta, paredzÄta liekÄs jaudas nodroÅ”inÄÅ”anai u.c.
Elasticsearch tiek sÅ«tÄ«ti žurnÄli no apmÄram 90 lietotnÄm, tostarp no visiem konstatÄÅ”anas pakalpojumiem Kontur, Elba u.c.
IezÄ«mes izstrÄdei uz Serverless
TÄlÄk ir Ruslana Serkina no DataArt prezentÄcija par Serverless.
Ruslans stÄstÄ«ja par to, kas ir izstrÄde ar Serverless pieeju, un kÄdas ir tÄs iezÄ«mes.
Serverless ā tas ir izstrÄdes pieejas veids, kurÄ izstrÄdÄtÄji nekÄdÄ veidÄ nesaskaras ar infrastruktÅ«ru. PiemÄrs ā AWS Lambda Serverless, Kubeless.io (Serverless Kubernetes iekÅ”ienÄ), Google Cloud Functions.
IdeÄla Serverless lietotne ā tas ir vienkÄrÅ”a funkcija, kas nosÅ«ta pieprasÄ«jumu Serverless pakalpojumu sniedzÄjam izmantojot Ä«paÅ”u API Gateway. IdeÄls mikropakalpojums, turklÄt tajÄ paÅ”Ä AWS Lambda tiek atbalstÄ«ts liels skaits mÅ«sdienu programmÄÅ”anas valodu. Atbalsta un infrastruktÅ«ras izvietoÅ”anas izmaksas kļūst nulles, ja runÄjam par mÄkonÄ« esoÅ”iem pakalpojumu sniedzÄjiem, arÄ« mazu lietotÅu atbalsts bÅ«s ļoti lÄts (AWS Lambda ā 0.2$ / 1 miljons vienkÄrÅ”u pieprasÄ«jumu).
TÄda sistÄma ir praktiski ideÄli scalÄjama ā mÄkonis pakalpojumu sniedzÄjs par to rÅ«pÄjas pats, Kubeless skenÄ automÄtiski iekÅ” Kubernetes klastera.
PastÄv trÅ«kumi:
- lielu lietotÅu izstrÄde kļūst sarežģītÄka
- ir grÅ«tÄ«bas ar lietotÅu profilÄÅ”anu (jums ir pieejami tikai žurnÄli, bet ne profilÄÅ”ana ierastajÄ nozÄ«mÄ)
- nav versiju pÄrvaldÄ«bas
AtklÄti sakot, par Serverless es dzirdÄju jau pirms pÄris gadiem, bet visu Å”o gadu man bija neskaidrs, kÄ to pareizi pielietot. PÄc Ruslana prezentÄcijas sapratne parÄdÄ«jÄs, bet pÄc Nikolaja SviÄkova (Evil Martians) prezentÄcijas no Backend sadaļas tÄ nostiprinÄjÄs. Jau nav bijusi veltÄ«gi braukt uz konferenci š
CI nabagiem, vai ir vÄrts rakstÄ«t savu CI web studijai
Mihails Radionovs, web studijas Flag no Jekaterinburgas vadÄ«tÄjs, pastÄstÄ«ja par paÅ”rakstÄ«tu CI/CD.
ViÅa studija ir gÄjusi cauri ceļam no āroku CI/CDā (ienÄca serverÄ« pa SSH, veica git pull, atkÄrtoja 100 reizes dienÄ) uz Jenkins un uz paÅ”rakstÄ«tu rÄ«ku, kas ļauj kontrolÄt kodu un veikt izlaidumus ar nosaukumu Pullkins.
KÄpÄc nepatika Jenkins? Tas pÄc noklusÄjuma nesniedza pietiekamu elastÄ«bu un bija pÄrÄk sarežģīts pielÄgoÅ”anÄ.
āFlagā izstrÄdÄ uz Laravel (PHP ietvars). StrÄdÄjot pie CI/CD servera, Mihails ar kolÄÄ£iem izmantoja Laravel iebÅ«vÄjamos mehÄnismus, kas saucas Telescope un Envoy. RezultÄtÄ izveidojÄs PHP serveris (ievÄrojiet), kas apstrÄdÄ ienÄkoÅ”os webhook pieprasÄ«jumus, spÄj veikt front-end un back-end bÅ«vniecÄ«bu, izvietot uz dažÄdiem serveriem un ziÅot Slack.
TÄlÄk, lai realizÄtu blue/green izvietojumus un nodroÅ”inÄtu vienotas iestatÄ«jumu konfigurÄcijas dev, stage un prod vidÄs, viÅi pÄrgÄja uz Docker. PriekÅ”rocÄ«bas palika iepriekÅ”ÄjÄs, pievienojÄs iespÄjas vides homogenizÄcijai un bezÅ”uvju izvietoÅ”anai, un pieaudzis nepiecieÅ”amÄ«ba mÄcÄ«ties Docker, lai pareizi ar to strÄdÄtu.
KÄ mÄs samazinÄjÄm servera laidienu atgrieÅ”anu par 99%.
PÄdÄjais ziÅojums Devops sekcijÄ bija no Viktora JeremÄenko, vadoÅ”Ä devops inženiera Miro.com (bijuÅ”ais RealTimeBoard).
RealTimeBoard, galvenÄ Miro komandas produkta pamatÄ, ir monolÄ«ts lietojums uz Java. TÄ bÅ«vÄÅ”ana, testÄÅ”ana un izvietoÅ”ana bez dÄ«kstÄves ā ir sarežģīts uzdevums. Ir svarÄ«gi veikt izvietojumu tÄdÄ kodÄ, lai to nebÅ«tu jÄpagriež atpakaļ (gaarÅ” monolÄ«ts taÄu).
Virzoties uz sistÄmas veidoÅ”anu, kas to ļauj, Miro ir izgÄjuÅ”i ceļu, kurÄ ietilpst darbs pie arhitektÅ«ras, izmantotajiem rÄ«kiem (Atlassian Bamboo, Ansible utt.), un komandu veidoÅ”ana (viÅiem tagad ir atseviŔķa Devops komanda + daudzas atseviŔķas Scrum komandas no dažÄdu profilu izstrÄdÄtÄjiem).
CeļŔ izrÄdÄ«jÄs grÅ«ts un apgrÅ«tinoÅ”s, un Viktors dalÄ«jÄs ar uzkrÄto sÄpÄm un tomÄr palikuÅ”o optimismu.
UzvarÄjis grÄmatu par jautÄjumiem.
Backend sekcija.
Es paguvu uz 2 ziÅojumiem ā no Nikolaja SvirÄkovas (Evil Martians), arÄ« par Serverless, un no Grigora KoÅ”eļa (uzÅÄmums Kontur) par telemetriju.
Serverless par vienkÄrÅ”iem mirstÄ«gajiem.
Ja Ruslans Sirkins stÄstÄ«ja par to, kas ir Serverless, Nikolajs parÄdÄ«ja vienkÄrÅ”as lietojumprogrammas, izmantojot Serverless, un pastÄstÄ«ja par detaļÄm, kas ietekmÄ izmaksas un Ätrumu lietojumprogrammu darbÄ«bÄ AWS Lambda.
Interesants sÄ«kums: minimÄlais apmaksÄjamais elements ā 128 Mb atmiÅas un 100 ms CPU, maksÄ 0,000000208$. SÄkotnÄji 1 miljons Å”Ädu pieprasÄ«jumu mÄnesÄ« ir bez maksas.
Dažas Nikolaja funkcijas bieži pÄrsniedza 100 ms limitu (galvenÄ lietotne bija uzrakstÄ«ta Ruby valodÄ), tÄpÄc tÄs pÄrrakstÄ«Å”ana Go valodÄ nodroÅ”inÄja lielu ekonomiju.
Vostok Hercules ā padarÄ«sim telemetriju atkal lielisku!
PÄdÄjais ziÅojums Backend sadaÄ¼Ä no Grigorija KoÅ”eļeva (kompÄnija Kontur) par telemetriju. Telemetrija ir žurnÄli, metriki, lietotÅu izsekoÅ”anas.
Kontur izmanto tam paÅ”rakstÄ«tus rÄ«kus, kas pieejami Github. RÄ«ks no ziÅojuma ā Hercules, , tiek izmantots telemetrijas datu piegÄdei.
Vladimira Lillas ziÅojumÄ Devops sadaÄ¼Ä tika aplÅ«kota žurnÄlu glabÄÅ”ana un apstrÄde Elasticsearch, taÄu ir vÄl uzdevums piegÄdÄt žurnÄlus no tÅ«kstoÅ”iem ierÄ«Äu un lietotÅu, un to risina tÄdi rÄ«ki kÄ Vostok Hercules.
Kontur ir izgÄjis daudzÄm zinÄmam ceļam ā no RabbitMQ uz Apache Kafka, bet viss nav tik vienkÄrÅ”i. Tie bija spiesti pievienot shÄmai Zookeeper, Cassandra un Graphite. Es pilnÄ«bÄ neatklÄÅ”u informÄciju par Å”o ziÅojumu (tas nav mans profils), ja interesÄ ā var gaidÄ«t slaidus un video konferencÄ.
KÄ salÄ«dzinÄjumÄ ar citÄm konferencÄm?
Nevaru salÄ«dzinÄt ar konferencÄm MaskavÄ un SPb, bet varu salÄ«dzinÄt ar citiem pasÄkumiem UralÄ un 404fest SamÄrÄ.
DAMP notiek astoÅÄs sadaļÄs, tas ir rekords Uralas konferencÄm. Ä»oti lielas sadaļas Science un VadÄ«ba, tas arÄ« ir neparasti. Auditorija JekaterinburgÄ ir pietiekami strukturÄta ā pilsÄtÄ ir lieli izstrÄdes departamenti Yandex, Kontur, Tinkoff, tas atstÄj iespaidu arÄ« uz ziÅojumiem.
VÄl viens interesants moments ā daudzas kompÄnijas konferencÄ piedalÄs ar 3ā4 ziÅotÄjiem (tÄ bija Konturam, Evil Martians, Tinkoff). Daudzi no tiem bija sponsori, bet ziÅojumi bija pilnÄ«gi lÄ«menÄ« ar citiem, tie nav reklÄmas ziÅojumi.
Iet vai neiet? Ja jÅ«s dzÄ«vojat UralÄ vai tuvumÄ, jums ir iespÄja un tÄmas interesÄ ā jÄ, protams. Ja domÄjat par tÄlÄku ceļojumu ā es apskatÄ«tu ziÅojumu tÄmas un pagÄjuÅ”o gadu ziÅojumu video. un pieÅemtu lÄmumu.
VÄl viens pluss reÄ£ionu konferencÄm ir tas, ka parasti ir viegli sazinÄties ar runÄtÄju pÄc ziÅojumiem, jo vienkÄrÅ”i ir mazÄk pretendentu uz Å”Ädu saziÅu.
Paldies DAMP un Jekaterinburgai!
Avots: habr.com
Russian
Italian
German
Polish
Estonian
Albanian
Bulgarian
Croatian
Czech
Danish
Dutch
English
French
Hungarian
Latvian
Portuguese
Romanian
Slovak
Slovenian
Spanish
Swedish