Hefteya borî ez çûm konferansa DUMP IT (https://dump-ekb.ru/) li Yekaterinburg û ez dixwazim ji we re bibêjim ku di beşên Backend û Devops de çi hate nîqaş kirin, û gelo konferansên IT-ê yên herêmî hêjayî balê ne.
Nikolay Sverchkov ji Evil Martians derbarê Serverless
Ma gelo çi hebû?
Bi tevahî, konfêrans 8 beş bû: Backend, Frontend, Mobîl, Testkirin û QA, Devops, Sêwiran, Zanist û Rêvebir.
Salonên herî mezin, bi awayê, li Zanist û Rêvebir in)) Ji bo ~ 350 kesan her yek. Backend û Frontend ne pir piçûktir in. Odeya Devops ya herî piçûk, lê çalak bû.
Min li raporên beşên Devops û Backend guhdarî kir û hinekî bi axaftvanan re axivî. Ez dixwazim di konferansê de li ser mijarên ku hatine girtin biaxivim û van beşan binirxînim.
Nûnerên SKB-Kontur, DataArt, Evil Martians, Ekaterinburg web studio Flag, Miro (RealTimeBoard) di beşên Devops û Backend de axivîn. Mijarên CI/CD-ê vedigirin, bi karûbarên dorê re dixebitin, têketin; Mijarên bê server û xebata bi PostgreSQL li Go-yê re baş hatine vegirtin.
Di heman demê de raporên Avito, Tinkoff, Yandex, Jetstyle, Megafon, Ak Bars Bank jî hebûn, lê wextê min tune ku ez bi fizîkî beşdarî wan bibim (qeydên vîdyoyê û slaytên raporan hîna peyda nabin, ew soz didin ku di nav 2 hefteyan de bişînin li ser dump-ekb.ru).
beşa Devops
Tiştê sosret ew bû ku beş di salona herî piçûk de, bi qasî 50 kursî, hat girtin. Xelk jî di nav deran de radiwestin :) Ez ê ji we re behsa raporên ku min guhdarî kir.
Elastic bi giraniya petabyte
Beş bi raporek Vladimir Lil (SKB-Kontur) li ser Elasticsearch li Kontur dest pê kir. Ew xwedan Elasticek pir mezin û barkirî ne (~ 800 TB daneya, ~ 1.3 petabytes li ber zêdebûnê tê hesibandin). Elasticsearch ji bo hemî karûbarên Kontur yekane ye, ji 2 koman (ji 7 û 9 pêşkêşkeran) pêk tê, û ew qas girîng e ku Kontur xwedan endezyarek Elasticsearchê ya taybetî ye (bi rastî, Vladimir bixwe).
Vladîmîr her weha ramanên xwe li ser feydeyên Elasticsearch û pirsgirêkên ku ew tîne parve kir.
Fêde:
- Hemî têketin li yek cîhek in, gihîştina wan hêsan e
- Ji bo salek têketin hilanîn û bi hêsanî wan analîz kirin
- Leza bilind a xebata bi têketin
- Visualîzasyona daneya xweş ji qutikê
Pirsgirêk:
- Brokera peyamê pêdivî ye (ji bo Kontur rola wê ji hêla Kafka ve tê lîstin)
- taybetmendiyên xebitandina bi Elasticsearch Curator re (demî ji karên birêkûpêk di Curator de barek zêde hatî afirandin)
- destûrnameyek çêkirî tune (tenê ji bo pereyên cûda, pir mezin, an wekî pêvekên çavkaniyek vekirî yên amadebûna hilberînê ya cihêreng)
Li ser Open Distro ji bo Elasticsearch tenê nirxandinên erênî hebûn :) Heman pirsgirêka destûrnameyê li wir hate çareser kirin.
Petabyte ji ku tê?Nokên wan ji serverên bi 12*8 Tb SATA + 2*2 Tb SSD pêk tên. Hilberîna sar li ser SATA, SSD tenê ji bo cacheya germ (hilweşîna germ).
7+9 pêşkêşker, (7 + 9) * 12 * 8 = 1536 Tb.
Beşek cîh di rezervê de ye, ji bo zêdebûnê veqetandin, hwd.
Têketinên ji nêzîkê 90 serlêdanan ji Elasticsearch re têne şandin, tevî hemî karûbarên ragihandinê yên Kontur, Elba, hwd.
Taybetmendiyên pêşveçûnê li ser Serverless
Piştre raporek Ruslan Serkin ji DataArt di derbarê Serverless de ye.
Ruslan behsa çi pêşkeftina bi nêzîkatiya Serverless bi gelemperî ye, û taybetmendiyên wê çi ne.
Serverless nêzîkatiyek pêşkeftinê ye ku tê de pêşdebiran bi tu awayî dest nade binesaziyê. Mînak - AWS Lambda Serverless, Kubeless.io (Serverless di hundurê Kubernetes de), Fonksiyonên Google Cloud.
Serlêdanek Serverless a îdeal bi tenê fonksiyonek e ku bi navgîniyek API Gatewayek taybetî daxwazek ji pêşkêşkerek Serverless re dişîne. Mîkroxizmetek îdeal, dema ku AWS Lambda di heman demê de hejmareke mezin ji zimanên bernamesaziya nûjen piştgirî dike. Mesrefa parastin û bicihkirina binesaziyê di doza pêşkêşkerên ewr de sifir dibe, piştgirîkirina serîlêdanên piçûk jî dê pir erzan be (AWS Lambda - 0.2 $ / 1 mîlyon daxwazên hêsan).
Mezinbûna pergalek wusa hema hema îdeal e - pêşkêşkarê ewr bi xwe vê yekê digire, Kubeless bixweber di nav koma Kubernetes de hûr dibe.
Kêmasî hene:
- pêşxistina sepanên mezin dijwartir dibe
- di serîlêdanên profîlkirinê de dijwariyek heye (hûn tenê gihîştina têketinê hene, lê ne di wateya asayî de profîl kirin)
- guhertoyek tune
Bi rastî, min çend sal berê li ser Serverless bihîst, lê van salan ji min re ne diyar bû ku meriv wê çawa rast bikar bîne. Piştî rapora Ruslan, têgihiştinek xuya bû, û piştî rapora Nikolai Sverchkov (Marsiyanên Xirab) ji beşa Backend, ew hate hevgirtin. Ne vala bû ku ez çûm konferansê :)
CI ji bo belengazan e, an hêja ye ku CI-ya xwe ji bo studyoyek malperê binivîsîne?
Mikhail Radionov, serokê stûdyoya webê ya Flag ji Yekaterinburg, li ser CI/CD-ya xwe-nivîskî axivî.
Studyoya wî ji "CI/CD-ya destan" (bi navgîniya SSH têkevin serverê, bikişîne git, rojê 100 carî dubare bike) çûye Jenkins û amûrek xwe-nivîskî ya ku dihêle hûn kodê bişopînin û weşanên bi navê Pullkins pêk bînin. .
Çima Jenkins nexebitî? Ew ji hêla xwerû ve nermbûnek têr peyda nekir û xweşkirina pir dijwar bû.
"Flag" di Laravel (çarçoveya PHP) de pêşve diçe. Dema ku serverek CI/CD pêşve xistin, Mikhail û hevkarên wî mekanîzmayên çêkirî yên Laravel ên bi navê Telescope û Envoy bikar anîn. Di encamê de serverek di PHP-ê de ye (ji kerema xwe not) ku daxwazên webhook-ê yên hatinî pêvajoyê dike, dikare pêş û paşîn ava bike, li serverên cihêreng bicîh bike, û ji Slack re rapor bike.
Dûv re, ji bo ku karibin şîn/kesk bicîh bikin û di hawîrdorên dev-qonaxa-prod-ê de mîhengên yekgirtî hebin, wan veguherandin Docker. Awantaj heman man, îmkanên homojenkirina jîngehê û bicîhkirina bêkêmasî hatin zêdekirin, û hewcedariya fêrbûna Docker-ê ku bi wê re rast bixebite hate zêdekirin.
Çawa me jimara paşvekêşana serbestberdana serverê 99% kêm kir
Rapora paşîn a di beşa Devops de ji Viktor Eremchenko, endezyarê sereke devops li Miro.com (berê RealTimeBoard) bû.
RealTimeBoard, hilbera sereke ya tîmê Miro, li ser serîlêdanek Java ya yekparêzî ye. Berhevkirin, ceribandin û bicihkirina wê bêyî demdirêj karek dijwar e. Di vê rewşê de, girîng e ku meriv guhertoyek wusa ya kodê bicîh bike da ku ew ne paşde were vegerandin (ew monolîtek giran e).
Li ser riya avakirina pergalek ku destûrê dide we ku hûn wiya bikin, Miro di rêyek re derbas bû ku tê de xebata li ser mîmarî, amûrên ku têne bikar anîn (Atlassian Bamboo, Ansible, hwd.), û xebata li ser avahiya tîmê (ew niha hene. tîmek Devopsê ya dilsoz + gelek tîmên Scrum yên ji pêşdebirên profîlên cihêreng).
Rê dijwar û stirî derket, û Victor êşa berhevkirî û xweşbîniya ku li wir bi dawî nebû parve kir.
Ji bo pirsan pirtûkek qezenc kir
Beşa paşîn
Min karî beşdarî 2 raporan bibim - ji Nikolay Sverchkov (Marsiyên Xirab), di heman demê de li ser Serverless, û ji Grigory Koshelev (şîrketa Kontur) di derbarê telemetrî de.
Ji bo mirinên tenê bê server
Ger Ruslan Sirkin li ser çi ye Serverless biaxive, Nikolay serîlêdanên hêsan ên ku Serverless bikar tînin destnîşan kir, û li ser hûrguliyên ku bandorê li lêçûn û leza serlêdanan li AWS Lambda dike axivî.
Detayek balkêş: hêmana herî kêm drav 128 Mb bîra û 100 ms CPU ye, lêçûna wê 0,000000208 $ ye. Wekî din, mehê 1 mîlyon daxwazên weha belaş in.
Hin fonksiyonên Nikolai bi gelemperî ji sînorê 100 ms derbas bûn (serîlêdana sereke bi Ruby hate nivîsandin), ji ber vê yekê ji nû ve nivîsandina wan di Go de teserûfa hêja peyda kir.
Vostok Hercules - telemetrîyê dîsa mezin bike!
Rapora herî dawî ya beşa Backend ji Grigory Koshelev (pargîdaniya Kontur) di derbarê telemetrî de. Telemetry tê wateya têketin, metrîk, şopên sepanê.
Ji bo vê armancê, Contour amûrên xwe-nivîskî yên ku li Github hatine şandin bikar tîne. Amûrek ji raporê - Hercules, , ji bo radestkirina daneyên telemetrîyê tê bikar anîn.
Rapora Vladimir Lila ya di beşa Devops de li ser hilanîn û hilanîna têketinên li Elasticsearch nîqaş kir, lê hîn jî peywira radestkirina têketin ji bi hezaran amûr û sepanan heye, û amûrên mîna Vostok Hercules wan çareser dike.
Qayde rêyek ku ji gelek kesan re tê zanîn dişopand - ji RabbitMQ heya Apache Kafka, lê ne her tişt ew qas hêsan e)) Diviya bû ku wan Zookeeper, Cassandra û Graphite li çerxê zêde bikin. Ez ê agahdariya li ser vê raporê bi tevahî eşkere nekim (ne profîla min), heke hûn eleqedar bin, hûn dikarin li ser malpera konferansê li benda slayd û vîdyoyan bisekinin.
Çawa ew bi konferansên din re hevber dike?
Ez nikarim wê bi konferansên li Moskova û St.
DAMP di 8 beşan de pêk tê, ev ji bo konferansên Ural rekorek e. Beşên Zanist û Rêvebiriyê pir mezin, ev jî ne asayî ye. Temaşevan li Yekaterinburg pir birêkûpêk e - bajar ji bo Yandex, Kontur, Tinkoff beşên pêşkeftinê yên mezin hene, û ev yek şopa xwe li ser raporan dihêle.
Xaleke din a balkêş ev e ku gelek pargîdan di konferansê de yekcar 3-4 axaftvan hene (ev rewş bi Kontur, Evil Martians, Tinkoff re bû). Gelek ji wan sponsor bûn, lê rapor bi yên din re pir in, ev ne raporên reklamê ne.
Çûn an neçûn? Ger hûn li Urals an li nêzîkê dijîn, we derfet heye û bi mijaran re eleqedar in - erê, bê guman. Ger hûn li ser rêwîtiyek dirêj difikirin, ez ê li mijarên rapor û raporên vîdyoyê yên salên berê binihêrim û biryar da.
Feydeyek din a konferansên li herêman, wekî qaîdeyek, ew e ku piştî raporan bi axaftvan re têkiliyek hêsan e; ji bo danûstendina weha tenê serlêdan kêm in.
Spas ji bo Dump û Ekaterinburg! )
Source: www.habr.com