Yr wythnos diwethaf es i gynhadledd TG DUMP ( https://dump-ekb.ru/ ) yn Yekaterinburg ac rwyf am ddweud wrthych beth a drafodwyd yn yr adrannau Backend a Devops, ac a yw cynadleddau TG rhanbarthol yn werth sylw.
Nikolay Sverchkov o Evil Marsiaid am Serverless
Beth oedd yna beth bynnag?
Roedd gan y gynhadledd 8 adran i gyd: Backend, Frontend, Symudol, Profi a Sicrhau Ansawdd, Devops, Dylunio, Gwyddoniaeth a Rheolaeth.
Y neuaddau mwyaf, gyda llaw, yw Gwyddoniaeth a Rheolaeth)) Ar gyfer ~350 o bobl yr un. Nid yw Backend a Frontend yn llawer llai. Ystafell Devops oedd y lleiaf, ond gweithgar.
Gwrandewais ar yr adroddiadau yn yr adrannau Devops a Backend a siarad ychydig gyda'r siaradwyr. Hoffwn siarad am y pynciau dan sylw ac adolygu'r adrannau hyn yn y gynhadledd.
Siaradodd cynrychiolwyr SKB-Kontur, DataArt, Evil Martians, Ekaterinburg studio web Flag, Miro (RealTimeBoard) yn adrannau Devops a Backend. Roedd y pynciau'n cynnwys CI/CD, gweithio gyda gwasanaethau ciw, logio; pynciau heb wasanaeth a gweithio gyda PostgreSQL yn Go wedi'u cwmpasu'n dda.
Cafwyd adroddiadau hefyd gan Avito, Tinkoff, Yandex, Jetstyle, Megafon, Ak Bars Bank, ond nid oedd gennyf amser i'w mynychu'n gorfforol (nid yw recordiadau fideo a sleidiau o'r adroddiadau ar gael eto, maent yn addo eu postio o fewn 2 wythnos ar dymp-ekb.ru).
Devops adran
Yr hyn oedd yn syndod oedd bod yr adran yn cael ei chynnal yn y neuadd leiaf, tua 50 o seddi. Roedd pobl hyd yn oed yn sefyll yn yr eiliau :) Fe ddywedaf wrthych am yr adroddiadau y llwyddais i wrando arnynt.
Elastig yn pwyso petabyte
Dechreuodd yr adran gydag adroddiad gan Vladimir Lil (SKB-Kontur) am Elasticsearch yn Kontur. Mae ganddyn nhw Elastig gweddol fawr ac wedi'i lwytho (~800 TB o ddata, ~1.3 petabytes gan ystyried dileu swyddi). Mae Elasticsearch ar gyfer holl wasanaethau Kontur yn sengl, yn cynnwys 2 glwstwr (o 7 a 9 gweinydd), ac mae mor bwysig bod gan Kontur beiriannydd Elasticsearch arbennig (mewn gwirionedd, Vladimir ei hun).
Rhannodd Vladimir hefyd ei feddyliau ar fanteision Elasticsearch a'r problemau a ddaw yn ei sgil.
Budd-dal:
- Mae'r holl logiau mewn un lle, mynediad hawdd iddynt
- Storio boncyffion am flwyddyn a'u dadansoddi'n hawdd
- Cyflymder uchel o weithio gyda logiau
- Delweddu data oer allan o'r blwch
Problemau:
- mae brocer negeseuon yn hanfodol (i Kontur mae ei rôl yn cael ei chwarae gan Kafka)
- nodweddion gweithio gyda Churadur Elasticsearch (llwyth uchel yn cael ei greu o bryd i'w gilydd o dasgau rheolaidd yn Curadur)
- dim awdurdodiad adeiledig (dim ond ar gyfer arian ar wahân, eithaf mawr, neu fel ategion ffynhonnell agored o raddau amrywiol o barodrwydd ar gyfer cynhyrchu)
Dim ond adolygiadau cadarnhaol a gafwyd am Open Distro ar gyfer Elasticsearch :) Mae'r un mater o awdurdodi wedi'i ddatrys yno.
O ble mae'r petabyte yn dod?Mae eu nodau yn cynnwys gweinyddwyr gyda 12 * 8 Tb SATA + 2 * 2 Tb SSD. Storio oer ar SATA, SSD yn unig ar gyfer storfa poeth (storio poeth).
7+9 gweinydd, (7 + 9) * 12 * 8 = 1536 Tb.
Mae rhan o'r gofod wrth gefn, wedi'i neilltuo ar gyfer dileu swydd, ac ati.
Anfonir logiau o tua 90 o geisiadau i Elasticsearch, gan gynnwys holl wasanaethau adrodd Kontur, Elba, ac ati.
Nodweddion datblygiad ar Serverless
Nesaf mae adroddiad gan Ruslan Serkin o DataArt am Serverless.
Siaradodd Ruslan am ba ddatblygiad gyda'r dull Serverless yn gyffredinol, a beth yw ei nodweddion.
Mae Serverless yn ddull datblygu lle nad yw datblygwyr yn cyffwrdd â'r seilwaith mewn unrhyw ffordd. Enghraifft - AWS Lambda Serverless, Kubeless.io (Di-weinydd y tu mewn i Kubernetes), Google Cloud Functions.
Yn syml, mae cymhwysiad di-weinydd delfrydol yn swyddogaeth sy'n anfon cais at ddarparwr di-weinydd trwy Borth API arbennig. Microwasanaeth delfrydol, tra bod AWS Lambda hefyd yn cefnogi nifer fawr o ieithoedd rhaglennu modern. Mae cost cynnal a defnyddio seilwaith yn dod yn sero yn achos darparwyr cwmwl, a bydd cefnogi cymwysiadau bach hefyd yn rhad iawn (AWS Lambda - $0.2 / 1 miliwn o geisiadau syml).
Mae scalability system o'r fath bron yn ddelfrydol - mae darparwr y cwmwl yn gofalu am hyn ei hun, graddfeydd Kubeless yn awtomatig o fewn clwstwr Kubernetes.
Mae yna anfanteision:
- mae datblygu cymwysiadau mawr yn dod yn fwy anodd
- mae anhawster gyda rhaglenni proffilio (dim ond logiau sydd ar gael i chi, ond nid proffilio yn yr ystyr arferol)
- dim fersiwn
I fod yn onest, clywais am Serverless ychydig flynyddoedd yn ôl, ond yr holl flynyddoedd hyn nid oedd yn glir i mi sut i'w ddefnyddio'n gywir. Ar ôl adroddiad Ruslan, daeth dealltwriaeth i'r amlwg, ac ar ôl adroddiad Nikolai Sverchkov (Evil Marsiaid) o'r adran Backend, cafodd ei gyfuno. Nid yn ofer yr es i i'r gynhadledd :)
Mae CI ar gyfer y tlawd, neu a yw'n werth ysgrifennu eich CI eich hun ar gyfer stiwdio we?
Siaradodd Mikhail Radionov, pennaeth stiwdio we Flag o Yekaterinburg, am CI/CD hunan-ysgrifenedig.
Aeth ei stiwdio o “CI/CD â llaw” (wedi mewngofnodi i'r gweinydd trwy SSH, tynnu git, a ailadroddwyd 100 gwaith y dydd) i Jenkins ac i declyn a ysgrifennwyd gartref sy'n eich galluogi i reoli cod a pherfformio datganiadau o'r enw Pullkins.
Pam na weithiodd Jenkins? Nid oedd yn darparu digon o hyblygrwydd yn ddiofyn ac roedd yn rhy anodd ei addasu.
Mae “Flag” yn datblygu yn Laravel (fframwaith PHP). Wrth ddatblygu gweinydd CI/CD, defnyddiodd Mikhail a’i gydweithwyr fecanweithiau adeiledig Laravel o’r enw Telescope and Envoy. Y canlyniad yw gweinydd yn PHP (sylwer) sy'n prosesu ceisiadau gwebook sy'n dod i mewn, yn gallu adeiladu'r blaen a'r pen ôl, eu defnyddio i wahanol weinyddion, ac adrodd i Slack.
Yna, er mwyn gallu perfformio defnydd glas/gwyrdd a chael gosodiadau unffurf mewn amgylcheddau dev-stage-prod, fe wnaethant newid i Docker. Arhosodd y manteision yr un fath, ychwanegwyd y posibiliadau o homogeneiddio'r amgylchedd a defnydd di-dor, ac ychwanegwyd yr angen i ddysgu Docker i weithio gydag ef yn gywir.
Sut y gwnaethom leihau nifer y dychweliadau rhyddhau gweinyddion 99%
Daeth yr adroddiad diwethaf yn adran Devops gan Viktor Eremchenko, Peiriannydd devops Arweiniol yn Miro.com (RealTimeBoard gynt).
Mae RealTimeBoard, sef cynnyrch blaenllaw tîm Miro, yn seiliedig ar raglen Java monolithig. Mae ei chasglu, ei phrofi a'i defnyddio heb amser segur yn dasg anodd. Yn yr achos hwn, mae'n bwysig defnyddio fersiwn o'r fath o'r cod fel nad oes angen ei rolio'n ôl (mae'n fonolith trwm).
Ar y ffordd i adeiladu system sy'n caniatáu ichi wneud hyn, aeth Miro trwy lwybr a oedd yn cynnwys gweithio ar y bensaernïaeth, yr offer a ddefnyddiwyd (Bambŵ Atlas, Ansible, ac ati), a gweithio ar strwythur y timau (mae ganddyn nhw nawr tîm Devops ymroddedig + llawer o dimau Scrum ar wahân gan ddatblygwyr o wahanol broffiliau).
Trodd y llwybr allan i fod yn anodd ac yn bigog, a rhannodd Victor y boen a'r optimistiaeth gronedig na ddaeth i ben yno.
Wedi ennill llyfr am ofyn cwestiynau
Adran gefn
Llwyddais i fynychu 2 adroddiad - gan Nikolay Sverchkov (Evil Marsiaid), hefyd am Serverless, a gan Grigory Koshelev (cwmni Kontur) am delemetreg.
Heb weinydd i feidrolion yn unig
Pe bai Ruslan Sirkin yn siarad am yr hyn yw Serverless, dangosodd Nikolay geisiadau syml gan ddefnyddio Serverless, a siaradodd am y manylion sy'n effeithio ar gost a chyflymder ceisiadau yn AWS Lambda.
Manylion diddorol: yr elfen â thâl lleiaf yw 128 Mb o gof a 100 ms CPU, mae'n costio $0,000000208. Ar ben hynny, mae 1 miliwn o geisiadau o'r fath y mis yn rhad ac am ddim.
Roedd rhai o swyddogaethau Nikolai yn aml yn fwy na'r terfyn 100 ms (ysgrifennwyd y prif gais yn Ruby), felly roedd eu hailysgrifennu yn Go yn darparu arbedion rhagorol.
Vostok Hercules - gwnewch telemetreg yn wych eto!
Adroddiad diweddaraf yr adran Backend gan Grigory Koshelev (cwmni Kontur) am delemetreg. Mae telemetreg yn golygu logiau, metrigau, olion cymhwysiad.
At y diben hwn, mae Contour yn defnyddio offer hunan-ysgrifenedig wedi'u postio ar Github. Offeryn o'r adroddiad - Hercules, , yn cael ei ddefnyddio i gyflwyno data telemetreg.
Roedd adroddiad Vladimir Lila yn adran Devops yn trafod storio a phrosesu logiau yn Elasticsearch, ond mae dal y dasg o ddosbarthu logiau o filoedd lawer o ddyfeisiau a chymwysiadau, ac mae offer fel Vostok Hercules yn eu datrys.
Roedd y gylched yn dilyn llwybr a oedd yn hysbys i lawer - o RabbitMQ i Apache Kafka, ond nid yw popeth mor syml)) Roedd yn rhaid iddynt ychwanegu Zookeeper, Cassandra a Graphite at y gylched. Ni fyddaf yn datgelu'r wybodaeth ar yr adroddiad hwn yn llawn (nid fy mhroffil), os oes gennych ddiddordeb, gallwch aros am y sleidiau a'r fideos ar wefan y gynhadledd.
Sut mae'n cymharu â chynadleddau eraill?
Ni allaf ei gymharu â chynadleddau ym Moscow a St Petersburg, gallaf ei gymharu â digwyddiadau eraill yn yr Urals a gyda 404fest yn Samara.
Mae DAMP yn cael ei gynnal mewn 8 adran, mae hwn yn gofnod ar gyfer cynadleddau Ural. Adrannau Gwyddoniaeth a Rheolaeth mawr iawn, mae hyn hefyd yn anarferol. Mae'r gynulleidfa yn Yekaterinburg yn eithaf strwythuredig - mae gan y ddinas adrannau datblygu mawr ar gyfer Yandex, Kontur, Tinkoff, ac mae hyn yn gadael ei farc ar yr adroddiadau.
Pwynt diddorol arall yw bod gan lawer o gwmnïau 3-4 o siaradwyr yn y gynhadledd ar unwaith (dyma oedd yr achos gyda Kontur, Evil Marsiaid, Tinkoff). Roedd llawer ohonynt yn noddwyr, ond mae'r adroddiadau'n cyd-fynd yn union ag eraill, nid adroddiadau hysbysebu yw'r rhain.
I fynd neu beidio mynd? Os ydych yn byw yn yr Urals neu gerllaw, mae gennych y cyfle ac mae gennych ddiddordeb yn y pynciau - ie, wrth gwrs. Os ydych yn meddwl am daith hir, byddwn yn edrych ar bynciau adroddiadau ac adroddiadau fideo o flynyddoedd blaenorol ac wedi gwneud penderfyniad.
Mantais arall cynadleddau yn y rhanbarthau, fel rheol, yw ei bod yn hawdd cyfathrebu â'r siaradwr ar ôl yr adroddiadau; yn syml, mae llai o ymgeiswyr ar gyfer cyfathrebu o'r fath.
Diolch i Dump ac Ekaterinburg! )
Ffynhonnell: hab.com