Ҳафтаи гузашта ман ба конфронси DUMP IT (https://dump-ekb.ru/) дар Екатеринбург рафтам ва мехоҳам ба шумо бигӯям, ки дар бахшҳои Backend ва Devops он чизе баррасӣ шуд ва оё конфронсҳои минтақавии IT қобили таваҷҷӯҳанд.
Николай Сверчков аз Evil Martians дар бораи Serverless
Ба ҳар ҳол чӣ буд?
Дар маҷмӯъ, конфронс аз 8 бахш иборат буд: Backend, Frontend, Mobile, Testing and QA, Devops, Design, Science and Management.
Калонтарин толорҳо, дар омади гап, дар Илм ва Менеҷмент мебошанд)) Ҳар кадоме барои ~ 350 нафар. Backend ва Frontend чандон хурдтар нестанд. Ҳуҷраи Devops хурдтарин, вале фаъол буд.
Ман гузоришҳоро дар бахшҳои Devops ва Backend шунидам ва бо баромадкунандагон каме сӯҳбат кардам. Ман мехостам дар бораи мавзуъхое, ки дар конференция мухокима карда шудаанд, сухан ронам ва ин секцияхоро баррасй кунам.
Дар бахшҳои Devops ва Backend намояндагони SKB-Kontur, DataArt, Evil Martians, веб-студияи Екатеринбург Flag, Miro (RealTimeBoard) суханронӣ карданд. Мавзӯъҳо дар CI/CD, кор бо хидматҳои навбатӣ, сабти ном; Мавзӯъҳои бе сервер ва кор бо PostgreSQL дар Go хуб фаро гирифта шуданд.
Аз Avito, Tinkoff, Yandex, Jetstyle, Megafon, Ak Bars Bank низ гузоришҳо буданд, аммо ман вақти ҷисмонӣ надоштам, ки ба онҳо ҳозир шавам (видео сабтҳо ва слайдҳои гузоришҳо ҳоло дастрас нестанд, онҳо ваъда медиҳанд, ки онҳоро дар давоми 2 ҳафта нашр мекунанд. дар dump-ekb.ru).
Бахши Devops
Аҷиб он буд, ки секция дар хурдтарин толор, тақрибан 50 ҷойи нишаст баргузор мешуд. Одамон ҳатто дар гузаргоҳҳо истода буданд :) Ман ба шумо дар бораи гузоришҳое, ки ман тавонистаам гӯш кардам, нақл мекунам.
Эластики вазни петабайт
Бахш бо гузориши Владимир Лил (SKB-Kontur) дар бораи Elasticsearch дар Контур оғоз шуд. Онҳо Эластики хеле калон ва пурбор доранд (~ 800 ТБ маълумот, ~ 1.3 петабайт бо назардошти зиёдатӣ). Elasticsearch барои ҳама хидматҳои Kontur ягона аст, аз 2 кластер (аз 7 ва 9 сервер) иборат аст ва он қадар муҳим аст, ки Kontur муҳандиси махсуси Elasticsearch дорад (воқеан худи Владимир).
Владимир инчунин андешаҳои худро дар бораи манфиатҳои Elasticsearch ва мушкилоте, ки он меорад, нақл кард.
Фоидаи:
- Ҳама гузоришҳо дар як ҷо ҳастанд, дастрасии осон ба онҳо
- Нигоҳ доштани гузоришҳо барои як сол ва ба осонӣ таҳлил кардани онҳо
- Суръати баланди кор бо журналхо
- Визуализатсияи маълумоти олӣ аз қуттӣ
Мушкилот:
- брокери паёмӣ ҳатмист (барои Контур нақши онро Кафка иҷро мекунад)
- хусусиятҳои кор бо Elasticsearch Curator (сарбории давра ба давра аз вазифаҳои муқаррарӣ дар Curator эҷод карда мешавад)
- ягон иҷозати дарунсохт (танҳо барои пулҳои алоҳида, хеле калон ё ҳамчун плагинҳои кушодаасоси дараҷаҳои гуногуни омодагӣ ба истеҳсол)
Дар бораи Open Distro барои Elasticsearch танҳо баррасиҳои мусбӣ буданд :) Дар он ҷо ҳамон як масъалаи иҷозатдиҳӣ ҳал карда шудааст.
Петабайт аз куҷо меояд?Гиреҳҳои онҳо аз серверҳои дорои 12 * 8 Tb SATA + 2 * 2 Tb SSD иборатанд. Нигоҳдории сард дар SATA, SSD танҳо барои кэши гарм (нигохдории гарм).
7+9 серверҳо, (7 + 9) * 12 * 8 = 1536 Тб.
Як қисми фазо дар захира аст, барои зиёдатӣ ҷудо карда шудааст ва ғайра.
Гузоришҳо аз тақрибан 90 барнома ба Elasticsearch фиристода мешаванд, аз ҷумла ҳама хидматҳои гузоришдиҳии Контур, Элба ва ғайра.
Хусусиятҳои рушд дар Serverless
Баъдан гузориши Руслан Серкин аз DataArt дар бораи Serverless мебошад.
Руслан дар бораи он сӯҳбат кард, ки чӣ гуна рушд бо равиши бе сервер умуман аст ва хусусиятҳои он чист.
Бе сервер ин равиш ба рушд аст, ки дар он таҳиягарон ба ҳеҷ ваҷҳ ба инфрасохтор даст нарасонанд. Мисол - AWS Lambda Serverless, Kubeless.io (Бесервер дар дохили Kubernetes), Google Cloud Functions.
Барномаи беҳтарини бе сервер танҳо як функсияест, ки тавассути Gateway махсуси API дархостро ба провайдери бе сервер мефиристад. Микросервиси идеалӣ, дар ҳоле ки AWS Lambda инчунин шумораи зиёди забонҳои муосири барномасозиро дастгирӣ мекунад. Дар мавриди провайдерҳои абрӣ арзиши нигоҳдорӣ ва густариши инфрасохтор ба сифр баробар мешавад, дастгирии барномаҳои хурд низ хеле арзон хоҳад буд (AWS Lambda - $0.2 / 1 миллион дархостҳои оддӣ).
Миқёспазирии чунин система қариб идеалӣ аст - провайдери абрӣ инро худаш ғамхорӣ мекунад, Kubeless дар дохили кластери Kubernetes ба таври худкор миқёс мекунад.
Камбудиҳо вуҷуд доранд:
- таҳияи барномаҳои калон мушкилтар мегардад
- дар профили барномаҳо мушкилӣ вуҷуд дорад (танҳо гузоришҳо барои шумо дастрасанд, аммо профилсозӣ ба маънои муқаррарӣ нест)
- версия нест
Рости гап, ман чанд сол пеш дар бораи Serverless шунидам, аммо тамоми ин солҳо барои дуруст истифода бурдани он ба ман маълум набуд. Пас аз гузориши Руслан фаҳмиш пайдо шуд ва пас аз гузориши Николай Сверчков (Марсиёни бад) аз бахши Backend, он муттаҳид карда шуд. Беҳуда ба конфронс рафтам :)
CI барои камбизоатон аст, ё оё меарзад, ки CI-и шахсии худро барои студияи веб бинависед?
Михаил Радионов, роҳбари веб-студияи Flag аз Екатеринбург, дар бораи худнависи CI/CD сухан гуфт.
Студияи ӯ аз "дастӣ CI/CD" (ба сервер тавассути SSH ворид шавед, git pull кунед, дар як рӯз 100 маротиба такрор кунед) ба Ҷенкинс ва ба асбоби худнависе, ки ба шумо имкон медиҳад, ки кодро назорат кунед ва релизҳоро бо номи Пулкинс иҷро кунед. .
Чаро Ҷенкинс кор накард? Он ба таври нобаёнӣ чандирии кофӣ таъмин намекард ва танзим кардани он хеле душвор буд.
"Флаг" дар Laravel (чаҳорчӯбаи PHP) таҳия мешавад. Ҳангоми таҳияи сервери CI/CD, Михаил ва ҳамкорони ӯ механизмҳои дохилии Ларавелро бо номи Telescope ва Envoy истифода карданд. Дар натиҷа сервер дар PHP аст (лутфан қайд кунед), ки дархостҳои вебхукҳои воридшударо коркард мекунад, метавонад интерфейс ва пуштибониро созад, дар серверҳои гуногун ҷойгир кунад ва ба Slack гузориш диҳад.
Сипас, барои иҷро кардани ҷойгиркунии кабуд/сабз ва танзимоти якхела дар муҳити dev-stage-prod, онҳо ба Docker гузаштанд. Афзалиятҳо бетағйир монданд, имкониятҳои яксонсозии муҳити зист ва ҷойгиркунии бефосила илова карда шуданд ва зарурати омӯхтани Docker барои дуруст кор кардан бо он илова карда шуд.
Чӣ гуна мо шумораи бозпас гирифтани серверро 99% кам кардем
Ҳисоботи охирин дар бахши Devops аз Виктор Еремченко, муҳандиси пешбари Miro.com (собиқ RealTimeBoard) буд.
RealTimeBoard, маҳсулоти флагмании дастаи Miro, ба як барномаи монолитии Java асос ёфтааст. Бе бекористии он чамъ кардан, санчидан ва ба кор андохтан кори душвор аст. Дар ин ҳолат, ҷойгир кардани чунин версияи код муҳим аст, то он набояд баргардонида шавад (ин монолитии вазнин аст).
Дар роҳи сохтани системае, ки ба шумо имкон медиҳад, ки ин корро анҷом диҳед, Миро роҳеро тай кард, ки кор дар меъморӣ, асбобҳои истифодашуда (Atlassian Bamboo, Ansible ва ғайра) ва кор дар сохтори гурӯҳҳоро дар бар мегирад (ҳоло онҳо доранд. як дастаи бахшидашудаи Devops + бисёр дастаҳои алоҳидаи Scrum аз таҳиягарони профилҳои гуногун).
Рох душвору пурбор гардид ва Виктор ба дарду некбинии чамъшуда шарик шуд, ки бо ин тамом нашуд.
Барои савол додан китоб бурд кард
Бахши пушти сар
Ба ман муяссар шуд, ки дар ду гузориш иштирок кунам - аз Николай Сверчков (Марсиёни бад), инчунин дар бораи Серверсиз ва аз Григорий Кошелев (ширкати Контур) дар бораи телеметрия.
Барои одамони оддӣ бе сервер
Агар Руслан Сиркин дар бораи чӣ будани Serverless сӯҳбат мекард, Николай барномаҳои оддиро бо истифода аз Serverless нишон дод ва дар бораи тафсилотҳое, ки ба арзиш ва суръати барномаҳо дар AWS Lambda таъсир мерасонанд, сӯҳбат кард.
Тафсилоти ҷолиб: унсури ҳадди ақали пардохтшуда 128 Мб хотира ва 100 мс CPU аст, арзиши он $ 0,000000208 аст. Гузашта аз ин, 1 миллион чунин дархостҳо дар як моҳ ройгон аст.
Баъзе аз функсияҳои Николай аксар вақт аз ҳадди 100 мс зиёд буданд (аризаи асосӣ дар Ruby навишта шудааст), аз ин рӯ навиштани онҳо дар Go сарфаи олиро фароҳам овард.
Восток Геркулес — телеметрияро боз олиҷаноб созед!
Гузориши охирини бахши Backend аз Григорий Кошелев (ширкати Контур) дар бораи телеметрия. Телеметрия маънои гузоришҳо, метрика, пайгирии барномаҳоро дорад.
Бо ин мақсад, Contour асбобҳои худнависиро, ки дар Github ҷойгир шудаанд, истифода мебарад. Восита аз гузориш - Геркулес, , барои расондани маълумоти телеметрй истифода мешавад.
Гузориши Владимир Лила дар бахши Devops нигоҳдорӣ ва коркарди гузоришҳоро дар Elasticsearch баррасӣ кард, аммо то ҳол вазифаи интиқоли гузоришҳо аз ҳазорон дастгоҳҳо ва барномаҳо вуҷуд дорад ва асбобҳое ба мисли Vostok Hercules онҳоро ҳал мекунанд.
Схема бо роҳе, ки ба бисёриҳо маълум буд, пайравӣ мекард - аз RabbitMQ то Apache Kafka, аммо на ҳама чиз он қадар оддӣ аст)) Онҳо маҷбур буданд Zookeeper, Cassandra ва Graphite -ро ба схема илова кунанд. Ман маълумотро дар ин гузориш пурра ифшо намекунам (на профили ман), агар шумо таваҷҷӯҳ дошта бошед, шумо метавонед слайдҳо ва видеоҳоро дар вебсайти конфронс интизор шавед.
Он дар муқоиса бо дигар конфронсҳо чӣ гуна аст?
Ман онро бо конфронсҳои Маскав ва Санкт-Петербург муқоиса карда наметавонам, бо дигар чорабиниҳои Урал ва бо 404fest дар Самара муқоиса карда метавонам.
ДАМП дар 8 секция гузаронда мешавад, ки ин барои конференцияхои Урал рекорд мебошад. Бахшҳои хеле калони Илм ва Менеҷмент, ин ҳам ғайриоддӣ аст. Тамошобинон дар Екатеринбург хеле сохторбандӣ шудаанд - шаҳр шӯъбаҳои калони рушд барои Яндекс, Контур, Тинкофф дорад ва ин дар гузоришҳо осори худро мегузорад.
Нуктаи ҷолиби дигар ин аст, ки бисёр ширкатҳо дар конфронс якбора 3-4 баромадкунанда доранд (ин ҳолат Контур, Evil Martians, Tinkoff буд). Аксари онҳо сарпараст буданд, аммо гузоришҳо бо дигарон баробаранд, ин гузоришҳои таблиғотӣ нестанд.
Рафтан ё нарафтани? Агар шумо дар Урал ё наздик зиндагӣ кунед, шумо имконият доред ва ба мавзӯъҳо таваҷҷӯҳ доред - ҳа, албатта. Агар шумо дар бораи сафари дур фикр кунед, ман ба мавзӯъҳои гузоришҳо ва гузоришҳои видеоӣ аз солҳои қаблӣ назар мекунам ва карор кабул кард.
Бартарии дигари конфронсҳо дар минтақаҳо, чун қоида, дар он аст, ки баъд аз маърӯзаҳо бо маърӯзачӣ муошират кардан осон аст, довталабон барои чунин муошират хеле каманд.
Ташаккур ба Дамп ва Екатеринбург! )
Манбаъ: will.com