Minulý týždeň som bol na IT konferencii DUMP (https://dump-ekb.ru/) v Jekaterinburgu a chcem vám povedať, o čom sa diskutovalo v sekciách Backend a Devops a či stoja za pozornosť regionálne IT konferencie.
Nikolay Sverchkov z Evil Martians o Serverless
Čo tam vôbec bolo?
Celkovo mala konferencia 8 sekcií: Backend, Frontend, Mobile, Testing and QA, Devops, Design, Science a Management.
Najväčšie sály sú mimochodom vo Vede a manažmente)) Každá pre ~ 350 ľudí. Backend a Frontend nie sú oveľa menšie. Miestnosť Devops bola najmenšia, ale aktívna.
Vypočul som si reportáže v sekciách Devops a Backend a trochu som sa porozprával s prednášajúcimi. Rád by som na konferencii hovoril o preberaných témach a zhodnotil tieto sekcie.
V sekciách Devops a Backend vystúpili zástupcovia SKB-Kontur, DataArt, Evil Martians, Jekaterinburského webového štúdia Flag, Miro (RealTimeBoard). Témy pokrývajúce CI/CD, prácu s frontovými službami, protokolovanie, témy bez servera a prácu s PostgreSQL v Go boli dobre pokryté.
Boli tam aj reportáže Avito, Tinkoff, Yandex, Jetstyle, Megafon, Ak Bars Bank, ale nemal som čas sa im fyzicky zúčastniť (videozáznamy a diapozitívy správ ešte nie sú k dispozícii, sľubujú ich zverejniť do 2 týždňov na dump-ekb.ru).
Sekcia Devops
Prekvapivé bolo, že sekcia sa konala v najmenšej sále, okolo 50 miest. Ľudia dokonca stáli v uličkách :) Poviem vám o správach, ktoré sa mi podarilo vypočuť.
Elastické s hmotnosťou petabajtu
Sekcia začala správou Vladimíra Lila (SKB-Kontur) o Elasticsearch v Konture. Majú pomerne veľký a nabitý elastický (~ 800 TB dát, ~ 1.3 petabajtov berúc do úvahy redundanciu). Elasticsearch pre všetky služby Kontur je jediný, pozostáva z 2 klastrov (zo 7 a 9 serverov) a je taký dôležitý, že Kontur má špeciálneho inžiniera Elasticsearch (v skutočnosti samotného Vladimíra).
Vladimir sa tiež podelil o svoje myšlienky o výhodách Elasticsearch a problémoch, ktoré prináša.
výhody:
- Všetky záznamy sú na jednom mieste, jednoduchý prístup k nim
- Ukladanie protokolov na rok a ich jednoduchá analýza
- Vysoká rýchlosť práce s guľatinou
- Skvelá vizualizácia dát hneď po vybalení
problémy:
- Sprostredkovateľ správ je nevyhnutnosťou (pre Kontur hrá jeho úlohu Kafka)
- funkcie práce s Elasticsearch Curator (periodicky vytváraná vysoká záťaž z bežných úloh v Curatore)
- žiadna vstavaná autorizácia (iba za samostatné, dosť veľké peniaze, alebo ako open source pluginy rôzneho stupňa pripravenosti na produkciu)
Na Open Distro pre Elasticsearch boli samé pozitívne recenzie :) Rovnaký problém s autorizáciou sa tam riešil.
Odkiaľ pochádza petabajt?Ich uzly pozostávajú zo serverov s 12*8 Tb SATA + 2*2 Tb SSD. Studené úložisko na SATA, SSD len pre horúcu vyrovnávaciu pamäť (hot storage).
7+9 serverov, (7 + 9) * 12 * 8 = 1536 Tb.
Časť priestoru je v rezerve, vyčlenená pre nadbytočnosť a pod.
Logy z asi 90 aplikácií sa posielajú do Elasticsearch, vrátane všetkých reportovacích služieb Kontur, Elba atď.
Vlastnosti vývoja na serveri
Ďalej je správa od Ruslana Serkina z DataArt o Serverless.
Ruslan hovoril o tom, čo je vo všeobecnosti vývoj s prístupom Serverless a aké sú jeho vlastnosti.
Serverless je prístup k vývoju, pri ktorom sa vývojári žiadnym spôsobom nedotýkajú infraštruktúry. Príklad – AWS Lambda Serverless, Kubeless.io (bez servera v rámci Kubernetes), Google Cloud Functions.
Ideálna bezserverová aplikácia je jednoducho funkcia, ktorá odošle požiadavku bezserverovému poskytovateľovi cez špeciálnu API bránu. Ideálna mikroslužba, pričom AWS Lambda podporuje aj veľké množstvo moderných programovacích jazykov. Náklady na údržbu a nasadenie infraštruktúry sa v prípade cloudových poskytovateľov stávajú nulovými, podpora malých aplikácií bude tiež veľmi lacná (AWS Lambda – 0.2 USD / 1 milión jednoduchých požiadaviek).
Škálovateľnosť takéhoto systému je takmer ideálna – cloudový poskytovateľ sa o to stará sám, Kubeless sa škáluje automaticky v rámci klastra Kubernetes.
Existujú nevýhody:
- vývoj veľkých aplikácií je čoraz náročnejší
- sú problémy s profilovacími aplikáciami (máte prístup iba k protokolom, ale nie profilovanie v bežnom zmysle slova)
- žiadne verzovanie
Aby som bol úprimný, počul som o Serverless pred niekoľkými rokmi, ale celé tie roky mi nebolo jasné, ako ho správne používať. Po Ruslanovej správe sa objavilo porozumenie a po správe Nikolaja Sverčkova (Zlí Marťania) zo sekcie Backend sa upevnilo. Nie nadarmo som išiel na konferenciu :)
CI je pre chudobných, alebo sa oplatí napísať vlastnú CI pre webové štúdio?
Michail Radionov, vedúci webového štúdia Flag z Jekaterinburgu, hovoril o vlastnoručne napísanom CI/CD.
Jeho štúdio prešlo z „manuálneho CI/CD“ (prihlás sa na server cez SSH, urob git pull, opakuj 100-krát za deň) na Jenkins a na vlastný nástroj, ktorý ti umožňuje monitorovať kód a vykonávať vydania s názvom Pullkins. .
Prečo Jenkins nefungoval? V predvolenom nastavení neposkytoval dostatočnú flexibilitu a bolo príliš ťažké ho prispôsobiť.
„Flag“ sa vyvíja v Laravel (PHP framework). Pri vývoji CI/CD servera Michail a jeho kolegovia použili Laravelove vstavané mechanizmy nazývané Telescope and Envoy. Výsledkom je server v PHP (všimnite si prosím), ktorý spracováva prichádzajúce požiadavky webhooku, dokáže zostaviť frontend a backend, nasadiť na rôzne servery a podávať správy Slacku.
Potom, aby mohli vykonávať modré/zelené nasadenie a mať jednotné nastavenia v prostrediach dev-stage-prod, prešli na Docker. Výhody zostali rovnaké, pribudli možnosti homogenizácie prostredia a bezproblémového nasadenia a pribudla potreba naučiť s ním Docker správne pracovať.
Ako sme znížili počet vrátení vydania servera o 99 %
Posledná správa v sekcii Devops bola od Viktora Eremčenka, vedúceho devops inžiniera v Miro.com (predtým RealTimeBoard).
RealTimeBoard, vlajkový produkt tímu Miro, je založený na monolitickej Java aplikácii. Zhromažďovanie, testovanie a nasadenie bez prestojov je náročná úloha. V tomto prípade je dôležité nasadiť takú verziu kódu, aby sa nemusela vracať späť (je to ťažký monolit).
Na ceste k vytvoreniu systému, ktorý vám to umožní, prešiel Miro cestou, ktorá zahŕňala prácu na architektúre, používaných nástrojoch (Atlassian Bamboo, Ansible atď.) a prácu na štruktúre tímov (teraz majú špecializovaný tím Devops + mnoho samostatných tímov Scrum od vývojárov rôznych profilov).
Cesta sa ukázala ako ťažká a tŕnistá a Victor zdieľal nahromadenú bolesť a optimizmus, ktorý tam neskončil.
Vyhral knihu za kladenie otázok
Sekcia backend
Podarilo sa mi zúčastniť 2 reportáží - od Nikolaja Sverčkova (Evil Martians), tiež o Serverless, a od Grigorija Košeleva (spoločnosť Kontur) o telemetrii.
Bez servera pre obyčajných smrteľníkov
Ak Ruslan Sirkin hovoril o tom, čo je Serverless, Nikolay ukázal jednoduché aplikácie využívajúce Serverless a hovoril o detailoch, ktoré ovplyvňujú cenu a rýchlosť aplikácií v AWS Lambda.
Zaujímavý detail: minimálny platený prvok je 128 Mb pamäte a 100 ms CPU, stojí 0,000000208 $. Okrem toho je 1 milión takýchto žiadostí mesačne zadarmo.
Niektoré Nikolaiove funkcie často prekračovali limit 100 ms (hlavná aplikácia bola napísaná v Ruby), takže ich prepísanie v Go prinieslo vynikajúce úspory.
Vostok Hercules — urobte telemetriu opäť skvelou!
Najnovšia správa sekcie Backend od Grigorija Kosheleva (spoločnosť Kontur) o telemetrii. Telemetria znamená protokoly, metriky, aplikačné stopy.
Na tento účel používa Contour nástroje, ktoré si sami napísali na Github. Nástroj zo správy - Hercules, , sa používa na doručovanie telemetrických údajov.
Správa Vladimíra Lila v sekcii Devops diskutovala o ukladaní a spracovaní protokolov v Elasticsearch, ale stále je tu úloha dodávať protokoly z mnohých tisíc zariadení a aplikácií a nástroje ako Vostok Hercules ich riešia.
Okruh šiel po ceste známej mnohým - od RabbitMQ po Apache Kafku, ale nie všetko je také jednoduché)) Do okruhu museli pridať Zookeeper, Cassandra a Graphite. Informácie o tejto správe nebudem úplne zverejňovať (nie môj profil), ak máte záujem, môžete si počkať na snímky a videá na webovej stránke konferencie.
Ako je to v porovnaní s inými konferenciami?
Nemôžem to porovnať s konferenciami v Moskve a Petrohrade, môžem to porovnať s inými podujatiami na Urale a so 404festom v Samare.
DAMP sa koná v 8 sekciách, čo je rekord pre Uralské konferencie. Veľmi veľké sekcie vedy a manažmentu, to je tiež nezvyčajné. Publikum v Jekaterinburgu je dosť štruktúrované - mesto má veľké vývojové oddelenia pre Yandex, Kontur, Tinkoff, čo zanecháva stopy v správach.
Ďalšou zaujímavosťou je, že veľa spoločností má na konferencii 3-4 rečníkov naraz (bolo to v prípade Kontur, Evil Martians, Tinkoff). Mnohí z nich boli sponzori, ale správy sú celkom rovnocenné s ostatnými, nejde o reklamné správy.
Ísť či neísť? Ak bývate na Urale alebo blízkom okolí, máte možnosť a témy vás zaujímajú – áno, samozrejme. Ak uvažujete o dlhšom výlete, pozrel by som si témy reportáží a videoreportáží z minulých ročníkov a urobil rozhodnutie.
Ďalšou výhodou konferencií v regiónoch spravidla je, že sa s prednášajúcim po správach ľahko komunikuje, jednoducho je o takúto komunikáciu menej záujemcov.
Vďaka Dump a Jekaterinburgu! )
Zdroj: hab.com