Zakladatel a ředitel „Otomato Software“, jeden z iniciátorů a instruktůrů první DevOps certifikace v Izraeli, Anton Weiss, hovořil na loňském o teorii chaosu a hlavních principech chaosové inženýrství a také vysvětlil, jak by měla vypadat ideální DevOps organizace budoucnosti.
Připravili jsme textovou verzi prezentace.

Dobré ráno!
DevOpsDays v Moskvě podruhé v řadě, já podruhé na tomto pódiu, mnozí z vás podruhé v této místnosti. Co to znamená? To znamená, že DevOps hnutí v Rusku roste, množí se a hlavně, to znamená, že přišel čas hovořit o tom, co vlastně znamená DevOps v roce 2018.
Zvedněte ruku ti, kteří si myslí, že v roce 2018 je DevOps už profesí? Jsou tu takoví. Jsou v místnosti DevOps inženýři, kteří mají v popisu pracovní pozice napsáno „DevOps inženýr“? Jsou v místnosti DevOps manažeři? Takoví nejsou. DevOps architekti? Taky ne. Málo. Co, opravdu nikdo nemá napsáno, že je DevOps inženýr?
To znamená, že většina z vás si myslí, že je to antipattern? Že taková profese by neměla existovat? Můžeme si myslet, co chceme, a zatímco přemýšlíme, průmysl slavnostně postupuje vpřed za zvuků DevOps trumpety.
Kdo slyšel o novém tématu, které se nazývá DevDevOps? Je to taková nová metodika, která umožňuje efektivní spolupráci mezi vývojáři a DevOps týmy. Přitom to není něco úplně nového. Sudě podle Twitteru, o tom už začali mluvit před 4 lety. A zájem o to stále roste, což znamená, že problém existuje. Tento problém je třeba vyřešit.

Jsme kreativní lidé, tak snadno se neuklidníme. Říkáme, že DevOps je příliš obecné slovo, chybí v něm různé zajímavé prvky. A jdeme do našich tajných laboratoří a začínáme plodit zvědavé mutace: DevTestOps, GitOps, DevSecOps, BizDevOps, ProdOps.

Logika je jasná, že? Naše dodací systém není funkční, naše systémy jsou nestabilní a uživatelé nespokojení, nestíháme vydávat software včas, nepohybujeme se v rozpočtu. Jak to všechno vyřešíme? Vymyslíme nové slovo! Bude končit na „Ops“, a problém je vyřešen.
Tak tento přístup nazývám — „Ops, a problém je vyřešen“.
Tohle všechno ustupuje do pozadí, pokud si připomínáme, proč jsme to všechno vymysleli. Vymysleli jsme celý tento DevOps, abychom učinili doručování software a naši práci v tomto procesu co nejvíce bezproblémovou, bezbolestnou, efektivní a, hlavně, příjemnou.
DevOps vyrostl z bolesti. A máme dost utrpení. Abychom to všechno zvládli, zakládáme se na udržitelných praktikách: efektivní spolupráce, praktiky toku a především systémové myšlení, protože bez něj žádný DevOps nefunguje.
Co je to systém?
A pokud už mluvíme o systémovém myšlení, připomeňme si, co je to systém.

Pokud jste hacker-revolucionář, pak je pro vás systém jednoznačné zlo. Je to mrak, který se nad vámi vznáší a nutí vás dělat věci, které dělat nechcete.

Z pohledu systémového myšlení je systém celkem, který se skládá z částí. V tomto smyslu jsme každý z nás systém. Organizace, ve kterých pracujeme, jsou systémy. A to, co budujeme, se nazývá systém.
To všechno je součástí jedné velké sociotechnologické soustavy. A pouze pokud pochopíme, jak tato sociotechnologická soustava spolupracuje, budeme schopni skutečně něco optimalizovat.
Z pohledu systémového myšlení má systém různá zajímavá vlastnosti. Za prvé, skládá se z částí, což znamená, že jeho chování závisí na chování jednotlivých částí. A všechny jeho části jsou také vzájemně závislé. To znamená, že čím více částí systém má, tím složitější je pochopit nebo předpovědět jeho chování.
Z hlediska chování existuje ještě jeden zajímavý fakt. Systém může dělat něco, co žádná z jeho jednotlivých částí nemůže udělat.
Jak říkal doktor Russell Ackoff (jeden z zakladatelů systémového myšlení), je to dost snadné dokázat pomocí myšlenkového experimentu. Například, kdo v sále umí psát kód? Mnoho rukou, a to je normální, protože je to jedna z hlavních požadavků na naši profesi. Umíte psát, a vaše ruce odděleně od vás mohou psát kód? Jsou lidé, kteří řeknou: „Moje ruce nepíší kód, můj mozek píše kód“. A může mozek psát kód odděleně od vás? No, pravděpodobně ne.
Mozek je úžasný stroj, o jehož fungování nevíme ani 10 %, ale nemůže pracovat odděleně od systému, kterým je náš organismus. A to lze snadno dokázat: otevřete si lebku, vyjměte z ní mozek, položte ho před počítač a ať se pokusí napsat něco jednoduchého. Například "Ahoj, světe" v Pythonu.
Pokud systém dokáže vykonat něco, co žádná z jeho částí samostatně udělat nemůže, znamená to, že jeho chování není určováno chováním jeho částí. Čím je tedy určováno? Určuje ho interakce mezi těmito částmi. A podle toho, čím více částí, tím složitější interakce, tím složitější je pochopit a předpovědět chování systému. A to dělá takový systém chaotickým, protože jakákoliv, i ta nejmenší, oku neviditelná změna v jakékoliv části systému může vést k naprosto nepředvídatelným výsledkům.
Tato citlivost na počáteční podmínky byla poprvé objevena a zkoumána americkým meteorologem Edem Lorenzem. Později byla nazvána "efekt motýla" a vedla k rozvoji takového směru vědeckého myšlení, který se nazývá "teorie chaosu". Tato teorie se stala jedním z hlavních paradigmatických posunů ve vědě 20. století.
Teorie chaosu
Lidé, kteří se zabývají studiem chaosu, se nazývají chaotologové.

Skutečným důvodem této přednášky bylo to, že při práci se složitými distribuovanými systémy a velkými mezinárodními organizacemi jsem si v určitém okamžiku uvědomil, že to je to, čím se cítím. Jsem chaotolog. To je v zásadě takový důmyslný způsob, jak říct: "Nerozumím tomu, co se zde děje, a nevím, co s tím dělat."
Myslím, že se mnozí z vás často cítí podobně, takže také jste chaotologové. Zveme vás do gildy chaotologů. Systémy, které budeme studovat, milí kolegové chaotologové, se nazývají "složené adaptivní systémy".
Co je to adaptabilita? Adaptabilita znamená, že individuální a kolektivní chování částí v takovém adaptivním systému se mění a samoorganizuje jako reakce na události nebo řetězce mikroevektů v systému. To znamená, že se systém přizpůsobuje změnám prostřednictvím samoorganizace. A tato schopnost samoorganizace je založena na dobrovolné, zcela decentralizované spolupráci svobodných autonomních agentů.
Další zajímavou vlastností takových systémů je, že jsou volně škálovatelné. Což by nás, jako inženýry chaologie, mělo určitě zajímat. Takže pokud jsme řekli, že chování složitého systému je určováno interakcí jeho částí, co nás má zajímat? Interakce.
Existují ještě dvě zajímavé závěry.

Za prvé, chápeme, že složitý systém nelze zjednodušit prostým zjednodušením jeho částí. Za druhé, jediný způsob, jak zjednodušit složitý systém, je prostřednictvím zjednodušení interakcí mezi jeho částmi.
Jak spolu komunikujeme? Všichni jsme součástí velkého informačního systému, který se nazývá lidská společnost. Komunikujeme prostřednictvím společného jazyka, pokud ho máme, pokud ho nacházíme.

Ale jazyk sám o sobě je složitý adaptivní systém. Proto, abychom mohli interagovat efektivněji a snadněji, potřebujeme vytvoření nějakých protokolů. Tedy nějaké sekvence symbolů a akcí, které učiní výměnu informací mezi námi jednodušší, předvídatelnější a srozumitelnější.
Chci říct, že tendence ke komplikování, adaptabilitě, decentralizaci a chaotičnosti jsou patrné ve všem. A v těch systémech, které stavíme, a v těch systémech, jejichž součástí jsme.
A abychom nebyli bez důkazů, podívejme se na to, jak se mění ty systémy, které vytváříme.

Čekali jste na toto slovo, chápu to. Jsme na DevOps konferenci, dnes toto slovo zazní nějakých sto tisíckrát a pak se nám bude zdát v noci.
Mikroslužby jsou první softwarová architektura, která vznikla jako reakce na praktiky DevOps, a jejím cílem je učinit naše systémy flexibilnějšími, škálovatelnějšími a zajistit nepřetržitou dodávku. Jak to dělá? Snížením objemu služeb, omezením rozsahu problémů, které tyto služby zpracovávají, a zkrácením doby dodání. To znamená, že zmenšujeme a zjednodušujeme části systému, zvyšujeme jejich počet, což nevyhnutelně zvyšuje složitost interakcí mezi těmito částmi, tedy vznikají nové problémy, které musíme řešit.

Mikroslužby nejsou konec, mikroslužby jsou vlastně už včerejšek, protože přichází Serverless. Všechny servery shořely, nejsou servery, nejsou operační systémy, jen čistě vykonávaný kód. Konfigurace odděleně, stavy odděleně, všechno je řízeno událostmi. Krása, čistota, ticho, žádné události, nic se neděje, naprostý klid.
Kde je složitost? Složitost je pochopitelně ve vzájemných interakcích. Kolik toho může jedna funkce udělat sama o sobě? Jak interaguje s ostatními funkcemi? Zprávy v frontách, databáze, vyvažovače. Jak rekonstruovat nějakou událost, když dojde k selhání? Spousta otázek a málo odpovědí.
Mikroslužby a Serverless jsou vše, co my, počítačoví hipsteři, nazýváme Cloud Native. Všechno je to o cloudu. Ale cloud je z podstaty také omezeně škálovatelný. Jsme zvyklí přemýšlet o něm jako o distribuovaném systému. Ve skutečnosti, kde žijí servery cloudových poskytovatelů? V datacentrech. To znamená, že zde máme nějaký centralizovaný, velmi omezený, distribuovaný model.
Dnes již chápeme, že internet věcí nejsou jen prázdná slova o tom, že nás podle skromných předpovědí v příštích pěti až deseti letech čekají miliardy zařízení připojených k internetu. Obrovské množství užitečných a neužitečných dat, která budou stahována do cloudu a odesílána z cloudu.
Cloud to neutáhne, a proto čím dál více mluvíme o tom, co se nazývá „okrajové výpočty“. Nebo se mi líbí krásná definice „fog computing“. Ta je zastřená mystikou romantismu a záhadnosti.

Zamlžené výpočty. Jde o to, že oblaka jsou centralizované shluky vody, páry, ledu a kamenů. A mlha jsou kapky vody, které jsou rozptýleny kolem nás v atmosféře.
V zamlžené paradigmatice většinu práce vykonávají tyto kapky zcela autonomně nebo ve spolupráci s jinými kapkami. A obracejí se na oblaka pouze tehdy, když nastane skutečná potřeba.
To znamená opět decentralizaci, autonomii, a samozřejmě mnozí z vás již rozumí, kam to vše směřuje, protože nelze mluvit o decentralizaci a nezmínit blockchain.

Jsou ti, kteří věří, to jsou ti, kteří investovali do kryptoměny. Jsou ti, kteří věří, ale bojí se, jako třeba já. A jsou ti, kteří nevěří. K tomu se dá přistupovat různě. Existuje technologie, nová nepochopená záležitost, existují problémy. Jako každá nová technologie vyvolává více otázek, než poskytuje odpovědí.
Hype kolem blockchainu je jasný. I když odložíme stranou zlatou horečku, samotná technologie slibuje úžasnou budoucnost: více svobody, více autonomie, rozptýlené globální důvěry. Co tu není chtít?
Proto čím dál tím více inženýrů po celém světě začíná vyvíjet decentralizované aplikace. A to je síla, kterou nelze jednoduše ignorovat slovy: „Aaa, blockchain je jen špatně implementovaná distribuovaná databáze.“ Nebo jak skeptici rádi říkají: „Pro blockchain neexistují žádné skutečné aplikace.“ Když si to promyslíme, před 150 lety říkali to samé o elektřině. A v něčem měli pravdu, protože to, co elektřina dnes umožňuje, bylo v 19. století naprosto nereálné.
Mimochodem, kdo ví, co je za logo na obrazovce? To je Hyperledger. To je projekt vyvíjený pod záštitou The Linux Foundation, zahrnuje soubor blockchainových technologií. To je skutečná síla naší komunity otevřeného kódu.
Chaosové inženýrství

Takže systém, který vyvíjíme, se stává čím dál složitějším, chaotičtějším a adaptivnějším. Netflix je průkopníkem mikroservisních systémů. Byli jedni z prvních, kdo to pochopili, vyvinuli sadu nástrojů, které nazvali Simian Army, z nichž nejznámější je . Definoval to, co se stalo známým jako .
Mimochodem, při práci na této prezentaci jsme tento text také přeložili do ruštiny, tak se podívejte na , čtěte, komentujte, kritizujte.
Stručně řečeno, principy chaotického inženýrství říkají následující. Složité distribuované systémy jsou v zásadě nepředvídatelné a v nich jsou inherentně chyby. Chyby jsou nevyhnutelné, což znamená, že je musíme přijmout a pracovat s těmito systémy zcela jinak.
Musíme se sami snažit vnášet tyto chyby do našich produkčních systémů, abychom testovali naše systémy na tuto adaptabilitu, na tuto schopnost samoorganizace, na přežití.
A to mění všechno. Nejen to, jak spouštíme systém v produkci, ale také jak je vyvíjíme, jak je testujeme. Neexistuje žádný proces stabilizace, zamrznutí kódu, naopak, je tu trvalý proces destabilizace. Snažíme se zabít systém a vidět, zda přežije.
Protokoly pro integraci distribuovaných systémů

To vyžaduje, aby se naše systémy také nějak změnily. Aby se staly robustnějšími, potřebují nové protokoly interakce mezi jejich částmi. Aby si tyto části mohly vyjednávat a docházet k nějaké samoorganizaci. A vznikají nové nástroje, nové protokoly, které nazývám „protokoly interakce distribuovaných systémů“.

O čem mluvím? Především o projektu . Určitý pokus vytvořit společný protokol pro distribuované sledování, který je zcela nezbytným nástrojem pro ladění složitých distribuovaných systémů.

Dále je zde . Říkáme, že nemůžeme předvídat, co se s systémem stane, takže musíme zvýšit jeho observabilitu. Opentracing patří do rodiny nástrojů, které poskytují observabilitu našich systémů. Ale observabilita je nezbytná k tomu, abychom určili, zda se systém chová tak, jak očekáváme, nebo ne. Jak určíme očekávané chování? Určením nějaké politiky, nějakého souboru pravidel. Projekt Open Policy Agent se zabývá definováním tohoto souboru pravidel v širokém spektru: od přístupu po umístění zdrojů.

Jak jsme řekli, naše systémy jsou stále více řízené událostmi. Serverless je skvělým příkladem systémů řízených událostmi. Abychom mohli předávat události mezi systémy a sledovat je, potřebujeme společný jazyk, společný protokol, jak hovoříme o událostech a jak si je předáváme. Tímto se zabývá projekt s názvem .

Nepřetržitý proud změn, který omývá naše systémy a neustále je destabilizuje, je nepřetržitý proud softwarových artefaktů. Abychom mohli podporovat tento stálý proud změn, potřebujeme nějaký společný protokol, pomocí kterého můžeme hovořit o tom, co je softwarový artefakt, jak byl ověřen a jakou verifikací prošel. Tímto se zabývá projekt s názvem . To znamená společný protokol metadat softwarových artefaktů.

A konečně, pokud chceme, aby naše systémy byly zcela samostatné, adaptivní a autoregulující, musíme jim umožnit sebeidentifikaci. Projekt s názvem se tímto přesně zabývá. To je také projekt pod záštitou Cloud Native Computing Foundation.
Všechny tyto projekty jsou mladé, všechny potřebují naši lásku a naši kontrolu. Všechny jsou open source, naše testování, naším implementováním. Ukazují nám, kterým směrem se technologie ubírá.
Ale DevOps nikdy nebyl především o technologii, vždy byl o spolupráci mezi lidmi. A pokud tedy chceme, aby se systémy, které vyvíjíme, změnily, musíme se změnit my sami. Ve skutečnosti se již měníme, nemáme mnoho na výběr.

Existuje skvělá britské autorky Rachelle Botsman, ve které píše o evoluci důvěry během lidské historie. Říká, že původně, v primitivních společnostech, byla důvěra lokální, tedy jsme důvěřovali pouze těm, které osobně známe.
Následovalo velmi dlouhé období — temná doba, kdy byla důvěra centralizována, kdy jsme začali důvěřovat lidem, které neznáme na základě toho, že patříme ke stejnému společenskému nebo státnímu institutu.
A to, co vidíme v našem moderním světě: důvěra se stává stále více rozptýlenou a decentralizovanou, založenou na svobodě informačních toků a dostupnosti informací.
Pokud se zamyslíme, tak tuto dostupnost, která umožňuje tuto důvěru, vlastně realizujeme. To znamená, že se musí měnit nejen to, jak spolupracujeme, ale také to, jak to děláme, protože centralizované hierarchické IT organizace starého typu přestávají fungovat. Začínají umírat.
Základy DevOps organizace
Ideální DevOps organizace budoucnosti je decentralizovaný, adaptivní systém složený z autonomních týmů, přičemž každý z těchto týmů se skládá z autonomních jednotlivců. Tyto týmy jsou rozptýleny po celém světě, efektivně spolupracují pomocí asynchronní komunikace a vysoce transparentních protokolů výměny informací. Velmi hezké, že? Velmi krásná budoucnost.
Samozřejmě, to vše je nemožné bez kulturních změn. Musíme mít transformační vedení, osobní odpovědnost a vnitřní motivaci.

Toto je základ DevOps organizací: transparentnost informací, asynchronní komunikace, transformační vedení, decentralizace.
Vyhoření
Systémy, jejichž součástí jsme, a ty, které budujeme, jsou stále více chaotické, a pro nás, lidi, je těžké se s touto myšlenkou vypořádat, je obtížné se vzdát iluze kontroly. Pokoušíme se je dál kontrolovat, což často vede k vyhoření. Hovořím z vlastní zkušenosti, také jsem se spálil, jsem také obětí nečekaných poruch v produkci.

Vyhoření nastává, když se snažíme ovládat to, co se vlastně ovládání nepodléhá. Když vyhoříme, všechno ztrácí smysl, protože ztrácíme touhu dělat něco nového, jsme v obranné pozici a začínáme chránit to, co máme.
Inženýrská profese, jak si často připomínám, je především kreativní profese. Pokud ztrácíme touhu něco vytvářet, proměňujeme se v popel, stáváme se popelem. Lidé vyhoří, vyhoří celé organizace.
Podle mého názoru, pouze přijetí tvořivé síly chaosu, pouze budování spolupráce podle jeho principů — to je to, co nám pomůže neztratit to dobré, co máme ve svém oboru.
To vám i přeji: milovat svou práci, milovat to, co děláme. Tento svět se živí informacemi, máme tu čest ho živit. Tak se pojďme učit chaos, buďme chaosologové, přinášejme hodnotu, tvořme něco nového, a problémy, jak jsme již zjistili, jsou nevyhnutelné, a až se objeví, řekneme jednoduše „Ops!“, a problém je vyřešen.
Co kromě Chaos Monkey?
Opravdu, všechny tyto nástroje jsou velmi mladé. Stejně tak Netflix budoval nástroje pro sebe. Budujte nástroje pro sebe. Čtěte principy chaosového inženýrství a dodržujte tyto principy, a nehledejte jiné nástroje, které někdo jiný už postavil.
Snažte se pochopit, jak se vaše systémy rozpadnou, a začněte je rozbíjet a sledovat, jak odolávají úderům. To je na prvním místě. Nástroje se dají hledat. Existuje spousta projektů.
Nepochopil jsem úplně moment, kdy jste mluvili o tom, že systém nelze zjednodušovat, zjednodušením jeho komponent, a hned poté jste přešli k mikroslužbám, které právě zjednodušují systém zjednodušením samotných komponent a komplikují interakce. To jsou v podstatě dvě části, které si navzájem odporují.
Naprostý souhlas, mikroslužby jsou velmi kontroverzní téma. Opravdu, zjednodušení částí zvyšuje flexibilitu. Co nám mikroslužby dávají? Dávají nám flexibilitu a rychlost, ale rozhodně nám nepřinášejí jednoduchost. Zvyšují složitost.
Takže v filozofii DevOps, mikroslužby nejsou takovým požehnáním?
Každé požehnání má svou odvrácenou stranu. Existuje požehnání: zvyšuje to flexibilitu, dává nám možnost rychleji provádět změny, ale zvyšuje to složitost a tím pádem i křehkost celého systému.
Na co se tedy více zaměřit: na zjednodušení interakcí nebo na zjednodušení částí?
Důraz je bezpochyby na zjednodušení interakce, protože pokud se na to podíváme z pohledu toho, jak pracujeme, je prvořadé soustředit se na zjednodušení interakcí, nikoli na zjednodušení práce každého z nás jednotlivě. Protože zjednodušení práce znamená stát se roboty. V McDonald's to funguje normálně, když máš předpis: tady dej burger, tady nalij omáčku. To v naší kreativní práci naprosto nefunguje.
Je pravda, že to, co jste řekli, žije ve světě bez konkurence, a chaos je tam tak laskavý, a v tomto chaosu nejsou žádné rozpory, nikdo nikomu nechce ublížit? Jak by měla žít konkurence a DevOps?
No, záleží na tom, o jaké konkurenci mluvíme. O konkurenci na pracovišti nebo o konkurenci mezi firmami?
O konkurenci služeb, které existují, protože služby nejsou jen několik firem. Vytváříme nový typ informačního prostředí, a žádné prostředí nemůže žít bez konkurence. Soutěž je všude.
Stejné Netflix vezměme jako vzor. Proč to vymysleli? Protože potřebovali být konkurenceschopní. Tato flexibilita a rychlost pohybu jsou právě těmi konkurenceschopnými požadavky, které přinášejí chaos do našich systémů. Tedy chaos není něco, co vědomě děláme, protože to chceme, ale to, co se děje, protože to svět žádá. Musíme se jen přizpůsobit. A chaos je výsledkem konkurence.
To znamená, že chaos je absence cílů, že? Nebo cíle, které nechceme vidět? Jsme v domečku a nechápeme cíle ostatních. Konkurence vlastně existuje díky tomu, že máme jasné cíle, a víme, kam se dostaneme v každém dalším okamžiku. V tom je, z mého pohledu, podstata DevOps.
Také pohled na otázku. Myslím, že cíl máme všichni stejný: přežít a dělat to s
největší radostí. A konkurenceschopný cíl každé organizace je stejný. Přežití se často děje v konkurenčním boji, s tím se nedá nic dělat.
Letos se konference uskuteční 7. prosince v „Technopolisu“. Do 11. listopadu přijímáme přihlášky na prezentace. nám, pokud chcete vystoupit.
Registrace pro účastníky je otevřená, vstupenka stojí 7000 rublů. Připojte se!
Zdroj: habr.com
