Performanceorkester

Det skulle nog inte vara fel att sÀga att de bÀsta av mÀnniskor
finner glÀdje genom lidande.
Ludwig van Beethoven

Performanceorkester

Jag Ă€r Sergey, jag arbetar pĂ„ Yandex.Money i teamet för prestandaforskning. Jag vill berĂ€tta för er början pĂ„ historien om vĂ„r vĂ€g till att anvĂ€nda orkestrering — hur vi valde verktyg och vad vi tog hĂ€nsyn till. Alla hĂ€ndelser i artikeln Ă€ger rum i realtid, sĂ„ ni, kĂ€ra lĂ€sare, följer utvecklingen av situationen nĂ€stan i realtid.

Varför behöver vi en dirigent i teamet?

Vem Ă€r dĂ„ dirigenten? FrĂ„n franska diriger — att styra, leda, vĂ€gleda — i musikvĂ€rlden Ă€r det en person, ledaren för att öva och framföra ensemblemusik. I vĂ„rt fall innehas denna plats av orkestrerings- och automatiseringssystem.

Deras roll skiljer sig inte frĂ„n dirigentens roll i musiken — de behövs för att hjĂ€lpa teamet, vĂ€gleda och organisera deras spel.

Som regel har teamet en viss uppsĂ€ttning resurser — lĂ„t oss kalla dem servrar, pĂ„ vilka de genomför sina projekt.

TillvÀgagÄngssÀttet för att fÄ och anvÀnda dessa servrar Àr varierande. HÀr Àr nÄgra exempel:

  • Teamet gör en begĂ€ran, till exempel till driftsgruppen, om att fĂ„ resurser med specifika parametrar.
  • Driftsgruppen tillhandahĂ„ller dem det nödvĂ€ndiga antalet — cloud eller bare metal ("rent jĂ€rn") — och Ă„tar sig att underhĂ„lla dem i gott skick enligt SLA. Konfigureringen görs ocksĂ„ av driftsgruppen.
  • Teamet fĂ„r bara cloud- eller bare metal-resurser frĂ„n driftsgruppen, konfigurationen utför de sjĂ€lva.
  • Teamet "köper" sjĂ€lva resurser och underhĂ„ller/configurerar dem helt och hĂ„llet sjĂ€lva.

I vĂ„rt team anvĂ€nds servrar som behöver underhĂ„llas — uppdatera operativsystemet, installera nya paket, osv.

Vi har delat in dem i tvÄ huvudtyper:

  • tankgrupp,
  • serviceteam.

Tankgruppen bestÄr av vÀrdar med Yandex.Tank.

Serviceteamet inkluderar allt som rör underhĂ„ll — detta Ă€r olika tjĂ€nster för att stödja release-cykeln, generera automatiska rapporter, osv.

Vid ett tillfÀlle blev det besvÀrligt att hantera allt detta manuellt, och vi började fundera pÄ att automatisera hela processen, frÄn "installationen" av servrar till utvecklingen, distributionen och lanseringen av vÄr interna tjÀnst.

Varför behövs en dirigent, Àven om orkestern kan spela sjÀlv?

Först lĂ€rde vi oss Ansible och började "installera" vĂ„ra bare metal-servrar för att bli mindre beroende av systemadministratörer — hĂ€r vinner alla, vi fĂ„r nya fĂ€rdigheter och befriar administratörerna frĂ„n en del av det arbete de alltid har nog av. Vi strĂ€var efter utveckling utanför vĂ„rt specialomrĂ„de och sjĂ€lvstĂ€ndighet för teamet sĂ„ lĂ„ngt som möjligt.

I företaget har vi lÀnge haft arbetet med Ansible strukturerat och reglerat, sÄ vi integrerade enkelt vÄr lösning i denna process.

Just nu bestÄr installationen av vÀrdar av tre Ansible-roller:

  • den första rollen installerar OS,
  • den andra konfigurerar grundinstĂ€llningar för vĂ€rden, till exempel LDAP-autorisering,
  • och den tredje installerar Yandex.Tank i en docker-container och dess beroenden.

LÄt oss gÄ vidare till tjÀnsterna vi anvÀnder inom teamet.

För vÄra uppgifter anvÀnder vi i lika hög grad Kotlin och Python, samt lite Golang. För att standardisera utvecklingen och distributionen av vÄra tjÀnster beslutade vi oss för att paketera dem i docker-containrar. Detta ger frihet att vÀlja programmeringssprÄk och samtidigt reglerar det ett enhetligt format för leverans av vÄr applikation.

En liten kommentar om ipv6 i Docker

En del tjÀnster vi interagerar med Àr endast tillgÀngliga via ipv6, sÄ vi var tvungna att ta reda pÄ hur man gör ipv6 för containrar.

Enligt dokumentationen om ipv6 pÄ Docks officiella hemsida aktiveras ipv6 genom att lÀgga till parametrar i daemon.json:

{
  "ipv6": true,
  "fixed-cidr-v6": "2001:db8:1::/64"
}

DÀrefter mÄste tjÀnsteleverantören tillhandahÄlla ett ipv6-nÀtverk som du skriver in i fixed-cidr-v6.
Vi valde dock ett annat alternativ — ipv6 NAT, och hĂ€r Ă€r varför:

  • Just nu kan man inte anvĂ€nda docker bara med ipv6. Att ha en globalt routbar adress i varje container betyder att alla portar (Ă€ven de opublicerade) blir tillgĂ€ngliga för alla, om inte ytterligare filtrering görs.
  • userland proxy för att publicera portar,
  • iptables endast för ipv4 ipv6 NAT Ă€r.

docker-container docker-container, som sjÀlv hanterar reglerna i ip6tables och redigerar dem vid tillÀgg av en ny container.

För att denna lösning skulle fungera korrekt var det nödvÀndigt att utföra ett antal fler ÄtgÀrder. Det Àr viktigt att initiera ip6table_nat i systemet. Att modulen Àr installerad i systemet garanterar inte att den kommer att laddas in i kÀrnan vid start. Vi stötte pÄ detta nÀr vi fick följande fel vid start av en container med NAT pÄ en ny vÀrd:

2019/01/22 14:59:54 running [/sbin/ip6tables -t filter -N DOCKER --wait]: exit status 3: modprobe: kan inte Àndra katalog till '/lib/modules': Ingen sÄdan fil eller katalog
ip6tables v1.6.2: kan inte initiera ip6tables tabell 'filter': Tabellen finns inte (behöver du insmod?)

Problemet löstes efter att vi lagt till initiering i Ansible-rollen med hjÀlp av modulen modprobe och laddade den vid systemstart med lineinfile:

- name: LĂ€gg till ip6table_nat modul
 modprobe:
   name: ip6table_nat
   state: present
- name: LĂ€gg till ip6table_nat till start
 lineinfile:
   path: /etc/modules
   line: 'ip6table_nat'

Förresten, det finns en bra artikel pÄ Habré, artikeln, som kort och tydligt beskriver fördelarna och nackdelarna med olika metoder för att arbeta med ipv6 i docker.

Men lÄt oss ÄtervÀnda till vÄr frÄga som stÀlldes i början:
Varför behövs en dirigent, Àven om orkestern kan spela sjÀlv?

Nu vet alla hur man spelar i vÄrt team:

  • processen att "fylla" servrar Ă€r skapad,
  • utvecklingen och distributionen av tjĂ€nster Ă€r enhetlig.

En rimlig frĂ„ga uppstĂ„r – hur kan vi effektivt och sĂ„ automatiserat som möjligt distribuera, uppdatera och övervaka vĂ„ra tjĂ€nster i docker-containrar?

Trots att varje medlem i orkestern kÀnner sin del, kan de avvika frÄn den ursprungliga idén. HÀr kommer vi fram till att utan dirigent kommer vÄr orkester inte att kunna repetera effektivt och spela i harmoni. Dirigenten ansvarar för alla utförandeparametrar, för att allt ska förenas i en enhetlig takt och stÀmning.

Hur kan man fÄ en bra dirigent med minimala investeringar?

Ämnet orkestrering Ă€r ganska vĂ€l utvecklat pĂ„ marknaden. Men lĂ„t oss först prata om de hjĂ€lpliga verktygen som kan hjĂ€lpa dirigenten.

Consul — ett system som erbjuder tvĂ„ huvudfunktioner:

  • tjĂ€nstupptĂ€cktsystem (service discovery),
  • distribuerad nyckel-vĂ€rde lagring.

I vÄr orkester kommer Consul att ansvar för registrering av tjÀnster och lagring av deras konfigurationer. Det finns tvÄ alternativ för registrering:

  • Aktiv – nĂ€r tjĂ€nsten sjĂ€lv registrerar sig med hjĂ€lp av HTTP API;
  • Passiv – tjĂ€nsten mĂ„ste registreras manuellt.

Vault Ă€r ett lagringssystem som standardiserar och förenar sĂ€ker lagring och hantering av hemligheter – lösenord, certifikat.
HÀr Àr fördelarna vi fÄr nÀr vi anvÀnder detta verktyg:

  • Enhetligt centrum för skapande och lagring av hemligheter, hantering av deras livscykel via HTTP API.
  • Transit Secrets Engine – kryptering och dekryptering av data utan att lagra dem. Möjlighet att överföra data i krypterad form över osĂ€kra kommunikationskanaler.
  • Åtkomstpolicyer som enkelt kan konfigureras.
  • Revision av Ă„tkomst till hemligheter.
  • Möjlighet att skapa en egen CA (Certificate Authority) för att hantera sjĂ€lvsignerade certifikat inom sin infrastruktur.

Med hĂ€nsyn till alla vĂ„ra krav fanns det tvĂ„ alternativ för dirigentrollen – Kubernetes och Nomad.

Kubernetes

Hur mĂ„nga artiklar och böcker har skrivits om det (hĂ€r Ă€r sĂ„dana, till exempel), och hur mĂ„nga föredrag har hĂ„llits, sĂ„ jag skriver kort – det Ă€r en universell kombajn som kan nĂ€stan allt. Priset för detta Ă€r inte alltid lĂ€tt installation och underhĂ„ll av en kluster pĂ„ Kubernetes.

Nomad

Verktyget frÄn HashiCorp, företaget som Àr kÀnt för de nÀmnda consul och vault.

Nomad föreföll vara tillrÀckligt enkelt att installera och konfigurera, jÀmfört med Kubernetes. En binÀr fil fungerar bÄde som server och klient. Dessutom tÀcker Nomad hela listan av uppgifter som vi vill att den ska lösa: klusterhantering, snabb schemalÀggare, stöd för multidatacenter. Dessutom fÄr vi genom att anvÀnda consul och vault en mer intim integration för orkestrering av vÄra tjÀnster.

Vad som för nÀrvarande Àr under arbete:

  • vi har förberett servrar för distribution av Consul,
  • i Consul kommer konfiguration av nomadklustret att lĂ€ggas in, med hjĂ€lp av vilken nomad ska distribueras automatiskt,
  • parallellt kommer vi att installera vault för att lagra hemligheter.

FrĂ„ga till publiken – bör vi anlita en dirigent för sĂ„dana uppgifter eller fungerar orkestreringen bra utan det? BerĂ€tta i kommentarerna vad du tycker om det.

Prenumerera pĂ„ vĂ„r blogg och hĂ„ll dig uppdaterad – snart berĂ€ttar vi vad resultatet blev och om vi konfigurerade nomadklustret sĂ„ som vi ville.

Kom in i vÄr mysiga Telegram-chat, dÀr du alltid kan be om rÄd, hjÀlpa kollegor och helt enkelt prata om prestandaforskning och mer.

KĂ€lla: habr.com

Köp pĂ„litlig webbhotell med DDoS-skydd, VPS VDS-servrar đŸ”„ Köp pĂ„litlig webbhotell med DDoS-skydd, VPS VDS-servrar | ProHoster