Hi omnes! Nomen mihi Pavel Agaletsky est. In quadrigis duco laboro in quadrigis, qui Lamoda partus ratio enucleat. In MMXVIII in colloquio HighLoad ++ locutus sum, et hodie transcriptum relationis meae exhibere vellem.

Thema mihi dedicatum est experimento nostro comitatu in explicandis systematibus et officiis diversis ambitibus. Incipientes a nostris temporibus prehistoricis, cum omnia systemata in ordinarios virtuales ministrantes direximus, gradatim transitus a Nomade ad instruere in Kubernetes desinentes. Dicam cur hoc fecerimus et quas difficultates in processu habuimus.

Explicas applicationes ad VM

Incipiamus ab eo quod ante III annos omnes systemata societatis et officia in regularibus virtualibus servientibus instruxerunt. Technice ita ordinatum est ut omnia codicem systematum nostrarum conditum et conglobatum instrumentorum conventus automatiensis utentes jenkins utentes. Usura Ansible, evolutum est e nostra versionis ratio ad virtualem servientium potestatem. Utraque ratio, quae nostri erant, disponebant saltem 3 servientibus: unum in capite, alterum in cauda. Haec duo systemata omnino identificantur inter se in omnibus suis occasus, potentiae, configurationis, etc. Sola differentia inter eos fuit quod caput negotiationis usoris accepit, cum cauda negotiatio usoris numquam accepit.

Quare hoc factum est?

Cum novas applicationis nostrae solutiones perreximus, inconsutilem rollout, id est sine notabilium consequentium utentium, efficere voluimus. Hoc consecutum est propter hoc quod Ansible usus dimissionis proxime compilavit ad caudam involutus est. Ibi homines, qui in instruere versabantur, omnia subtilia et certa esse poterant: omnes metrici, sectiones et applicationes laborabant; scripta necessaria sunt deductae. Solum postquam omnia ok erant persuasum est, commercium switched est. Is incepit ire cum servo qui erat ante caudam. Et illud, quod ante caput erat, sine negotiatione usoris manebat, cum adhuc priorem versionem nostram applicationis in eo haberemus.

Ita inconsutilis erat utentibus. Quia commutatio est in instanti, quia simpliciter mutans librator est. Facillime potes ad priorem versionem revolvere per simpliciter mutando libratorem dorsum. Etiam cognoscere potuimus applicationem ad gignendum posse etiam antequam usor negotiationis acciperet, quod satis opportunum erat.

Quas utilitates in his omnibus vidimus?

1. Primum satis est sicut operatur. Omnes sciunt quomodo machinatio talis instruere laborat, quod plerique semper regularibus virtualis servientibus instruxerunt.
2. Hoc satis est fidelitercum instruere technologiam simplicium experimentorum millium societatum. Ingentium servientium hoc modo explicantur. Durum est aliquid frangere.
3. Et tandem possemus nuclei deployments. Instructiones quae simul pro usoribus occurrunt, sine notabili mutandi stadio inter veterem versionem et novam.

Sed et in his omnibus plura vitia vidimus;

1. Donec sit amet dolor consequat, consequat mauris a, aliquam mauris. For example, qa& preproductio. Eo tempore multos servitores habuimus et circa 60 officia. Ideo necesse fuit pro unoquoque servitio, recentissimam versionem conservandam pro eo apparatus virtualis. Praeterea, si vis bibliothecas renovare vel novas clientelas instituere, hoc in omnibus ambitibus facere debes. Tempus etiam synchronizare debes cum novam versionem applicationis tuae explicaturus es cum tempore quo devops necessarios ordines ambitus exercet. Hoc in casu, facile est ad condicionem accedere, ubi noster ambitus aliquantum diversus erit in omnibus simul ambitibus. Exempli gratia, in ambitu QA erunt nonnullae versiones bibliothecarum, et in ambitu productionis diversae erunt, quae ad problemata deducentur.
2. Difficultas adaequationis clientelas tuam diligentiam. Non ex te, sed ex altera manipulus pendet. Videlicet, a manipulus devops, qui servientibus conservat. opportunum munus ac descriptionem illis dare debes quae vis facere.
3. Tunc etiam magnas monolitas dividere voluimus in parva officia separata, cum plura ac plura eorum futura esse intelleximus. Illo tempore iam plus quam centum ex illis habuimus, ad unumquodque novum ministerium, necessarium erat ut separatum novum machinam virtualem crearet, qui etiam conservari et explicari oportuit. Donec non lectus unum, sed vel duo. His omnibus accedit QA ambitus. Haec problemata causat et difficiliorem reddit novas rationes aedificare et currere. multiplex, pretiosa et diuturna.

Itaque commodius esse decrevimus, quominus machinis regularibus virtualis disponendis ad nostras applicationes in vase vase explicandas commodius esse decrevimus. Si navale habes, systema debes, quod applicationes in botro currere potest, quia vas solum movere non potes. Plerumque vestigia servare vis quot vascula elevantur ut sponte tollant. Quam ob rem ratio moderandi opus est eligere.

de quibus unum cogitabamus diu capere possemus. Res est eo tempore hoc acervum instruere servientibus ordinariis virtualis aliquantum iam obsoletum, cum recentiores versiones systematis operandi non haberent. In aliquo loco etiam FreeBSD erat, quod ad sustentationem non valde commodam erat. Intelleximus nobis opus esse ad donarium quam celerrime migrare. Devoves nostri experientiam existentem variis solutionibus spectaverunt et systema Nomadum elegerunt.

Transibit ad Nomadum

Nomadum productum est ex HashiCorp. Notae etiam sunt earum aliae solutiones;

"Consul" est instrumentum ad usum inventionis.

"Terraform" - systema ministrandi ministrantibus te permittit ut eos per configurationem, infrastructuram sic dictam sicut-a-code configurare possis.

"Vagantem" sinit te localiter vel in nube per certas configurationis files explicandas machinis virtualibus.

Nomadum tunc temporis videbatur sicut solutio satis simplex quae celeriter commutari posset ut sine mutatione totius infrastructure. Praeterea facile est cognoscere. Quam ob rem eam elegimus ut systema liquaminis pro vase nostro.

Quid opus est tibi ad Nomadum explicandam rationem tuam?

1. Primum omnium opus docker imaginem tuam diligentiam. Opus est ut eam aedificare et in repositorio imaginem depono. In nobis, haec artificiosa est - ratio quae varias artificia variarum specierum in eam impellere permittit. Potest tabulas condere, imagines docularium, fasciculorum PHP compositor, fasciculorum NPM et cetera.
2. Etiam opus configuration filequi indicabit Nomades, ubi et quanta vis explicandi.

Cum de Nomade loquimur, lingua HCL utitur pro informatione formae fasciculi, quae stat for HashiCorp configurationis Language. Superset Yaml haec est quae servitium tuum in Nomadum verbis describere sinit.

Permittit tibi dicere quot vasa vis explicandi, ex quibus imagines varias parametros ad eas in instruendo transmittunt. Sic hunc fasciculum ad Nomadum pascis et vasa in productionem secundum eam immittit.

In nobis, intelleximus simpliciter identitatem HCL imaginum scribere pro singulis servitiis non esse commodissimum, quia multa officia sunt et interdum vis ad ea renovanda. Accidit ut non uno modo, sed in diversis diversis disponatur unum obsequium. Exempli gratia: unum systematum, quod in productione habemus, plus quam 100 exempla in productione habet. Ex eisdem imaginibus currunt, sed in conformationibus et involucris conformationis differunt.

Ideoque placuit nobis fore ut omnia schemata conformanda ad instruendum in uno communi reposito opportunum conderemus. Hoc modo visi sunt: ​​faciles erant tenere et videre potuimus quas rationes haberemus. Si opus est, etiam facile est aliquid renovare vel mutare. Novam systema addit etiam difficile non est - tantum opus est ut limam configurationem intra novum directorium creare. In medio sunt hae tabulae: service.hcl, quae descriptionem servitii nostri continet, et nonnulla fasciculi env quae hoc ipsum servitium, in productione disponi, configurari sinunt.

Tamen non in uno exemplari, sed in pluribus simul ad productionem quaedam nostrae systemata explicantur. Ideo nobis commodum esse decrevimus non ficas in puram formam, sed in figurata forma condere. Et nos elegimus jinja 2. In hac forma, tum ficas ipsius servitii tum imaginum rerum quae ei necessariae sunt condimus.

Praeterea in promptuario posuimus litteras communes omnibus inceptis instruere, quae permittit ut ministerium tuum in productionem, in ambitum desideratum, in scopum optatum mittere ac explicari sinat. In casu, cum nostram HCL config in exemplum vertimus, tunc fasciculus HCL, qui ante Nomad config regularis erat, hic casus paulo aliter spectare coepit.

Hoc est, nonnullas variabiles config locationes cum variantibus insertis, quae ex env imagini vel aliis fontibus sumuntur. Insuper facultatem cepimus colligendi files HCL dynamice, id est non solum ordinariis insertionibus variabilibus uti possumus. Cum jinja ansas et conditiones sustinet, etiam limas configurationis ibi creare potes, quae pendentes ubinam applicationes tuas accurate explicas.

Exempli gratia, servitium tuum ad productionem et productionem explicandam vis. Dicamus te non velle scripta cron in prae-productione currere, sed solum vis videre servitium in dominio separato ut efficere possit operando. Quicumque enim explicatur ad cultum, processus valde simplex et perspicuus est. Omne quod debes facere, lima deploy.sh exsequere, cuius opera vis explica et ad quem scopum. Exempli gratia: vis certam rationem Russiae, Belarus vel Kazakhstan explicandi. Hoc ut facias, unum e parametris simpliciter muta et limam rectam figuram habe.

Cum Nomadum officium iam ad botrum tuum explicatur, hoc spectat.

Primum, foris librarius aliquo indiges, quod omnia negotiatio usor recipiet. Una cum Consule laborabit et ex eo experietur ubi, quaenam nodi, quid IP oratio certae servitutis sita sit, quae peculiari nomine regio respondeat. Officia in consule ab ipso Nomade veniunt. Haec cum ex iisdem producta sint, prorsus inter se cognata sunt. Dicere possumus Nomad e archa posse omnia officia in ea intra Consulem immissa scribere.

Postquam librarius onus ante-finis tuum novit quod ministerium mittendi negotiatio est, eam promovet ad aptam continentem vel multa continentia quae applicationi tuae congruit. Naturaliter etiam de salute cogitare necessarium est. Etsi omnia officia in eisdem machinis virtualis in vasis currunt, hoc fere requirit ut aditus ab aliquo servitio ad quemvis alium impediatur. Hoc per justo. Unumquodque ministerium in sua retia virtuali immissa est, in qua routing regulae et regulae ad accessum ad alia systemata officiaque praescripta permittendi negandi erant. collocari poterant tam intra hunc botrum quam extra illum. Exempli gratia, si munus impedire vis quominus cum specifico datorum connexione, hoc fieri potest per segmentationem retis-gradam. Hoc est, etiam per errorem, accidens a test environment ad productionem datorum tuorum coniungere non potes.

Quantum nobis ex opibus humanis constat transitus?

Transitus totius societatis ad Nomad circiter 5-6 menses sumpsit. Nos in fundamento servitii perreximus, sed satis velociter. Quisque turma sua vasa ad officia creare debebat.

Talem accessum secuti sumus ut singulae turmae responsabiles sint imagines de industria systematis sui independenter. DevOps praebent infrastructuram generalem necessariam ad instruendum, id est, sustentationem ipsius botri, sustentationem pro systemate CI, et sic de aliis. Eo tempore habuimus plus quam 60 systemata Nomad mota, quae erant circiter 2 milia continentia.

Devoves curam habet substructionem generalem omnium quae ad instruendum et ministrandum pertinent. Et singulae turmae progressionis, vicissim, est responsalis ad exsequendam continentiam suam specificam rationem, quandoquidem manipulus scit quid plerumque indiget in vase particulari.

Causa relinquendi Nomadum

Quas commoda permutando dabamus utentes Nomadum et Navale inter alios instruere?

1. Nos dum aequo ad omnes ambitus. In evolutione, QA ambitus, prae-productio, productio, eaedem imagines continentis utuntur, iisdem dependentiis. Quamobrem nihil fere habes quod, quod in productione finietur, id non sit quod antea localiter aut in ambitu tuo temptaveris.
2. Et nos satis compertum habemus facile addere novum ministerium. Ex parte instruere, quaelibet nova systemata simpliciter valde iacitur. Vade ad repositorium quod configs thesaurorum, adde aliam config pro ratione tua ibi, et omnia es copia. Ratio tua ad productionem sine ullo studio a devotis explicandi potes.
3. Omnia configuratione files in communi repositio conversus ad esse sub review. Eo tempore, quo systemata nostra utentes virtualis ministris explicavimus, Ansible usi sumus, in quo ficae in eodem reposito erant. Maxime autem tincidunt id difficilius elaborare. Hic numerus confis et codicis, quem addere debes ad explicandum ministerium, multo minor factus est. Plus, facillime est devops eam figere vel mutare. In transitionibus, exempli gratia, ad novam versionem Nomadum, capere possunt omnes tabulas operativas in eodem loco positas ac mole renovare.

Sed incommodis etiam pluribus occurrit;

Versa est non consequi inconsutilem deployments in rebus Nomadum. Cum vasa evoluta sub diversis condicionibus, currendum esse posset, et Nomad percepit ut vas paratum ad mercaturam recipiendam. Hoc ante applicationem intus factum est etiam facultas deducendi. Quam ob rem ratio 500 errores producere coepit ad breve tempus, quod negotiatio ad vas ire coepit, quod nondum erat paratum ad recipiendum.

Non offendit aliquid bugs. Insignium cimex est Nomad non bene magnum botrum tractasse si multas systemata et continentia habes. Cum unum e servientibus, qui in botro Nomadum ad sustentationem includitur, excipere voles, satis probabile est botrum valde bonum non sentiturum et dissipabitur. Quaedam continentia possunt, exempli gratia, cadere et non exsurgere - hoc tibi multo post multo post, si omnia genera productionis vestrae in botro a Nomado tractata sunt.

Itaque de quo deinde eundum esse decrevimus. In hoc loco multo magis conscii fuimus quid assequi vellemus. Nempe: firmitatem volumus, munera paulo plura quam Nomades praebet, et ratio maturior et stabilior.

Hac de re electio nostra in Kubernetes cecidit sicut popularis suggestum ad racemos deducendos. Praesertim cum amplitudo ac numerus vasorum nostrorum satis amplus esset. Ad haec, Kubernetes aptissima ratio visa est, quam inspicere potuimus.

Transitus ad Kubernetes

De praecipuis notionibus Kubernetium et quomodo a Nomade differant, pauca tibi dicam.

Imprimis notio fundamentalis in Kubernetes est conceptus podris. legumen est coetus unius vel plurium vasorum quae semper currunt. Semper autem operantur quasi in una machina virtuali stricte. Per IP 127.0.0.1 diversis portibus inter se pervia sunt.

Demus te habere applicationem PHP quae ex nginx et php-fpm consistit - ordo classicorum. Verisimile, et nginx et php-fpm continentia simul omni tempore retinere vis. Kubernetes permittit ut hoc assequaris, ut unum vasculum commune describendo. Hoc prorsus est quod cum Nomade non potuimus obtinere.

Secundus conceptus est deployment. Re vera vasculum ipsum caducum est, incipit et evanescit. Visne omnia priora tua continentia primum occidere, et novas versiones statim mittere, an paulatim eas evolvere vis? Describitur, quomodo siliquas tuas explicas, in quanta quantitate et quomodo in iis renovandis.

Tertius conceptus est obsequium. Ministerium tuum actualiter ratio tua est, quae negotiationem aliquam accipit et deinde eam promovet ad unum vel plura siliqua quae tuo servitio respondente. Hoc est, permittit tibi dicere, quod omnes commercii advenientes ad talem et talem servitium, cum tali et tali nomine, debent mitti ad huiusmodi siliquas speciales. Et simul praebet te negotiatio libratio. Hoc est, duos siliquas applicationis tuae mittere potes, et omnes negotiationes advenientes aequabiliter inter siliquas ad hoc ministerium pertinentes aequabuntur.

Quartus autem notio fundamentalis est Ingress. Hoc est officium quod in Kubernetes botrum portatur. Agit quasi librarius externum onus quod omnes petitiones occupat. Using the Kubernetes API, Ingress determinare potest ubi hae petitiones mittendae sunt. Facit autem hoc mollius. Omnes petitiones huius hospitii dicere potes et huiusmodi domicilium ad hoc officium mitti. Et hae petitiones ad hunc exercitum venientes et ad aliud domicilium ad aliud servitium mittuntur.

Frigidissima res est ex parte alicuius qui applicationis enucleat est ut omnia ipse regere possis. Ponendo Ingress config, omnes negotiationes ad tales et tales API venientes mittere potes ad scripta singula scripta, exempli gratia, in Go. Sed haec negotiatio ad idem dominium, sed ad aliud domicilium, mittenda est ad scripta in PHP, ubi logica multum est, sed non velocissima sunt.

Si omnes has notiones cum Nomade comparemus, dicere possumus tres primos notiones omnes simul servitii esse. et ultima notio in ipso Nomade abest. Librario externo usi sumus uti: posset esse haproxy, nginx, nginx+, et sic porro. In cubi, hanc notionem separatim addere non debes. Attamen si interne spectes Ingress, est vel nginx, haproxy, vel traefik, sed genus constructum in Kubernetes.

Omnes notiones, quas descripsimus, sunt, re vera, facultates quae sunt intra botrum Kubernetes. Eas in cubi describere, forma yaml adhibita est, quae magis lectior et familiarior est quam fasciculi HCL in Nomadum casu. Sed constitutione idem describunt in rebus, exempli gratia, pod. Dicunt: Volo siliquas tales et tales ibi disponere, cum talibus et talibus imaginibus, in talibus et talibus.

Praeterea persensit nos noluisse singulas res per manus creare: instruere, officia, ingressa, etc. Sed singula systemata nostra ad Kubernetes in instruere voluimus, ita ut non omnes necessarias subsidia dependentias in recto ordine manuali recreare debeamus. Electa est Helm ratio, qua nos id facere licebat.

notiones fundamentales in Helm

Galea is sarcina procurator ad Kubernetes. Valde simile est quomodo sarcina actoribus in programmandis linguis laborant. Permittunt te condere servitium quod est, exempli gratia, instruere ngincem, instruere php-fpm, config pro Ingress, configmaps (hoc est ens quod permittit ut env aliosque parametri tui systematis) in forma so- dicta chartis. Eodem tempore Helm decurrit super Kubernetes. Hoc est, hoc non est aliqua ratio seclusa, sed aliud ministerium intra cubum deductae. Penitus es cum eo per suum API per a console mandatum. Commoditas et pulchritudo eius est quod etiam si gubernaculum frangit vel removes ab botro, opera tua non deficiet, quia gubernaculum per se solum ratio incipit. Ipsa Kubernetes tunc responsabilis est ad officia praestanda et statum.

Nos quoque intellexit templatesquam antea facere coacti sumus jinja in configias nostras inducendo, una galeae summa est. Omnes figurae, quas ad systemata tua creas, in forma templaterum in gubernacula condita sunt, paulo jinja similis, sed re vera, adhibito sermone in Ire templando, in quo gubernacula scripta sunt, sicut Kubernetes.

Paucula notiones nobis addit Helm.

chart — Haec descriptio servitutis tuae est. In aliis actoribus involucrum sarcina, fasciculus vel aliquid simile diceretur. Charta hic dicitur.

values variabiles sunt, quas uti velis ficationes tuas ex exemplaribus aedificare.

Release. Quotiescumque servitium, quod gubernaculo explicatur utendo, versionem emissionis incrementalem accipit. Helm meminit officium config quod erat in priore emissione, ante remissionem quam et cetera. Si ergo debes reverti, mox guberna callback mandatum currere, eam versionem priorem emissio demonstrans. Etiamsi congruens figuratio in repositorio tuo tempore reverti non praesto est, gubernacula tamen recordabitur quid esset et ratio tua ad statum in priore solutione erat reverti.

In casu, cum gubernaculis utimur, configiones regulares Kubernetes etiam in exempla vertunt, quibus variabilibus, functionibus uti et condicionalibus sententiis uti potest. Hoc modo colligere potes officium tuum config secundum ambitum.

Rea quidem paulo aliter quam cum Nomade agere decrevimus. Si in Nomadum tam confis instruere et n-variabiles quae ad nostrum ministerium explicandum opus erant in uno reposito repositae erant, hic eas in duo repositoria dividere decrevimus. Thesaurus "displicandi" thesaurorum n-variabilium tantum ad instruendum opus est, et "galee" repositoria configs vel chartis.

Quid hoc nobis dedit?

Non obstante quod aliqua notitia vere sensitiva in ipsis antis conformatione nos non condimus. Exempli gratia, tesserae databases. Condita sunt ut secreta in Kubernetibus, sed tamen quaedam adhuc ibi sunt quae omnibus aditum dare nolumus. Propterea accessus ad "explicandum" repositorium magis limitatum est, et "gale" repositio simpliciter descriptionem servitii continet. Qua de causa tuto latius hominum accessus esse potest.

Cum non solum productionem, sed etiam alios ambitus habeamus, ob hanc separationem chartulas gubernaculas nostras reddere possumus, ut operas non solum ad productionem, sed etiam, exempli gratia, ad QA ambitum explicemus. Etiam ad explicandam eis locum utens Minikube — Haec res ad currit Kubernetes localiter.

Intra quodlibet repositorium, divisim in singulas directorias pro singulis servitiis relinquemus. Hoc est, intra quodlibet directorium exstant exempla cum chartula correspondente cognata, et facultates describendas quae explicandae sunt ad nostram rationem currendam. Tantum envs reliquimus in repositorio "explicandi". In hoc casu, non utendo jinja templando utebamur, quia gubernaculum ipsum ex arca templating praebet - hoc est una praecipuarum eius functionum.

Relinquemus instruere scripturam - deploy.sh, quae simplificat et vexillum deducit ad gubernacula instruere. Ita quicunque volet explicari, instruere instrumenti prorsus simile est ac per Nomadum disponi. Idem explicandum est, quod nomen muneris tui est, et quo vis explicanda est. Hoc facit ut interius clavum surgamus. Rursus, configs ex exemplaribus colligit, necessarios limaculas in eas immittit, deinde eas explicat, eas in Kubernetes mittit.

Inventiones

Ministerium Kubernetes magis complexum esse videtur quam Nomades.

Hic egressus negotiatio ad Ingress venit. Hoc est frontem moderatoris, qui omnes petitiones occupat et postea mittit ad officia debita petitioni data. Eos ex confiis determinat, quae pars descriptionis applicationis in galeis sunt, et quae tincidunt in suis ponunt. Ministerium petitiones mittit suis siliquis, hoc est vasis specificis, commercium inter omnia continentia quae ad hoc ministerium pertinent libratio advenientis. Et, sane, non debemus oblivisci nos a securitate retis gradu non ire quoquam. Ergo segmentatio laborat in botro Kubernetes, quod in tagging fundatur. Omnia officia quaedam habent tags ad quae officia accessus iura ad aliquas facultates externas/internas intra vel extra botrum coniunguntur.

Cum transitum fecimus, Kubernetes omnes facultates Nomadum, quibus antea usi sumus, habere vidimus, atque etiam multa nova adiecimus. Dilatari potest per plugins, et re vera per rationes resource consuetudine. Hoc est, facultatem habes non solum utendi eo quod cum Kubernetes e pixide venit, sed ut auxilium tuum et ministerium tuum creandi quod tuum auxilium leget. Haec tibi optiones additional dat ut systema tuum expandas sine Kubernetes restituas et sine modificationibus exigentibus.

Exemplum tale est Prometheus, qui in nostro Kubernetes botrus decurrit. Ut ex peculiari servitio metri colligendis committitur, necesse est addere additicium genus subsidii, qui monitor muneris sic dictus est, ad descriptionem ministerii. Prometheus, ob id quod genus resource consuetudinis in Kubernetes immissum legere potest, automatice metrica e novo systemate colligens incipit. Satis commodum est.

Primum instruere fecimus Kubernetes mense Martio MMXVIII fuit. Et hoc tempore nunquam difficultates aliquas cum eo experti sumus. Satis constanter sine significativis cimices laborat. Amplius praeterea ampliare possumus. Hodie satis habemus de facultatibus quas habet, et vere amo gressum evolutionis Kubernetes. In statu plus quam 2018 continentia in Kubernetes sunt. Botrus plures Nodes occupat. Eodem tempore utilis est, stabilis et moderatior.

Source: www.habr.com