Креирање кубернетес платформе на Пинтерест-у

Током година, 300 милиона корисника Пинтерест-а створило је више од 200 милијарди пинова на више од 4 милијарде плоча. Да би служио овој армији корисника и огромној бази садржаја, портал је развио хиљаде услуга, у распону од микросервиса којима може да управља неколико ЦПУ-а, до огромних монолита који раде на читавој флоти виртуелних машина. А онда је дошао тренутак када су очи компаније пале на к8с. Зашто је „коцка“ изгледала добро на Пинтересту? О томе ћете сазнати из нашег превода недавног чланка из блог Пинтерест инжењеринг.

Дакле, стотине милиона корисника и стотине милијарди пинова. Да бисмо служили овој армији корисника и огромној бази садржаја, развили смо хиљаде услуга, у распону од микросервиса којима може да управља неколико ЦПУ-а, до огромних монолита који раде на читавој флоти виртуелних машина. Поред тога, имамо разне оквире који такође могу захтевати приступ ЦПУ-у, меморији или И/О.

У одржавању овог зоолошког врта алата, развојни тим се суочава са бројним изазовима:

• Не постоји јединствен начин на који инжењери воде производно окружење. Услуге без држављанства, Статефул услуге и пројекти у активном развоју засновани су на потпуно различитим технолошким стековима. То је довело до стварања читавог курса за обуку инжењера, а такође озбиљно компликује рад нашег инфраструктурног тима.
• Програмери са сопственом флотом виртуелних машина стварају огроман терет за интерне администраторе. Као резултат тога, такве једноставне операције као што су ажурирање ОС или АМИ трају недеље и месеци. То доводи до повећаног оптерећења у наизглед апсолутно свакодневним ситуацијама.
• Потешкоће у креирању глобалних алата за управљање инфраструктуром поврх постојећих решења. Ситуацију додатно компликује чињеница да проналажење власника виртуелних машина није лако. Односно, не знамо да ли се овај капацитет може безбедно извући за рад у другим деловима наше инфраструктуре.

Системи оркестрације контејнера су начин да се обједини управљање радним оптерећењем. Они отварају врата повећању брзине развоја и поједностављују управљање инфраструктуром, будући да се свим ресурсима укљученим у пројекат управља једним централизованим системом.

Слика 1: Приоритети инфраструктуре (поузданост, продуктивност програмера и ефикасност).

Тим платформе за управљање облаком у Пинтересту открио је К8с 2017. До прве половине 2017. године, документовали смо већину наших производних могућности, укључујући АПИ и све наше веб сервере. Након тога смо извршили темељну процену различитих система за оркестрирање контејнерских решења, изградњу кластера и рад са њима. Пред крај 2017. одлучили смо да користимо Кубернетес. Био је прилично флексибилан и широко подржан у заједници програмера.

До данас смо направили сопствене алате за покретање кластера засноване на Копс-у и мигрирали постојеће инфраструктурне компоненте као што су умрежавање, безбедност, метрика, евидентирање, управљање идентитетом и саобраћај на Кубернетес. Такође смо имплементирали систем моделирања радног оптерећења за наш ресурс, чија је сложеност скривена од програмера. Сада смо фокусирани на осигурање стабилности кластера, његово скалирање и повезивање нових клијената.

Кубернетес: Пинтерест начин

Почетак рада са Кубернетес-ом на нивоу Пинтерест-а као платформе коју би наши инжењери волели био је са много изазова.

Као велика компанија, уложили смо много у инфраструктурне алате. Примери укључују безбедносне алате који се баве обрадом сертификата и дистрибуцијом кључева, компоненте контроле саобраћаја, системе за откривање услуга, компоненте видљивости и компоненте отпремања евиденције и метрике. Све ово је прикупљено са разлогом: прошли смо нормалан пут покушаја и грешака, и стога смо желели да интегришемо сву ову опрему у нову инфраструктуру на Кубернетес-у уместо да поново измишљамо стари точак на новој платформи. Овај приступ је у целини поједноставио миграцију, пошто сва подршка за апликације већ постоји и не треба је креирати од нуле.

С друге стране, модели предвиђања оптерећења у самом Кубернетес-у (као што су имплементације, послови и скупови Даемон-а) нису довољни за наш пројекат. Ова питања употребљивости представљају огромне препреке преласку на Кубернетес. На пример, чули смо да се програмери услуга жале на недостајућа или нетачна подешавања за пријављивање. Такође смо наишли на погрешну употребу шаблонских механизама, када су креиране стотине копија са истом спецификацијом и задатком, што је резултирало кошмарним проблемима у отклањању грешака.

Такође је било веома тешко одржавати различите верзије у истом кластеру. Замислите сложеност корисничке подршке ако треба да радите истовремено у више верзија истог окружења за извршавање, са свим њиховим проблемима, грешкама и ажурирањима.

Пинтерест корисничка својства и контролери

Да бисмо нашим инжењерима олакшали имплементацију Кубернетес-а и да бисмо поједноставили и убрзали нашу инфраструктуру, развили смо сопствене прилагођене дефиниције ресурса (ЦРД).

ЦРД-ови пружају следећу функционалност:

1. Комбиновање различитих изворних Кубернетес ресурса тако да раде као једно радно оптерећење. На пример, ресурс ПинтерестСервице укључује примену, услугу пријављивања и мапу конфигурације. Ово омогућава програмерима да не брину о постављању ДНС-а.
2. Имплементирајте неопходну подршку за апликацију. Корисник треба да се фокусира само на спецификацију контејнера у складу са својом пословном логиком, док ЦРД контролер имплементира све потребне инит контејнере, варијабле окружења и под спецификације. Ово пружа фундаментално другачији ниво удобности за програмере.
3. ЦРД контролери такође управљају животним циклусом изворних ресурса и побољшавају доступност отклањања грешака. Ово укључује усаглашавање жељених и стварних спецификација, ажурирање ЦРД статуса и одржавање евиденције догађаја и још много тога. Без ЦРД-а, програмери би били приморани да управљају вишеструким ресурсима, што би само повећало вероватноћу грешке.

Ево примера ПинтерестСервице и интерног ресурса којим управља наш контролор:

Као што видите изнад, да бисмо подржали прилагођени контејнер, морамо да интегришемо иницијални контејнер и неколико додатака да бисмо обезбедили безбедност, видљивост и мрежни саобраћај. Поред тога, креирали смо шаблоне конфигурационих мапа и имплементирали подршку за ПВЦ шаблоне за групне послове, као и праћење вишеструких варијабли окружења за праћење идентитета, потрошње ресурса и прикупљања смећа.

Тешко је замислити да би програмери желели да напишу ове конфигурационе датотеке ручно без ЦРД подршке, а камоли да даље одржавају и отклањају грешке у конфигурацијама.

Радни ток примене апликације

Слика изнад показује како да примените Пинтерест прилагођени ресурс у Кубернетес кластер:

1. Програмери комуницирају са нашим Кубернетес кластером преко ЦЛИ и корисничког интерфејса.
2. ЦЛИ/УИ алати преузимају ИАМЛ датотеке конфигурације тока посла и друга својства грађења (исти ИД верзије) из Артифацтори-а и затим их шаљу услузи за подношење послова. Овај корак осигурава да се кластеру испоручују само производне верзије.
3. ЈСС је капија за различите платформе, укључујући Кубернетес. Овде је корисник аутентификован, квоте се издају и конфигурација нашег ЦРД-а се делимично проверава.
4. Након провере ЦРД-а на ЈСС страни, информације се шаљу АПИ-ју платформе к8с.
5. Наш ЦРД контролер прати догађаје на свим корисничким ресурсима. Конвертује ЦР-ове у изворне к8с ресурсе, додаје неопходне модуле, поставља одговарајуће променљиве окружења и обавља друге послове подршке како би обезбедио да контејнеризоване корисничке апликације имају довољну подршку за инфраструктуру.
6. ЦРД контролер затим прослеђује примљене податке Кубернетес АПИ-ју тако да их планер може обрадити и ставити у производњу.

Приметити: Овај радни ток имплементације пре издања креиран је за прве кориснике нове к8с платформе. Тренутно смо у процесу усавршавања овог процеса како бисмо се у потпуности интегрисали са нашим новим ЦИ/ЦД. То значи да вам не можемо рећи све у вези са Кубернетесом. Радујемо се што ћемо поделити наше искуство и напредак тима у овом правцу у нашем следећем блог посту, „Изградња ЦИ/ЦД платформе за Пинтерест.“

Врсте специјалних ресурса

На основу специфичних потреба Пинтерест-а, развили смо следеће ЦРД-ове који одговарају различитим токовима посла:

• ПинтерестСервице су услуге без држављанства које раде већ дуже време. Многи од наших основних система су засновани на скупу таквих услуга.
• ПинтерестЈобСет моделира групне послове пуног циклуса. Уобичајени сценарио на Пинтересту је да више послова паралелно покреће исте контејнере, без обзира на друге сличне процесе.
• ПинтерестЦронЈоб се широко користи у комбинацији са малим периодичним оптерећењима. Ово је омот за рад на матичном црон-у са Пинтерест механизмима подршке који су одговорни за безбедност, саобраћај, евиденције и метрике.
• ПинтерестДаемон укључује инфраструктурне демоне. Ова породица наставља да расте како додајемо више подршке нашим кластерима.
• ПинтерестТраинингЈоб се проширује на процесе Тенсорфлов и Питорцх, пружајући исти ниво подршке током извршавања као и сви други ЦРД-ови. Пошто Пинтерест активно користи Тенсорфлов и друге системе машинског учења, имали смо разлога да око њих направимо посебан ЦРД.

Такође радимо на ПинтерестСтатефулСет-у, који ће ускоро бити прилагођен за складишта података и друге системе са подацима о стању.

Рунтиме суппорт

Када се модул апликације покрене на Кубернетес-у, аутоматски добија сертификат да се идентификује. Овај сертификат се користи за приступ тајном складишту или за комуникацију са другим сервисима преко мТЛС-а. У међувремену, Цонтаинер Инит Цонфигуратор и Даемон ће преузети све потребне зависности пре покретања контејнеризоване апликације. Када све буде спремно, саобраћајна приколица и Даемон ће регистровати ИП адресу модула код нашег Зоокеепер-а како би клијенти могли да је открију. Све ово ће функционисати јер је мрежни модул конфигурисан пре покретања апликације.

Горе наведени су типични примери подршке за радна оптерећења у време извођења. Друге врсте оптерећења могу захтевати мало другачију подршку, али сви долазе у облику бочних приколица на нивоу под, Демона на нивоу чвора или виртуелне машине. Осигуравамо да је све ово распоређено унутар инфраструктуре управљања и да је конзистентно у свим апликацијама, што на крају значајно смањује оптерећење у погледу техничког рада и корисничке подршке.

Тестирање и осигурање квалитета

Направили смо енд-то-енд тест цевовод на врху постојеће Кубернетес тестне инфраструктуре. Ови тестови се примењују на све наше кластере. Наш цевовод је прошао кроз многе ревизије пре него што је постао део кластера производа.

Поред система за тестирање, имамо системе за праћење и упозорење који стално прате статус компоненти система, потрошњу ресурса и друге важне индикаторе, обавештавајући нас само када је неопходна људска интервенција.

Алтернатива

Погледали смо неке алтернативе прилагођеним ресурсима, као што су контролери приступа мутација и системи шаблона. Међутим, сви они долазе са значајним оперативним изазовима, па смо изабрали ЦРД руту.

Контролер приступа мутацији је коришћен за увођење помоћних кола, променљивих окружења и друге подршке за време извршавања. Међутим, суочио се са разним проблемима, као што су везивање ресурса и управљање животним циклусом, где се такви проблеми не појављују у ЦРД-у.

Напомена: Системи шаблона као што су Хелм графикони се такође широко користе за покретање апликација са сличним конфигурацијама. Међутим, наше радне апликације су превише разнолике да би се њима управљало помоћу шаблона. Такође током континуиране примене биће превише грешака при коришћењу шаблона.

Предстојећи рад

Тренутно се суочавамо са мешовитим оптерећењем у свим нашим кластерима. Да бисмо подржали такве процесе различитих типова и величина, радимо у следећим областима:

• Колекција кластера дистрибуира велике апликације у различите кластере ради скалабилности и стабилности.
• Обезбеђивање стабилности, скалабилности и видљивости кластера за креирање повезивања апликација и СЛА.
• Управљање ресурсима и квотама тако да се апликације не сукобљавају једна са другом, а обим кластера контролишемо са наше стране.
• Нова ЦИ/ЦД платформа за подршку и примену апликација на Кубернетес-у.

Извор: ввв.хабр.цом