Подробен анализ на AWS Lambda

Преводът на статията е изготвен специално за студентите от курса "Облачни услуги". Интересувате ли се от развитие в тази посока? Гледайте майсторския клас на Егор Зуев (TeamLead в InBit) „Услуга AWS EC2“ и се присъединете към следващата група курс: започва на 26 септември.

Все повече хора мигрират към AWS Lambda за мащабируемост, производителност, спестявания и възможността да обработват милиони или дори трилиони заявки на месец. За да направите това, не е необходимо да управлявате инфраструктурата, върху която работи услугата. А автоматичното мащабиране ви позволява да обслужвате хиляди едновременни заявки в секунда. Мисля, че AWS Lambda с право може да се нарече една от най-популярните услуги на AWS.

AWS Lambda

AWS Lambda е управлявана от събития безсървърна изчислителна услуга, която ви позволява да изпълнявате код без осигуряване или управление на сървъри и разширяване на други AWS услуги с помощта на персонализирана логика. Lambda реагира автоматично на различни събития (наречени тригери), като например HTTP заявки през Amazon API Gateway, промени в данните в кофи на Amazon S3 или таблици на Amazon DynamoDB; или можете да стартирате кода си чрез извиквания на API, като използвате AWS SDK и преходи на състояния в AWS Step Functions.

Lambda изпълнява код върху компютърна инфраструктура с висока достъпност и е изцяло отговорен за администрирането на основната платформа, включително поддръжка на сървър и операционна система, предоставяне на ресурси, автоматично мащабиране, наблюдение на кода и регистриране. Тоест, просто трябва да качите кода си и да конфигурирате как и кога да бъде изпълнен. От своя страна услугата ще се погрижи за стартирането му и ще осигури висока наличност на вашето приложение.

Кога да премина към Lambda?

AWS Lambda е удобна изчислителна платформа, която е подходяща за различни случаи на употреба, стига езикът и времето за изпълнение на вашия код да се поддържат от услугата. Ако искате да се съсредоточите върху вашия код и бизнес логика, като същевременно възложите поддръжката, осигуряването и мащабирането на сървъра на външни изпълнители на разумна цена, AWS Lambda определено е правилният начин.

Lambda е идеален за създаване на интерфейси за програмиране и когато се използва заедно с API Gateway, можете значително да намалите разходите и да стигнете до пазара по-бързо. Има различни начини за използване на Lambda функции и опции за организиране на безсървърна архитектура - всеки може да избере нещо подходящо според целта си.

Lambda ви позволява да изпълнявате широк набор от задачи. По този начин, благодарение на поддръжката на CloudWatch, можете да създавате отложени задачи и да автоматизирате отделни процеси. Няма ограничения за естеството и интензивността на използване на услугата (консумацията на памет и времето се вземат предвид) и нищо не ви пречи систематично да работите върху пълноценна микроуслуга, базирана на Lambda.

Тук можете да създавате ориентирани към услугата действия, които не се изпълняват непрекъснато. Типичен пример е мащабирането на изображението. Дори в случай на разпределени системи, ламбда функциите остават актуални.

Така че, ако не искате да се занимавате с разпределяне и управление на изчислителни ресурси, опитайте AWS Lambda; ако не се нуждаете от тежки, ресурсоемки изчисления, опитайте и AWS Lambda; ако вашият код се изпълнява периодично, това е така, трябва да опитате AWS Lambda.

сигурност

Засега няма оплаквания относно безопасността. От друга страна, тъй като много от вътрешните процеси и характеристиките на изпълнение на този модел са скрити от потребителя на управляваната среда за изпълнение на AWS Lambda, някои общоприети правила за сигурност в облака стават неуместни.

Подобно на повечето услуги на AWS, Lambda се предоставя на споделена база за сигурност и съответствие между AWS и клиента. Този принцип намалява оперативната тежест върху клиента, тъй като AWS поема задачите за поддръжка, администриране и наблюдение на компонентите на услугата - от хост операционната система и слоя за виртуализация до физическата сигурност на инфраструктурните активи.

Говорейки конкретно за AWS Lambda, AWS отговаря за управлението на основната инфраструктура, свързаните основни услуги, операционната система и платформата за приложения. Докато клиентът е отговорен за сигурността на своя код, съхранява поверителни данни, контролира достъпа до тях, както и до услугата и ресурсите Lambda (Identity and Access Management, IAM), включително в границите на използваните функции.

Диаграмата по-долу показва модела на споделената отговорност, приложим към AWS Lambda. AWS Responsibility е оранжево, а Customer Responsibility е синьо. Както можете да видите, AWS поема повече отговорност за приложенията, разположени в услугата.

Модел на споделена отговорност, приложим към AWS Lambda

Ламбда време на изпълнение

Основното предимство на Lambda е, че изпълнявайки функция от ваше име, услугата сама разпределя необходимите ресурси. Можете да избегнете загубата на време и усилия за администриране на системата и да се съсредоточите върху бизнес логиката и кодирането.

Услугата Lambda е разделена на две нива. Първата е контролната равнина. Според Wikipedia контролната равнина е частта от мрежата, отговорна за транспортирането на сигнален трафик и маршрутизиране. Това е основният компонент, който взема глобални решения относно предоставянето, обслужването и разпределението на работните натоварвания. Освен това контролната равнина действа като мрежова топология на доставчика на решение, отговорна за маршрутизирането и управлението на трафика.

Втората равнина е равнината на данните. Той, подобно на самолета за управление, има свои собствени задачи. Контролната равнина предоставя API за управление на функции (CreateFunction, UpdateFunctionCode) и контролира как Lambda комуникира с други AWS услуги. Равнината на данни контролира Invoke API, който изпълнява ламбда функции. След като се извика функция, контролната равнина разпределя или избира съществуваща среда за изпълнение, която е предварително подготвена за тази функция, и след това изпълнява кода в нея.

AWS Lambda поддържа различни езици за програмиране, включително Java 8, Python 3.7, Go, NodeJS 8, .NET Core 2 и други, чрез съответните им среди за изпълнение. AWS редовно ги актуализира, разпространява корекции за сигурност и извършва други дейности по поддръжка на тези среди. Lambda ви позволява да използвате и други езици, при условие че сами внедрите подходящото време за изпълнение. И тогава ще трябва да се грижите за поддръжката му, включително да следите за безопасността му.

Как работи всичко и как услугата ще изпълнява вашите функции?

Всяка функция работи в една или повече специални среди, които съществуват само за живота на тази функция и след това се унищожават. Всяка среда прави само едно извикване наведнъж, но то се използва повторно, ако има множество последователни извиквания към една и съща функция. Всички среди за изпълнение работят на виртуални машини с хардуерна виртуализация - така наречените microVM. Всяка microVM е присвоена на конкретен AWS акаунт и може да се използва повторно от среди за изпълнение на различни функции в рамките на този акаунт. MicroVM са пакетирани в градивни елементи на хардуерната платформа Lambda Worker, която е собственост и се управлява от AWS. Едно и също време за изпълнение не може да се използва от различни функции, нито пък microVM са уникални за различни AWS акаунти.

AWS ламбда изолационен модел

Изолирането на средите за изпълнение се реализира с помощта на няколко механизма. На най-високото ниво на всяка среда има отделни копия на следните компоненти:

• Функционален код
• Всички ламбда слоеве, избрани за функцията
• Среда за изпълнение на функция
• Минимално потребителско пространство, базирано на Amazon Linux

Следните механизми се използват за изолиране на различни среди за изпълнение:

• cgroups - ограничаване на достъпа до CPU, памет, съхранение и мрежови ресурси за всяка среда за изпълнение;
• пространства от имена - групиране на идентификатори на процеси, потребителски идентификатори, мрежови интерфейси и други ресурси, управлявани от ядрото на Linux. Всяка среда за изпълнение работи в собствено пространство от имена;
• seccomp-bpf - ограничава системните повиквания, които могат да се използват по време на изпълнение;
• iptables и таблици за маршрутизиране - изолиране на средите за изпълнение една от друга;
• chroot - осигурява ограничен достъп до основната файлова система.

Комбинирани със собствени технологии за изолация на AWS, тези механизми осигуряват надеждно разделяне по време на изпълнение. Изолираните по този начин среди не могат да имат достъп или да променят данни от други среди.

Въпреки че множество изпълнения на един и същ AWS акаунт могат да работят на една microVM, при никакви обстоятелства microVM не могат да се споделят между различни AWS акаунти. AWS Lambda използва само два механизма за изолиране на microVM: EC2 инстанции и Firecracker. Изолирането на гости в Lambda въз основа на екземпляри на EC2 съществува от 2015 г. Firecracker е нов хипервайзор с отворен код, специално проектиран от AWS за работни натоварвания без сървър и представен през 2018 г. Физическият хардуер, работещ с microVM, се споделя между работни натоварвания в различни акаунти.

Запазване на среди и състояния на процеси

Въпреки че времето за изпълнение на Lambda е уникално за различни функции, те могат да извикват една и съща функция многократно, което означава, че времето за изпълнение може да оцелее няколко часа, преди да бъде унищожено.

Всяка среда за изпълнение на Lambda също има файлова система с възможност за запис, достъпна през директорията /tmp. Неговото съдържание не може да бъде достъпно от други среди за изпълнение. Що се отнася до постоянството на състоянието на процеса, файловете, записани в /tmp, съществуват за целия жизнен цикъл на средата за изпълнение. Това позволява да се натрупват резултатите от множество повиквания, което е особено полезно за скъпи операции като зареждане на модели за машинно обучение.

Прехвърляне на данни за разговори

Invoke API може да се използва в два режима: режим на събитие и режим на заявка-отговор. В режим на събитие повикването се добавя към опашка за по-късно изпълнение. В режим заявка-отговор функцията се извиква незабавно с предоставения полезен товар, след което се връща отговорът. И в двата случая функцията работи в Lambda среда, но с различни пътища на полезния товар.

По време на повиквания заявка-отговор полезният товар протича от API за обработка на заявки (API Caller), като AWS API Gateway или AWS SDK, към балансиращото натоварване и след това към услугата за повикване Lambda (Invoke Service). Последният определя подходящата среда за изпълнение на функцията и предава полезния товар там, за да завърши повикването. Балансиращото натоварване получава TLS-защитен трафик през интернет. Трафикът в рамките на услугата Lambda — след балансиращото натоварване — преминава през вътрешен VPC в конкретен AWS регион.

AWS модел за обработка на ламбда повиквания: режим на заявка-отговор

Повикванията за събитие могат да бъдат направени незабавно или добавени към опашка. В някои случаи опашката се реализира с помощта на Amazon SQS (Amazon Simple Queue Service), която предава обажданията към услугата за изпълнение на повиквания Lambda чрез вътрешен процес на анкетиране. Предаваният трафик е защитен от TLS и няма допълнително криптиране на данните, съхранявани в Amazon SQS.

Обажданията за събития не връщат отговори - Lambda Worker просто игнорира всякаква информация за отговор. Базираните на събития повиквания от Amazon S3, Amazon SNS, CloudWatch и други източници се обработват от Lambda в режим на събитие. Обажданията от Amazon Kinesis и DynamoDB потоци, SQS опашки, Application Load Balancer и API Gateway се обработват по начин заявка-отговор.

мониторинг

Можете да наблюдавате и проверявате Lambda функции, като използвате различни механизми и услуги на AWS, включително следните.

amazoncloudwatch
Събира различни статистически данни като брой заявки, продължителност на заявките и брой неуспешни заявки.

Amazon CloudTrail
Позволява ви да регистрирате, непрекъснато да наблюдавате и поддържате информация за активността на акаунта, свързана с вашата AWS инфраструктура. Ще имате пълна история на действията, извършени с помощта на конзолата за управление на AWS, AWS SDK, инструментите на командния ред и други услуги на AWS.

AWS рентгенови лъчи
Осигурява пълна видимост на всички етапи на обработка на заявка във вашето приложение въз основа на карта на вътрешните му компоненти. Позволява ви да анализирате приложения по време на разработка и в производствени среди.

AWS Конфиг
Ще можете да проследявате промените в конфигурацията на функцията Lambda (включително изтриване) и времената на изпълнение, таговете, имената на манипулаторите, размера на кода, разпределението на паметта, настройките за изчакване и настройките за паралелност, както и ролята за изпълнение на Lambda IAM, подмрежите и обвързванията на групата за сигурност .

Заключение

AWS Lambda предлага мощен набор от инструменти за изграждане на сигурни и мащабируеми приложения. Много от практиките за сигурност и съответствие в AWS Lambda са същите като в други услуги на AWS, въпреки че има изключения. От март 2019 г. Lambda отговаря на изискванията на SOC 1, SOC 2, SOC 3, PCI DSS, Закона за преносимост и отчетност на здравното осигуряване (HIPAA) и други разпоредби. Така че, когато обмисляте внедряване на следващото си приложение, помислете за услугата AWS Lambda - тя може да е най-подходящата за вашата задача.

Източник: www.habr.com