AWS Lambda 상세 분석

이 기사의 번역은 코스의 학생들을 위해 특별히 준비되었습니다. "클라우드 서비스". 이 방향으로 발전하는 데 관심이 있으십니까? Egor Zuev(InBit 팀 리더)의 마스터 클래스를 시청하세요 "AWS EC2 서비스" 다음 코스 그룹에 참여하세요: 26월 XNUMX일에 시작됩니다.

확장성, 성능, 비용 절감, 매월 수백만 또는 심지어 수조 건의 요청을 처리할 수 있는 능력을 위해 AWS Lambda로 전환하는 사람들이 늘어나고 있습니다. 이를 위해 서비스가 실행되는 인프라를 관리할 필요가 없습니다. 그리고 자동 확장을 사용하면 초당 수천 개의 동시 요청을 처리할 수 있습니다. AWS Lambda는 가장 인기 있는 AWS 서비스 중 하나라고 할 수 있다고 생각합니다.

AWS 람다

AWS Lambda는 서버를 프로비저닝하거나 관리하지 않고도 코드를 실행하고 사용자 지정 로직을 사용하여 다른 AWS 서비스를 확장할 수 있는 이벤트 기반 서버리스 컴퓨팅 서비스입니다. Lambda는 Amazon API Gateway를 통한 HTTP 요청, Amazon S3 버킷 또는 Amazon DynamoDB 테이블의 데이터 변경과 같은 다양한 이벤트(트리거라고 함)에 자동으로 응답합니다. 또는 AWS SDK를 사용한 API 호출과 AWS Step Functions의 상태 전환을 통해 코드를 실행할 수 있습니다.

Lambda는 고가용성 컴퓨팅 인프라에서 코드를 실행하며 서버 및 운영 체제 유지 관리, 리소스 프로비저닝, 자동 크기 조정, 코드 모니터링 및 로깅을 포함한 기본 플랫폼 관리를 전담합니다. 즉, 코드를 업로드하고 실행 방법과 시기를 구성하기만 하면 됩니다. 결과적으로 서비스는 출시를 관리하고 애플리케이션의 고가용성을 보장합니다.

언제 Lambda로 전환해야 합니까?

AWS Lambda는 코드의 언어와 런타임이 서비스에서 지원되는 한 다양한 사용 사례에 적합한 편리한 컴퓨팅 플랫폼입니다. 합리적인 비용으로 서버 유지 관리, 프로비저닝 및 확장을 아웃소싱하면서 코드와 비즈니스 로직에 집중하고 싶다면 AWS Lambda가 확실히 좋은 선택입니다.

Lambda는 프로그래밍 인터페이스 생성에 이상적이며, API Gateway와 함께 사용하면 비용을 크게 절감하고 출시 기간을 단축할 수 있습니다. 서버리스 아키텍처를 구성하기 위해 Lambda 기능과 옵션을 사용하는 방법은 다양합니다. 누구나 자신의 목표에 따라 적합한 것을 선택할 수 있습니다.

Lambda를 사용하면 광범위한 작업을 수행할 수 있습니다. 따라서 CloudWatch 지원 덕분에 지연된 작업을 생성하고 개별 프로세스를 자동화할 수 있습니다. 서비스 사용의 성격과 강도에는 제한이 없으며(메모리 소비 및 시간이 고려됨) Lambda 기반의 본격적인 마이크로서비스를 체계적으로 작업하는 데 방해가 되는 것은 없습니다.

여기서 지속적으로 실행되지 않는 서비스 지향 작업을 생성할 수 있습니다. 대표적인 예가 이미지 스케일링입니다. 분산 시스템의 경우에도 Lambda 기능은 관련성을 유지합니다.

따라서 컴퓨팅 리소스 할당 및 관리를 처리하고 싶지 않다면 AWS Lambda를 사용해 보십시오. 무겁고 리소스 집약적인 계산이 필요하지 않다면 AWS Lambda도 사용해 보세요. 코드가 주기적으로 실행된다면 AWS Lambda를 사용해 보아야 합니다.

Безопасность

아직까지 안전에 대한 불만은 없습니다. 반면, 이 모델의 많은 내부 프로세스와 구현 기능은 AWS Lambda 관리형 런타임 환경 사용자에게 숨겨져 있으므로 일반적으로 허용되는 클라우드 보안 규칙 중 일부는 부적절해집니다.

대부분의 AWS 서비스와 마찬가지로 Lambda는 AWS와 고객 간에 공유 보안 및 규정 준수 기반으로 제공됩니다. 호스트 운영 체제와 가상화 계층부터 인프라 자산의 물리적 보안에 이르기까지 서비스 구성 요소를 유지 관리, 관리 및 모니터링하는 작업을 AWS가 수행하므로 이 원칙은 고객의 운영 부담을 줄여줍니다.

특히 AWS Lambda에 대해 말하면 AWS는 기본 인프라, 관련 기본 서비스, 운영 체제 및 애플리케이션 플랫폼을 관리하는 역할을 담당합니다. 클라이언트는 자신의 코드 보안, 기밀 데이터 저장, 코드 액세스 제어, 사용된 기능 한도 내에서 Lambda 서비스 및 리소스(Identity and Access Management, IAM)에 대한 책임을 집니다.

아래 다이어그램은 AWS Lambda에 적용되는 공동 책임 모델을 보여줍니다. AWS 책임은 주황색이고 고객 책임은 파란색입니다. 보시다시피 AWS는 서비스에 배포된 애플리케이션에 대해 더 많은 책임을 집니다.

AWS Lambda에 적용할 수 있는 책임 공유 모델

람다 런타임

Lambda의 가장 큰 장점은 사용자를 대신하여 기능을 수행함으로써 서비스 자체가 필요한 리소스를 할당한다는 것입니다. 시스템 관리에 시간과 노력을 낭비하지 않고 비즈니스 로직과 코딩에 집중할 수 있습니다.

Lambda 서비스는 두 개의 평면으로 나뉩니다. 첫 번째는 제어 평면입니다. Wikipedia에 따르면 제어 평면은 신호 트래픽 전송 및 라우팅을 담당하는 네트워크의 일부입니다. 워크로드 프로비저닝, 서비스 및 배포에 대한 전반적인 결정을 내리는 기본 구성 요소입니다. 또한 컨트롤 플레인은 트래픽 라우팅 및 관리를 담당하는 솔루션 공급자의 네트워크 토폴로지 역할을 합니다.

두 번째 평면은 데이터 평면입니다. 컨트롤 플레인과 마찬가지로 자체 작업이 있습니다. 제어 플레인은 함수(CreateFunction, UpdateFunctionCode) 관리를 위한 API를 제공하고 Lambda가 다른 AWS 서비스와 통신하는 방식을 제어합니다. 데이터 플레인은 Lambda 함수를 실행하는 Invoke API를 제어합니다. 함수가 호출된 후 컨트롤 플레인은 해당 함수에 대해 사전 준비된 기존 런타임 환경을 할당하거나 선택한 다음 그 안에서 코드를 실행합니다.

AWS Lambda는 해당 런타임 환경을 통해 Java 8, Python 3.7, Go, NodeJS 8, .NET Core 2 등을 포함한 다양한 프로그래밍 언어를 지원합니다. AWS는 이러한 환경을 정기적으로 업데이트하고 보안 패치를 배포하며 기타 유지 관리 활동을 수행합니다. Lambda를 사용하면 적절한 런타임을 직접 구현한다면 다른 언어도 사용할 수 있습니다. 그런 다음 안전 모니터링을 포함하여 유지 관리를 관리해야 합니다.

이 모든 것이 어떻게 작동하며 서비스가 귀하의 기능을 어떻게 수행합니까?

각 기능은 하나 이상의 전용 환경에서 실행되며, 해당 환경은 해당 기능의 수명 동안만 존재하고 이후에는 제거됩니다. 각 환경은 한 번에 하나의 호출만 수행하지만 동일한 함수에 대한 여러 직렬 호출이 있는 경우 재사용됩니다. 모든 런타임 환경은 하드웨어 가상화(소위 microVM)가 적용된 가상 머신에서 실행됩니다. 각 microVM은 특정 AWS 계정에 할당되며 환경에서 재사용되어 해당 계정 내에서 다양한 기능을 수행할 수 있습니다. MicroVM은 AWS가 소유하고 운영하는 Lambda Worker 하드웨어 플랫폼의 빌딩 블록으로 패키징됩니다. 동일한 런타임을 다른 기능에서 사용할 수 없으며 microVM이 다른 AWS 계정에 고유하지도 않습니다.

AWS Lambda 격리 모델

런타임 환경 격리는 여러 메커니즘을 사용하여 구현됩니다. 각 환경의 최상위 수준에는 다음 구성 요소의 별도 복사본이 있습니다.

• 기능 코드
• 함수에 대해 선택된 모든 Lambda 계층
• 함수 실행 환경
• Amazon Linux 기반의 최소 사용자 공간

다음 메커니즘은 다양한 실행 환경을 격리하는 데 사용됩니다.

• cgroups - 각 런타임 환경의 CPU, 메모리, 스토리지 및 네트워크 리소스에 대한 액세스를 제한합니다.
• 네임스페이스 - Linux 커널에서 관리하는 프로세스 ID, 사용자 ID, 네트워크 인터페이스 및 기타 리소스를 그룹화합니다. 각 런타임은 자체 네임스페이스에서 실행됩니다.
• seccomp-bpf - 런타임에 사용할 수 있는 시스템 호출을 제한합니다.
• iptables 및 라우팅 테이블 - 실행 환경을 서로 격리합니다.
• chroot - 기본 파일 시스템에 대한 제한된 액세스를 제공합니다.

AWS 독점 격리 기술과 결합된 이러한 메커니즘은 안정적인 런타임 분리를 보장합니다. 이러한 방식으로 격리된 환경은 다른 환경의 데이터에 액세스하거나 수정할 수 없습니다.

동일한 AWS 계정의 여러 런타임이 단일 microVM에서 실행될 수 있지만 어떤 경우에도 서로 다른 AWS 계정 간에 microVM을 공유할 수 없습니다. AWS Lambda는 microVM을 격리하기 위해 EC2 인스턴스와 Firecracker라는 두 가지 메커니즘만 사용합니다. EC2 인스턴스를 기반으로 하는 Lambda의 게스트 격리는 2015년부터 이루어졌습니다. Firecracker는 AWS가 서버리스 워크로드를 위해 특별히 설계하고 2018년에 출시한 새로운 오픈 소스 하이퍼바이저입니다. microVM을 실행하는 물리적 하드웨어는 여러 계정의 워크로드 간에 공유됩니다.

환경 및 프로세스 상태 저장

Lambda 런타임은 다양한 함수마다 고유하지만 동일한 함수를 반복적으로 호출할 수 있습니다. 즉, 런타임은 소멸되기 전에 몇 시간 동안 유지될 수 있습니다.

각 Lambda 런타임에는 /tmp 디렉터리를 통해 액세스할 수 있는 쓰기 가능한 파일 시스템도 있습니다. 해당 내용은 다른 런타임에서 액세스할 수 없습니다. 프로세스 상태 지속성과 관련하여 /tmp에 기록된 파일은 런타임 환경의 전체 수명 주기 동안 존재합니다. 이를 통해 여러 호출의 결과를 누적할 수 있으며, 이는 기계 학습 모델 로드와 같은 비용이 많이 드는 작업에 특히 유용합니다.

통화 데이터 전송

Invoke API는 이벤트 모드와 요청-응답 모드의 두 가지 모드로 사용할 수 있습니다. 이벤트 모드에서는 나중에 실행하기 위해 호출이 대기열에 추가됩니다. 요청-응답 모드에서는 제공된 페이로드를 사용하여 함수가 즉시 호출된 후 응답이 반환됩니다. 두 경우 모두 함수는 Lambda 환경에서 실행되지만 페이로드 경로는 다릅니다.

요청-응답 호출 중에 페이로드는 AWS API Gateway 또는 AWS SDK와 같은 요청 처리 API(API 호출자)에서 로드 밸런서로 이동한 다음 Lambda 호출 서비스(Invoke Service)로 흐릅니다. 후자는 함수 실행에 적합한 환경을 결정하고 거기에 페이로드를 전달하여 호출을 완료합니다. 로드 밸런서는 인터넷을 통해 TLS로 보호되는 트래픽을 수신합니다. 로드 밸런서 이후의 Lambda 서비스 내 트래픽은 특정 AWS 지역의 내부 VPC를 통과합니다.

AWS Lambda 호출 처리 모델: 요청-응답 모드

이벤트 호출은 즉시 수행되거나 대기열에 추가될 수 있습니다. 경우에 따라 대기열은 내부 폴러 프로세스를 통해 Lambda 호출 이행 서비스에 호출을 전달하는 Amazon SQS(Amazon Simple Queue Service)를 사용하여 구현됩니다. 전송된 트래픽은 TLS로 보호되며 Amazon SQS에 저장된 데이터는 추가로 암호화되지 않습니다.

이벤트 호출은 응답을 반환하지 않습니다. Lambda 작업자는 모든 응답 정보를 무시합니다. Amazon S3, Amazon SNS, CloudWatch 및 기타 소스의 이벤트 기반 호출은 이벤트 모드에서 Lambda에 의해 처리됩니다. Amazon Kinesis 및 DynamoDB 스트림, SQS 대기열, Application Load Balancer 및 API Gateway 호출의 호출은 요청-응답 방식으로 처리됩니다.

모니터링

다음을 포함한 다양한 AWS 메커니즘과 서비스를 사용하여 Lambda 함수를 모니터링하고 감사할 수 있습니다.

아마존 클라우드 워치
요청 횟수, 요청 기간, 실패한 요청 횟수 등 다양한 통계를 수집합니다.

아마존 클라우드트레일
AWS 인프라와 관련된 계정 활동 정보를 기록하고 지속적으로 모니터링하고 유지 관리할 수 있습니다. AWS Management Console, AWS SDK, 명령줄 도구 및 기타 AWS 서비스를 사용하여 수행된 작업의 전체 기록을 갖게 됩니다.

AWS 엑스레이
내부 구성 요소 맵을 기반으로 애플리케이션의 요청 처리의 모든 단계에 대한 완벽한 가시성을 제공합니다. 개발 및 프로덕션 환경에서 애플리케이션을 분석할 수 있습니다.

AWS 구성
Lambda 함수 구성(삭제 포함) 및 런타임, 태그, 핸들러 이름, 코드 크기, 메모리 할당, 제한 시간 설정 및 동시성 설정은 물론 Lambda IAM 실행 역할, 서브넷 및 보안 그룹 바인딩에 대한 변경 사항을 추적할 수 있습니다. .

결론

AWS Lambda는 안전하고 확장 가능한 애플리케이션을 구축하기 위한 강력한 도구 세트를 제공합니다. AWS Lambda의 많은 보안 및 규정 준수 관행은 예외가 있지만 다른 AWS 서비스와 동일합니다. 2019년 1월 현재 Lambda는 SOC 2, SOC 3, SOC XNUMX, PCI DSS, HIPAA(건강 보험 이동성 및 책임법) 규정 및 기타 규정을 준수합니다. 따라서 다음 애플리케이션 구현을 고려할 때 AWS Lambda 서비스를 고려해보세요. 이 서비스가 귀하의 작업에 가장 적합할 수 있습니다.

출처 : habr.com