Apache Storm 2.0 분산 컴퓨팅 시스템 사용 가능

빛을 보았다 분산 이벤트 처리 시스템의 대폭 출시 아파치 스톰 2.0, 이전에 사용된 Clojure 언어 대신 Java로 구현된 새로운 아키텍처로 전환한 것으로 유명합니다.

이 프로젝트를 사용하면 다양한 이벤트의 처리를 실시간으로 보장할 수 있습니다. 예를 들어 Storm을 사용하면 실시간으로 데이터 스트림을 분석하고, 기계 학습 작업을 실행하고, 지속적인 컴퓨팅을 구성하고, RPC, ETL 등을 구현할 수 있습니다. 이 시스템은 클러스터링, 내결함성 구성 생성, 데이터 처리 모드 보장을 지원하며 하나의 클러스터 노드에서 초당 백만 개가 넘는 요청을 처리하기에 충분한 고성능을 갖추고 있습니다.

다양한 대기열 처리 시스템 및 데이터베이스 기술과의 통합이 지원됩니다. Storm 아키텍처에는 다양한 계산 단계 간에 분할할 수 있는 임의의 복잡한 프로세서를 사용하여 구조화되지 않고 지속적으로 업데이트되는 데이터 스트림을 수신하고 처리하는 작업이 포함됩니다. 이 프로젝트는 Twitter가 원래 프레임워크를 개발한 회사인 BackType을 인수한 후 Apache 커뮤니티에 넘겨졌습니다. 실제로 Storm은 BackType에서 사용되어 새로운 트윗과 그 안에 사용된 링크를 즉석에서 비교함으로써 마이크로블로그의 이벤트 반영을 분석했습니다(예를 들어 트위터에 게시된 외부 링크나 공지 사항이 다른 참가자에 의해 어떻게 재방송되었는지 평가되었습니다). ).

Storm의 기능은 Hadoop 플랫폼과 비교됩니다. 주요 차이점은 데이터가 웨어하우스에 저장되지 않고 외부에서 수집되어 실시간으로 처리된다는 점입니다. Storm에는 내장된 스토리지 계층이 없으며 분석 쿼리는 취소될 때까지 들어오는 데이터에 적용되기 시작합니다(Hadoop은 유한 시간 MapReduce 작업을 사용하는 반면 Storm은 "토폴로지"를 지속적으로 실행한다는 아이디어를 사용합니다). 핸들러 실행은 여러 서버에 분산될 수 있습니다. Storm은 서로 다른 클러스터 노드의 스레드를 사용하여 작업을 자동으로 병렬화합니다.

이 시스템은 원래 Clojure로 작성되었으며 JVM 가상 머신 내부에서 실행됩니다. Apache Foundation은 Storm을 Java로 작성된 새 커널로 마이그레이션하는 계획을 시작했으며 그 결과는 Apache Storm 2.0 릴리스에서 제안되었습니다. 플랫폼의 모든 기본 구성 요소는 Java로 다시 작성되었습니다. Clojure에서 핸들러 작성에 대한 지원은 유지되었지만 이제는 바인딩 형태로 제공됩니다. Storm 2.0.0에는 Java 8이 필요합니다. 멀티스레드 처리 모델이 완전히 재설계되어 다음을 허용합니다. 성취하다 성능이 눈에 띄게 향상되었습니다(일부 토폴로지의 경우 지연이 50-80% 감소했습니다).

새 버전은 함수형 프로그래밍 스타일 작업을 사용하여 핸들러를 정의할 수 있는 새로운 형식의 Streams API도 제공합니다. 새로운 API는 표준 기본 API 위에 구현되며 작업 자동 병합을 지원하여 처리를 최적화합니다. 창 작업을 위한 Windowing API에는 백엔드에서 상태를 저장하고 복원하기 위한 지원이 추가되었습니다.

다음에 국한되지 않는 결정을 내릴 때 추가 자원을 고려하도록 지원
네트워크 및 GPU 설정과 같은 CPU 및 메모리. 플랫폼과의 통합을 보장하기 위해 많은 개선이 이루어졌습니다. 카프카. 관리자 그룹 및 위임 토큰을 생성하는 기능을 포함하도록 액세스 제어 시스템이 확장되었습니다. SQL 및 지표 지원과 관련된 개선 사항이 추가되었습니다. 클러스터 상태를 디버깅하기 위한 새로운 명령이 관리자 인터페이스에 나타났습니다.

Storm 적용 분야:

• 새로운 데이터 스트림 또는 데이터베이스 업데이트를 실시간으로 처리합니다.
• 연속 컴퓨팅: Storm은 연속 쿼리를 실행하고 연속 스트림을 처리하여 처리 결과를 실시간으로 클라이언트에 전달할 수 있습니다.
• RPC(분산 원격 프로시저 호출): Storm은 리소스 집약적인 쿼리의 병렬 실행을 제공하는 데 사용할 수 있습니다. Storm의 작업(“토폴로지”)은 처리가 필요한 메시지가 도착할 때까지 기다리는 노드 전체에 분산된 기능입니다. 메시지를 받은 후 함수는 이를 로컬 컨텍스트에서 처리하고 결과를 반환합니다. 분산 RPC를 사용하는 예로는 검색 쿼리를 병렬로 처리하거나 대규모 집합 집합에 대한 작업을 수행하는 것입니다.

폭풍의 특징:

• 실시간 데이터 처리를 크게 단순화하는 간단한 프로그래밍 모델입니다.
• 모든 프로그래밍 언어를 지원합니다. Java, Ruby 및 Python용 모듈을 사용할 수 있으며, 지원하는 데 약 100줄의 코드가 필요한 매우 간단한 통신 프로토콜 덕분에 다른 언어에 대한 적응도 쉽습니다.
• 내결함성: 데이터 처리 작업을 실행하려면 코드가 포함된 jar 파일을 생성해야 합니다. Storm은 이 jar 파일을 클러스터 노드 전체에 독립적으로 배포하고, 이와 관련된 처리기를 연결하고, 모니터링을 구성합니다. 작업이 완료되면 모든 노드에서 코드가 자동으로 비활성화됩니다.
• 수평적 확장성. 모든 계산은 병렬 모드에서 수행되며, 로드가 증가하면 새 노드를 클러스터에 연결하는 것만으로도 충분합니다.
• 신뢰할 수 있음. Storm은 들어오는 모든 메시지가 적어도 한 번은 완전히 처리되도록 합니다. 모든 핸들러를 통과할 때 오류가 없을 경우 메시지는 한 번만 처리되며, 문제가 발생하면 실패한 처리 시도가 반복됩니다.
• 속도. Storm의 코드는 고성능을 염두에 두고 작성되었으며 빠른 비동기 메시징을 위해 시스템을 사용합니다. 제로MQ.

출처 : opennet.ru