Налична е разпределена изчислителна система Apache Storm 2.0

видях светлината значително издание на разпределена система за обработка на събития Apache Storm 2.0, забележителен с прехода си към нова архитектура, реализирана в Java, вместо използвания преди това език Clojure.

Проектът ви позволява да организирате гарантирана обработка на различни събития в реално време. Например, Storm може да се използва за анализиране на потоци от данни в реално време, изпълнение на задачи за машинно обучение, организиране на непрекъснати изчисления, внедряване на RPC, ETL и др. Системата поддържа клъстеризация, създаване на отказоустойчиви конфигурации, гарантиран режим на обработка на данни и има висока производителност, достатъчна за обработка на повече от милион заявки в секунда на един клъстерен възел.

Поддържа се интеграция с различни системи за обработка на опашки и технологии за бази данни. Архитектурата Storm включва получаване и обработка на неструктурирани, постоянно актуализирани потоци от данни, като се използват произволни сложни процесори с възможност за разделяне между различни етапи на изчисления. Проектът беше предаден на общността на Apache, след като Twitter придоби BackType, компанията, която първоначално разработи рамката. На практика Storm беше използван в BackType за анализиране на отразяването на събития в микроблогове, чрез сравняване в движение на нови туитове и връзките, използвани в тях (например беше оценено как външните връзки или съобщения, публикувани в Twitter, се преизлъчват от други участници ).

Функционалността на Storm се сравнява с платформата Hadoop, като основната разлика е, че данните не се съхраняват в склад, а се поглъщат отвън и се обработват в реално време. Storm няма вграден слой за съхранение и аналитичната заявка започва да се прилага към входящи данни, докато не бъде отменена (докато Hadoop използва задания MapReduce с ограничено време, Storm използва идеята за непрекъснато изпълняващи се „топологии“). Изпълнението на манипулатори може да бъде разпределено между няколко сървъра - Storm автоматично паралелизира работата с нишки на различни клъстерни възли.

Системата първоначално е написана на Clojure и работи във виртуалната JVM машина. Фондацията Apache стартира инициатива за мигриране на Storm към ново ядро, написано на Java, резултатите от което са предложени в изданието на Apache Storm 2.0. Всички основни компоненти на платформата са пренаписани на Java. Поддръжката за писане на манипулатори в Clojure е запазена, но сега се предлага под формата на свързвания. Storm 2.0.0 изисква Java 8. Моделът на многонишкова обработка е напълно преработен, позволявайки да постигне забележимо увеличение на производителността (за някои топологии забавянията бяха намалени с 50-80%).

Новата версия също предлага нов въведен API Streams, който ви позволява да дефинирате манипулатори, използвайки операции в стила на функционално програмиране. Новият API е внедрен върху стандартния базов API и поддържа автоматично обединяване на операции за оптимизиране на тяхната обработка. Windowing API за операции с прозорци е добавил поддръжка за запазване и възстановяване на състояние в бекенда.

Подкрепа за отчитане на допълнителни ресурси при вземане на решения, но не само
CPU и памет, като например мрежови и графични настройки. Направени са голям брой подобрения, за да се осигури интеграция с платформата Кафка. Системата за контрол на достъпа е разширена, за да включва възможността за създаване на администраторски групи и делегиране на токени. Добавени са подобрения, свързани с поддръжката на SQL и показатели. В администраторския интерфейс се появиха нови команди за отстраняване на грешки в състоянието на клъстера.

Области на приложение на Storm:

• Обработка на потоци от нови данни или актуализации на бази данни в реално време;
• Непрекъснато изчисление: Storm може да изпълнява непрекъснати заявки и да обработва непрекъснати потоци, доставяйки резултати от обработката на клиента в реално време.
• Разпределено извикване на отдалечена процедура (RPC): Storm може да се използва за осигуряване на паралелно изпълнение на изискващи ресурси заявки. Задание („топология“) в Storm е функция, разпределена между възли, която чака да пристигнат съобщения, които трябва да бъдат обработени. След като получи съобщение, функцията го обработва в локалния контекст и връща резултата. Пример за използване на разпределен RPC би бил да обработвате заявки за търсене паралелно или да извършвате операции върху голям набор от набори.

Характеристики на Storm:

• Опростен програмен модел, който значително опростява обработката на данни в реално време;
• Поддръжка на всякакви езици за програмиране. Налични са модули за Java, Ruby и Python, адаптирането за други езици е лесно благодарение на много прост комуникационен протокол, който изисква около 100 реда код за поддръжка;
• Устойчивост на грешки: за да изпълните задача за обработка на данни, трябва да генерирате jar файл с код. Storm независимо ще разпространи този jar файл в клъстерните възли, ще свърже свързаните с него манипулатори и ще организира наблюдение. Когато заданието приключи, кодът ще бъде автоматично деактивиран на всички възли;
• Хоризонтална мащабируемост. Всички изчисления се извършват в паралелен режим; с увеличаване на натоварването е достатъчно просто да свържете нови възли към клъстера;
• Надеждност. Storm гарантира, че всяко входящо съобщение се обработва напълно поне веднъж. Съобщението ще бъде обработено само веднъж, ако няма грешки при преминаване през всички манипулатори; ако възникнат проблеми, неуспешните опити за обработка ще бъдат повторени.
• Скорост. Кодът на Storm е написан с мисъл за висока производителност и използва системата за бързи асинхронни съобщения ZeroMQ.

Източник: opennet.ru