значајно издање дистрибуираног система за обраду догађаја , истакнут по преласку на нову архитектуру имплементирану у Јави, уместо на претходно коришћени језик Цлојуре.
Пројекат вам омогућава да организујете гарантовану обраду различитих догађаја у реалном времену. На пример, Сторм се може користити за анализу токова података у реалном времену, покретање задатака машинског учења, организовање континуираног рачунарства, имплементацију РПЦ, ЕТЛ, итд. Систем подржава груписање, креирање конфигурација отпорних на грешке, гарантовани режим обраде података и има високе перформансе, довољне за обраду више од милион захтева у секунди на једном чвору кластера.
Подржана је интеграција са различитим системима за обраду редова и технологијама база података. Архитектура Сторм укључује пријем и обраду неструктурираних, стално ажурираних токова података коришћењем произвољних сложених процесора са могућношћу поделе између различитих фаза прорачуна. Пројекат је предат заједници Апацхе након што је Твиттер купио БацкТипе, компанију која је првобитно развила оквир. У пракси, Сторм је коришћен у БацкТипе-у за анализу одраза догађаја у микроблоговима, упоређујући у ходу нове твитове и везе које се користе у њима (на пример, процењено је како су спољне везе или саопштења објављена на Твитеру поново емитована од стране других учесника ).
Функционалност Сторм-а се пореди са Хадооп платформом, с тим што је кључна разлика у томе што се подаци не чувају у складишту, већ се уносе екстерно и обрађују у реалном времену. Сторм нема уграђени слој за складиштење и аналитички упит почиње да се примењује на долазне податке све док се не откаже (док Хадооп користи МапРедуце послове са ограниченим временом, Сторм користи идеју континуираног покретања „топологија“). Извршење руковалаца може бити распоређено на неколико сервера - Сторм аутоматски паралелизује рад са нитима на различитим чворовима кластера.
Систем је првобитно написан у Цлојуре-у и ради унутар ЈВМ виртуелне машине. Апацхе фондација је покренула иницијативу за миграцију Сторма на ново језгро написано на Јави, чији су резултати предложени у издању Апацхе Сторм 2.0. Све основне компоненте платформе су преписане у Јави. Подршка за руковаоце писањем у Цлојуре-у је задржана, али се сада нуди у облику повезивања. Сторм 2.0.0 захтева Јава 8. Модел вишенитне обраде је потпуно редизајниран, омогућавајући приметно повећање перформанси (за неке топологије, кашњења су смањена за 50-80%).
Нова верзија такође нуди нови откуцани Стреамс АПИ који вам омогућава да дефинишете руковаоце користећи функционалне операције у стилу програмирања. Нови АПИ је имплементиран на врху стандардног основног АПИ-ја и подржава аутоматско спајање операција ради оптимизације њихове обраде. АПИ за прозоре за операције прозора је додао подршку за чување и враћање стања у позадину.
Подршка за узимање у обзир додатних ресурса приликом доношења одлука није ограничена на
ЦПУ и меморија, као што су подешавања мреже и ГПУ-а. Велики број побољшања је направљен да би се осигурала интеграција са платформом . Систем контроле приступа је проширен тако да укључује могућност креирања администраторских група и делегирања токена. Додата побољшања везана за СКЛ и подршку за метрику. У администраторском интерфејсу су се појавиле нове команде за отклањање грешака у стању кластера.
Области примене за Олују:
- Обрада токова нових података или ажурирања базе података у реалном времену;
- Континуирано рачунарство: Сторм може да покреће непрекидне упите и обрађује континуиране токове, испоручујући резултате обраде клијенту у реалном времену.
- Дистрибутед Ремоте Процедуре Цалл (РПЦ): Сторм се може користити да обезбеди паралелно извршавање упита који захтевају велике ресурсе. Посао („топологија“) у Сторму је функција распоређена по чворовима која чека да стигну поруке које треба обрадити. Након што прими поруку, функција је обрађује у локалном контексту и враћа резултат. Пример коришћења дистрибуираног РПЦ-а био би паралелна обрада упита за претрагу или извођење операција на великом скупу скупова.
Карактеристике олује:
- Једноставан модел програмирања који у великој мери поједностављује обраду података у реалном времену;
- Подршка за све програмске језике. Модули су доступни за Јава, Руби и Питхон, адаптација за друге језике је лака захваљујући веома једноставном комуникацијском протоколу који захтева око 100 линија кода за подршку;
- Толеранција грешака: да бисте покренули посао обраде података, потребно је да генеришете јар датотеку са кодом. Сторм ће независно дистрибуирати ову јар датотеку по чворовима кластера, повезати руковаоце повезане са њом и организовати надгледање. Када се посао заврши, код ће бити аутоматски онемогућен на свим чворовима;
- Хоризонтална скалабилност. Сви прорачуни се изводе у паралелном режиму, како се оптерећење повећава, довољно је једноставно повезати нове чворове на кластер;
- Поузданост. Сторм осигурава да се свака долазна порука у потпуности обради барем једном. Порука ће бити обрађена само једном ако нема грешака приликом проласка кроз све руковаоце; ако се појаве проблеми, неуспешни покушаји обраде ће се поновити.
- Брзина. Стормов код је написан са високим перформансама на уму и користи систем за брзу асинхрону размену порука .
Извор: опеннет.ру