Архитектура и могућности Тарантоол Дата Грид-а

2017. године победили смо на конкурсу за развој трансакционог језгра инвестиционог пословања Алфа-Банк и почели са радом (на ХигхЛоад++ 2018. са извештајем о сржи инвестиционог пословања говорио је Владимир Дринкин, руководилац трансакционог језгра инвестиционог пословања Алфа банке). Овај систем је требало да агрегира податке о трансакцијама из различитих извора у различитим форматима, доведе податке у јединствену форму, ускладишти их и омогући им приступ.

Током процеса развоја, систем је еволуирао и стекао функционалност, а у неком тренутку смо схватили да кристалишемо нешто много више од само апликативног софтвера креираног за решавање стриктно дефинисаног спектра задатака: успели смо систем за изградњу дистрибуираних апликација са трајним складиштењем. Искуство које смо стекли чинило је основу за нови производ - Тарантоол Дата Грид (ТДГ).

Желим да причам о ТДГ архитектури и решењима до којих смо дошли током процеса развоја, да вас упознам са главном функционалношћу и покажем како наш производ може да постане основа за изградњу целовитих решења.

Архитектонски смо систем поделили на засебне улогу, од којих је сваки одговоран за решавање одређеног спектра проблема. Једна покренута инстанца апликације имплементира један или више типова улога. У кластеру може бити неколико улога истог типа:

конектор

Конектор је одговоран за комуникацију са спољним светом; његов задатак је да прихвати захтев, рашчлани га, и ако то успе, пошаље податке на обраду улазном процесору. Подржавамо ХТТП, СОАП, Кафка, ФИКС формате. Архитектура вам омогућава да једноставно додате подршку за нове формате, са подршком за ИБМ МК ускоро. Ако рашчлањивање захтева није успело, конектор ће вратити грешку; у супротном ће одговорити да је захтев успешно обрађен, чак и ако је дошло до грешке током његове даље обраде. Ово је урађено посебно да би се радило са системима који не знају да понављају захтеве - или, напротив, то раде превише упорно. Да се ​​подаци не би изгубили, користи се ред за поправку: објекат прво улази у њега и тек након успешне обраде се уклања из њега. Администратор може да прима обавештења о објектима који су остали у реду за поправку, а након елиминисања софтверске грешке или хардверског квара, покушајте поново.

Улазни процесор

Улазни процесор класификује примљене податке према карактеристикама и позива одговарајуће процесоре. Руковаоци су Луа код који ради у сандбоку, тако да не могу утицати на функционисање система. У овој фази подаци се могу свести у тражену форму, а по потреби се може покренути произвољан број задатака који могу имплементирати потребну логику. На пример, у МДМ (Мастер Дата Манагемент) производу изграђеном на Тарантоол Дата Грид-у, приликом додавања новог корисника, да не бисмо успоравали обраду захтева, креирање златног записа покрећемо као посебан задатак. Сандбок подржава захтеве за читање, промену и додавање података, омогућава вам да извршите неку функцију на свим улогама типа складишта и агрегацију резултата (мап/редуце).

Руковаоци се могу описати у датотекама:

sum.lua

local x, y = unpack(...)
return x + y

А затим, декларисано у конфигурацији:

functions:
  sum: { __file: sum.lua }

Зашто Луа? Луа је веома једноставан језик. На основу нашег искуства, неколико сати након што су га упознали, људи почињу да пишу код који решава њихов проблем. И то нису само професионални програмери, већ, на пример, аналитичари. Поред тога, захваљујући јит компајлеру, Луа ради веома брзо.

складиштење

Складиште чува трајне податке. Пре чувања, подаци се проверавају у односу на шему података. Да опишемо коло користимо проширени формат Апацхе Авро... Пример:

{
    "name": "User",
    "type": "record",
    "logicalType": "Aggregate",
    "fields": [ 
        { "name": "id", "type": "string"}, 
        {"name": "first_name", "type": "string"}, 
        {"name": "last_name", "type": "string"} 
    ], 
    "indexes": ["id"] 
}

На основу овог описа, ДДЛ (Језик дефиниције података) се аутоматски генерише за Тарантула ДБМС и ГрапхКЛ шема за приступ подацима.

Подржана је асинхрона репликација података (у плану је додавање синхроне).

Излазни процесор

Понекад је потребно обавестити спољне потрошаче о пристизању нових података, у ту сврху постоји улога Оутпут процесора. Након чувања података, они се могу проследити одговарајућем руковаоцу (на пример, да га доведу у форму коју захтева потрошач) - а затим проследити конектору за слање. Овде се такође користи ред за поправку: ако нико није прихватио објекат, администратор може покушати поново касније.

Skaliranje

Улоге конектора, улазног процесора и излазног процесора су без стања, што нам омогућава да хоризонтално скалирамо систем једноставним додавањем нових инстанци апликације са омогућеним жељеним типом улоге. Складиштење се користи за хоризонтално скалирање приступ до организовања кластера користећи виртуелне кофе. Након додавања новог сервера, неки од блокова са старих сервера се премештају на нови сервер у позадини; ово се дешава транспарентно за кориснике и не утиче на рад целог система.

Својства података

Објекти могу бити веома велики и садржати друге објекте. Осигуравамо атомичност додавања и ажурирања података складиштењем објекта са свим зависностима у једном виртуелном канту. Ово спречава да се објекат „распростире“ на неколико физичких сервера.

Подржано је верзионисање: свако ажурирање објекта ствара нову верзију и увек можемо да узмемо временски одломак и видимо како је свет тада изгледао. За податке којима није потребна дуга историја, можемо ограничити број верзија или чак сачувати само једну – најновију – то јест, у суштини онемогућити верзионирање за одређени тип. Историју можете ограничити и по времену: на пример, избришите све објекте одређеног типа старије од 1 године. Подржано је и архивирање: можемо да истоваримо објекте старије од наведеног времена, ослобађајући простор у кластеру.

задаци

Међу занимљивим карактеристикама, вреди напоменути могућност покретања задатака по распореду, на захтев корисника или програмски из сандбока:

Овде видимо још једну улогу - тркача. Ова улога је без држављанства и додатне инстанце апликације са овом улогом могу се додати у кластер по потреби. Одговорност тркача је да изврши задатке. Као што је поменуто, могуће је генерисати нове задатке из сандбок-а; они се чувају у реду за складиштење и затим се извршавају на покретачу. Ова врста задатка се зове Јоб. Такође имамо тип задатка који се зове Задатак – то су кориснички дефинисани задаци који се покрећу по распореду (користећи црон синтаксу) или на захтев. За покретање и праћење таквих задатака имамо згодан менаџер задатака. Да би ова функционалност била доступна, морате омогућити улогу планера; ова улога има стање, па се не скалира, што није потребно; истовремено, као и све друге улоге, може имати реплику која почиње да ради ако мајстор изненада одбије.

Логгер

Друга улога се зове логер. Сакупља евиденције свих чланова кластера и обезбеђује интерфејс за њихово учитавање и преглед преко веб интерфејса.

Услуге

Вреди напоменути да систем олакшава креирање услуга. У конфигурационој датотеци можете да наведете који се захтеви шаљу руковаоцу који је написао корисник који се покреће у заштићеном окружењу. У овом руковаоцу можете, на пример, да покренете неку врсту аналитичког упита и вратите резултат.

Услуга је описана у конфигурационој датотеци:

services:
   sum:
      doc: "adds two numbers"
      function: sum
      return_type: int
      args:
         x: int
         y: int

ГрапхКЛ АПИ се генерише аутоматски и услуга постаје доступна за позивање:

query {
   sum(x: 1, y: 2) 
}

Ово ће позвати руковаоца sumкоји ће вратити резултат:

3

Профилисање упита и метрика

Да бисмо разумели рад система и захтеве за профилисање, имплементирали смо подршку за ОпенТрацинг протокол. Систем може да шаље информације на захтев алатима који подржавају овај протокол, као што је Зипкин, што ће вам омогућити да разумете како је захтев извршен:

Наравно, систем обезбеђује интерне метрике које се могу прикупити помоћу Прометхеуса и визуелизовати помоћу Графане.

Развити

Тарантоол Дата Грид се може применити из РПМ пакета или архиве, користећи услужни програм из дистрибуције или Ансибле, постоји и подршка за Кубернетес (Тарантоол Кубернетес Оператор).

Апликација која имплементира пословну логику (конфигурација, руковаоци) се учитава у распоређени Тарантоол Дата Грид кластер у облику архиве преко корисничког интерфејса или помоћу скрипте преко АПИ-ја који смо обезбедили.

Буквари филозофије

Које апликације се могу креирати користећи Тарантоол Дата Грид? У ствари, већина пословних задатака је на неки начин повезана са обрадом, складиштењем и приступом протоку података. Стога, ако имате велике токове података којима је потребно безбедно складиштење и приступ, онда вам наш производ може уштедети много времена на развоју и фокусирати се на вашу пословну логику.

На пример, желимо да прикупимо информације о тржишту некретнина, како бисмо у будућности, на пример, имали информације о најбољим понудама. У овом случају, издвојићемо следеће задатке:

1. Роботи који прикупљају информације из отворених извора биће наши извори података. Овај проблем можете решити коришћењем готових решења или писањем кода на било ком језику.
2. Затим ће Тарантоол Дата Грид прихватити и сачувати податке. Ако је формат података из различитих извора различит, онда можете написати код у Луа који ће извршити конверзију у један формат. У фази предобраде, такође ћете моћи, на пример, да филтрирате дупле понуде или додатно ажурирате информације о агентима који раде на тржишту у бази података.
3. Сада већ имате скалабилно решење у кластеру које се може пунити подацима и вршити избор података. Тада можете имплементирати нову функционалност, на пример, написати услугу која ће тражити податке и дати најповољнију понуду по дану - то ће захтевати неколико редова у конфигурационој датотеци и мало Луа кода.

Шта је следеће?

Наш приоритет је да побољшамо једноставност употребе Тарантоол Дата Грид. На пример, ово је ИДЕ са подршком за руковаоце профилисања и отклањања грешака који раде у сандбок-у.

Такође посвећујемо велику пажњу питањима безбедности. Тренутно пролазимо кроз сертификацију од стране ФСТЕЦ Русије како бисмо потврдили висок ниво безбедности и испунили захтеве за сертификацију софтверских производа који се користе у информационим системима личних података и државним информационим системима.

Извор: ввв.хабр.цом