Vela → паметен кеш за временски серии и повеќе

Во fintech, честопати мораме да обработуваме доста големи количини на податоци за девизниот курс. Добиваме податоци од различни извори и секој од нив има своја идеја за тоа како да ги екстраполира девизните курсеви за утре, задутре, следниот месец, па дури и за следните три години. Ако само некој може да ги предвиди стапките правилно, би било време да се затвори бизнисот и само глупаво да се менуваат парите напред-назад. Некои извори се посигурни, некои снабдуваат целосно ѓубре, со ретки инклузии на речиси точни вредности, но за егзотични парови. Нашата работа е да ги просејуваме овие десетици илјади вредности во секунда и да одредиме што точно да им покажеме на клиентите. Треба да ја филтрираме едната точна вредност од тони нечистотија и тиња, исто како што прават фламинго на ручек.

Посебна карактеристика на фламингото е нивниот масивен надолу заоблен клун, со кој тие ја филтрираат храната од вода или кал.
 - Вики

Така се роди библиотеката Vela, кој складира кеш на состојба за повеќе вредности во одредени временски интервали. Под хаубата ги филтрира лошите и застарени податоци во лет, а исто така обезбедува пристап до најновите N потврдени вредности за секој клуч (валутни парови, во нашиот случај).

Да речеме дека собираме стапки за три валутни пара. Наједноставна дефиниција Vela за складирање на моменталната состојба ќе изгледа вака:

defmodule Pairs do
  use Vela,
    eurusd: [sorter: &Kernel.<=/2],
    eurgbp: [limit: 3, errors: 1],
    eurcad: [validator: Pairs]

  @behaviour Vela.Validator

  @impl Vela.Validator
  def valid?(:eurcad, rate), do: rate > 0
end

Ажурирање на вредности

Vela.put/3 Функцијата ќе го направи следново во низа:

• ќе предизвика validator на вредноста, доколку е дефинирана (види поглавје Валидација подолу);
• ќе ја додаде вредноста или на редот на добри вредности ако валидацијата е успешна, или на редот за услуга :__errors__ во спротивно;
• ќе предизвика сортирање ако sorter дефинирано за даден клуч, или едноставно ќе ја стави вредноста на чело на листата (LIFO, види поглавје Сортирај подолу);
• ќе го скрати редот според параметарот :limit помина по создавањето;
• ќе ја врати ажурираната структура Vela.

iex|1 > pairs = %Pairs{}
iex|2 > Vela.put(pairs, :eurcad, 1.0)
#⇒ %Pairs{..., eurcad: [1.0], ...}
iex|3 > Vela.put(pairs, :eurcad, -1.0)
#⇒ %Pairs{__errors__: [eurcad: -1.0], ...}
iex|4 > pairs |> Vela.put(:eurusd, 2.0) |> Vela.put(:eurusd, 1.0)
#⇒ %Pairs{... eurusd: [1.0, 2.0]}

Исто така, Vela спроведува Access, за да можете да користите која било од стандардните функции за длабоко ажурирање структури од арсеналот за ажурирање вредности Kernel: Kernel.get_in/2, Kernel.put_in/3, Kernel.update_in/3, Kernel.pop_in/2, и Kernel.get_and_update_in/3.

Валидација

Валидаторот може да се дефинира како:

• надворешна функција со еден аргумент (&MyMod.my_fun/1), ќе ја добие само вредноста за валидација;
• надворешна функција со два аргументи, &MyMod.my_fun/2, таа ќе добие пар serie, value за валидација;
• имплементација на модул Vela.Validator;
• параметар за конфигурација threshold, и - по желба - compare_by, види поглавје споредба подолу

Ако валидацијата е успешна, вредноста се додава на листата под соодветниот клуч; во спротивно, торката {serie, value} оди на :__errors_.

Споредба

Вредностите зачувани во овие редови може да бидат какви било. Да предава Vela за да ги споредиме, неопходно е да се пренесат compare_by параметар во дефиницијата на серијата (освен ако вредностите не можат да се споредат со стандардот Kernel.</2); овој параметар мора да биде од типот (Vela.value() -> number()). Стандардно е едноставно & &1.

Исто така, можете да пренесете параметар на дефиницијата на редот comparator да се пресметаат вредностите на делта (min/max); на пример, со пренесување Date.diff/2 како компаратор, можете да ги добиете точните делти за датуми.

Друг пригоден начин за работа е да поминете параметар threshold, кој го дефинира максимално дозволениот сооднос на новата вредност до {min, max} интервал. Бидејќи е наведен како процент, проверката не се користи comparatorно сепак користи compare_by. На пример, за да наведете праг вредност за датуми времиња, мора да наведете compare_by: &DateTime.to_unix/1 (да се добие цел број вредност) и threshold: 1, предизвикувајќи нови вредности да се дозволат само ако се внатре ±band интервал од тековните вредности.

Конечно, можете да го користите Vela.equal?/2 да се споредат две кешови. Ако вредностите дефинираат функција equal?/2 или compare/2, тогаш овие функции ќе се користат за споредба, инаку ние глупаво користиме ==/2.

Добивање вредности

Обработката на моменталната состојба обично започнува со повикување Vela.purge/1, со што се отстрануваат застарените вредности (ако validator врзан за timestamps). Потоа можете да се јавите Vela.slice/1која ќе се врати keyword со имиња на редови како клучеви и првите, вистински вредности.

Можете исто така да користите get_in/2/pop_in/2 за пристап на ниско ниво до вредностите во секој ред.

Апликација

Vela може да биде исклучително корисен како кеш на временски серии во процесна состојба како GenServer/Agent. Ние сакаме никогаш да не користиме застарени вредности на курсот, а за да го направиме тоа, едноставно го одржуваме процесот со состојба обработен Vela, со валидатор прикажан подолу.

@impl Vela.Validator
def valid?(_key, %Rate{} = rate),
  do: Rate.age(rate) < @death_age

и Vela.purge/1 тивко ги отстранува сите застарени вредности секој пат кога ни требаат податоците. За да пристапиме до вистинските вредности, едноставно повикуваме Vela.slice/1, и кога е потребна мала историја на курсот (целата серија), ние едноставно ја враќаме - веќе подредена - со потврдени вредности.

• GitHub
• Hexdocs

Среќно кеширање на временски серии!

Извор: www.habr.com